“Wir suchen konkrete Beispiele für die Diskriminierung durch Algorithmen in Deutschland.”

Automatisierte Systeme werden oft in der Hoffnung eingesetzt, dass sie Entscheidungen objektiver treffen als Menschen. Warum geht aber gerade von ihnen ein großes Risiko aus, dass sie Betroffene diskriminieren oder ungleich behandeln?

Leider zeigt sich immer wieder, dass automatisierte Systeme, selbst wenn sie mit guten Intentionen entwickelt und eingesetzt wurden, direkt oder indirekt diskriminierende Ergebnisse produzieren. Sie sind also weder automatisch neutral, noch objektiv. In der Entwicklung und Anwendung von automatisierten Systemen treffen Menschen an vielen Punkten Entscheidungen und lassen so – meist unbewusst – ihre Voreingenommenheiten, Vorurteile und Perspektiven in die Systeme einfließen. Das kann am Ende zu diskriminierenden Entscheidungen führen.

Zum Thema unbewusste Voreingenommenheiten – oder unconscious bias – arbeite ich bereits seit vielen Jahren, zuletzt auch als Gender- und Diversitätsbeauftragte der Wirtschaftsuniversität Wien. Unbewusste Voreingenommenheiten sind Einstellungen, Werte, Annahmen und Vorurteile gegenüber Menschen, die uns nicht bewusst sind, aber unsere Wahrnehmung, unsere Entscheidungen und unser Verhalten maßgeblich beeinflussen. Sie sind Ausdruck von struktureller Ungleichheit in unserer Gesellschaft und finden sich in allen Lebensbereichen wieder. In automatisierten Entscheidungen spielt das eine wesentliche Rolle. Es ist lediglich ein neues Anwendungsfeld, jedoch mit potenziell weitreichenden Konsequenzen.

Wenn Voreingenommenheiten in automatisierten Systemen eingeschrieben werden und die Systeme unfaire oder sogar diskriminierende Entscheidungen vorschlagen oder treffen, dann wird in allen Fällen nach diesem Muster „entschieden”. Wenn zum Beispiel bei einer Software zur Personalauswahl Frauen benachteiligt werden, dann werden Frauen in jeder Entscheidung benachteiligt, die auf dieser Software basiert. Durch diese Systematik sind potenziell viele Menschen betroffen und die gesamtgesellschaftlichen Auswirkungen können groß sein. 

Welche konkreten Beispiele gibt es für Diskriminierung durch automatisierte Systeme?

Ein sehr bekanntes Beispiel aus den USA betrifft Gesichtserkennungssoftware. Die Wissenschaftlerinnen Joy Buolamwini und Timnit Gebru fanden heraus, dass geläufige Gesichtserkennungssoftware von großen Firmen wie IBM, Google und anderen Schwarze Frauen viel schlechter identifizieren kann als weiße Männer. Die erhöhte Fehlerquote war alarmierend, weil die Software teilweise von der US-amerikanischen Polizei eingesetzt wurde.

In einem anderen bekannten Beispiel geht es um eine Bewerbungssoftware, die Amazon entwickelt haben soll. Hier war das Ziel, Einstellungsprozesse effizienter zu gestalten. Noch in der Testphase der Software stellte sich heraus, dass durch die Empfehlungen der Software Frauen diskriminiert wurden, da ihre Lebensläufe aussortiert wurden. Amazon beendete das Projekt nach eigener Aussage, bevor die Software eingesetzt wurde, da Versuche, die Benachteiligung von Frauen zu korrigieren, keinen Erfolg hatten.

Wie sieht es mit Beispielen aus Deutschland aus?

In Deutschland sind bisher wenige Beispiele bekannt, etwa der Passbildautomat, der bei Schwarzen Menschen nicht zuverlässig funktioniert. Und das, obwohl in Deutschland automatisierte Systeme verstärkt eingesetzt werden, wie unser Automating Society Report 2020 aufgezeigt hat. Deswegen ist es Teil des Projektes AutoCheck, Fallbeispiele in Deutschland zu finden. Das ist wichtig, weil sich der rechtliche Rahmen von Land zu Land stark unterscheidet, beispielsweise zwischen den USA und Deutschland. Fallbeispiele sind wichtig, um die derzeitige Situation abzubilden und dieses Thema anschaulicher zu machen. 

Warum ist es so schwierig, Fallbeispiele zu finden?

Ich mache das am besten an einem Beispiel deutlich. In einem Experiment von AlgorithmWatch wurden zwei fiktive Stellenausschreibungen über Facebook veröffentlicht: eine Ausschreibung für eine·n Lastwagenfahrer·in und eine für eine·n Erzieher·in. Die Stellenausschreibung für eine·n Lastwagenfahrer·in wurde 10 Mal mehr männlichen Facebook-Nutzern gezeigt, die Ausschreibung für eine·n Erzieher·in 20 Mal mehr weiblichen Facebook-Nutzerinnen – also eine sehr ungleiche Verteilung. Wenn ich auf der Suche nach einer Stelle als Lastwagenfahrerin bin, dann werden mir, wie dieses Experiment gezeigt hat, wahrscheinlich nicht alle Stellenausschreibungen dafür angezeigt. Da ich diese Stellenausschreibungen aber nicht sehe, weiß ich auch nicht, dass sie existieren und sie mir nur nicht angezeigt werden. Wahrscheinlich bin ich mir noch nicht einmal bewusst, dass hier ein Algorithmus verwendet wird und verschiedenen Menschen verschiedene Stellenausschreibungen angezeigt werden, auch wenn ich das nicht selber so eingestellt habe. Was ich damit verdeutlichen möchte: In den meisten Fällen wissen Betroffene gar nicht, dass sie anders behandelt wurden als andere, und auf welchen Kriterien das beruht. 

Das Beispiel macht deutlich, wie komplex das Thema ist und wie schwierig sich die  Suche nach Fallbeispielen gestaltet. Genau diese Komplexität motiviert mich, an AutoCheck zu arbeiten – und der Ausblick, damit etwas zur Diskussion um gerechtere ADM-Systeme beizutragen.

Was werdet ihr mit den deutschen Fallbeispielen machen? 

Wir werden Werkzeuge und Anleitungen erarbeiten, die die Diskriminierungsrisiken von automatisierten Systemen verständlich erklären und veranschaulichen sollen. Das könnten zum Beispiel Checklisten oder Entscheidungsbäume sein.

Die Anleitungen dienen, zusammen mit den Fallbeispielen, dann als Grundlage für Weiterbildungen in Antidiskriminierungsberatungsstellen. Die Beratungsstellen sind zentrale Anlaufstellen für Betroffene von Diskriminierung. Durch die Weiterbildungen sollen Mitarbeitende automatisierte Systeme besser verstehen und deren Risiken besser erkennen. Auf diese Weise können Betroffene dann besser unterstützt werden.

---

Wenn Sie Hinweise zu konkreten Fallbeispielen zur Diskriminierung durch automatisierte Entscheidungssysteme in Deutschland haben, schreiben Sie Jessica Wulf unter wulf@algorithmwatch.org