Wie und warum Algorithmen diskriminieren

Automatisierte Entscheidungen, die auf Algorithmen beruhen, sind überall in unserer Gesellschaft zu finden. Die algorithmischen Systeme bearbeiten Steuererklärungen, bewerten Bewerbungen, schlagen uns Musik vor, leiten uns durch die Stadt, sagen Verbrechen voraus oder prognostizieren die Integrationschancen von Geflüchteten auf dem Arbeitsmarkt. Die von den Systemen getroffenen Entscheidungen wirken sich direkt auf das Leben von Menschen aus. Manche Menschen werden dabei diskriminiert.

Was sind die Ursachen für algorithmische Diskriminierung?

Algorithmische Systeme sind weder neutral noch objektiv. Sie reproduzieren dieselben Diskriminierungsmuster, die in der Gesellschaft existieren. Denn die Daten, die zum „Maschinellen Lernen“ der Systeme verwendet werden, stammen zwangsläufig aus der Vergangenheit. Wenn sie für Voraussagen verwendet werden, unterstellt das, dass zukünftige Handlungen den vergangenen gleichen. Die Daten spiegeln bestehende gesellschaftliche Verhältnisse wider. Sie könnten veraltet sein und Stereotype abbilden. Wenn etwa in einem Unternehmen weniger Frauen in Führungspositionen vertreten sind
und ein Rekrutierungsalgorithmus mit den Daten der bestehenden Belegschaft trainiert wird, kann das System Frauen für Führungspositionen seltener berücksichtigen.

An der Entwicklung von solchen Entscheidungssystemen arbeitet eine recht homogene Gruppe von Menschen – in den meisten Fällen Weiße Männer. Wenn Entscheidungen zum Systemdesign von den Annahmen, Überzeugungen, Perspektiven und Vorurteilen solch einer überrepräsentierten Gruppe geprägt sind, kann sich das auf den Output der Systeme auswirken. Aber auch der Zweck und die Art und Weise, wie ein System eingesetzt wird, können Quelle von Diskriminierung sein: zum Beispiel, wenn ein System die Leistungen von Mitarbeitenden misst, aber dabei nicht die besonderen Bedürfnisse von Menschen mit Beeinträchtigungen berücksichtigt.

Wenn die Entscheidungen eines Systems insgesamt viele Menschen betreffen, sind potenziell auch viele Menschen von dessen diskriminierenden Folgen betroffen. Dieses besonders mit algorithmischer Diskriminierung verbundene Problem wird Skalierungseffekt genannt. Durch sogenannte Rückkopplungsschleifen können sich außerdem bestehende Diskriminierungsmuster verstärken. Daten alter Kriminalstatistiken können beispielsweise bei einem algorithmischen System für vorausschauende Polizeiarbeit dazu führen, dass in bestimmten Nachbarschaften mehr patrouilliert wird als in anderen. Diese Statistiken wiederum können diskriminierende Annahmen widerspiegeln, indem sie beispielsweise ein niedriges Einkommensniveau in einer Nachbarschaft mit einer höheren Kriminalitätswahrscheinlichkeit gleichsetzen. Wenn dann aufgrund der Prognose eines Systems in einer Nachbarschaft die Polizei stärker präsent ist, steigt allerdings wiederum die Wahrscheinlichkeit, dass sie in diesem Gebiet auch mehr Verbrechen aufdeckt. Solche Voraussagen des Systems bestätigen sich wie bei einer selbsterfüllenden Prophezeiung selbst. Sie verstärken sich noch, wenn das System über einen längeren Zeitraum hinweg eingesetzt wird und Voraussagen auf der Grundlage von Ergebnissen eigener Voraussagen trifft.

Wenn Algorithmen in Bereichen eingesetzt werden, in denen bereits große Machtgefälle bestehen, ist das Risiko für ungerechte Entscheidungen und Diskriminierung besonders groß – seien es Machtgefälle zwischen Bewerber*innen und Unternehmen, Arbeitnehmenden und Arbeitgeber*innen, Verdächtigen und der Polizei, Flüchtenden und Grenzschutzbehörden, Empfänger*innen von Sozialhilfe und Ämtern, Schüler*innen und Lehrkräften oder einzelnen Nutzer*innen und Social-Media-Plattformen. Es gibt in solchen Konstellationen eine Seite, die von den Entscheidungen der anderen Seite abhängig ist. Wenn die Seite, die mit mehr Macht ausgestattet ist, Entscheidungen durch oder mithilfe von Algorithmen fällt, wissen die Betroffenen es meistens nicht. Sie sind diesen Entscheidungen ausgeliefert und können sich durch das Machtgefälle kaum dagegen wehren.

Fallbeispiele für algorithmische Diskriminierung: Kindergeld, Arbeitswelt, Risiko-Scores, Strafverfolgung

Auch der Staat setzt algorithmische Systeme ein, die Menschen diskriminieren können. In den Niederlanden wurde im Jahr 2019 bekannt, dass die dortigen Steuerbehörden einen selbstlernenden Algorithmus zur Erstellung von Risikoprofilen verwendet hatten, um Betrugsfälle bei einem Kindergeldzuschlag aufzudecken. Ein bloßer Verdacht, der auf den Risikoindikatoren des Systems beruhte, reichte den Behörden, um Familien wegen Betrug zu bestrafen. Zehntausende Familien – oft mit einem geringen Einkommen oder Angehörige „ethnischer Minderheiten“ mit doppelter Staatsbürgerschaft – mussten über Jahre erhaltene Kindergeldzuschläge zurückzahlen, versanken dadurch in Schulden und ein Großteil von ihnen verarmte. Mehr als tausend Kinder mussten deswegen in Pflegefamilien untergebracht werden. Die niederländische Datenschutzbehörde kam später zum Schluss, dass die Verarbeitung der Daten durch das eingesetzte System diskriminierend war.

Algorithmische Diskriminierung in der Arbeitswelt kann schon bei Stellenanzeigen anfangen. Eine Recherche von AlgorithmWatch beweist, dass Gender-Stereotypen bestimmen, wie auf Facebook Stellenausschreibungen angezeigt werden: Stellenanzeigen für Lastwagenfahrer*innen wurden viel häufiger Männern angezeigt, Anzeigen für Kinderbetreuer*innen viel häufiger Frauen. Algorithmen werden auch zum Sortieren und Auswählen von Lebensläufen eingesetzt oder um Arbeitnehmer*innen Anweisungen zu geben. Wenn der Algorithmus zum „Boss“ wird, ist oft unklar, wie Entscheidungen über Beförderungen oder Entlassungen zustande kommen. So eine Intransparenz ist ein Nährboden für diskriminierende Entscheidungen.

In Deutschland geben Unternehmen wie die Schufa Auskunft darüber, wie „kreditwürdig“ Menschen sind. Sie berechnen dazu Risiko-Scores, mit denen Banken oder andereUnternehmen entscheiden, ob sie einen Kredit an jemanden vergeben oder einen Vertrag mit jemandem abschließen. Solche Entscheidungen können enorme Auswirkungen auf Personen haben, wenn ihnen unbegründet die Möglichkeit genommen wird, einen Kredit aufzunehmen oder eine Versicherung abzuschließen. Aber niemand weiß, wie die Risiko-Scores errechnet werden und ob es rein automatisch geschieht. Diese Intransparenz hat nicht nur ein großes Diskriminierungspotenzial, sondern ist auch rechtlich problematisch. Das europäische Datenschutzrecht besagt nämlich, dass Entscheidungen mit rechtlichen Auswirkungen für Menschen nicht rein automatisiert getroffen werden dürfen. Der Europäische Gerichtshof hat entschieden: Wenn der Schufa-Score einer Person maßgeblich die Entscheidung eines Unternehmens über sie beeinflusst, dann gilt das als automatisierte Entscheidung.

In der Strafverfolgung berechnen Polizei und Gerichte mit Hilfe von algorithmischen Systemen die Wahrscheinlichkeit der Rückfallrate von Straftäter*innen. Die Daten, die dazu in algorithmische Systeme eingespeist werden, stellen die Realität allerdings meistens nur verzerrt dar. Wenn etwa die Zahl der generellen Polizeikontakte als Indikator für die Rückfallwahrscheinlichkeit gilt (im Sinne von: je mehr Polizeikontakte, desto wahrscheinlicher eine erneute Straftat), können dadurch Schwarze Menschen diskriminiert werden. Manche Polizist*innen praktizieren nämlich „racial profiling“ und kontrollieren viel häufiger Schwarze als Weiße. Wenn Schwarze häufiger unbegründet in Fahrzeugkontrollen geraten, erhöht sich dadurch die Zahl ihrer Kontakte mit der Polizei. Die Rückfall-Scores bilden die Grundlage dafür, wie hoch die Auflagen für Straftäter*innen nach der Haftentlassung sind. Sie werden diskriminiert, wenn der automatisiert ermittelte Score, auf dem die polizeilichen oder gerichtlichen Entscheidungen beruhen, wegen „racial profiling“ höher ausfällt und die Straftäter*innen deswegen mit besonders hohen Auflagen zurechtkommen müssen.

Deutsches Recht bei Diskriminierung: Das Allgemeine Gleichbehandlungsgesetz (AGG)

In Deutschland ist das Allgemeine Gleichbehandlungsgesetz 2006 in Kraft getreten. Es hat zum Ziel, „Benachteiligungen aus Gründen der Rasse oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität zu verhindern oder zu beseitigen.“ Das Gesetz regelt bisher lediglich Diskriminierung durch private Akteure wie Arbeitgeber*innen, Vermieter*innen sowie Anbieter*innen von Waren und Dienstleistungen. Das AGG setzt vier europäische Antidiskriminierungsrichtlinien um, die seit dem Jahr 2000 erlassen wurden.

Öffentliche Stellen und Bildungseinrichtungen sind derzeit noch vom Gesetz ausgenommen. Bisher hat Berlin als einziges Bundesland ein zusätzliches Landesantidiskriminierungsgesetz verabschiedet, das 2020 in Kraft getreten ist. Es verbietet Diskriminierungen durch öffentlich-rechtliche Einrichtungen und soll die Rechte von Betroffenen stärken.

Generell soll das AGG Einzelpersonen ermöglichen, sich gegen diskriminierende Entscheidungen und die sich daraus ergebenden negativen Folgen zu wehren. Allerdings wird in dem Gesetz der Skalierungseffekt nicht berücksichtigt, also dass sich die Entscheidungen algorithmischer Systeme auf viele Menschen auswirken. Umso größer ist die Rechtslücke, die dadurch entsteht, dass im AGG kollektive Klagerechte für Verbände fehlen, die mehrere Personen juristisch vertreten. Betroffene Einzelpersonen sind bei automatisierten Entscheidungen nur schwer zu identifizieren. Außerdem müssen sie bei einem Diskriminierungsverdacht Beweise erbringen, was ausgeschlossen ist, wenn der Einsatz und die Funktionsweise der Systeme unbekannt sind. Zu diesem Schluss kommen die Autor*innen eines Rechtsgutachtens, das die Antidiskriminierungsstelle des Bundes im August 2023 veröffentlicht hat: „Der Black-Box-Charakter der ADM-Systeme macht es für Betroffene praktisch unmöglich, den Ursachen einer Benachteiligung auf die Spur zu kommen, die gesetzlichen Beweiserleichterungen des AGG sind in ihrer jetzigen Form nicht ausreichend, diese Hürden zu überwinden.” Der bestehende Schutz gegen Diskriminierung reicht bei algorithmischer Diskriminierung also nicht aus. Neben dem Skalierungseffekt und Rückkopplungsschleifenfehlt im AGG ein Schutz vor Diskriminierung durch sogenannte Proxy-Variablen. Nach dem AGG sind bestimmte Personenmerkmale vor Diskriminierung geschützt (zum Beispiel ethnische Herkunft, Alter oder Behinderung). In automatisierten Entscheidungssystemen können aber stellvertretend dafür verwandte Merkmale als Entscheidungsgrundlage genutzt werden. So dürfte ein System, das Bewerbungen verwaltet, zwar keine Personen auf der Grundlage ihres Alters ablehnen, da Alter nach dem AGG ein geschütztes Merkmal ist. Als Proxy-Variable könnte das System aber die Dauer der bisherigen Berufserfahrung nutzen, um dennoch ältere Menschen zu identifizieren und aus dem Bewerbungsprozess auszuschließen. Wegen solcher Schutzlücken im Gesetz fordern Organisationen wie AlgorithmWatch, im AGG ein Verbandsklagerecht aufzunehmen sowie unabhängige Auditverfahren und Einspruchsmöglichkeiten für Betroffene gegen automatisierte Entscheidungen einzuführen.