Algorithmenbasierte Diskriminierung – Anpassung des Allgemeinen Gleichbehandlungsgesetzes (AGG) notwendig
Im Koalitionsvertrag haben die Regierungsparteien angekündigt, das AGG evaluieren zu wollen. Diese Gelegenheit muss genutzt werden, um Betroffene besser vor algorithmenbasierter Diskriminierung zu schützen. Deshalb fordern wir in Bezug auf das AGG, ein Verbandsklagerecht einzuführen, mehr Transparenz zu schaffen und die Anwendungsbereiche des Gesetzes auszuweiten.
Automatisierte Entscheidungen durchdringen zunehmend unseren Alltag: zum Beispiel, wenn unsere Kreditwürdigkeit beim Online-Einkauf beurteilt wird, wenn uns personalisierte Werbung auf Basis von Online-Persönlichkeitsprofilen angezeigt wird oder wenn Sozialleistungen automatisiert berechnet werden. Hierbei kommt es immer wieder zu diskriminierenden Entscheidungen. Sowohl die Auswahl darüber, nach welchen Kriterien ein System des automatisierten Entscheidens (ADM-System) Entscheidungen trifft, als auch Datensätze mit einem Bias – also in Datensätzen reflektierte Vorurteile –können zu diskriminierenden Entscheidungen durch ADM-Systeme führen.
Ein gesetzlicher Rahmen zum Schutz vor Diskriminierung wurde in Deutschland 2006 mit dem Allgemeinen Gleichbehandlungsgesetz eingeführt. Dieses Gesetz kann auch bei einer Diskriminierung durch ADM-Systeme Anwendung finden. Allerdings stellt algorithmenbasierte Diskriminierung besondere Anforderungen an Antidiskriminierungsgesetze. Sie wird nämlich oft nicht erkannt, so dass die Betroffenen gar nicht wissen, dass sie diskriminiert wurden. Laut AGG können aber nur Betroffene selbst gegen die Diskriminierung juristisch vorgehen. Eine algorithmenbasierte Diskriminierung bleibt nach aktuellem Stand daher oft unangefochten.
Algorithmenbasierte Diskriminierung ist strukturell in einem ADM-System verankert. Die Diskriminierung findet deshalb systematisch statt. Hier muss eine Anpassung des AGG ansetzen. Auch die Datenethikkommission weist darauf hin, dass die Anwendungsbereiche des AGG in der aktuellen Form nicht umfassend auf algorithmenbasierte Diskriminierung ausgerichtet und Anpassungen daher notwendig sind.
Im Koalitionsvertrag hat die neue Bundesregierung in Aussicht gestellt, das Allgemeine Gleichbehandlungsgesetz zu evaluieren, Schutzlücken zu schließen, den Rechtsschutz zu verbessern und den Anwendungsbereich anzupassen. Die folgenden politischen Handlungsempfehlungen sind darauf ausgerichtet, das AGG zu einem effektiven Instrument gegen algorithmenbasierte Diskriminierung zu machen.
Handlungsempfehlungen
1. Unterstützung für Antidiskriminierungsstellen und Aufklärungsarbeit
Die Aufklärungsarbeit und Sensibilisierung bezüglich algorithmenbasierter Diskriminierung muss gefördert werden, unter anderem durch eine spezifische Unterstützung von Antidiskriminierungsstellen.
2. Anwendungsbereiche und Diskriminierungsmerkmale im AGG ausweiten
Die Ausweitung der Anwendungsbereiche und Diskriminierungsmerkmale im AGG ist eine notwendige Maßnahme gegen algorithmenbasierte Diskriminierung. Sogenannte Proxy-Variablen können in ADM-Systemen stellvertretend für die nach AGG geschützten Merkmale als Entscheidungsgrundlage genutzt werden. So dürfte ein ADM-System, das in Bewerbungsprozessen genutzt wird, beispielsweise nicht Personen auf Grundlage ihres Alters ablehnen, da Alter nach AGG ein geschütztes Merkmal ist. Als Proxy-Variable könnte das System aber die Dauer der bisherigen Berufserfahrung nutzen, um dennoch ältere Menschen zu identifizieren und aus dem Bewerbungsprozess auszuschließen.
3. Verbandsklagerecht im AGG einführen
Interessensgruppen und Verbände können durch ihre Fachexpertise Diskriminierungen durch Algorithmen aufdecken, auf sie aufmerksam machen und rechtlich dagegen vorgehen. Dafür ist allerdings ein Verbandsklagerecht notwendig, damit nach AGG nicht nur Betroffene selbst gegen Diskriminierungen vorgehen können. Vorbild könnte das Landesantidiskriminierungsgesetz (LADG) des Landes Berlin sein.
4. Mehr Transparenz und klare Verantwortlichkeiten bei Verdachtsfällen
Wir benötigen mehr Transparenz und klare Verantwortlichkeiten bei Verdachtsfällen. Auskunftspflichten gegenüber Antidiskriminierungsstellen und Betroffenen müssen erweitert werden, Auditverfahren und Einspruchsmöglichkeiten für Betroffene geschaffen werden.
Die Bundesregierung muss erkennen, dass im Hinblick auf algorithmenbasierte Diskriminierung Handlungsbedarf besteht. Die geplante Evaluation des AGG muss dafür sorgen, dass Betroffene in Zukunft ausreichend geschützt werden.
Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zu ADM im öffentlichen Sektor.