Was tun, wenn Algorithmen diskriminieren? Ein Ratgeber von AutoCheck

In Deutschland werden womöglich täglich Menschen durch algorithmische Systeme diskriminiert, ohne es zu wissen. Eine neue Handreichung hilft dabei, Fälle zu erkennen und zu bekämpfen. Dabei legt sie auch Lücken in der Gesetzeslage offen.

Die neue Publikation “Automatisierte Entscheidungssysteme und Diskriminierung” nimmt Diskriminierung durch algorithmische Systeme unter die Lupe. Mit Schaubildern und Anleitungen führt der Ratgeber Beratungsstellen und Betroffene ins Thema ein und hilft, bei Verdachtsfällen aktiv zu werden. Denn ein großes Problem bei dieser Form der Diskriminierung ist weiterhin, dass sie so schwer zu erkennen ist, obwohl womöglich sehr viele Menschen davon betroffen sind.

Die Publikation gibt Antwort auf die wichtigsten Fragen: Was sind automatisierte Entscheidungssysteme? Wie kommt es zur Diskriminierung? Wie kann ich diese Form der Diskriminierung erkennen und was kann dagegen getan werden? Sie zeigt Fallbeispiele auf und bietet mit Hinweisen, Checklisten, Quellen und Kontaktinformationen zu Anlaufstellen konkrete Hilfestellung.

Das Projekt AutoCheck, in dessen Rahmen die Publikation entwickelt wurde, wird seit 2021 von der Antidiskriminierungsstelle des Bundes gefördert, um Mitarbeitende deutscher Antidiskriminierungsberatungsstellen in die Lage zu versetzen, das Diskriminierungspotenzial von automatisierten Entscheidungssystemen besser zu verstehen, konkrete Fälle derartiger Diskriminierung besser zu erkennen und dadurch Betroffene zu unterstützen. Seit Februar 2021 hat Projektmanagerin Jessica Wulf Fallbeispiele recherchiert und Interviews mit Antidiskriminierungsberatungsstellen und Antidiskriminierungsexpert*innen geführt. Workshopkonzepte für Multiplikator*innen und die Publikation “Automatisierte Entscheidungssysteme und Diskriminierung” basieren auf dieser ausführlichen Recherche.

Die in dem Papier aufgezeigten Fallbeispiele aus Deutschland und die Breite der Anwendungsfelder von algorithmischen Systemen legen offen, wie dringend Antidiskriminierungsgesetze in Deutschland verbessert werden müssen, allen voran das Allgemeine Gleichbehandlungsgesetz (AGG). Das AGG bietet keinen umfassenden Schutz gegen algorithmenbasierte Diskriminierung, wie schon die Datenethikkommission 2019 angemerkt hat. Von den meisten Betroffenen wird diese Art der Diskriminierung nicht erkannt. Antidiskriminierungsstellen brauchen deshalb mehr Rechte, um Betroffene besser zu unterstützen.

Was muss bei der Reform des Allgemeinen Gleichbehandlungsgesetzes getan werden?

Verbandsklagerecht
Derzeit können nur Betroffene juristisch gegen Diskriminierung vorgehen. Doch viel zu oft bleibt sie von der einzelnen Person unbemerkt. Nur dort, wo die Informationen vieler Menschen zusammenfließen, wie bei Beratungsstellen oder durch Analysen von Forscher*innen und Watchdog-Organisationen, wird in der Regel Diskriminierung durch Algorithmen aufgedeckt. Solange aber die Betroffenen nichts darüber wissen, bleibt die Diskriminierung unangefochten. Eine zentrale Forderung ist deshalb ein Verbandsklagerecht, das Organisationen erlaubt, gegen eine identifizierte diskriminierend Praktik von Algorithmen juristisch vorzugehen.

Transparenzpflichten & Audit-Verfahren
Ein Auskunftsrecht für Antidiskriminierungs- und Beratungsstellen – staatliche wie zivilgesellschaftliche – ist enorm wichtig, um die Rechte von Betroffenen zu stärken. Relevante Informationen zu womöglich diskriminierenden Systemen sollten offengelegt werden. Zudem muss für möglicherweise diskriminierende Outputs sensibilisiert werden, damit bereits in der Entwicklung systematisch auf diskriminierende Ergebnisse getestet wird.

Ausweitung des Anwendungsbereiches und von Diskriminierungsmerkmalen auf Proxy-Variablen
Die Anwendungsbereiche und Diskriminierungsmerkmale im Allgemeinen Gleichbehandlungsgesetz sollten mit Blick auf algorithmenbasierte Diskriminierung ausgeweitet werden – insbesondere mit Rücksicht auf Proxy-Variablen. Diese können stellvertretend für geschützte Kategorien für automatisierte Entscheidungen herangezogen werden, fallen aber selbst nicht unter das Gesetz. Bekannte Beispiele für Proxies sind unter anderem Arbeitserfahrung für Alter oder Geschlecht und gesprochene Sprachen für Herkunft.

Das Recht auf Antidiskriminierung muss auch im digitalen Raum konsequent geschützt werden. Das Allgemeine Gleichbehandlungsgesetz muss dringend reformiert werden, um eine Gleichberechtigung im 21. Jahrhundert zu gewährleisten.

Gefördert von

Antidiskrimierungsstelle des Bundes

Abonniere jetzt unseren Community Newsletter!


Mehr Informationen findest du in unserer Datenschutzerklärung.