AutoCheck – Welche Diskriminierungsrisiken stecken in automatisierten Entscheidungssystemen?

Prozesse automatisierter Entscheidungsfindung (automated decision-making, ADM) begegnen uns in immer mehr Bereichen unseres Lebens – sie beurteilen unsere Kreditwürdigkeit oder legen individualisierte Preise im Onlinehandel fest. Ihr Einsatz führt jedoch nicht unbedingt zu objektiveren oder neutraleren Entscheidungen. ADM-Systeme können auch Ungleichbehandlung und Diskriminierung fortführen oder sogar verstärken. So zeigte eine Studie von AlgorithmWatch, dass auf Facebook veröffentlichte Stellenausschreibungen basierend auf groben Vorurteilen verschiedenen Zielgruppen angezeigt wurden. Zum Beispiel wurde eine Stellenausschreibung für eine·n Lastwagenfahrer·in 10 Mal häufiger Männern als Frauen angezeigt und eine Stellenausschreibung für eine×n Erzieher·in 20 Mal häufiger Frauen als Männern angezeigt. Wenn ADM-Systeme diskriminierende Entscheidungen treffen oder vorschlagen, sind potenziell viele Menschen betroffen, denn alle Entscheidungen folgen dem gleichen Muster. Die Risiken sind demnach systematisch und die gesamtgesellschaftlichen Auswirkungen können groß sein.

Antidiskriminierungsberatungsstellen spielen hier eine wichtige Rolle, da sie als zentrale Anlaufstellen Betroffene aufklären, beraten und unterstützen. Es ist allerdings schwierig, Diskriminierungen durch ADM-Systeme zu erkennen und unklar, wie Betroffene oder Beratungsstellen damit umgehen können. Deswegen erarbeiten wir in unserem Projekt AutoCheck – Handlungsanleitung für den Umgang mit Automatisierten Entscheidungssystemen für Antidiskriminierungsstellen konkrete und verständliche Anleitungen und Werkzeuge für Antidiskriminierungsberatungsstellen und konzipieren Fortbildungen. Mit ihnen stärken wir die Kompetenzen der Mitarbeiter·innen deutscher Antidiskriminierungsberatungsstellen und versetzen sie in die Lage, Risiken besser einzuschätzen und zu erkennen und dadurch bei konkreten Diskriminierungsfällen Betroffene besser zu unterstützen.

Projektmanagerin

Jessica Wulf
wulf@algorithmwatch.org

Gefördert von

Bleiben Sie auf dem Laufenden...
Abonnieren Sie den AlgorithmWatch-Newsletter!