Was ist algorithmische Diskriminierung?
Diskriminierung durch Algorithmen und Künstliche Intelligenz (KI): Wir geben einen Überblick über das Thema.
Algorithmische Systeme können Entscheidungen treffen, die Menschen diskriminieren, sei es bei der Vergabe von Sozialleistungen oder bei der Jobsuche. Wenn die Systeme auf der Grundlage von Daten Entscheidungen treffen, in denen Vorurteile stecken, fließen diese Vorurteile in die Entscheidungen ein – wenn nichts dagegen getan wird. Weitere Quellen von Diskriminierung können die Annahmen sein, die in die Entwicklung eines Modells einfließen, dessen Zweck oder auch die Art und Weise, wie ein System verwendet wird. Das ist dann der Fall, wenn zum Beispiel ein Gesichtserkennungssystem vor allem Schwarze Personen identifiziert oder wenn ein System die Leistungen von Mitarbeitenden misst und dabei nicht die besonderen Bedürfnisse von Menschen mit Behinderungen berücksichtigt. Technisch gesteuerte Entscheidungen liefern also nicht zwangsläufig „neutralere“ oder „objektivere“ Ergebnisse, denn die Systeme selbst sind nicht neutral. Menschen mit ihren Annahmen und Interessen beeinflussen die Entwicklung und den Einsatz der Systeme.
Wir führen Recherchen durch, um zu zeigen, wo und wie algorithmische Diskriminierung auftreten kann. Hast du Hinweise darauf, dass algorithmische Diskriminierung stattgefunden haben könnte? Dann berichte uns davon.
Oft diskriminieren algorithmische Systeme Menschen, die ohnehin schon benachteiligt werden. Prinzipiell können aber alle betroffen sein. Schwarze Menschen werden durch Systeme benachteiligt, die Bewährungsmaßnahmen für Straftäter*innen ermitteln; Personen aus ärmeren Wohnvierteln werden bei der Kreditvergabe als risikoreicher eingestuft; Frauen können in automatisierten Bewerbungsprozessen wegen ihres Geschlechts trotz vorhandener Qualifizierung von Algorithmen aussortiert werden. Die Folgen der Diskriminierung bleiben meistens unbemerkt, wenn nicht sichtbar ist, wie automatisierte Entscheidungen zustande kommen. Betroffene können sich aus diesem Grund oft nicht dagegen wehren.
Ratgeber zu algorithmischer Diskriminierung für Antidiskriminierungsstellen
In unserem Projekt AutoCheck – Handlungsanleitung für den Umgang mit Automatisierten Entscheidungssystemen für Antidiskriminierungsstellen haben wir von Februar 2021 bis Juli 2022 konkrete und verständliche Anleitungen und Werkzeuge erarbeitet, die helfen, Diskriminierungsrisiken besser einschätzen zu können. Den Ratgeber gibt es hier.
Kämpfe jetzt gegen algorithmische Diskriminierung – mit deiner Fördermitgliedschaft.
Deine Unterstützung hilft dabei, Menschenrechte im digitalen Raum zu stärken. Gemeinsam setzen wir uns für die verantwortungsvolle Nutzung von algorithmischen Systemen ein und klären andere über ihre Risiken auf.
