Ungerechtigkeit vorprogrammiert: Wenn Algorithmen diskriminieren
Algorithmische Entscheidungssysteme sind inzwischen in allen Lebensbereichen zu finden. Mit der Technik sind allerdings nicht alle Probleme gelöst, manchmal werden Menschen sogar durch sie benachteiligt.
Viele sind davon überzeugt, dass technische Entscheidungen gerechter sind, sei es beim Fußball oder bei der Kitaplatz-Vergabe. Aber wenn algorithmische Systeme über unser Leben entscheiden, können wir genauso durch Vorurteile benachteiligt werden wie bei menschlichen Entscheidungen. Zum Beispiel kann uns ein Kredit verweigert werden, weil das Vergabesystem mit der falschen Annahme gefüttert wurde, dass unser Wohnort gleichbedeutend mit einer geringen Kreditwürdigkeit ist. Bloß weil wir am „falschen“ Ort wohnen, könnten wir in so einem Fall weder eine Firma gründen noch ein längeres Studium überbrücken, worauf wir vielleicht angewiesen sind, da wir in dieser Zeit einen Elternteil pflegen müssen.
Seit einigen Jahren ist bekannt, dass in automatisierten Entscheidungssystemen häufig solche diskriminierenden Vorurteile versteckt sind. Das Thema erhält allerdings immer noch nicht die Aufmerksamkeit, die es verdient.
Aktiv gegen algorithmische Ungerechtigkeit
Die Informatikerinnen und Menschenrechtsaktivistinnen Timnit Gebru und Joy Buolamwini gehören zu denjenigen, die immer wieder auf dieses Problem hinweisen. Joy Buolamwini ist die Protagonistin in der preisgekrönten Netflix-Dokumentation Coded Bias, in der sie zum Beispiel erklärt, dass Gesichtserkennungstechnik bei Schwarzen Menschen alles andere als zuverlässig funktioniert, was im schlimmsten Fall zu einem Justizirrtum führen kann. Solche Systeme werden trotzdem häufig unkritisch eingesetzt. Denn Menschen tendieren zum Glauben, dass technisch gesteuerte Entscheidungen bessere und „objektivere“ Ergebnisse liefern. Der Begriff „computational bias“ beschreibt dieses psychologische Phänomen. Unternehmen werfen automatisierte Systeme allerdings auch auf den Markt, wenn ihnen deren Unzulänglichkeiten bekannt sind. Wenn Kritik daran laut wird, dass ihnen ihre Profitinteressen wichtiger sind als ihre soziale Verantwortung, versuchen sie bisweilen, sie zum Verstummen zu bringen. Timnit Gebru und Margaret Mitchell, die beide zuvor Googles Ethical-AI-Abteilung leiteten, kostete es ihrer eigenen Aussage nach sogar den Job, die Unternehmensinteressen infrage gestellt zu haben. In einem Forschungspapier, dass sie gemeinsam mit weiteren Autorinnen veröffentlicht hatten, stellen sie die ganz wesentliche Frage, ob sehr große Sprachmodelle (an denen auch Google arbeitet) wegen der zahlreichen sozialen Probleme, die sie verursachen, überhaupt entwickelt und genutzt werden sollten.
Diskriminierende Algorithmen: Falscher Name, falsche Herkunft
Recherchen von AlgorithmWatch haben gezeigt: Der Einsatz algorithmischer Entscheidungssysteme kann in den verschiedensten Lebenssituationen zu Diskriminierung führen.
Dazu reicht schon ein „zu kurzer“ Nachname. So einen Fall gab es wirklich: 2013 wollte Clemens Li in die Kryptowährung Bitcoin investieren. Das wurde ihm jedoch verwehrt, weil das Online-Anmeldeformular auf der Website bitcoin.de seinen Nachnamen nicht akzeptierte. Diese Erfahrung blieb für Herrn Li keine Ausnahme, auch die Online-Formulare anderer Websites zeigen ihm eine Fehlermeldung an: Sein Name „Li“ sei zu kurz. Das Design dieser Online-Systeme hätte für Clemens Li zu finanziellen Nachteilen führen können, da er dadurch vom üblichen Investitionsprozess ausgeschlossen war. Da es sich um einen asiatischen Nachnamen handelt, weist dieser Fall zudem auf eine latent rassistische Ausgrenzung hin, was sicherlich nicht im Interesse der Website-Anbieter lag. Trotzdem haben wir es hier mit der Ausgrenzung einer ganzen Menschengruppe zu tun.
Automatiserte Systeme können auch unterschiedliche Preise verlangen, ohne dass es einen triftigen Grund dafür gäbe. Eine Studie der Universitäten Padua, Udine und Carnegie Mellon zeigte: Beim Online-Abschluss einer Kfz-Versicherung in Italien variieren die Preise für Kfz-Versicherungen abhängig vom Geburtsort und der Staatsbürgerschaft teils stark. Eine Person, die in Ghana geboren wurde, muss unter Umständen über 1.000 Euro mehr zahlen als eine in Mailand geborene Person mit einem ansonsten identischen Profil.
Solche Fälle machen deutlich: Prinzipiell kann algorithmische Diskriminierung zwar alle treffen, oft sind es aber Menschen, die durch ihre Herkunft gesellschaftlich ohnehin bereits anfällig für Diskriminierung sind. In den meisten Fällen bleibt die Diskriminierung unbemerkt, so dass Betroffene kaum die Möglichkeit haben, etwas dagegen zu unternehmen.
Wenn ein Blick in die Zukunft blind für die Gegenwart macht
CEOs großer Tech-Unternehmen malten jüngst Untergangsszenarien an die Wand: In einem offenen Brief warnten Elon Musk (Mitgründer von OpenAI, dem Unternehmen hinter ChatGPT), Steve Wozniak (Mitgründer von Apple) und viele weitere davor, dass die KI-Entwicklung außer Kontrolle geraten und eine zukünftige Super-KI der Menschheit den Garaus machen könnte. Statt sich in Sci-Fi-Phantasien zu verlieren, hätten sie besser etwas über die Probleme sagen sollen, für die Technologien Künstlicher Intelligenz bereits heute sorgen.
Bei AlgorithmWatch suchen wir Lösungen für die Probleme, die automatisierte Systeme tatsächlich verursachen. Deshalb setzen wir uns dafür ein, dass in Deutschland eine anstehende Reform des deutschen Antidiskriminierungsgesetzes (dem Allgemeinen Gleichbehandlungsgesetz) genutzt wird, um algorithmische Diskriminierung auf die politische Agenda zu setzen, damit Betroffene sich in Zukunft dagegen wehren können.
Mit einer Spende können Sie unsere Arbeit gegen soziale Ungerechtigkeit unterstützen.
Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zu ADM im öffentlichen Sektor.
