Algorithmische Diskriminierung melden!

Institutionen nutzen in allen möglichen Bereichen algorithmische Entscheidungssysteme: Steuererklärungen werden automatisch bearbeitet, Bewerbungen bewertet, Empfehlungen gegeben, Straftaten „vorausgesagt“ oder die Wahrscheinlichkeit errechnet, nach der Geflüchtete in den Arbeitsmarkt integriert werden können. Solche Systeme sind aber keineswegs neutral. Ihre Funktionsweise wird von Menschen und ihren jeweiligen Vorurteilen und Interessen beeinflusst. Deshalb können die Systeme Diskriminierungsmuster reproduzieren, die in der Gesellschaft verbreitet sind, und auf diese Weise Menschen algorithmisch diskriminieren. Weitere Hintergrundinformationen findest du hier.

Berichte uns von dem Vorfall, wir werden der Sache nachgehen. Je häufiger solche Vorfälle öffentlich werden, desto mehr Menschen werden auf das Thema aufmerksam und desto eher verbreitet sich das Wissen, was gegen algorithmische Diskriminierung getan werden kann. Wenn ein öffentliches Bewusstsein dafür vorhanden ist, können wir uns besser für Schutzmaßnahmen einsetzen und Druck auf die Politik ausüben, sich dem Problem anzunehmen.

Außerdem können Antidiskriminierungsstellen beurteilen, ob ein Fall von Diskriminierung vorliegt, sei es die Antidiskriminierungsstelle des Bundes oder eine lokale Beratungsstelle. In manchen Fällen kann es auch sinnvoll sein, sich an Verbraucherschutz-Organisationen zu wenden.

Nicht alle Fälle von Diskriminierung können vor Gericht gebracht werden. In Deutschland gilt das Allgemeine Gleichbehandlungsgesetz (AGG). Es legt sechs Kategorien fest, um gegen Diskriminierung aufgrund dieser Merkmale zu schützen: ethnische Herkunft, Geschlecht, Religion oder Weltanschauung, Behinderung, Alter und sexuelle Identität. Wenn du glaubst, wegen eines dieser Merkmale diskriminiert worden zu sein, sind rechtliche Schritte möglich.

Das Allgemeine Gleichbehandlungsgesetz gilt aber nur für bestimmte Lebensbereiche, zum Beispiel in der Bildung und bei der Arbeit oder beim Zugang zu Dienstleistungen und Gütern. Noch sind Menschen nicht ausreichend vor einer Diskriminierung durch staatliche Behörden geschützt.

Automatisierte Entscheidungssysteme sind heutzutage fast überall zu finden. Wenn zum Beispiel in einem Online-Shop ein Kauf auf Raten als bevorzugte Zahlungsoption angeklickt wird, wird in der Regel automatisch eine Bonitätsprüfung eingeleitet. Unternehmen setzen immer stärker Algorithmen ein, um Personalentscheidungen zu treffen und Arbeitsprozesse zu koordinieren. Behörden nutzen Algorithmen manchmal offen und manchmal im Hintergrund: bei Steuerbescheiden, bei der Vergabe von Kitaplätzen, bei der Polizeiarbeit oder auch im Justizwesen.

Eine ungleiche Behandlung stellt sich oft erst heraus, wenn unterschiedliche Personen mit demselben System unterschiedliche Erfahrungen gemacht haben. Wenn einer Person für eine Dienstleistung ein anderer Preis angezeigt als einer anderen oder wenn ein Antrag abgelehnt wird und ein ähnlicher Antrag angenommen, könnte das darauf zurückzuführen sein, dass eine automatisierte Risikobewertung Daten unterschiedlich bewertet. Wenn etwa die Wahrscheinlichkeit, einen Versicherungsanspruch geltend zu machen, automatisiert höher angesetzt wird, dann kann sich daraus ein höherer Preis ergeben. So etwas kann natürlich auch passieren, wenn Menschen Anträge bearbeiten. Unsere Aufgabe wäre es herauszufinden, ob automatisierte Systeme systematisch ungerechte Entscheidungen treffen und viele Menschen davon betroffen sein könnten.

Diskriminierung ist oft nicht sofort erkennbar. Wenn beispielsweise die Polizei ein Tool einsetzt, um auf der Grundlage bestimmter Kriminalitätsstatistiken automatisch einen Plan für Patrouillen zu erstellen, können bestimmte Stadtteile stärker davon betroffen sein. Für Außenstehende wäre es in einem solchen Fall nicht ersichtlich, dass ein automatisiertes System der Grund für die erhöhte Polizeipräsenz in einem bestimmten Gebiet ist.

Bitte schildere uns deine Erfahrungen und erläutere kurz, inwiefern du den Vorfall als ungerecht oder diskriminierend empfunden hast. Du kannst auch Dateien hochladen, die den Fall dokumentieren oder ihn verständlicher machen: zum Beispiel Fotos von Briefen oder Screenshots von Websites, Formularen oder Web-Anwendungen. Du kannst uns stattdessen auch eine kurze Sprachnachricht oder ein Video schicken, um den Fall zu schildern.

Eine Nachricht an uns könnte ungefähr so aussehen:

„Liebes AlgorithmWatch-Team,

vor Kurzem habe ich für meine Versicherung X ein Online-Formular ausgefüllt. Sie hat mir daraufhin ein Angebot geschickt, in dem ein höherer Preis veranschlagt war als jemand zahlen muss, den ich kenne. Ich glaube, dass das automatisierte Preissystem bei meinen Profildaten von einem größeren Schadensrisiko ausgeht. Meine persönliche Situation sieht nämlich folgendermaßen aus…“

Bitte beachte: Algorithmen diskriminieren anders als Menschen und nicht unbedingt so, dass es auf Anhieb nachvollziehbar wäre. Ein System kann zum Beispiel aus manchen persönlichen Daten abwegige Schlussfolgerungen ableiten oder sie in spezielle Gruppenkategorien einordnen, die diskriminierend sein könnten, zum Beispiel „Hundehalterinnen über 40, die im Postleitzahl-Gebiet 00000 wohnen“. Von daher ist es wichtig, an alle Angaben zu denken, die du zum Beispiel beim Ausfüllen eines Formulars oder bei einer Bestellung gemacht hast.

Wir setzen uns als Organisation dafür ein, dass Algorithmen und Künstliche Intelligenz (KI) Gerechtigkeit, Demokratie, Menschenrechte und Nachhaltigkeit stärken, statt sie zu schwächen. Wir führen journalistische Recherchen durch, betreiben akademische Forschung und setzen uns für einen besseren Schutz vor algorithmischer Diskriminierung ein. Dazu gehört, Unternehmen in die Pflicht zu nehmen, Medien und die Öffentlichkeit auf Probleme aufmerksam zu machen und Politiker*innen daran zu erinnern, dass sie den Grundrechtsschutz einhalten müssen. Deine persönlichen Erfahrungen helfen uns dabei, Betreiber diskriminierender Systeme mit Beweisen dazu zu bringen, nötige Korrekturen vorzunehmen und uns für notwendige Regulierung einzusetzen.

AlgorithmWatch bietet eine erste Anlaufstelle bei algorithmischer Diskriminierung an und ordnet ein, was hinter dem Phänomen steckt. Wir verfolgen Fälle, wenn wir Hinweise dazu erhalten, dass der Einsatz von KI-Systemen zu ungerechten Effekten führt. AlgorithmWatch ist allerdings keine offizielle Beratungsstelle und kann keine juristischen Einschätzungen abgeben. Wir empfehlen daher, sich immer auch bei Gleichbehandlungs- oder Beratungsstellen zu melden, die rechtliche Beratung anbieten. Dazu stellen wir eine Liste mit Gleichbehandlungsstellen in Deutschland und der EU zur Verfügung, an die du dich zusätzlich wenden kannst. Unsere Kolleg*innen von AlgorithmWatch CH helfen Menschen mit Wohnsitz in der Schweiz weiter.

Persönliche Daten wie dein Name, deine E-Mail-Adresse oder deine Telefonnummer werden wir ausschließlich zur Kommunikation mit dir verwenden. Es besteht immer die Möglichkeit, einen Fall anonym zu schildern, ein Pseudonym zu verwenden oder eine weitere Kontaktaufnahme abzulehnen. Bitte gib deinen Wunsch in unserem Formular an und sag uns, ob und/oder in welchem Umfang wir die von dir mitgeteilten Informationen verwenden dürfen. Dabei müssen wir die Privatsphäre aller beteiligten Personen berücksichtigen und bitten dich, nicht Daten von Dritten an uns weiterzugeben. Weitere Informationen findest du in unserer Datenschutz-Richtlinie.

Das AlgorithmWatch-Team in Deutschland kümmert sich um Fälle, die in der EU stattgefunden haben, während unser Schweizer Team Fälle aus der Schweiz betreut. Wenn ein Fall woanders aufgetreten ist oder du dir nicht sicher bist, ob du den Vorfall melden sollst, nimm bitte trotzdem Kontakt zu uns auf. Vielleicht kennen wir Anlaufstellen, die dir mit ihrer regionalen Expertise weiterhelfen können. Die jeweiligen Kontaktinformationen findest du unten auf dieser Seite.