Diskriminierende Anzeigen: KI ist auch keine Lösung

Das automatisierte Werbesystem auf Facebook ist sehr gut und effizient darin, Nutzer*innen gezielt Anzeigen zu sehen lassen, auf die sie am wahrscheinlichsten klicken werden. Diese Optimierung hat jedoch einen Nachteil: Das System schließt bestimmte Personen davon aus, die gleichen Anzeigen zu sehen, wodurch sich Vorurteile und gesellschaftliche Ungleichheit verstärken können.

Jobanzeigen für Lkw-Fahrer*innen werden zum Beispiel auf Facebook überwiegend Männern angezeigt, weil der Algorithmus festgestellt hat, dass Männer eher auf solche Anzeige klicken. Als AlgorithmWatch in Deutschland auf Facebook versuchsweise eine Anzeige für Lkw-Fahrer schaltete, wurde sie 4.864-mal Männern angezeigt, aber nur 386-mal Frauen.

Auch wenn Werbetreibende auf die explizite Auswahl einer Zielgruppe verzichten, blendet der Algorithmus trotzdem bestimmte Gruppen aus. So eine algorithmische Diskriminierung kann systematisch diejenigen betreffen, die bereits gesellschaftlich benachteiligt sind, was besonders problematisch ist, wenn die jeweiligen Werbetreibenden Arbeitgeber, Vermieter*innen oder Kreditagenturen sind.

Das europäische Recht verbietet Diskriminierung aufgrund bestimmter geschützter Kriterien wie Rasse und Geschlecht. Algorithmische Diskriminierung aufgrund dieser Kriterien ist also illegal. Diskriminierte Personen erkennen allerdings selten, dass ihre Rechte verletzt wurden. Im Fall der Stellenanzeige sehen die diskriminierten Menschen sie ja gar nicht erst. Dementsprechend selten gehen sie auch rechtlich dagegen vor.  

Meta hat das Problem jahrelang ignoriert, obwohl immer mehr Beweise für eine ungleich verteilte Anzeigenschaltung in den USA und in Europa auftauchten. Dem Unternehmen ist es weitgehend gelungen, sich aus der rechtlichen Verantwortung für die auf seiner Plattform stattfindende algorithmische Diskriminierung zu stehlen.

Im Juni 2022 änderte sich das, als Meta nach einer Reihe von Klagen der American Civil Liberties Union (ACLU) und anderer Bürgerrechtsgruppen mit dem US-Justizministerium einen Vergleich abschloss. Dieser Vergleich verpflichtete das Unternehmen dazu, dass Wohnungsanzeigen auf der Plattform nicht mehr nur bestimmten Nutzer*innen angezeigt werden.

Meta erklärte sich bereit, das Tool „Special Ad Audiences“ zu entfernen, mit dem Werbetreibende indirekt Profile erstellen und gezielt bestimmte Zielgruppen ansprechen konnten. Meta sollte außerdem ein neues „Variance Reduction System“ (VRS) zum Einsatz bringen, um dafür zu sorgen, dass die für Werbeanzeigen eingesetzten Algorithmen Maschinellen Lernens weniger diskriminierend sind – vor allem was Wohnungsanzeigen und die in ihnen zu findende geschlechtsbasierte und rassistische Diskriminierung angeht.

Das VRS ist nicht dazu da, Klicks zu optimieren, sondern soll dafür sorgen, dass bei den geschalteten Anzeigen alle werberelevanten Zielgruppen gleichermaßen genau angesteuert werden. Sobald eine Anzeige von einer bestimmten Anzahl von Nutzer*innen gesehen wurde, bestimmt das VRS deren Alter und Geschlecht und schätzt, wie unter ihnen die „ethnischen Zugehörigkeit“ (im amerikanischen Raum ist es üblich, nach „Rasse“ zu kategorisieren) verteilt ist. Diese Daten vergleicht das VRS dann mit den Daten der potenziellen Zielgruppen und passt die Anzeigenschaltung so an, dass sie gleichmäßig verteilt ist.

Ein Jahr nach der Einigung mit dem US-Justizministerium behauptet die Beratungsfirma Guidehouse in einem von ihr erstellten Compliance-Bericht, dass Metas VRS wie vorgesehen funktioniert. Doch der Bericht hat Lücken, weshalb diese Behauptung schwer zu überprüfen ist. Aber auch wenn die Zahl diskriminierender Wohnungsanzeigen in den USA tatsächlich eingedämmt wurden: Auf Facebook sind diskriminierende Anzeigen aus anderen Bereichen nach wie vor weit verbreitet. Das betrifft auch in Europa geschaltete Anzeigen, wo das VRS wahrscheinlich nicht umgesetzt wird.

Metas freiwillige Selbstregulierung mag ein kleiner Sieg für US-Bürgerrechtsgruppen sein. Sie zeigt aber auch, dass Meta die Risiken seines Systems für zielgerichtete Werbung nicht konsequent reduziert. Sie werden unkontrolliert bleiben, solange Regulierungsbehörden nicht eingreifen.

Was wird geprüft?

Meta hatte Guidehouse (ein Spin-off-Unternehmen der Big-Four-Wirtschaftsprüfungsgesellschaft PwC) damit beauftragt, als unabhängiger Dritter zu überprüfen, ob die Vorgaben für das VRS eingehalten werden. Im ersten Bericht vom Juni 2023 bestätigt Guidehouse, dass Meta die relevanten VRS-Metriken eingehalten habe. Dies gelte für die Kategorien „Geschlecht“ und „Rasse/Ethnizität“ bei Wohnungsanzeigen mit mindestens 300 Anzeigenaufrufen sowie für Wohnungsanzeigen mit mehr als 1.000 Aufrufen.

Der Bericht halte einer externen Überprüfung nicht stand, sagt Daniel Kahn Gillmor, ein technologischer Datenschutzbeauftragter der ACLU. Der Bericht konzentriere sich übermäßig auf technische Details, ohne alle wichtigen technischen Fragen zu beantworten. Gillmor bemängelt auch, dass Guidehouse offenbar von Meta keinen Zugang zu den internen Daten erhalten habe, um eine gründliche Prüfung durchzuführen. Stattdessen seien nur die von Meta zur Verfügung gestellten Tabellen überprüft worden – und diese Tabellen ließen entscheidende Informationen aus.

In den Daten wird zum Beispiel nicht aufgeschlüsselt, wie viele Aufrufe jeweils Wohnungsanzeigen hatten, die die Marke von 1.000 Anzeigenaufrufe überschritten. Wir wissen also nicht, ob manche Anzeigen eine Million Mal angezeigt wurden. Meta gibt außerdem nicht an, wie viele Nutzer*innen es gab, denen das System keine Ethnie und kein Geschlecht zuordnen konnte.

Die Kategorien „Geschlecht“ und vor allem „Rasse“ sind ohnehin fragwürdig, da es keine unstrittigen Merkmale wie die Größe oder das Alter sind. Meta selbst hat eingeräumt, dass das statistische Modell, das dem VRS zugrunde liegt, für People of Color weniger genau sein kann als für Weiße.

Gillmor meint aber, dass abgesehen von diesen grundsätzlichen Bedenken Meta keine perfekten Konzepte für die Kategorien „Geschlecht“ und „Rasse/Ethnizität“ benötige, um seinen Algorithmus zur Vermeidung von Diskriminierung auszuführen. Aber die Prüfer*innen brauchen bessere Daten, um beurteilen zu können, ob das System effektiv ist oder nicht. Und sie sollten zumindest eine ungefähre Vorstellung davon haben, wie viel Datenmaterial Meta ihnen vorenthält. „Hier fehlen viele Teile und ich kann nicht sagen, ob Guidehouse sie von Facebook bekommen hat. Als Prüfer würde ich von einer Organisation wie Guidehouse erwarten, dass sie wesentliche Daten einfordert, ohne die eine sinnvolle Prüfung nicht möglich ist.“ Guidehouse solle zumindest dokumentieren, wie groß die Datenlücke ist. Jetzt scheint sie so groß zu sein, dass fraglich ist, ob Metas Daten zum VRS korrekt erhoben wurden.

Was bringt das Ganze?

Muhammad Ali befasst sich als Postdoktorand an der Northeastern University in Boston mit verantwortungsvoller KI. Er ist Mitverfasser eines einflussreichen Papers aus dem Jahr 2019, in dem beschrieben wird, wie die Anzeigenschaltung von Facebook zu voreingenommenen Ergebnissen führen kann. Zwar stecke hinter dem VRS eine große Anstrengung, aber in seinen Augen habe es keine Auswirkungen auf die eigentlichen Probleme mit dem Anzeigenoptimierungssystem des Unternehmens. „Vom technischen Standpunkt aus gesehen ist es sehr lobenswert, was sie aufgebaut haben“, sagt er mit Verweis auf ein Paper, in dem zwölf Meta-Ingenieur*innen detailliert die Methoden hinter dem VRS beschreiben. „Aber es ist ein seltsam komplexes System, um ein überschaubares Problem zu beheben [die Platzierung von Wohnungsanzeigen], weil es gesetzlich vorgeschrieben ist.“ Letztlich sei dies aber ein Symptom für die Art und Weise, wie das System aufgebaut ist.

Meta hat angekündigt, das VRS auch bei Kredit- und Stellenanzeigen in den USA anwenden zu wollen. Allerdings, so Ali, sei nicht zu erwarten, dass es ohne einen immensen technischen Aufwand in absehbarer Zeit auf Länder außerhalb der USA ausgeweitet werden könne. Das VRS beruhe nämlich auf einem Modell, das auf Volkszählungsdaten (wie Adressen und Nachnamen) zugreift, um die „Rasse/Ethnizität“ der Zielgruppen zu veranschlagen. „In einem Land wie Indien, in dem es eine Kastenzugehörigkeit gibt, sind keine Datensätze vorhanden, um diese Kastenzugehörigkeit anhand der Nachnamen zu bestimmen. Also müssten zuerst solche Daten gesammelt werden, um ein völlig anderes System zu entwickeln“, führt er aus. Solche Probleme ließen sich zwar mit dem entsprechenden Aufwand in den einzelnen Ländern beheben, aber trotzdem würden sie immer wieder auftreten.

Neben Stellen-, Wohnungs- und Kreditanzeigen gäbe es zudem eine Reihe von weiteren problematischen Anzeigen. Wenn jemand sich zum Beispiel für Diäten interessiere, könnten dieser Person auf der Plattform viele Werbeanzeigen für Abnehmprodukte angezeigt werden. Wenn sich jemand für Glücksspiele interessiere, sieht diese Person wiederum vielleicht viele Anzeigen für Online-Spielautomaten und Wettmöglichkeiten. Wenn es also um gezielte Werbung geht, müssen Menschen mit persönlichen Schwächen wie Suchtproblemen oder Problemen mit ihrem Körperbild geschützt werden. Das kann jedoch nicht geschehen, solange das System auf Profit ausgerichtet ist und nicht auf Vorteile für Nutzer*innen.

Was sagen die EU-Verordnungen?

Das neue EU-Gesetz über Digitale Dienste (Digital Services Act, DSA) gilt jetzt für die größten in der EU tätigen Plattformen und Suchmaschinen. Plattformen dürfen keine Werbung mehr schalten, die auf „sensiblen“ Datenkategorien basiert: etwa „Rasse“, Geschlecht, Religion und sexuelle Orientierung. Darüber hinaus sind sie verpflichtet, „systemische Risiken“ zu ermitteln und einzudämmen, die sich aus ihren Diensten ergeben, etwa negative Auswirkungen auf die Grundrechte und das in Artikel 21 der EU-Charta verankerte Diskriminierungsverbot.

Diese Rechtsvorgaben sollten Metas diskriminierende Anzeigenschaltung eigentlich unterbinden. Im Moment scheinen die Instanzen, die den DSA umsetzen sollen, allerdings mehr damit beschäftigt zu sein, illegale Kriegsinhalte einzudämmen, als sich mit grundsätzlichen Problemen wie algorithmischer Diskriminierung oder potenziellen Gesundheitsrisiken zu befassen, die sich aus der algorithmischen Optimierung des Targetings von Werbezielgruppen ergeben.

Metas Ansatz, um algorithmische Diskriminierung bei der Anzeigenschaltung zu verhindern, wird keinen Einfluss auf die Risiken haben, die das System für zielgerichtete Werbung mit sich bringt. Das Unternehmen müsste grundlegende Änderungen an seinem werbebasierten Geschäftsmodell vornehmen, um es mit dem Gesetz in Einklang zu bringen. Das betrifft nicht nur den DSA: Der Europäische Datenschutzausschuss hat entschieden, Metas Targeting-Werbepraktiken im Rahmen der Datenschutz-Grundverordnung (DSGVO) zu verbieten. Meta hofft nun, die in der DSGVO geforderte Einwilligung von Nutzer*innen in die Verarbeitung ihrer Daten mit einem werbefreien Abonnement zu erfüllen, bei dem die Nutzer*innen letztlich für ihre Privatsphäre bezahlen.

Für die europäischen Regulierungs- und Aufsichtsbehörden ist es lehrreich, wie Meta mit dem VRS umgeht. Sie werden demnächst eine Reihe von Berichten bewerten, die die Big-Tech-Konzerne eingereicht haben, um zu dokumentieren, wie sie den DSA-Vorschriften nachkommen. Die Prüfungsanforderungen hinsichtlich des VRS unterliegen der US-amerikanischen Aufsicht. Sie ähneln den komplexeren Anforderungen, die im DSA festgelegt sind.

Der DSA schreibt vor, dass die größten in der EU tätigen Technologieplattformen und Suchmaschinen sich jährlich Prüfungen durch unabhängige Instanzen unterziehen müssen. Diese Prüfungsinstanzen werden wie Guidehouse von den Technologieunternehmen beauftragt. Sie werden einen privilegierten Zugang zu Daten und Mitarbeiter*innen erhalten, um zu überprüfen, ob die Unternehmen ihrer Verpflichtung nachkommen, systemische Risiken zu erkennen und zu bekämpfen.

Prüfungen systemischer Risiken finden bereits statt. Unklar ist jedoch, wie die Plattformen sie definieren, ermitteln und vermeiden wollen. Solange die Regulierungsbehörden keine Leitlinien für die Bewertung der Systemrisiken festlegen, werden die Plattformen den Prüfungsinstanzen eigene Maßstäbe zur Bewertung ihrer Maßnahmen vorlegen. Die Prüfungen könnten daher mit den Methoden und Standards der Tech-Konzerne weichgespült werden, was ihre Wirksamkeit und Zuverlässigkeit untergraben würde. Die Unabhängigkeit der Prüfungsinstanzen ist ohnehin ein fragiles Gebilde, da solche Prüfungsaufträge für sie lukrativ sind.

Wir brauchen stärkere externe Kontrollen

Unabhängig von den Ergebnissen dieser Risikobewertungen und Audits wird die Öffentlichkeit bald mit Compliance-Berichten von Big-Tech-Unternehmen überrollt werden. Ende Oktober wurde die erste Runde der DSA-Transparenzberichte von einigen der größten Plattformen veröffentlicht. Voraussichtlich Ende nächsten Jahres werden überarbeitete Prüfberichte darüber folgen, wie die Plattformen die Risiken ihrer Systeme bewerten.

Diese Art von Transparenz ist eine gute Hilfe, weil Regulierungs- und Aufsichtsbehörden ebenso wie zivilgesellschaftlichen Organisationen dadurch Informationen erhalten, mit denen sie arbeiten können. Aber das wird viele weiteren Fragen aufwerfen, die angesichts des begrenzten Auskunftwillens der Plattformen die Grenzen dieser Berichte aufzeigen dürften.

Neben offiziellen Audits (sei es nach US-amerikanischem oder EU-Recht) sind unabhängige kontradiktorische Audits zur Prüfung algorithmischer Plattformsysteme notwendig. Kontradiktorische Prüfungen werden von Einzelpersonen und Organisationen durchgeführt, die nicht auf der Gehaltsliste von Meta (oder einem anderen Big-Tech-Unternehmen) stehen. Dann bestünde auch kein Interessenskonflikt für die Prüfer*innen.

Um die Werbesysteme auf Facebook unabhängig prüfen zu lassen, muss Meta Forschung im öffentlichen Interesse zulassen. Das würde zum Beispiel beinhalten, Konten für Pseudo-Nutzer*innen einzurichten, um so genannte „Sockenpuppen“-Audits durchzuführen, bei denen getestet wird, welche Anzeigen Nutzer*innen mit bestimmten Profilen angezeigt wird. Forscher*innen sollte es außerdem erlaubt sein, Datenspenden von echten Nutzer*innen zu sammeln. Meta wendete aber der Vergangenheit Projekten gegenüber, die solche Methoden eingesetzt haben, eine Einschüchterungstaktik an, die dazu führte, dass die Projekte abgebrochen werden mussten.

Der DSA könnte solche Forschungsprojekte schützen, indem er einen rechtlichen Rahmen für den Zugang zu Plattformdaten einführt, doch dieser Prozess dauert noch an. Die Europäische Kommission muss die Details dazu noch in einer sogenannten delegierten Verordnung ausarbeiten, die Anfang nächsten Jahres stattfinden soll. Allerdings würde selbst solch ein Rechtsrahmen nicht verhindern, dass die großen Plattformbetreiber Forscher*innen verklagen können, deren Ergebnisse ihnen nicht gefallen.

Es ist also mit großen Problemen verbunden, die Forschung im öffentlichen Interesse zu stärken. Wir brauchen so eine Forschung allerdings, um Big Tech für Risiken zur Rechenschaft zu ziehen, die in den von den Konzernen eingereichten Transparenzberichten möglicherweise nicht auftauchen. Solange keine besseren Bedingungen für eine Forschung im öffentlichen Interesse bestehen, werden die Plattformkonzerne in den Compliance-Berichten selbst erklären, wie gut sie die DSA-Vorschriften einhalten. Ihre Sicht der Dinge ersetzt aber keine neutrale Beurteilung.

Meta verzichtete auf eine Stellungnahme und verwies auf die öffentlichen Angaben zum VRS. Guidehouse wollte keinen Kommentar abgeben und begründete es damit, vertrauliche Informationen über ihre Kunden schützen zu müssen.