Wenn Algorithmen über den Job entscheiden

Erstveröffentlicht in der österreichischen Tageszeitung Die Presse am 20. Juli 2019

Stellen Sie sich vor, Sie suchen einen Job. Das Unternehmen, bei dem Sie sich bewerben, sagt Ihnen, dass das Bewerbungsverfahren viel einfacher wird, wenn Sie den Nutzernamen und das Passwort Ihres persönlichen E-Mail-Kontos übermitteln. Dann könnten nämlich Ihre E-Mails analysiert werden, um daraus ein Persönlichkeitsprofil zu erstellen. Sie müssen keinen komplizierten Fragebogen ausfüllen, denn das ist langweilig und auch viel weniger zuverlässig, als Ihre Mails auszuwerten, denn die sind viel schwieriger zu manipulieren. Am Ende gewinnen alle: Das Unternehmen, weil es viel exaktere Bewerbungsprofile bekommt und damit passendere MitarbeiterInnen, Sie, weil sie weniger Arbeit haben und einen Job finden, der besser zu Ihnen passt, und die Firma, die das Analyse-System anbietet, denn sie kann damit viel Geld verdienen.

Als wir bei der Recherche zu unserem Report Automating Society, einer Bestandsaufnahme von Systemen zum automatisierten Entscheiden in 12 EU-Ländern, auf dieses Beispiel stießen, waren wir erst einmal sprachlos. Es muss sich um einen Fehler handeln, dachten wir, und die Aussage der Analyse-Firma, dass keine BewerberIn je den Zugang zum E-Mail-Konto verwehrt habe, machte die Sache nicht besser. All das sei außerdem auch nach den hohen Datenschutzstandards der Europäischen Union völlig legal.

Es sind Fälle wie diese, die bei vielen Menschen Unbehagen, wenn nicht gar Angst auslösen. Davor, ausgespäht und überwacht zu werden, damit andere sich ein genaues Bild von Ihnen machen können, ohne dass man dieses Bild selber noch irgendwie unter Kontrolle hat. Davor, zum Objekt der Entscheidungen solcher Systeme zu werden, deren Funktion man nicht versteht, verstehen kann – zum einen, weil sie so komplex sind, zum anderen, weil diejenigen, die sei verwenden, nichts darüber verraten, wie sie funktionieren und zu welchen Zwecken sie eingesetzt werden.

Dieses Unbehagen ist zugleich berechtigt und ein Problem. Denn Automatisierung ist nichts Schlechtes – im Gegenteil: Wer wollte statt einer Tabellenkalkulation Bleistift und Papier benutzen, um Berechnungen mit großen Zahlen nach komplexen Formeln auszuführen? Wer möchte aus seinen E-Mails manuell unzählige Spam-Nachrichten herausfiltern? Und wer möchte zurück zu Katalogen von Webseiten, die man wie Gelbe Seiten nach Angeboten durchstöbert, statt einfach Stichworte in die Suchmaschine der Wahl einzugeben? Das sind nur Beispiele für Automatisierung, die wir täglich mehr oder weniger bewusst nutzen. Dazu kommen die Verfahren, ohne die unsere Gesellschaften überhaupt nicht funktionieren würde: vom automatisierten Datentransport, der den Kern des Internets ausmacht, bis zum automatisierten Elektrizitätsmanagement, ohne das unser Alltag zum Stillstand käme. Wir leben nicht nur schon sehr lange in einer automatisierten Welt, wir profitieren auch enorm von dieser Automatisierung.

Dass sowohl die Aufmerksamkeit für solche Prozesse, als auch die Skepsis ihnen gegenüber in den vergangenen Jahren gestiegen ist, liegt vor allem daran, dass Anbieter behaupten, Systeme entwickeln und einsetzen zu können, die automatisiert Entscheidungen treffen. Oft ist in diesem Zusammenhang die Rede von so genannter Künstlicher Intelligenz. Der Begriff ist äußerst unglücklich gewählt. Er erweckt bei vielen Menschen den Eindruck, hier seien Prozesse am Werk, die menschlicher Intelligenz vergleichbar sind, nur von Maschinen ausgeführt werden. Das ist nicht der Fall. Vielmehr handelt es sich um statistische Verfahren, die mitunter den Eindruck erwecken, als kämen die Ergebnisse ähnlich zustande wie bei menschlichem Denken. Doch nur weil ein Computer einen Menschen im Schachspiel besiegen kann, hat er darum noch keine Absichten, besitzt keine Kreativität und keine Autonomie – alles Eigenschaften, die den Menschen erst zum Menschen machen.

Um den falschen Eindruck nicht zu verstärken, sollten wir daher vielmehr von Systemen zum automatisiertem oder algorithmischen (Vor-)Entscheiden sprechen, von ADM-Systemen (automated decision-making). Hier werden menschliche Entscheidungen an automatisierte Systeme übertragen, indem ein von Menschen entwickeltes Entscheidungsmodell so in Software umgesetzt wird, dass eine Maschine es umsetzen kann. So wird etwa ein automatisiertes Auto mit einem System ausgerüstet, das in der Lage ist, Hindernisse zu erkennen und ihnen auszuweichen. Dass es Hindernissen ausweichen sollte, hat aber nicht das Auto oder sein Computersystem entschieden, sondern deren EntwicklerInnen. Daran ändert auch die Tatsache nichts, dass immer häufiger so genannte „selbstlernende“ Systeme eingesetzt werden, die im Lauf der Zeit Hindernisse immer besser erkennen. Die Entscheidung, diesen Hindernissen auszuweichen, statt sie zu überfahren, bleibt eine menschliche.

Was als akademische Spitzfindigkeit erscheinen mag, hat entscheidende gesellschaftliche Konsequenzen: Die Verantwortung dafür, welche Auswirkungen der Einsatz solcher Systeme hat, tragen immer Menschen, niemals Maschinen. Die Begründung „Das hat der Computer so entschieden“ kann Ausdruck von Hilfslosigkeit sein und auch das Ergebnis von gezielten (Falsch-)Darstellungen derjenigen, die sie einsetzen. Sie bleibt jedoch immer falsch, weshalb wir nicht zulassen dürfen, dass Menschen sich mit dieser Begründung ihrer Verantwortung entziehen.

Österreichs Arbeitsmarktservice (AMS) ist das beste Beispiel. Hier wurde ein statistisches Modell entwickelt, das auf Grundlage von Ausbildung, Geschlecht, bisheriger Erwerbskarriere, Alter, Staatsbürgerschaft und anderen Kriterien berechnen soll, welche Chancen Arbeitslose haben, wieder Arbeit zu finden. Dazu werden Menschen in drei Kategorien eingeteilt: solche mit hohen, mittleren und niedrigen Chancen, einen Arbeitsplatz zu finden. Konkret bedeutet das, dass ab 2020 Menschen in der mittleren Kategorie stärker gefördert werden sollen, während Arbeitssuchende mit hohen und niedrigen Chancen am Arbeitsmarkt weniger unterstützt werden.

Die Begründung: Ressourcen der Arbeitsmarktpolitik sollen effizienter eingesetzt und Arbeitssuchende treffsicherer gefördert werden. Ein Ziel, das wahrscheinlich in dieser allgemeinen Formulierung viele unterstützen würden. Das Problem daran: Die Gewichtung der verschiedenen Faktoren entspricht dem, was bisher der Fall ist. Zum Beispiel haben Frauen mit „Betreuungspflichten“ schlechtere Chancen, einen Job zu finden, als Frauen ohne diese Pflichten oder Männer mit Kindern, bei denen die Frage nach Betreuungspflichten erst gar nicht gestellt wird – sicher deshalb, weil die Pflichten so oft von Frauen übernommen werden, dass es sich bei ihnen auf ihre Arbeitssituation auswirkt, bei Männern jedoch nicht. Wenn nun aber diese Tatsache zur Grundlage des Modells wird, das über die Zukunft mitentscheidet, verstärkt es diese Situation.

Wer das als objektive Abbildung der Realität verteidigt, verkennt  den gesellschaftlichen Sprengstoff, der darin enthalten ist. Politik sollte die Aufgabe haben, eine gerechtere Welt herzustellen, mit gleichen Chancen für Teilhabe aller. Beim AMS wurde die Entscheidung getroffen, eine bestehende Ungerechtigkeit fortzuführen und damit zu verstärken – wohlgemerkt von Menschen. Der zu diesem Zweck entwickelte Algorithmus ist nichts weiter als der Umsetzungsmechanismus dieser politischen Entscheidung, für die sich die rechtfertigen und verantworten müssen, die sie getroffen haben.

Es ist die Blindheit für den politischen Kern vieler Automatisierungsprozesse, der berechtigte Kritik hervorruft. Denn die Risiken sind lange bekannt. Als beispielsweise IBM 1957 damit begann, die „Halb-Automatische Umgebung zur Unternehmensuntersuchung“ (Semi-Automated Business Research Environment, SABRE) zu entwickeln, um Tickets für die Flugzeuge von American Airlines zu verkaufen, ist es sicher nicht einfach nur blauäugig anzunehmen, dass damit auch ein gutes Ziel verfolgt wurde: Man wollten den bislang sehr umständlichen und fehleranfälligen Reservierungsprozess für die Fluglinie und die KundInnen verbessern. Im folgenden Vierteljahrhundert jedoch kam American Airlines darauf, dass man das System auch für andere Zwecke nutzen kann. Denn nachdem viele andere Fluglinien angefangen hatten, SABRE ebenfalls zu verwenden, begann American Airlines damit, es so zu manipulieren, dass die Angebote der Firma gegenüber anderen bevorzugt wurden. Reisende bekamen nicht mehr das günstigste Ticket angeboten, sondern das, das AA verkaufen wollte. In einer Anhörung des US-Kongresses gab sich AA-Präsident Robert L. Crandall unbeeindruckt von Vorwürfen, unfair gehandelt zu haben: „Die bevorzugte Anzeige unsere eigenen Flüge, und der dadurch erhöhte Marktanteil, war der wettbewerbliche Grund dafür, das System überhaupt erst zu entwickeln.“

In ihrer grundlegenden Untersuchung mit dem Titel „Auditing Algorithms“ (Algorithmen prüfen) haben Christian Sandvig und seine Ko-Autoren diese Sichtweise „Crandalls Klage“ getauft: Warum sollte man ein teures algorithmisches System entwickeln und einsetzen, wenn man es nicht zu seinen eigenen Gunsten beeinflussen kann? Die US-Regierung sah es jedoch anders als Robert Crandall und erließ 1984 einen heute wenig bekannten Paragrafen, den wohl ersten zur Algorithmenregulierung weltweit. Unter dem Titel „Darstellung von Informationen“ schreibt er vor, dass für Reservierungssysteme von Fluggesellschaften jeder Person auf Anfrage die aktuellen Kriterien offen zu legen sind, die diese Systeme nutzen, um Flüge zu klassifizieren, wie die Kriterien gewichtet werden und welche Vorgaben bei der Entwicklung des Algorithmus gemacht wurden.

Erstaunlich ist zu sehen, was in den 35 Jahren seit Verabschiedung dieses Gesetzes geschehen ist. Auf der einen Seite wurden immer bessere Systeme zur Automatisierung komplexer Vorgänge entwickelt, die einen gewaltigen Einfluss auf unser aller Leben haben und haben können. Drei Beispiele: In den Niederlanden versucht die öffentliche Verwaltung, „SozialbetrügerInnen“ zu identifizieren, indem sie Daten verschiedener Behörden kombiniert und von einem Algorithmus filtern lässt. In Dänemark will die Regierung ein System einführen, das automatisch aus Daten über Familien herauslesen soll, ob Kinder in Gefahr sind, vernachlässigt zu werden. In Polen werden Arbeitslosen bereits seit 2014 auf Basis einer automatisierten Klassifizierung Hilfen gewährleistet oder vorenthalten.

Auf der anderen Seite hat die Regulierung nicht Schritt gehalten. Wo 1984 bei einem kommerziellen System aus reinen Verbraucherschutzgründen Transparenz vorgeschrieben wurde, um erkennen zu können, ob Menschen in ihrer Eigenschaft als Konsumenten benachteiligt werden, zeigen das AMS-System und die genannten Beispiele, dass es längst um Entscheidungen geht, die viel stärker in unsere Rechte einschneiden. Doch darüber, wer diese Systeme zu welchem Zweck einsetzt, wer sie mit wem zusammen entwickelt, welche politischen und statistischen Modelle ihre Grundlage bilden und wer auf welche Art davon betroffen ist, darüber wird uns zu oft jegliche Auskunft verweigert:

Der Algorithmus des niederländischen Systems wird geheim gehalten; ein Netzwerk niederländischer Bürgerrechtsorganisationen hat auch auf eine Anfrage nach dem Informationsfreiheitsgesetzt von der Regierung keine Auskunft bekommen. Daraufhin hat das Netzwerk Klage eingereicht, die noch nicht entschieden ist. In Dänemark haben investigative Medienrecherchen zu massiven Protesten der Bevölkerung geführt, so dass die Regierung den Start des Programms Ende 2018 erst einmal auf unbestimmte Zeit verschoben hat. Und in Polen mussten Bürgerrechtsorganisationen auf Herausgabe von mehr Informationen klagen, um verstehen zu können, was passiert – um es dann scharf zu kritisieren. Doch erst als auch der polnische Bundesrechnungshof das System zerpflückte, weil es nicht nur ineffizient sei, sondern auch gesellschaftliche Gruppen diskriminiere, darunter alleinerziehende Mütter und Menschen mit Behinderungen, und das Verfassungsgericht entschied, dass die gesetzliche Grundlage für die Datenverarbeitung unzureichend sei, beschloss die Regierung, das System Ende 2019 einzustellen.

Es ist eines Rechtsstaats unwürdig und eine Bedrohung für die Demokratie, wenn Verfahren mit weitreichenden Auswirkungen auf Individuen und Gesellschaft geheim gehalten werden. Doch Forderungen nach mehr Transparenz werden oft mit drei Argumenten gekontert: 1. Derartige Verfahren unterliegen meist dem Schutz von Geschäfts- und Betriebsgeheimnissen der Firmen, die sie entwickelt haben. 2. Einen Algorithmus offen zu legen ist weder notwendig noch hinreichend – nicht notwendig, weil die Funktionsweise auch beschrieben werden kann, ohne den Code zu veröffentlichen und ohnehin die Auswirkungen entscheidend seien, nicht das Verfahren; nicht hinreichend, weil der Algorithmus nicht allein entscheidend sei, sondern auch die Daten, mit denen er arbeitet, und sich das Verfahren auch sehr dynamisch verändern kann, vor allem, wenn selbstlernende Techniken eingesetzt werden. 3. Transparenz allein nützt nichts, weil sie weder dazu führt, dass man einem System nicht mehr ausgeliefert ist, noch Widerspruchsmöglichkeiten mit sich bringt oder einen Anspruch auf Wiedergutmachung, etwa durch Schadensersatz.

All das ist richtig. Daher muss klar sein, dass Transparenz an sich kein Heilmittel ist. Aber sie ist eine entscheidende Voraussetzung für den demokratischen Umgang mit automatisierten Systemen. Erst wenn wir wissen, aus welchem Grund sie eingesetzt werden – soll lediglich Geld gespart werden, oder ist ein Problem so komplex, dass man es anders nicht glaubt lösen zu können? –, zu welchem Zweck sie eingesetzt werden, wer von ihnen auf welche Art betroffen ist, wer sie entwickelt hat – eine Behörde allein, mit Hilfe eines kommerziellen Unternehmens, das Unternehmen allein – und auf welchen Annahmen es beruht, können wir entscheiden. Entscheiden, ob wir überhaupt damit einverstanden sind, dass das System zum angegebenen Zweck eingesetzt wird – oder ob wir beispielsweise niemals die Entscheidung über Freiheitsentzug automatisiert treffen lassen wollen. Wenn wir grundsätzlich einverstanden sind, wollen wir entscheiden können, wie viel Auskunft über die Funktionsweise wir brauchen, um darauf zu vertrauen, dass das System angemessen arbeitet. Und wenn wir es für angemessen halten, dass der Code zum Beispiel staatlichen Behörden gegenüber offen gelegt wird, dann muss sich dem auch ein Unternehmen beugen, dass ein solches System verkaufen oder einsetzen will. Dann kann es etwa in so genannten „in camera“-Verfahren von bestimmten ExpertInnen untersucht werden, die zur Verschwiegenheit verpflichtet sind. Und wenn wir die Funktionsweise ausreichend gut kennen, müssen wir entscheiden, welche Art von Kontrolle und Aufsicht wir für angemessen halten, und welche Art von Widerspruchsmöglichkeiten wir brauchen, um nicht zu hilflosen Objekten der Automatisierung zu werden.

Diese Forderungen sind also erst einmal die Grundlage für den regulatorischen Rahmen, den wir entwickeln müssen, um Systeme zum automatisierten Entscheiden so einzusetzen, dass sie das Gemeinwohl stärken, und gleichzeitig verhindern, dass sie es schwächen – indem bestimmte Personengruppen ausgeschlossen und benachteiligt werden und den Ertrag lediglich einige Unternehmen abschöpfen.

Und schließlich: Die Frage, ob Automatisierung unseren Gesellschaften, uns Bürgerinnen und Bürgern nützt oder ihnen schadet, ist in erster Linie eine politische Frage. Darum sollte sich auch niemand weismachen lassen, es könne sich nur an der Diskussion beteiligen, wer Mathematik oder Informatik studiert hat. Sie gehört in die Mitte der Gesellschaft. Denn selbst, wenn sich nicht herausgestellt hätte, dass die finnische Firma, die auf Grundlage privater E-Mails angeblich Persönlichkeitsprofile erstellt, niemals auch nur einen Kunden hatte und nur vom Hype um die so genannte Künstliche Intelligenz profitieren wollte – wie es derzeit viele Unternehmen tun –, wäre die Frage, ob ihr Angebot legitim ist, niemals eine technische Frage gewesen.