Das Jahr, in dem automatisierte Systeme kein Teil der Lösung waren – 2021 im Rückblick

Hochwasser sind in Rheinland-Pfalz, das geologisch von Mittelgebirgen und Flusstälern geprägt ist, ein beständiges Problem. Deshalb betreibt das Landesamt für Umwelt Rheinland-Pfälz ein automatisches Überwachungsnetz. Es besteht aus 145 Pegelstationen mit 90 bis 300 Sensoren, die die Wasserstände aller großen Flüsse der Region messen. Darüber hinaus nutzt das Netz die Daten von weiteren 120 Messstationen, die dem Bund oder den Nachbarländern gehören, um die Oberläufe zu überwachen.

Jede Station misst alle 5 Minuten automatisch den Wasserstand. Alle 15 Minuten errechnet ein Programm den Durchschnitt der letzten drei Messungen und sendet ihn an die Datenbank des rheinland-pfälzischen Umweltamts.

Zweimal täglich führt ein automatisiertes System eine Simulation durch. Dafür verwendet es LARSIM (Large Area Runoff Simulation Model), einen Algorithmus, den das Landesumweltamt zusammen mit den Umweltbehörden der benachbarten Länder entwickelt hat, und erstellt eine Vorhersage der Wasserströme. Wenn Überschwemmungsgefahr besteht, wird die Simulation sogar alle drei Stunden ausgeführt. Sagt LARSIM für einen Fluss voraus, dass ein vorher festgelegter Richtpegel überschritten wird, sendet ein anderes System eine E-Mail – in der die Informationen auch grafisch aufgearbeitet sind – an diejenigen Gemeinden, in denen ein Hochwasser wahrscheinlich ist.

Ein weiteres automatisiertes System sendet die Daten an KATWARN, eine Smartphone-App, die knapp vier Millionen Menschen in Deutschland heruntergeladen haben. Die App versendet im Notfall ortsspezifische Warnungen, die ebenfalls auf der KATWARN-Website angezeigt werden.

Beide Systeme können von den verantwortlichen Menschen außer Kraft gesetzt werden. Sie können die Simulationen jederzeit neu starten, zum Beispiel wenn die tatsächlich gemessenen Niederschlagsmengen oder Wasserstände nicht mit den Prognosen übereinstimmen.

Am 8. Juli 2021 sagten europäische Wetterdienste ein schweres Tief voraus, das in der darauffolgenden Woche Rheinland-Pfalz treffen sollte. Am 14. Juli schickte das an LARSIM angeschlossene System automatisierte E-Mails an die lokalen Behörden an der Ahr, die davor warnten, dass schwere Überschwemmungen drohten. Die E-Mails wurden um 15.26 Uhr, 18.26 Uhr und 21.26 Uhr verschickt. Am selben Tag, um 11.17 Uhr, übermittelten die Systeme eine „rote“ Warnung an KATWARN, die um 17.17 Uhr auf „violett“ erhöht wurde, die höchste Warnstufe.

Und dann geschah nichts.

Während das Wasser im Ahrtal stieg, gab die Kreisverwaltung, die allein zuständig ist, erst um 23:09 Uhr eine Evakuierungsanordnung heraus. Zu diesem Zeitpunkt lag die Ahr bereits etwa fünf Meter über ihrem normalen Pegel (wie hoch genau ist nicht ermittelbar, da die Fluten kurz nach 20.45 Uhr den Pegel bei Stand 5,75 Meter weggerissen hatten).

In der für die Gegend wohl schlimmsten Katastrophe der letzten zweihundert Jahre starben in dieser Nacht 134 Menschen. Die Staatsanwaltschaft ermittelt gegen den Landrat von Ahrweiler wegen fahrlässiger Tötung.

Am 14. Juli 2021 erfüllte ein gut funktionierendes automatisches System die Aufgabe, für die es gebaut worden war. Menschliche Entscheidungsträger versäumten es jedoch, die notwendigen Maßnahmen zu ergreifen.

Maschinen haben die Oberhand, Menschen hinken hinterher

Automatisierte Systeme und Künstliche Intelligenz (KI) werden als Wundermittel gegen die Klimakrise gepriesen. Das Jahr 2021 hat gezeigt, dass es wichtiger ist, wie Politiker·innen handeln.

Die Staats- und Regierungschefs der Welt trafen sich im November in Glasgow und scheiterten zum 26. Mal (!) daran, eine Lösung für die Klimakrise zu finden. Der japanische Technologiekonzern Hitachi, ein Sponsor der Konferenz, trompetete wie erwartet KI-Propaganda hinaus („Können Technologie und Daten den Klimawandel bekämpfen? Die Antwort ist ein eindeutiges JA!“, hieß es in einer Konferenzpräsentation). Andere waren zurückhaltender. Ein Bericht einer Arbeitsgruppe der Global Partnership on AI*, der zur Konferenz veröffentlicht wurde, räumte ein, dass „KI sowohl positive als auch negative Auswirkungen auf das Klima und die Umwelt haben kann“. Letzten Endes trifft der Mensch die Entscheidung darüber, in welche Richtung das Pendel ausschlägt.

Google zum Beispiel verpflichtete sich im Mai 2020, in Zukunft keine maßgeschneiderte KI-basierte Software für die Öl- und Gasförderung zu entwickeln. Gerade mal ein halbes Jahr später, im Dezember 2020, kündigte die Firma den Start eines neuen Rechenzentrums für die Google Cloud mitsamt KI-Angebot in Saudi-Arabien an – in Partnerschaft mit Saudi Aramco, der größten Erdölfördergesellschaft der Welt. Sie hat zwischen 1965 und 2019 fast 60 Milliarden Tonnen CO₂-Äquivalent in die Atmosphäre abgegeben, mehr als jedes andere Unternehmen der Welt. Sowohl Google als auch Saudi Aramco haben abgelehnt, AlgorithmWatch mitzuteilen, wie sich das Projekt im Jahr 2021 entwickelt hat.

Nicht nur in Bezug auf das Klima wurde deutlich, ob Menschen oder Algorithmen 2021 die Oberhand hatte. Im September wurden Journalist·innen und dem US-Kongress eine Reihe von internen Dokumenten zugespielt, die sogenannten Facebook Files. Sie zeigen, dass Facebook-Manager·innen absichtlich Algorithmen verändert hatten, um Einnahmen zu maximieren, obwohl ihnen bewusst war, dass dies Nutzer·innen oder Organisationen schaden würde. In Europa zum Beispiel animierte der Newsfeed-Algorithmus von Facebook politische Parteien dazu, extremere Positionen einzunehmen, um auf der Plattform sichtbarer zu sein.

Einige Journalisten kommentierten, das Unternehmen habe die Kontrolle über seine Systeme verloren. Die durchgesickerten Dokumente zeigen jedoch im Gegenteil, dass zumindest einige Mitarbeiter·innen um die beunruhigenden Auswirkungen der Algorithmen wussten und Vorschläge gemacht hatten, wie sich die Probleme lösen ließen. Die Facebook-Führungsspitze lehnte es jedoch explizit ab, diese Vorschläge umzusetzen.

Technik ist nicht immer die Lösung

Auch in Europa gibt es Stimmen, die fordern, vermehrt automatisierte Systeme einzusetzen, aber zugleich die Möglichkeiten einzuschränken, sie zu kontrollieren.

So setzte Griechenland ein automatisiertes System ein, um Asylbewerber·innen im Namen der „Sicherheit“ zu überwachen (ohne dass es Beweise dafür gäbe, dass das Verfahren die Sicherheit erhöht hätte). In Frankreich führten die Steuerbehörden einen Algorithmus ein, um illegale Schwimmbecken aufzuspüren (wie effektiv das System ist, ist umstritten). In Spanien veröffentlichten die lokalen Verkehrsunternehmen eine Ausschreibung für eine Videoanalyse-Software, die Fahrgäste in Bezug auf ihre ethnische Herkunft identifizieren sollte – auch hier im Namen der Sicherheit (charakterliche Eigenschaften mit äußerlichen Merkmalen wie der Physiognomie zu verbinden, wird seit dem 19. Jahrhundert als Pseudowissenschaft eingestuft).

Nachdem die Zivilgesellschaft dagegen mobilisiert hatte, haben die Verfechter·innen vieler solcher Projekte einen Rückzieher gemacht. Die serbische Regierung hat zunächst ein Gesetz auf den Weg gebracht, das eine ständige Massenüberwachung der Bevölkerung durch Gesichtserkennung möglich gemacht hätte, um es nach Protesten wieder zurückzuziehen. Eine schwedische Stadt stoppte Pläne, Algorithmen einzusetzen, um gefährdete Kinder zu identifizieren, und wies auf rechtliche Bedenken hin. Nissewaard, eine niederländische Stadt mit 80 000 Einwohnern, entschied sich dagegen, einen Algorithmus einzusetzen, der Sozialhilfeempfänger·innen mit einem „Risiko-Score“ bewertete, da er sich als unzuverlässig erwiesen hatte. Schulkantinen in Schottland haben die Bezahlung per Gesichtserkennung beendet, nachdem sich Eltern beschwert hatten.

Regulierung in Sicht?

Gerichte auf dem ganzen Kontinent haben in einigen Fällen Institutionen einen Dämpfer verpasst, die automatisierte Systeme nutzen wollten. In Schweden bestätigte ein Verwaltungsgericht eine Geldstrafe gegen die Polizei, die die schwedische Datenschutzbehörde verhängt hatte. Die Polizei hatte ClearviewAI eingesetzt, eine Gesichtserkennungssoftware, die nach Aussage des Herstellers Personen automatisch anhand von Bildern identifizieren kann. Clearview wurde in der Vergangenheit heftig kritisiert, einerseits wegen des sorglosen Umgangs mit der Privatsphäre und andererseits wegen der Ungenauigkeit der Treffer.

In der italienischen Stadt Bologna befand ein Gericht, dass der Essenslieferdienst Deliveroo gegen das Gesetz verstoßen hat, da der Algorithmus der Plattform rechtswidrig Arbeitnehmer·innen diskriminierte. So wurden sie von der Software als weniger zuverlässig eingestuft, wenn sie überraschend krank wurden oder aus anderen legitimen Gründen ihre Schicht nicht wahrnehmen konnten.

Auch der Gesetzgeber wurde aktiv. In Spanien trat im August ein Gesetz in Kraft, das unter dem Namen „Riders Law“ bekannt wurde. Es zwingt Lieferdienste wie Uber Eats und Deliveroo, die Algorithmen transparent zu machen, die die Arbeitsbedingungen der Fahrer·innen beeinflussen.

Auf EU-Ebene hat die Europäische Kommission unter der Führung Ursula von der Leyens ihren Plan, Künstliche Intelligenz zu regulieren, vorangetrieben und im April einen Entwurf für ein KI-Gesetz veröffentlicht. Wie viel Gewicht es haben wird, bleibt unklar. Während es zunächst einen umfassenden Regulierungsansatz verfolgte, gibt es Anzeichen dafür, dass sowohl die Kommission als auch die Mitgliedsstaaten es nun beschränken wollen, um nur selbstlernende Systeme einer Kontrolle zu unterwerfen.

Durchsetzung bleibt eine vage Hoffnung

Ohnehin könnten die tatsächlichen Effekte dieser neuen Entwicklungen viel bescheidener sein als ihre Ambitionen. AlgorithmWatch hat im Jahr 2021 mehrfach gezeigt, dass automatisierte Systeme unkontrolliert eingesetzt werden, obwohl sie illegal oder zumindest sehr problematisch sind. Bisher gibt es keine Aufsichtsbehörde, die ein Interesse daran hat, sie einer Kontrolle zu unterwerfen.

Im Februar deckten wir auf, dass die Routenplaner-Algorithmen von TomTom und Google Maps Autofahrer·innen dazu verleiten, illegal auf Fahrradstraßen zu fahren. Beide Plattformen versprachen zwar, Maßnahmen dagegen zu ergreifen, geschehen ist dies jedoch bisher nicht. Was jedoch fast noch schlimmer ist: Unsere Berichterstattung zeigte, dass niemand – von den städtischen Behörden bis hin zur Polizei – dies als Problem ansah.

Im August enthüllten wir, dass das Bewerbungstool von LinkedIn automatisch Bewerber·innen aus anderen Ländern ablehnt, obwohl dies in der Europäischen Union rechtswidrig ist. Auch hier versprach LinkedIn, das zu ändern. Und auch hier sahen die europäischen und nationalen Behörden kein Problem.

Die Liste lässt sich fortsetzen. In Polen zwingt ein neues Gesetz Banken dazu, Verbraucher·innen zu erklären, warum ein Kredit gewährt oder abgelehnt wurde. Sie halten sich nicht daran. In Frankreich darf die Polizei Gesichtserkennungssoftware nur einsetzen, wenn es absolut notwendig ist. Sie tut es mehr als eintausend Mal pro Tag.

Kontrolle nicht nur auf dem Papier

Es gibt jedoch Anzeichen dafür, dass die Durchsetzung der bestehenden Regulierungen Fahrt aufnehmen könnte. Die französische Regierung hat eine Task Force ins Leben gerufen, bestehend aus zwanzig Datenwissenschaftler·innen, die die Regulierungsbehörden dabei unterstützen sollen, Algorithmen zu analysieren. Ein ähnliches Programm steht in den Niederlanden in den Startlöchern. Solche Bemühungen werden in Zukunft den Behörden Mittel an die Hand geben, um ihre Regulierungsbefugnisse nicht nur auf dem Papier stehen zu haben, sondern auch praktisch umzusetzen.

Verschiedene zivilgesellschaftliche Initiativen versuchen ebenfalls, die Algorithmen der großen Plattformen einer Prüfung zu unterziehen. Im Januar stellte The Markup ihren Citizen Browser vor, eine repräsentative Befragung von US-Bürger·innen, die gegen Aufwandsentschädigung detaillierte Informationen über ihre Facebook-Nutzung lieferten. Auf der Grundlage dieser Daten konnte The Markup mehrfach nachweisen, dass die Ankündigungen von Facebook ungenau oder schlicht gelogen waren.

AlgorithmWatch führte 2021 mehrere Projekte durch, um die Algorithmen der Plattformen zu analysieren. Zu diesem Zweck haben wir DataSkop ins Leben gerufen, eine Plattform für Datenspenden. Das Pilot-Projekt war eine Analyse des YouTube-News-Kanals in Deutschland im Vorfeld der deutschen Bundestagswahl. Weiterhin arbeiteten wir an unserem Instagram-Monitoring-Projekt (in Zusammenarbeit mit NOS, Pointer und Groene Amsterdamer in den Niederlanden und mit der Süddeutschen Zeitung in Deutschland).

Allerdings hat Facebook unsere Bemühungen ausgebremst. Im Juni 2021 wurden wir aufgefordert, unser Experiment zu beenden. Wir hatten keine andere Wahl, als dem nachzukommen, da wir nicht in der Lage sind, eine juristische Auseinandersetzung gegen ein milliardenschweres Unternehmen zu führen. Wir waren nicht die einzigen Betroffenen. Auch die Forscher·innen der New York University wurden Mobbing-Opfer des Konzerns. Außerdem versuchte Facebook, den Betreiber einer Open-Source-Bibliothek einzuschüchtern, die die Interaktionen auf Instagram automatisiert.

Fazit

2021 zeigte der Gesetzgeber eine gewisse Bereitschaft, automatisierte Systeme zu bändigen. Das kommende Gesetz über Künstliche Intelligenz (Artificial Intelligence Act) und das Gesetz über digitale Dienste (Digital Services Act) der EU könnten den Regulierungsbehörden und der Zivilgesellschaft die notwendige Handhabe geben, um automatisierte Dienste zu untersuchen und zur Rechenschaft zu ziehen. Die größte Herausforderung für 2022 und darüber hinaus wird es sein, dafür zu sorgen, dass das auch tatsächlich zu Veränderungen für die Bürger·innen  führt.

---

*Die Global Partnership on AI (GPAI) wurde von Frankreich und Kanada gegründet und besteht aus einer Gruppe von knapp 150 Expert·innen, die Vorschläge dazu erarbeiten, wie Künstlichen Intelligenz genutzt und reguliert werden kann. AlgorithmWatch-Geschäftsführer Matthias Spielkamp ist Gründungsmitglied der Initiative und Mitglied der Arbeitsgruppe Responsible development and use of AI, in deren Rahmen der Report erstellt wurde, hat aber nicht daran mitgearbeitet.