Das Jahr, in dem die Algorithmen der Quarantäne entkamen: 2020 im Rückblick

Das Jahr 2020 hat wahrscheinlich am 31. Dezember 2019 begonnen, als BlueDot, ein selbsternanntes Unternehmen für „menschliche und künstliche Intelligenz“, eine Häufung von Lungenentzündungen in Wuhan entdeckte. Oder vielleicht hat es bereits am 30. Dezember 2019 angefangen, als ProMED, ein Überwachungsdienst der gemeinnützigen “International Society for Infectious Diseases” (internationale Gemeinschaft für Ansteckungskrankheiten), einen Alarm zum selben Thema verschickte. Da die Behauptung von BlueDot allerdings ungeprüft bleibt, ist es unmöglich zu bestimmen, ob ihr automatisiertes System ganz allein die ersten Anzeichen von Covid-19 entdeckt, oder ob die Organisation nur die Warnung von ProMED weitergeleitetet hat.

Im Zuge der Pandemie haben Unternehmen und Regierungen gleichermaßen die Tore für automatisierte Systeme geöffnet. Wahrscheinlich haben sie gehofft, mithilfe von Technologie die Oberhand über das Virus zu gewinnen. Schlaue Unternehmer·innen sind schnell auf der Welle des Techno-Solutionismus mitgeritten. Sie haben Unternehmen angeboten, ihre Mitarbeiter·innen ständig zu filmen und ihre Körpertemperatur automatisch zu überwachen (ohne zu bedenken, dass nicht alle Infizierten Fieber haben und dass das System auch zur Erkennung von Schwangerschaften genutzt werden könnte). Sie haben Wearables produziert, die Körperfunktionen verfolgen (auf einigen amerikanischen Universitäts-Campus im Einsatz), und haben Kameras entworfen, die automatisch Personen erkennen, die keine Gesichtsmasken tragen.

Der im Oktober veröffentlichte Bericht Automating Society von AlgorithmWatch und der Bertelsmann Stiftug zeigt, wie verbreitet automatisierter Systeme in Europa bereits eingesetzt werden. Die Automatisierung des Sozial- und Gesundheitsmanagements sticht hervor, der Bericht dokumentiert jedoch Dutzende Fälle, die alle Aspekte unseres Lebens betreffen.

Gegenreaktionen

Die Beschleunigung der Automatisierung unserer Gesellschaft verläuft jedoch nicht ohne Widerstand. Im August sind britische Schüler·innen auf die Straße gegangen, weil der Algorithmus, der ihnen automatisch Noten zugewiesen hat, nicht legitim sei (sie haben ein anderes Wort benutzt). Daraufhin hat die britische Regierung einen Rückzieher gemacht und die von den Lehrer·innen vergebenen Noten beibehalten.

Regulierungsbehörden und Gerichte in vielen Teilen der Europäischen Union sind gegen einige Automatisierungs-Experimente vorgegangen. Die Kameras, die in Frankreich Menschen ohne Gesichtsmaske aufspüren sollten, wurden deaktiviert, nachdem die dortige Datenschutzbehörde sie für illegal erklärt hatte. In den Niederlanden hat ein Gericht gegen SyRI entschieden (ein System, das Betrug bei Sozialleistungen automatisch erkennen sollte) und hat es als unverhältnismäßig bezeichnet. In Österreich wurde der Einsatz eines Algorithmus beendet, der Arbeitslose nach ihren „Chancen auf dem Arbeitsmarkt“ sortieren sollte.

Durchgestoßen

Viele Regierungen blieben von diesen Entscheidungen unbeeindruckt. In den Niederlanden wurde ein Gesetzesentwurf vorgelegt, der den Einsatz eines SyRI-ähnlichen Systems in viel größerem Maßstab vorsieht. Die automatisierte Benotung von Schüler·innen wurde in mehreren Ländern, darunter auch in Deutschland, trotz schwerwiegender Bedenken hinsichtlich ihrer “Gerechtigkeit” zugelassen.

In mehreren EU-Ländern, wie z. B. Frankreich und Griechenland, bereitet die Polizei den Einsatz von Live-Gesichtserkennung vor. Dies würde es Einsatzkräften ermöglichen, Einzelpersonen in Gruppen in Echtzeit zu identifizieren. Diese Vereinzelung von Demonstrierenden und Aufhebung des Schutzes der Anonymität bei Gruppenaktionen entzieht der Versammlungsfreiheit jegliche Substanz.

Ungeachtet der Forderungen nach ihrem Verbot hat ein kurzer, aber intensiver Krieg in Karabach die Nützlichkeit autonomer Waffen demonstriert. Die aserbaidschanischen Streitkräfte hat mindestens drei verschiedene Modelle von Drohnen eingesetzt, die in der Lage sind, ein Ziel automatisch zu identifizieren und zu zerstören. Einige Analysten sind der Ansicht, dass die taktische Innovation, die diese neuen Waffen mit sich gebracht haben, zu dem Sieg Aserbaidschans beigetragen hat.

In der Blackbox

Zahlreiche Gruppen von Aktivist·innen und Journalist·innen konnten Blackboxen, die von Regierungen und Konzernen eingesetzten werden,   offenlegen. Eine taz-Recherche hat ergeben, dass die von deutschen Behörden eingesetzten Fotokabinen sich weigerten, Bilder von Bürger·innen mit dunklerer Hautfarbe zu machen. Die BBC hat ähnliche Ergebnisse in Großbritannien gefunden. AlgorithmWatch hat mehrere Fälle von Diskriminierung durch automatisierte Systeme gegen Personen mit dunklerer Hautfarbe, gegen People of Color und Homosexuelle sowie Fälle von eklatantem Sexismus aufgedeckt.

Obwohl die meisten dieser Berichte illegales Verhalten aufgedeckt haben, liegt AlgorithmWatch keine Anzeichen vor, dass Regulierungs- und Vollzugsbehörden tätig geworden sind. In den meisten Fällen verfügen sie nicht über die dafür notwendigen Ressourcen. AlgorithmWatch hat mehrere Empfehlungen veröffentlicht, die, wenn sie in die Praxis umgesetzt würden, diesen Engpass beseitigen könnten, indem sie die Nutzer automatisierter Systeme zwingen, Forscher·innen Zugang zu ihren Daten zu gewähren. Amsterdam und Helsinki haben bereits Schritte in diese Richtung unternommen, indem sie Verzeichnisse eingerichtet haben, die einige der von ihnen verwendeten automatisierten Systeme auflisten.

Die anderen Katastrophen

Die Pandemie hat die Klimakatastrophe aus unseren Newsfeeds verdrängt, aber sie schreitet mit erhöhter Geschwindigkeit voran. Im Jahr 2019 wurde die bis dato flächenmäßig größte Rodung des Amazonas festgestellt – 2020 hat diesen Rekord allerdings erneut gebrochen. Die atlantische Hurrikansaison war die schlimmste seit Beginn der Aufzeichnungen. Tausende Menschen starben durch Überschwemmungen, Dürren und andere Ereignisse, die auf die vom Menschen verursachte globale Erwärmung zurückzuführen sind.

Entscheidend ist, dass wir nicht feststellen konnten, dass irgendeines dieser Ereignisse automatisierte Systeme beeinträchtigt hat – im Gegenteil. Es gibt Hinweise darauf, dass sie widerstandsfähiger waren als andere. Als der Taifun Ulysses auf den Philippinen gewütet hat, wurden die traditionellen Kommunikationsmittel uterbrochen. Die Telefonleitungen waren überlastet, und der Medienkonzern, über zuvor Informationen gesammelt und verifiziert hat, wurde von der Regierung abgestellt. Infolgedessen haben sich sowohl Bürger·innen als auch Behörden auf soziale Online-Netzwerke verlassen, um sich zu organisieren. Dies hat wahrscheinlich den Newsfeed-Algorithmen die Priorisierung von Rettungsaktionen überlassen.

2021

Das Jahr endete mit einer US-Wahl und einem gepfuschten Putschversuch. Entgegen unserer Vorhersagen behaupten nur wenige Journalist·innen, dass die Big-Tech-Algorithmen die Ergebnisse der Wahl beeinflusst haben. Es gibt jedoch Beweise dafür, dass insbesondere Facebook und YouTube weiterhin wissentlich Unwahrheiten verbreiten.

Da Bürger·innen aufgrund der verschiedenen Lockdown-Maßnahmen noch mehr Zeit vor ihren mobilen Geräten verbringen, wird die Macht der Plattformen wohl nicht abnehmen. Wie die Platfformen zentrale Schlüsselereignisse des Jahres 2021 behandeln werden – den Auftakt der neuen US-Regierung, die Covid-Impfkampagne und die Bundestagswahl in Deutschland, um nur einige wenige zu nennen – wird unsere Gesellschaft maßgeblich beeinflussen.

Es ist wichtiger denn je, Licht in ihre dunklen Blackboxen zu bringen. Wir, als Gesellschaft, müssen Betreiber automatisierter Systeme zur Rechenschaft ziehen. Solange dies nicht möglich ist, werden wir als AlgorithmWatch weiter dafür kämpfen, dass Entscheidungsträger·innen dieses Ziel umsetzen.