War es das Jahr, in dem die Regulierung automatisierter Systeme ihren Anfang nahm? – 2022 im Rückblick

Die wichtigste Entwicklung 2022 war das Voranschreiten der Klimakrise. Darin unterschied sich 2022 nicht besonders von den vergangenen zehn Jahren. Wahrscheinlich werden wir auch in den kommenden Jahrzehnten nichts anderes sagen können. Lange Dürreperioden gefährden in Ostafrika die Lebensgrundlage, während in Westafrika monsunartige Regengüsse ganze Ernten zerstörten. Hunderte Millionen Menschen litten in diesem Jahr Hunger und die Lage wird immer schlimmer.

Es war nicht unbedingt zu erwarten gewesen, dass in diesem Zusammenhang nicht über automatisierte Systeme gesprochen wurde. Anfang 2019 hatte Microsoft noch angekündigt, dass bis 2030 durch den Einsatz von KI-Systemen Hunger und Mangelernährung aus der Welt geschafft werden könnten. Im Moment deutet nichts darauf hin, dass diese Behauptung jemals Realität wird.

Wie ich bereits 2020 geschrieben habe, trägt Künstliche Intelligenz eher dazu bei, die Klimakrise zu verschärfen, als sie einzudämmen.  In den Zulassungsanträgen von Öl- und Gasunternehmen, die für einen Großteil der Treibhausemissionen verantwortlich sind, bleibt die Nennung von KI wie bereits 2021 auf einem Höchststand.

Artillerie vs. Computer Vision

Das andere Dauerthema 2022 war natürlich Russlands Angriffskrieg gegen die Ukraine. Auch dabei spielten automatisierte Systeme scheinbar keine nennenswerte Rolle. 2016 warnten noch Tausende von Akademiker*innen und Prominenten öffentlich davor, dass „innerhalb weniger Jahre“ automatisierte Tötungsmaschinen entwickelt werden könnten. Bislang gibt es keine Beweise, dass Killerroboter mithilfe Maschinellen Lernens Menschen anvisiert und angegriffen hätten.

Die dokumentierten Einsätze automatisierter Systeme in der Ukraine dienen dazu, bestehende Prozesse leicht zu optimieren. Die Kriegsführung wird damit nicht neu aufgestellt. Die ukrainische Polizei zum Beispiel setzt Gesichtserkennung ein, um Leichen und potenzielle Saboteure zu identifizieren. Ein Unternehmen, das sonst mit KI künstlich Stimmen nachbildet, arbeitet bei einem Projekt an der akustischen Ortung und Identifizierung von Flugkörpern. Und es ist möglich, wenn auch überhaupt nicht belegt, dass die Drohnen, die bei den gewagten Angriffen ukrainischer Truppen auf russische Militärstützpunkte eingesetzt wurden, durch Computer Vision vollautomatisch operieren konnten.

(Nicht alle beurteilen den Wert automatisierter Systeme für die Kriegsführung so wie ich. Der Leiter des Software-Unternehmens Palantir, das auf die Verarbeitung riesiger Datenmengen spezialisiert ist, hat der ukrainischen Armee seine Dienste angeboten. Er ging dabei so weit zu behaupten, dass algorithmische Kriegsführungssysteme inzwischen taktisch so viel wert wären wie Nuklearwaffen. Eine Erklärung, wie er zu dieser Behauptung kommt, blieb er allerdings schuldig.)

Beobachter*innen wurden nicht vom Einsatz fortschrittlicher Technologie in den Kriegsgebieten überrascht. Stattdessen war es die Rückkehr der Artillerie, die viele vor diesem Krieg bereits als Relikt des zwanzigsten Jahrhunderts betrachtet hatten.

Was bringt der Fortschritt bei der KI-Entwicklung?

Derweil ist im Silicon Valley nicht alles Gold, was glänzt. 2022 brachte zwar einige große Erfolge beim technischen Fortschritt, Computer können Videos aus Text-Prompts generieren, uns wie richtige Betrüger*innen einen Bären aufbinden, in Stratego und Diplomacy Menschen besiegen oder auch Proteinstrukturen voraussagen. Trotz allem ist seit November bei den Tech-Giganten eine große Kündigungswelle im Gang, von der mehr als 200.000 Menschen betroffen sein könnten. Den Schrumpfkurs bekommen auch KI-Teams massiv zu spüren. Bei Amazon und Meta sind die Abgänge am größten.

Ob solche Entwicklungen am Nimbus von KI kratzen werden, sei dahingestellt. So oder so wird es uns in Europa nicht wirklich etwas angehen. Genauso wenig wie die Kriegsführung durch autonome Waffensysteme revolutioniert wird, wird die Gesellschaft durch schicke neue Tools transformiert, so beeindruckend ihre Features auch sein mögen. Nehmen wir GPT-3, die Software zur Textproduktion, die so gut funktioniert, dass sich die Texte auf den ersten Blick nicht von menschlichen unterscheiden. Als sie 2020 vorgestellt wurde, hieß es, dass sie eine Zeitwende einläuten würde. Zweieinhalb Jahre später ist davon nichts zu sehen: Mir ist kein anderes Einsatzgebiet bekannt als sehr spezialisierte Apps. Am stärksten scheint das GitHub-Tool Copilot davon Gebrauch zu machen, das Programmierer*innen Codeschnipsel zuliefert.

Das Vertrauen schwindet

Auch wenn sie nicht die gesamte Gesellschaft umkrempeln: Mehr oder weniger fortgeschrittene automatisierte Systeme schleichen sich in Institutionen ein und zersetzen dabei oft ihr soziales Fundament. Wie bereits in vorherigen Jahren wurden sie dort auch 2022 im Namen der Effizienz eingesetzt oder ihr Einsatz ausgeweitet. Allzu oft liefen diese Maßnahmen einfach darauf hinaus, dass Leistungen gekürzt wurden oder die Qualität der öffentlichen Dienste abnahm.

In Frankreich wird bei allen Empfänger*innen von Sozialhilfe monatlich automatisch ein Scoring durchgeführt, um das „Risiko“ zu evaluieren, das mit der Sozialleistung einhergeht. Viele Sozialarbeiter*innen sind so frustriert von dem System, dass sie kündigen. Eine Privatisierung des gesamten Sektors kündigt sich an.

In Serbien wurde im März eine Zentraldatenbank für Sozialhilfedienste eingeführt. Damit wird auf der Grundlage von 130 Variablen, darunter auch die ethnische Zugehörigkeit, ermittelt, ob Antragsteller*innen ein Recht auf Sozialleistungen haben. Das neue System kürzte in weniger als einem Jahr die Bezüge von 22.000 Menschen. Bei geringfügigen Zusatzeinkünften (zum Beispiel durch den Verkauf von Altmetall) wird automatisch der Bezug von Arbeitslosengeld eingestellt. Roma sind besonders davon betroffen.

In den Niederlanden plant die Regierung, ein neues Datenverwaltungssystem einzuführen, mit dem die „Leistungsfähigkeit“ psychiatrischer Einrichtungen automatisch ausgewertet werden soll. Eine Bürgerrechtsplattform sagt über das Projekt, dass solch ein technokratisches Wunschdenken grundlegende Werte wie die berufliche Autonomie und das Vertrauensverhältnis zwischen Mediziner*innen und Patient*innen zersetze.

Gegenwehr

Zivilgesellschaftliche Organisationen stemmen sich diesem Trend weiterhin entgegen. In der Schweiz beschlossen mehrere Stadtverwaltungen, Gesichtserkennung an öffentlichen Orten zu verbieten. Der Druck von Organisationen wie AlgorithmWatch CH hatte Wirkung gezeigt.

Eine Studentin in den Niederlanden hat die Vrije Universiteit Amsterdam verklagt, nachdem sie wegen der dort eingesetzten Software gegen Betrugsversuche bei Prüfungen durchgefallen war. Das automatische Gesichtserkennungsfeature funktioniert je nach Hautfarbe der Studierenden mehr oder weniger gut. Das niederländische Institut für Menschenrechte, die nationale Gleichbehandlungsstelle der Niederlanden, gab der Studentin Recht.

Studierende der Universität Paris VIII gingen vor Gericht, um gegen ein anderes automatisiertes Tool zu klagen, das auch Betrugsversuche aufdecken soll. Das Verwaltungsgericht entschied, dass die Universität das Tool nicht mehr einsetzen darf.

Die Liste solcher kleinen Erfolge ließe sich fortführen. Für den größten Sieg im Kampf gegen den unverhältnismäßigen oder auch verdeckten Einsatz automatisierter Systeme könnten 2022 aber die Europäischen Institutionen gesorgt haben.

Europäisches Recht

Die finale Version des Digital Services Act (DSA) wurde im Oktober veröffentlicht, einige der darin enthaltenen Bestimmungen traten bereits im November in Kraft. Die wichtigsten, zum Beispiel das Recht auf den Zugang zu Plattformdaten für Forschende, werden ab Februar 2024 gelten. Der AI Act (AIA), dessen erster Entwurf Ende 2021 veröffentlicht wurde, war in diesem Jahr Gegenstand hitziger Debatten. Dieses Gesetz sollte 2023 oder 2024 in Kraft treten.

Diese beiden Gesetze verpflichten vor allem die großen Online-Dienste und Betreiber automatisierter Systeme zu neuen Transparenzmaßnahmen. Unter dem DSA müssen soziale Netzwerke offenlegen, wie ihre Moderationsentscheidungen zustande kommen, und „systemische Risiken“ reduzieren, etwa die Möglichkeit, dass durch sie Wahlen beeinflusst werden. Unter dem AI Act müssten in seiner jetzigen Form automatisierte Systeme, mit denen ein „hohes Risiko“ verbunden ist, in einem Transparenzregister aufgeführt werden. Systeme, deren Einsatz ein „inakzeptables Risiko“ darstellt, würden verboten werden.

Insgesamt führen die beiden Gesetze einen neuen Transparenzstandard und neue Rechenschaftsverpflichtungen für Betreiber automatisierter Systeme ein. Die Kernfrage bleibt natürlich, wie sie in der Praxis umgesetzt werden. Die Entwicklung nach der Einführung der Datenschutz-Grundverordnung (DSGVO) bietet kaum Anlass zu übermäßigem Optimismus.

Die Datenschutz-Grundverordnung

Die DSGVO wurde 2016 verabschiedet und trat im Mai 2018 in Kraft. Sie verbietet das Sammeln und Verwerten großer Mengen persönlicher Daten. Außerdem verbietet sie grundsätzlich automatisierte Systeme, die zu „rechtlichen Folgen“ für betroffene Menschen führen könnten, und räumt nationalen Aufsichtsbehörden weitreichende Befugnisse ein, um die DSGVO umzusetzen.

Diese Aufsichtsbehörden machten 2022 von ihren Befugnissen Gebrauch. Clearview AI ist ein US-amerikanisches Unternehmen, das mithilfe von Bildern aus dem Internet Gesichtserkennungsdienste für polizeiliche and anderen staatlichen Behörden anbietet. Die französischen, griechischen und italienischen Aufsichtsbehörden belegten Clearview AI mit Geldstrafen, jeweils in der maximalen Höhe von 20 Million Euro. Clearview AI hatte nämlich nicht die Zustimmung der auf den Bildern dargestellten Menschen eingeholt, bevor die Bilder aus dem Internet in die Clearview AI-Datenbank wanderten.

Clearview AI ignorierte diese empfindlichen Strafen, zahlte keinen Cent und fuhrt mit seiner Praxis fort.

Dies war nicht der einzige Fall, in dem die Datenschutz-Grundverordnung wirkungslos blieb. Real Time Bidding (RTB) ist eine Werbetechnik, bei der Unternehmen persönliche Daten austauschen, um auf dieser Grundlage zu bestimmen, welche Anzeigen Nutzer*innen angezeigt werden. Rechtsexperten weisen schon lange darauf hin, dass diese Praxis unter der DSGVO unzulässig ist. Sie wird dennoch unvermindert fortgeführt.

Im Dezember wurde eine ähnliche Praxis für unzulässig erklärt. Der Europäische Datenschutzausschuss (EDSA) beschloss, dass Facebook und Instagram Nutzer*innen keine personalisierten Anzeigen ohne ihre ausdrückliche Zustimmung zeigen darf. Der Ausschuss reagierte damit auf eine 2018 eingereichte Beschwerde des österreichischen Aktivisten Max Schrems.

Trotz dieser Nachricht und der Tatsache, dass Meta seinen Umsatz zu einem Viertel in Europa erwirtschaftet, brach der Aktienkurs kaum ein: Am Tag, an dem der Beschluss publik wurde, sank der Kurs um sechs Prozent, aber schon nach einer Woche hatte er sich wieder vollständig erholt. Großinvestor*innen scheinen also nicht daran zu glauben, dass der EDSA-Beschluss irgendeine Auswirkung auf Facebooks Geschäftsmodell haben wird. Oder in anderen Worten: Sie glauben nicht, dass die DSGVO den Umsatz des Unternehmens nennenswert beeinträchtigen wird.

Werden sich die Gesetze durchsetzen?

Bei der Umsetzung des DSA und des AI Act könnte es anders laufen. Die europäischen Institutionen und nationalen Regierungen haben Beobachtungsteams damit beauftragt, die Aktivitäten der Betreiber von automatisierten Systemen zu verfolgen. Frankreich nimmt dabei mit PEReN eine Vorreiterrolle ein, inzwischen sind dort rund 30 Menschen beschäftigt. Anfang 2023 wird die spanische Behörde zur Überwachung Künstlicher Intelligenz in La Coruña eröffnet, während das Europäische Zentrum für algorithmische Transparenz in Sevilla seine Arbeit aufnimmt. Diese Institutionen könnten im besten Fall neue Einsichten in die Funktionsweise automatisierter Systeme gewinnen und dadurch den Austausch mit den Unternehmen, die sie betreiben, aktiver gestalten.

Twitter wird 2023 die erste Herausforderung sein. Nachdem die Plattform Ende 2022 von einem bekannten rechten Milliardär aufgekauft wurde, verstieß er im Eiltempo gegen eine Reihe europäischer Regulierungen. Er feuerte schon nach wenigen Tagen die Angestellten, die dafür sorgen sollten, dass das Unternehmen seine Verpflichtungen nach der Datenschutz-Grundverordnung einhält. Dann änderte er die Moderationsregeln so, dass Hassrede auf der Plattform dramatisch anstieg. Und schließlich ließ er willkürlich Konten von Journalist*innen sperren. Der EU-Kommissar Thierry Breton wies bereits warnend darauf hin, dass Twitter möglicherweise gegen europäische Regulierungen verstößt.

Andere, kleine und große Online-Dienste werden genau verfolgen, wie die europäischen Institutionen mit „Twitter 2.0” umgehen werden. Wenn sie der Plattform weiter freie Hand lassen und den Besitzer so behandeln, als ob er eigentlich nichts Böses im Sinn hätte, könnten andere Plattform daraus den Schluss ziehen, dass alles erlaubt ist – solange sie nur den Schein wahren, Regulierungsbestimmungen einhalten zu wollen. Wenn die europäischen Institutionen aber die bestehende Gesetzgebung entschlossen umsetzen, könnte 2022 als das Jahr in die Geschichte eingehen, in dem eine effektive Regulierung automatisierter Systeme ihren Anfang nahm.