Die algorithmische Verwaltung

Die Bundesregierung hat in ihrem Koalitionsvertrag erklärt, staatliche Strukturen und Prozesse modernisieren zu wollen. Zu diesem Zweck sollen KI-Systeme zum automatisierten Entscheiden (automated decision-making, ADM) in Behörden eingesetzt werden: Sie sollen Steuererklärungen oder Sozialhilfeanträge automatisch bearbeiten und Betrugsversuche erkennen, Vermittlungsprofile von Arbeitslosen erstellen, die Polizeiarbeit unterstützen oder durch Chatbots Bürgeranfragen beantworten. KI kann hier bestenfalls Behörden entlasten und ihren Service verbessern.

So weit, so gut. In einigen europäischen Ländern sind Digitalisierungsprozesse bereits weiter fortgeschritten als in Deutschland. Dort zeigen sich deshalb aber auch häufiger die Probleme, die bei so einer Automatisierung auftreten können.

Fehler im System

Soizic Pénicaud arbeitete für das französische Sozialamt und organisierte Schulungen für Personen, die in engem Kontakt mit Leistungsempfänger*innen stehen. So eine Begleiterin erzählte ihr, dass die Menschen oft Probleme hätten, nachdem sie digital Anträge gestellt haben. Sie rate ihnen in solchen Fällen, sich damit abzufinden, weil nichts gegen die Technik zu machen sei. Soizic Pénicaud kennt sich mit digitalen Rechten aus und wusste daher, dass die Menschen nicht resignieren müssen, wenn ein algorithmisches System sie benachteiligt. Und sie wusste sogar, was zu tun ist.

Gemeinsam mit mehreren zivilgesellschaftlichen Organisationen stellte Soizic Pénicaud Anträge auf Informationsfreiheit bei der Sozialbehörde. Im November 2023 erhielt sie schließlich die Details zum betreffenden Algorithmus. Statistische Analysen ergaben, dass das System fehlerhaft ist. Menschen mit Behinderungen, alleinerziehende Mütter und ärmere Menschen im Allgemeinen galten generell als potenzielles Betrugsrisiko, was in vielen Fällen dazu führte, dass automatisch Leistungen eingestellt wurden. Von dem Algorithmus betroffen waren 13 Millionen Haushalte.

Automatisierte Ungerechtigkeit in Europa

In europäischen Ländern ist es immer wieder vorgekommen, dass Systeme schlecht konzipiert, gegen bestimmte Menschen gerichtet und ungerecht waren.

In Dänemark erhalten Sozialhilfeempfänger*innen nur dann die volle Unterstützung, wenn sie im Vorjahr weniger als 225 Stunden gearbeitet haben. Ein privates Beratungsunternehmen hatte ein Tool entwickelt, mit dem diese Regel automatisch umgesetzt werden sollte. Durch einen Software-Fehler wurde aber dann fälschlicherweise der Leistungsumfang vieler Menschen gekürzt. Deshalb mussten Kommunen jeden einzelnen Fall per Hand prüfen, was jeweils zwischen 30 Minuten und drei Stunden dauerte.

In Italien sollten Lehrer*innen mit befristeten Verträgen mit einem Algorithmus effektiv an Schulen mit Personalbedarf zugeteilt werden. Code- und Designfehler führten dazu, dass die Leben der Lehrkräfte erheblich beeinträchtigt wurden. Die Lehrer*innen sollten zum Beispiel Hunderte von Kilometer pendeln, obwohl es offene Stellen gab, die längst nicht so weit weg von ihrem Wohnort lagen.

In Österreich hat der Arbeitsmarktservice einen auf ChatGPT basierenden Chatbot im Wert von 300.000 Euro eingeführt, um Arbeitssuchenden bei Fragen zu Jobmöglichkeiten und zur Berufswahl zu helfen. Es stellte sich heraus, dass der Bot eine eher konservative Vorstellung von Geschlechterrollen verbreitet: Er riet Frauen dazu, Gender Studies zu studieren, Männern dagegen, in die IT zu gehen.

In den Niederlanden hat die für die Auszahlung von Arbeitslosengeld verantwortliche Behörde algorithmisch Besucher*innen ihrer Website getrackt. Der Algorithmus sammelte all ihre IP-Adressen und verwendete sie zur Geolokalisierung. Er wurde deswegen als unrechtmäßig eingestuft und darf seither nicht mehr eingesetzt werden.

Das niederländische Institut für Menschenrechte hat entschieden, dass die Vrije Universiteit Amsterdam Studierende durch den Einsatz einer Gesichtserkennung-Software gegen Betrugsversuche bei Prüfungen diskriminiert. Das System meldet überproportional häufig Menschen mit einer dunkleren Hautfarbe.

Auch in Deutschland traten einige Fälle auf, in denen Behörden bei neu eingeführten KI-Systemen die Grenzen der Rechtmäßigkeit überschritten haben. Im Februar 2023 hatte das Bundesverfassungsgericht entschieden, dass die in Hessen und Hamburg eingesetzte Palantir-Software nicht hätte verwendet werden dürfen. Das Urteil hinderte die bayerische Landespolizei nicht daran, wenige Wochen nach dem Urteil ein Palantir-System zu testen, das sich sehr wahrscheinlich nicht sonderlich von den verbotenen unterscheidet. Im November 2023 wurde aufgedeckt, dass die bayerische Polizei während dieser Testphase die personenbezogenen Daten aus den eigenen Datenbanken automatisch analysiert und verwertet.

People on the Move: Wehrlose Versuchsobjekte

Das Bundesamt für Migration und Flüchtlinge (BAMF) gibt ein prominentes Beispiel dafür ab, wie überstürzt Behörden problematische Automatisierungssysteme einsetzen. Das BAMF nutzt eine Software, die Dialekte erkennen soll, um damit die Identität und Herkunft von Asylsuchenden zu ermitteln. Diese Methode wird von Wissenschaftler*innen als untauglich eingeschätzt. Trotzdem ist zu befürchten, dass die unwissenschaftlichen Ergebnisse der Software Einfluss darauf haben, wie über die Asylanträge entschieden wird.

Gerade People on the Move – Migrant*innen, Geflüchtete und Reisende – werden immer häufiger Systemen Künstlicher Intelligenz und automatisierter Entscheidungen ausgesetzt, ohne dass diese Systeme ausreichend getestet worden wären oder eine demokratische Diskussion über ihren Einsatz stattgefunden hätte. Gleichzeitig häufen sich die Untersuchungen darüber, wie intransparent diese Systeme sind und wie unzureichend ihr Einsatz legitimiert und kontrolliert wird.

In Bereichen wie der Migration werden die Menschenrechte häufiger verletzt, da zwischen denjenigen, die KI einsetzen, und denjenigen, die davon betroffen sind, ein sehr großes Machtgefälle herrscht. Wenn KI zum Beispiel beim Grenzschutz eingesetzt wird, werden Diskriminierungsmuster reproduziert. Leidtragende sind Menschen, die ohnehin bereits von Diskriminierung betroffen sind. Ihnen fehlen normalerweise die Mittel, um sich dagegen zu wehren. Außerdem haben sie weitere praktische Hürden zu überwinden. Wenn die EU ihre Werte und Prinzipien in die Praxis umsetzen will, muss sie die Grundrechte aller Menschen schützen – also auch die Rechte der Menschen, die (noch) keine EU-Bürger*innen sind.

Risikokontrolle: Wunde Punkte der öffentlichen Verwaltung

Die europäischen Fallbeispiele zeigen, dass das Einführen von automatisierten Systemen große Risiken mit sich bringt – vor allem, wenn sie nicht mit der nötigen Vorsicht eingesetzt werden. Sie können zur Folge haben, dass die Grundrechte von Menschen beschnitten werden oder dass ihnen der Zugang zu öffentlichen Gütern und Dienstleistungen verwehrt wird. Im öffentlichen Sektor sind spezielle Voraussetzungen gegeben: Wir haben keine Wahl zwischen verschiedenen Anbieter*innen, sondern sind unausweichlich den Entscheidungen der für uns zuständigen Verwaltung unterworfen. Zudem können Behörden auf sensible personenbezogene Daten zugreifen und ihre Entscheidungen haben für die betroffenen Personen weitreichende Folgen, zum Beispiel wenn das Ausbleiben der finanziellen Grundsicherung Menschen existenziell bedroht.

Wenn Verwaltungsprozesse automatisiert werden, muss sichergestellt werden, dass sie einen allgemeinen Nutzen haben, keine Schäden verursachen und fair sind. Sie dürfen außerdem nicht die Handlungsfreiheit der Betroffenen einschränken. Deshalb sollten algorithmische Systeme nur dann im öffentlichen Sektor eingesetzt werden, wenn sie strenge Auflagen erfüllen und wirksam kontrolliert werden. Das ist allerdings schwierig, da algorithmische Systeme oft sehr undurchsichtig sind: für die Behörden und deren Personal, für die Betroffenen und die gesamte Gesellschaft. Die mangelnde Nachvollziehbarkeit verhindert eine kritische Auseinandersetzung mit den Systemen. Um den Einfluss von algorithmischen Systemen zu beurteilen, müsste deren Einsatz also zuerst einmal transparent werden – allein schon damit betroffene Personen sich gegen automatisierte Entscheidungen wehren können. Wir wissen nämlich oft gar nicht, wenn Behörden Entscheidungen Algorithmen überlassen.

Was tun gegen automatisierte Verwaltungsirrtümer?

Betroffene müssen Zugang zu allen relevanten Informationen erhalten, wenn sie vom Einsatz eines algorithmischen Systems betroffen waren oder sind, so dass sie unter bestimmten Bedingungen dagegen widersprechen können. Ihnen müssen auch einfach zugängliche, kostengünstige und effektive Rechtsmittel zur Verfügung stehen und sie müssen entschädigt werden, wenn ihre Rechte verletzt wurden.

Die Risiken von automatisierten Entscheidungssystemen hängen nicht nur vom technischen Modell ab, sondern auch davon, in welchem Kontext, wozu und wie sie eingesetzt werden. Deswegen verpflichtet der AI Act Behörden beim Einsatz von einigen besonders riskanten KI-Systemen, deren Auswirkungen auf die Grundrechte zu bewerten. Teilweise müssen sie diese Bewertungen öffentlich zugänglich machen. Wie wirksam diese Folgenabschätzung sein wird, hängt auch von der konkreten Umsetzung ab.

Ein allgemein einsehbares Online-Register könnte sich zur Veröffentlichung der Ergebnisse eignen. Unternehmen und Verwaltung würden durch ein KI-Register einen Überblick über Systeme erhalten, die bereits zum Einsatz kommen, und Menschen könnten automatisierte Entscheidungen, von denen sie betroffen sind, besser nachvollziehen und von Schutzrechten Gebrauch machen. Nicht zuletzt würden auch die Zivilgesellschaft und Wissenschaftler*innen erfahren, welche Automatisierungssysteme verwendet werden. Dieses Wissen könnte als Grundlage für eine Diskussion darüber dienen, welche Innovationen und welchen Einsatz der Systeme wir uns in unserer Gesellschaft wünschen. Außerdem würde ein Transparenzregister den Verwaltungen helfen, aus den Fehlern und Erfolgen anderer Projekte zu lernen.

Mehr über unsere Policy- und Advocacy-Arbeit zu ADM im öffentlichen Sektor.