KI-Register: Mit mehr Kompetenz zu mehr Transparenz
Der Staat muss die Grundrechte schützen, wenn er Systeme mit Künstlicher Intelligenz oder zum automatisierten Entscheiden einsetzt. Ein Transparenzregister kann dabei helfen, Rechte zu sichern und zugleich Behörden unterstützen, so das Fazit einer Diskussionsveranstaltung von Grünen-Bundestagsabgeordneten und AlgorithmWatch.
Die Bundesregierung hat sich per Koalitionsvertrag vorgenommen, staatliche Strukturen und Prozesse zu modernisieren. Zu diesem Ziel sollen Systeme mit so genannter Künstlicher Intelligenz und zum automatisierten Entscheiden (automated decision-making, ADM) in Behörden eingesetzt werden: in Chatbots, um Steuererklärungen oder Sozialhilfeanträge automatisch zu bearbeiten oder Betrug zu erkennen, um Vermittlungsprofile von Arbeitslosen zu erstellen oder bei der Polizeiarbeit. Hier kann KI Behörden entlasten und ihren Service verbessern.
Das birgt jedoch zugleich das Risiko, dass auch Fehler automatisiert werden und die Folgen gerade die Schwächsten treffen, etwa bei der Vergabe von Sozialleistungen. Ein prominentes Beispiel dafür, dass Behörden mitunter höchst problematische Systeme einsetzen, ist das Bundesamt für Migration und Flüchtlinge (BAMF). Es nutzt eine Software, die Dialekte erkennen soll, um damit die Identität und Herkunft von Asylsuchenden zu ermitteln. Diese Methode wird von Wissenschaftler*innen als untauglich eingeschätzt. Da sie dennoch eingesetzt wird, liegt es nahe, dass die Pseudo-Objektivität der Software einen Einfluss darauf hat, wie über die Asylanträge entschieden wird.
Was wäre mit einem Transparenzregister gewonnen?
Die Grünen-Bundestagsabgeordneten Misbah Khan und Anna Christmann hatten gemeinsam mit AlgorithmWatch zu einem parlamentarischen Frühstück eingeladen, um darüber zu diskutieren, ob ein verpflichtendes KI-Transparenzregister hier helfen kann: Zum einen könnte es dafür sorgen, dass problematische Anwendungen bekannt werden. Zum anderen könnte es die Behörden dabei unterstützen, Systeme zum automatisierten Entscheiden von vornherein besser zu gestalten.
Denn, so Khan: „Dort, wo ADM-Systeme angewandt werden, braucht es Umsicht und Transparenz, um das nötige Vertrauen in der Bevölkerung zu schaffen und Rechte wie Diskriminierungsfreiheit zu wahren. Ein Transparenzregister kann dabei einen wichtigen Mehrwert leisten.“
Das Konzept von AlgorithmWatch sieht vor, dass im Transparenzregister alle ADM-Systeme, die in Behörden eingesetzt werden, verzeichnet sind – mit Informationen über den Zweck der Systeme, ihre Hersteller und Angaben dazu, wie ihre Zuverlässigkeit und Wirksamkeit überprüft wurden. Auf dieser Grundlage könne auch eine öffentliche Debatte darüber stattfinden, wo Automatisierung Grenzen haben sollte.
Wenn der Einsatz von ADM-Systemen nicht mit Grundrechten und demokratischen Prinzipien vereinbar ist, müsse er untersagt werden, so Matthias Spielkamp, AlgorithmWatch-Geschäftsführer. Da diese Systeme einen weitreichenden Einfluss auf die Gesellschaft und Einzelne haben können, sollten Behörden dazu verpflichtet werden, die potenziellen Risiken aller geplanten Systeme systematisch zu untersuchen und die Ergebnisse transparent zu machen. Um Risiken angemessen bewerten zu können, sollte es für Behörden verpflichtend sein, vor und während des Einsatzes von ADM-Systemen eine Folgenabschätzung durchzuführen.
Kompetenzen aufbauen
Markus Richter, Staatssekretär im Bundesinnenministerium und als „Chief Information Officer“ der Bundesregierung für die Digitalisierung der Verwaltung zuständig, merkte an, dass der Einsatz von KI-Systemen durch Behörden noch am Anfang stehe. Ein Transparenzregister könne dabei helfen, in der Bevölkerung Vertrauen zu schaffen, ohne dass mit den neuen Kontrollmechanismen ein unverhältnismäßiger Verwaltungsaufwand verbunden wäre. Richter griff zudem die Idee auf, eine „Taskforce KI-Kompetenz“ einzusetzen, die Behörden mit Erfahrungswissen aus anderen Projekten bei der Folgenabschätzung unterstützen könnte und damit auch dazu beitragen würde, neue Kompetenzen in der Verwaltung aufzubauen. Er könne sich vorstellen, eine solche Taskforce an ein sektorübergreifendes Kompetenzzentrum anzubinden, in dem die aktuellen KI-Entwicklungen verfolgt und begutachtet werden.
Mehr Kompetenz sei dringend nötig, so die Bundestagsabgeordnete Anke Domscheit-Berg, digitalpolitische Sprecherin der Fraktion DIE LINKE. Sie hatte gemeinsam mit Petra Sitte im vergangenen Jahr eine Kleine Anfrage dazu gestellt, wie Bundesbehörden KI einsetzen. Aus der Antwort der Regierung ging hervor, dass von 86 KI-Projekten des Bundes nur bei einem einzigen eine Risikoabschätzung durchgeführt worden war.
Schutz der Grundrechte
Jonas Botta, Forschungsreferent beim Deutschen Forschungsinstitut für öffentliche Verwaltung (FÖV), machte auf die besonderen Voraussetzungen aufmerksam, die vorliegen, wenn ADM-Systeme im öffentlichen Sektor eingesetzt werden: „Der Staat sollte nicht nur mit gutem Beispiel vorangehen, er muss es auch, weil er an die Grundrechte gebunden ist. Das deutsche Recht gibt vor, dass die Messlatte für den Staat höher liegt als für den privaten Sektor. Wenn der Staat also auf digitale Systeme setzen will, dann muss er auch Transparenz herstellen.“
Auch Nina Bewig von der Berliner Senatsverwaltung für Justiz, Vielfalt und Antidiskriminierung hatte Bedenken, dass ADM-Systeme die Grundrechte verletzen könnten: „Es ist oft zu hören, dass zu viel KI-Regulierung den Innovationsstandort Europa gefährden würde. Ich glaube, dass hohe Standards essentiell sind, um eine vertrauenswürdige KI sicherzustellen und Betroffene zu schützen. Gerade hierdurch kann der Innovationsstandort Europa einen wichtigen Wettbewerbsvorteil etablieren.” Deshalb schlug sie vor, dass staatliche und nicht-staatliche Antidiskriminierungsstellen oder Menschen, die zum Thema Antidiskriminierung arbeiten, in diese Prozesse eingebunden werden sollten, zum Beispiel in eine Taskforce. Außerdem solle eine Aufsichtsstelle aus unabhängigen Dritten eingerichtet werden.
Wie könnte es weitergehen?
Alina Lorenz, die im Netzwerk NExt e.V. die Communities „Machine Learning & Künstliche Intelligenz“ und „Digitale Ethik“ leitet, kam zu dem Schluss: „Aus Sicht der Praxis können wir ein KI-Transparenzregister nur begrüßen.“ Zum einen wüssten Behörden dann, wie andere Verwaltungen KI-Systeme einsetzen. Zum anderen sei mittlerweile Konsens, dass Transparenz eine Voraussetzung für eine vertrauenswürdige IT-Entwicklung sei. NExt hatte in einem Diskussionspapier zur Umsetzung der KI-Verordnung der EU in Deutschland ebenfalls angeregt, ein solches Register einzurichten. Doch Transparenz dürfe keine freiwillige Selbstverpflichtung bleiben: „Wir müssen sie in der operativen Praxis umsetzen. Ein KI-Transparenzregister sollte alle Informationen enthalten, die laut der KI-Verordnung in der EU-Datenbank für KI-Systeme stehen sollen. Wenn wir sie jetzt schon erheben und veröffentlichen, machen wir einen Vorstoß, die KI-Verordnung für alle sichtbar umzusetzen. So könnten wir gewährleisten, dass die Verordnung uns institutionell, organisatorisch und strukturell nicht so unvorbereitet trifft wie seinerzeit die Datenschutz-Grundverordnung.“ Die Informationen seien vorhanden, da sie bei der Planung und während Entwicklung und Betrieb von IT-Produkten ohnehin benötigt, erhoben und dokumentiert würden.
Lajla Fetic, die Co-Leiterin des Projektes „reframe[Tech]“ der Bertelsmann Stiftung, sagte, dass wir in Zukunft ohne ADM-Systeme nicht mehr auskommen würden. Jetzt sei es Zeit für ein politisches Signal, dass ein KI-Register gewollt sei, um dafür ein zentral koordiniertes Vorgehen zu planen.
Anke Domscheit-Berg mahnte, nicht nur darüber nachzudenken, wie von Behörden eingesetzte KI-Systeme am besten regulieren werden sollten, sondern auch darüber, wie diese Systeme effektiv den Menschen helfen könnten: „Bei den Überlegungen zum Register und zur Folgenabschätzung sollten wir gemeinsam mit der Zivilgesellschaft und Sozialverbänden darüber nachdenken, wie Bürger*innen KI nutzen könnten. Ich denke da an Antragshilfen oder Anspruchsprüfungen.“
Hier finden Sie das Konzeptpapier Ein KI-Transparenzregister für die öffentliche Verwaltung und unser Instrument zur Folgenabschätzung Automatisierte Entscheidungssysteme im öffentlichen Sektor – Ein Impact-Assessment-Tool für die öffentliche Verwaltung.
Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zu ADM im öffentlichen Sektor.