Der Einsatz automatisierter Entscheidungsfindung und KI-basierten Systemen hat in Europa in den vergangenen zwei Jahren stark zugenommen – auch in Deutschland lassen sich immer mehr Anwendungsfälle finden. Die Systeme werden sowohl von der öffentlichen Verwaltung als auch von privaten Unternehmen eingesetzt und beeinflussen das Leben von Millionen von Bürger·innen. Es mangelt jedoch noch immer an Transparenz, Aufsicht und Kompetenz. Nur wenn politische Entscheidungsträger·innen auf europäischer, aber auch auf nationaler Ebene diese Lücken schnell schließen, kann sich der potenzielle Nutzen algorithmischer Systeme entfalten. Das hat die bisher umfassendste Recherche zu diesem Thema in Europa ergeben, die AlgorithmWatch und die Bertelsmann Stiftung für die neue Ausgabe des Automating Society Report durchgeführt haben.
Berlin, 28.10.2020. Der Einsatz automatisierter Entscheidungsfindung (automated decision-making, ADM) und KI-basierter Systeme hat in Deutschland und Europa in den vergangenen zwei Jahren stark zugenommen. Dies wirkt sich auf die Durchsetzung von Rechten, den Zugang zu Dienstleistungen und damit auch auf die Teilhabemöglichkeiten von Millionen von Bürger·innen aus. Trotzdem werden die meisten ADM-Systeme ohne eine breite gesellschaftliche Debatte eingeführt. Oft mangelt es den Systemen an Transparenz in Bezug auf ihre Ziele, Funktionsweise und Wirksamkeit. Doch selbst wenn diese Transparenz in konkreten Anwendungsfällen gegeben ist, bedeutet das noch lange nicht, dass diese einen Nutzen für den Einzelnen oder die Gesellschaft als Ganzes schaffen. Dies sind die Kernergebnisse der neuen Ausgabe des "Automating Society"-Reports 2020. Die Bertelsmann Stiftung und AlgorithmWatch zeigen darin auf Grundlage einer umfassenden Recherche in 16 europäischen Ländern auf, wie sich ADM-Systeme auf alle Aspekte des Lebens auswirken – von der sozialen Sicherung über Gesundheit und Bildung bis hin zu Justiz und Polizeiarbeit.
Ein über den ganzen Kontinent verteiltes Recherche-Netzwerk hat mehr als 100 Einsätze von ADM-Systemen dokumentiert und dabei herausgefunden, dass diese Anwendungen in bestimmten Fällen positive Auswirkungen haben können. Beispielsweise wird in den Städten Singen und Weimar ein ADM-System namens DyRiAS eingesetzt, um das Risiko von Gewaltausübung gegen Frauen einzuschätzen. Das algorithmische Prognosepotenzial nutzt auch das Auswärtige Amt, indem es die Software PREVIEW einsetzt, um internationale Krisen früher und besser vorherzusagen.
Die detaillierte Recherche zeigt aber auch, dass die überwiegende Mehrheit der aktuellen Anwendungen eher Nachteile mit sich bringen, statt Menschen zu helfen: Fehlerhafte Systeme haben etwa im Vereinigten Königreich dazu geführt, Leistungen von Schüler·innen unfair zu benoten, während sie in Dänemark die Jobaussichten von Arbeitslosen falsch einstuften. In Deutschland gab es Kritik an der potenziellen Verletzung von Grundrechten durch den polizeilichen Einsatz von Gesichtserkennungssoftware an einem Berliner Bahnhof.
„Automatisierte Entscheidungssysteme haben das Potenzial, einen positiven gesellschaftlichen Beitrag zu leisten", sagt Fabio Chiusi, Projektleiter bei AlgorithmWatch und Koordinator des Recherche-Netzwerks, „aber unser Report zeigt auch, dass dies in der Praxis bisher eher die Ausnahme als die Norm ist."
„Wir sehen viele gute Absichten, die dann oft schlecht umgesetzt werden“, erklärt Sarah Fischer, Expertin für algorithmische Entscheidungsfindung bei der Bertelsmann Stiftung. „Um das volle Potenzial algorithmischer Systeme zu nutzen, brauchen wir einen europäischen Rahmen mit kohärenten Regeln für Transparenz, Aufsicht und Durchsetzungsmechanismen, die aus einer informierten und inklusiven demokratischen Debatte entstehen.“
Der Bericht zeigt aber auch, dass es Möglichkeiten gibt, unfaire und undurchsichtige ADM-Systeme zu identifizieren, in die öffentliche Debatte zu tragen und sie letztlich so zu verbessern, dass sie positive Wirkung entfalten können. In vielen der analysierten Ländern ist es Journalist·innen, Akademiker·innen und zivilgesellschaftlichen Organisationen gelungen, den Einsatz einer wachsenden Anzahl intransparenter und rechtsverletzender ADM-Systeme zu stoppen und so als effektive Wächter einer immer stärker automatisierten Gesellschaft zu wirken.
Jeder dieser einzelnen Erfolge ist zwar wichtig, reicht aber nicht aus, um den gesellschaftlichen Nutzen von ADM-Systemen systematisch zu gewährleisten. Aus diesem Grund enthält der Bericht eine Reihe politischer Handlungsvorschläge, mit deren Umsetzung es möglich wäre, die Chancen der Systeme zu nutzen und gleichzeitig ihre Defizite zu verringern. AlgorithmWatch und die Bertelsmann Stiftung empfehlen:
- die Transparenz von ADM-Systemen zu erhöhen. Hierzu sollten öffentliche Register für die im öffentlichen Sektor eingesetzten ADM-Systeme eingerichtet und rechtsverbindliche Rahmenbedingungen für den Zugang zu Daten eingeführt werden, um Forschung im gesellschaftlichen Interesse zu ermöglichen und zu unterstützen;
- einen Rahmen für klare Rechenschaftspflichten über ADM-Systeme zu schaffen. Dafür ist es wichtig, Ansätze für die effektive Überprüfung der Anwendungen zu entwickeln, zivilgesellschaftliche Watchdog-Organisationen zu stärken und ADM-Systeme mit hohem Risikopotenzial zu verbieten.
- algorithmische Kompetenzen und die öffentliche Debatte über ADM-Systeme zu stärken. Zu diesem Zweck sollten unabhängige Kompetenzzentren für automatisierte Entscheidungsfindung aufgebaut sowie eine integrative und pluralistische demokratische Debatte über ADM-Systeme gefördert werden.
Der Bericht ist in englischer Sprache online verfügbar unter:
https://automatingsociety.algorithmwatch.org/
Für Fragen und Interviewanfragen zum Bericht wenden Sie sich gerne an:
Fabio Chiusi, AlgorithmWatch
(Englisch)
fc@algorithmwatch.org
+49.30.99.40.49.001
Dr. Sarah Fischer, Bertelsmann Stiftung
(Englisch & Deutsch)
sarah.fischer@bertelsmann-stiftung.de
+49.5241.81.81148