Automatisierte Entscheidungssysteme im öffentlichen Sektor – Ein Impact-Assessment-Tool für die öffentliche Verwaltung
in Zusammenarbeit mit Anna Mätzener, Angela Müller und Matthias Spielkamp
Wie können wir gewährleisten, dass die öffentliche Verwaltung automatisierte Entscheidungssysteme vertrauenswürdig einsetzt? AlgorithmWatch und AlgorithmWatch Schweiz haben ein Instrument zur Folgenabschätzung (Impact Assessment Tool) erarbeitet, das Behörden verschiedener Verwaltungsebenen für die Analyse spezifischer Systeme verwenden können. Das Dokument ist jetzt auch auf Deutsch verfügbar.
Beim Einsatz automatisierter Entscheidungssysteme (automated decision-making system, ADMS) in der öffentlichen Verwaltung soll das Vertrauen von Bürger*innen und der Gesellschaft in die öffentliche Hand das höchste Ziel sein. Angesichts des speziellen Kontextes, in dem Behörden agieren, muss der Einsatz von ADMS mit Blick auf ethische Fragen systematisch begleitet werden. So werden Transparenz und Rechenschaftspflicht gegenüber den Betroffenen sichergestellt.
Wir skizzieren zunächst die ethischen Grundlagen unseres Ansatzes. Daraus leiten wir dann die spezifischen Fragestellungen für die Analyse von ADM-Systemen ab. Um die ethischen Prinzipien der Schadensvermeidung, der Autonomie, der Gerechtigkeit und Fairness sowie des Gemeinwohls zu wahren, müssen Transparenz, Kontrolle und Rechenschaftspflicht gewährleistet sein. Letztere sind keine Ziele an sich, sondern unumgängliche Mittel, um einen ethischen Einsatz von ADMS im öffentlichen Sektor zu gewährleisten und die Rechenschaftspflicht sicherzustellen. Auf dieser Grundlage führen wir ein zweistufiges Verfahren zur Folgenabschätzung (Impact Assessment) ein. Es ermöglicht eine systematische Analyse von ADMS und zeigt auf, ob ein System zusätzliche Transparenzanforderungen erfüllen muss. Ist dies der Fall, müssen die Behörden einen umfassenden Transparenzbericht vorlegen. Abschließend veranschaulichen wir die Anwendung des Tools anhand eines fiktiven Beispiels.
Das Impact Assessment Tool ist im Rahmen der Studie «Einsatz Künstlicher Intelligenz in der Verwaltung: rechtliche und ethische Fragen» entstanden, welche im Auftrag des Kanton Zürichs durchgeführt wurde. Dabei handelte es sich um eine Zusammenarbeit von Prof. Dr. Nadja Braun Binder (Universität Basel), ihrem Team und AlgorithmWatch.
Michele Loi (er/ihm)
Senior Scientific Advisor
Foto: Julia Bornkessel, CC BY 4.0
Dr. Michele Loi ist Senior Scientific Advisor bei AlgorithmWatch und Professor mit Lehrauftrag („professore a contratto“) für den Studiengang KI, Ethik und Recht an der Universität Mailand. Zuvor hat er als Marie-Sklodowska-Curie-Stipendiat am Politecnico di Milano zum Thema Fairness in der KI geforscht. Mit einem Doktortitel in Politischer Theorie der LUISS-Universität und umfangreicher Postdoc-Erfahrung an Institutionen wie der Universität Zürich, der ETH Zürich und der Weltgesundheitsorganisation hat sich Dr. Loi als führender interdisziplinärer Forscher an der Schnittstelle von KI-Ethik, Technologie-Governance und Sozialphilosophie etabliert und mehrere hochkarätige Publikationen veröffentlicht. Sein Forschungsportfolio umfasst die Leitung mehrerer Projekte zur Untersuchung von Algorithmus-Fairness, Datenethik und Technologie-Governance mit über 35 begutachteten Artikeln, 9 Konferenzbeiträgen, 3 Büchern und 7 Buchkapiteln. Seine Publikationen zeugen von spezifischer Expertise in den Bereichen algorithmische Fairness, ethische Implikationen von KI-Systemen und soziale Auswirkungen von Technologie. Das qualifiziert ihn nicht zuletzt, methodische Rahmenwerke für die Analyse der systemischen Risiken von KI-Systemen sowohl aus technischer als auch aus gesellschaftlicher Perspektive zu entwickeln.