Automatisierte Entscheidungssysteme im öffentlichen Sektor – einige Empfehlungen

Die Automatisierung von Entscheidungsverfahren und von Dienstleistungen in der öffentlichen Verwaltung gewinnt zunehmend an Bedeutung. Behörden sehen darin ein Mittel, um ihre Effizienz zu steigern, Prozesse zu erleichtern sowie um massenhaft anfallende oder routiniert durchzuführende Leistungen auszuführen. Solche Systeme werden in Europa und darüber hinaus immer häufiger eingesetzt. Beispiele hierfür sind Chatbots, die automatische Verarbeitung von Steuererklärungen oder Sozialhilfeanträgen, algorithmische Systeme zur Risikoerkennung von Sozialmissbrauch, Profilerstellung bei Arbeitslosen, vorhersagende Polizeiarbeit oder die Bewertung des Rückfallrisikos von Menschen, deren Freiheitsstrafe zur Bewährung ausgesetzt werden soll.

Ohne Zweifel bietet der Einsatz von automatisierten Entscheidungssystemen („automated decision-making systems“, ADM-Systeme) in der öffentlichen Verwaltung viele Vorteile. Allerdings bringen diese Systeme gleichzeitig erhebliche Risiken mit sich – vor allem, wenn sie nicht mit der gebührenden Vorsicht eingesetzt werden. Sie können zur Folge haben, dass Menschen in ihrer gesellschaftlichen Teilhabe beeinträchtigt werden, dass ihre Grundrechte beschnitten werden oder dass ihnen der Zugang zu öffentlichen Gütern und Dienstleistungen verwehrt wird.

Solche Risiken sind nicht auf den öffentlichen Sektor beschränkt, sondern spiegeln häufig ähnliche Risiken wider, die im privaten Sektor anzutreffen sind. Gleichzeitig sind im öffentlichen Sektor andere Voraussetzungen gegeben: Wir haben keine Wahl zwischen verschiedenen Anbietern, sondern sind unausweichlich der für uns zuständigen Verwaltung unterworfen. Zudem können Behörden auf sensible personenbezogene Daten zugreifen und ihre Entscheidungen haben für die betroffenen Personen weitreichende Folgen. Diese Umstände werden in spezifischen rechtlichen Rahmenbedingungen berücksichtigt, an die öffentliche Behörden gebunden sind: zum Beispiel, dass jegliches staatliches Handeln auf einer gesetzlichen Grundlage beruhen muss und an Grundrechte gebunden ist.

Wenn ADM-Systeme im öffentlichen Sektor eingesetzt werden, müssen diese besonderen Voraussetzungen berücksichtigt werden. Bei der Automatisierung von Verwaltungsprozessen müssen Autonomie, Gerechtigkeit und Fairness, Schadensvermeidung und Benefizienz daher als ultimative Maßstäbe gelten.

Um diesen gerecht zu werden, sollten strenge Anforderungen an ADM-Systeme im öffentlichen Sektor gestellt werden. Diese Anforderungen müssen Transparenz und Verantwortlichkeit sicherstellen und individuelle sowie demokratische Kontrolle ermöglichen.

Eine zentrale Herausforderung ist, dass ADM-Systeme kaum Einblicke erlauben. Solange keine Maßnahmen ergriffen werden, um Transparenz herzustellen, bleiben die Systeme für die Behörden und deren Personal, für die Betroffenen und für die gesamte Gesellschaft Black Boxes, die für eine kritische Auseinandersetzung von außen nicht zugänglich sind. Transparenz ist deshalb ein notwendiger erster Schritt, um den Einfluss von ADM-Systemen zu beurteilen – aber sie allein reicht nicht aus. Sie ist eine Bedingung dafür, dass betroffene Personen sich wehren können und dass für die Öffentlichkeit die Möglichkeit besteht, den Einsatz von ADM-Systemen evidenzbasiert zu debattieren und öffentlich zu überwachen. Die folgenden politischen Handlungsempfehlungen beschreiben, wie Transparenz bei der Regulierung von ADM-Systemen im öffentlichen Sektor ermöglicht werden kann.

Handlungsempfehlungen

1. Öffentliches Register für ADM-Systeme im öffentlichen Sektor einrichten

Ohne Kenntnis darüber, ob und wo ADM-Systeme in der öffentlichen Verwaltung eingesetzt werden, sind alle anderen Bemühungen den Einsatz von ADM-Systemen im Einklang mit den Grundrechten zu gestalten, zum Scheitern verurteilt. Wir fordern deshalb gesetzlich vorgegebene öffentliche Register, in denen die Verwendung von ADM-Systemen in Behörden verzeichnet ist –auf kommunaler, regionaler, nationaler und länderübergreifender Ebene.

Die für den Einsatz der ADM-Systeme Verantwortlichen müssen gesetzlich dazu verpflichtet werden, in diesen Registern Informationen zum zugrundeliegenden Modell, zu den Entwickler·innen und Betreiber·innen, zum Verwendungszweck und zur Folgenabschätzung offenzulegen: also gegebenenfalls einen Transparenzbericht vorzulegen (mehr dazu weiter unten).

Unter bestimmten Umständen kann ein berechtigtes Interesse bestehen, keinen vollständigen öffentlichen Zugang zu Transparenzberichten zu gewähren (zum Beispiel zum Schutz von persönlichen Daten). In solchen Fällen muss dennoch bestimmten Gremien gegenüber Transparenz gewährleistet sein, zum Beispiel einer bestimmten Kontrolleinrichtung. Dies wiederum muss im Register öffentlich kommuniziert werden.

Die im Register enthaltenen Informationen müssen leicht zugänglich und leicht lesbar sein. Dies bedeutet auch, dass die digitalen Daten nach Vorgabe eines standardisierten Protokolls strukturiert sein müssen. Wichtig ist, dass die Register eine unabhängige Prüfung durch externe Forscher·innen (Wissenschaftler·innen, Vertreter·innen der Zivilgesellschaft, Journalist·innen) ermöglichen, indem diesen Zugang zu allen relevanten Daten über den Einsatz von ADM-Systemen in der öffentlichen Verwaltung erhalten. Dies trägt zur öffentlichen Kontrolle und zu einer faktengestützten Debatte zu Automatisierung im öffentlichen Sektor bei – und ist eine notwendige Voraussetzung, um demokratische Kontrolle und Rechenschaftspflicht zu gewährleisten.

2. Systematische Folgenabschätzung von ADM-Systemen im öffentlichen Sektor

Da ADM-Systeme einen weitreichenden Einfluss haben können, sollten Behörden dazu verpflichtet werden, die potenziellen Risiken aller Systeme, deren Einsatz geplant wird, systematisch zu untersuchen und die Ergebnisse transparent zu machen. Um diese Risiken angemessen bewerten zu können, müssen sie im Einzelfall analysiert werden. Folglich sollte es für Behörden verpflichtend sein, vor und während des Einsatzes von ADM-Systemen eine Folgenabschätzung durchzuführen.

Um in der Praxis etwas bewirken zu können, müssen ethische Überlegungen in einsatzfähige Instrumente übersetzt werden, mit denen Behörden solche Analysen durchführen können. Zu diesem Zweck hat AlgorithmWatch ein praktisches, anwendungsfreundliches und konkretes Instrument zur Folgenabschätzung entwickelt, mit dem ADM-Systeme über ihren gesamten Lebenszyklus hinweg evaluiert werden können.

Dieses zweistufige Verfahren zur Folgenabschätzung macht – basierend auf den oben skizzierten ethischen Prinzipien – potenzielle Risiken, die mit dem Einsatz solcher Systeme einhergehen, transparent. In der ersten Phase wird im Rahmen einer sogenannten „Triage“ bewertet, ob ein System besondere Transparenzanforderungen erfüllen muss. Behörden können diesen Schritt unbürokratisch umsetzen. Falls Risikosignale deutlich werden, müssen die Behörden in einer zweiten Phase einen Transparenzbericht erstellen, in dem diese Risiken und die zu ihrer Eindämmung ergriffenen Maßnahmen offengelegt werden. Je mehr Risiken in der ersten Phase ausfindig gemacht werden, desto umfassender muss der Transparenzbericht in der zweiten Phase ausfallen – und umso anspruchsvoller wird also für die Behörde der Einsatz des ADM-Systems.

3. Transparenz ist nur der erste Schritt

Zusätzlich zu den Transparenzmaßnahmen brauchen wir Rahmenbedingungen, die individuelle und demokratische Kontrolle bei der Nutzung von ADM-Systemen sowie Rechenschaftspflichten gegenüber Betroffenen und der breiten Öffentlichkeit gewährleisten.

Auf der individuellen Ebene beinhaltet dies unter anderem, dass Menschen Zugang zu allen relevanten Informationen erhalten, wenn sie von dem Einsatz eines ADM-Systems betroffen waren, dass ihnen zugängliche, kostengünstige und effektive Rechtsmittel sowie Entschädigungsmöglichkeiten zur Verfügung stehen und dass sie unter bestimmten Voraussetzungen der Nutzung eines ADM-Systems widersprechen können.

Auf einer gesellschaftlichen Ebene geht es darum, öffentliche Aufsicht und Kontrolle zu ermöglichen und damit die Rechenschaftspflicht von Behörden beim Einsatz von ADM-Systemen zu erhöhen. Dazu beitragen würden unabhängige Kompetenzzentren sowie ein rechtlich abgesicherter Zugang zu den relevanten Daten für Forschung im öffentlichen Interesse.

Schließlich müssen wir in einer öffentlichen Debatte festlegen, wo die Grenzen im Fall von Automatisierung liegen: Wenn der Einsatz von ADM-Systemen nicht mit Grundrechten und demokratischen Prinzipien vereinbar ist, muss er untersagt werden.

Das Ziel ist, Rahmenbedingungen zu schaffen, die beim Einsatz von ADM-Systemen im öffentlichen Sektor Transparenz, Kontrolle und Verantwortlichkeit gewährleisten. Nur dann kann dieser Einsatz Mensch und Gesellschaft nützen, statt ihnen zu schaden.

Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zu ADM im öffentlichen Sektor.