AlgorithmWatch nimmt Stellung zum Entwurf des Digitalisierungsgesetzes für Schleswig-Holstein

Der Entwurf für ein Digitalisierungsgesetz des Landes Schleswig-Holstein zeigt den deutlichen Willen der Landesregierung, die öffentliche Verwaltung in die Lage zu versetzen, die Digitalisierung zum Wohl der Menschen einzusetzen. Im Detail erkennen wir allerdings einige offene Fragen und auch Fehleinschätzungen.

Position

21. Dezember 2021

#deutschland #oeffentlicheverwaltung #publicsector

Beatriz Perez

Grundsätzlich begrüßen wir es, dass das Ministerium für Energiewende, Landwirtschaft, Umwelt, Natur und Digitalisierung sowie das Ministerium für Inneres, ländliche Räume, Integration und Gleichstellung den Entwurf für ein umfassendes Digitalisierungsgesetz vorgelegt haben. Aus der Perspektive von AlgorithmWatch ist Artikel 12, das „Gesetz über die Möglichkeit des Einsatzes von datengetriebenen Informationstechnologien bei öffentlich-rechtlicher Verwaltungstätigkeit (IT-Einsatz-Gesetz – ITEG)“, von besonderem Interesse, weshalb wir uns darauf konzentrieren. Bei unserer Stellungnahme müssen wir uns auf eine Auswahl fokussieren. Wenn wir konkrete Regelungen nicht adressieren, ist das nicht als Zustimmung zu verstehen.

Auszüge aus unserer Stellungnahme:

Begriffe:

Wir begrüßen die Verwendung des Begriffs “datengetriebene Informationstechnologien“ statt “Künstliche Intelligenz”. Dennoch möchten wir auf grundsätzliche Probleme des Begriffs hinweisen. Unseres Erachtens liegt ihm ein Missverständnis bzw. eine Unklarheit über die Funktionsweise von Techniken sogenannten Maschinellen Lernens zugrunde.
Wir begrüßen den Versuch, die datengetriebene Informationstechnologie von anderen IT-Technologien abzugrenzen, befürchten jedoch angesichts der Formulierung und des Zusammenhangs, dass mit den angesprochenen verwendeten Systemen und Prozessen lediglich technologische Systeme und Prozesse gemeint sind, nicht die soziotechnischen Systeme in ihrer Gesamtheit.

Prognosen über die Straffälligkeit:

Wir sehen Klärungsbedarf in der Frage, wie derzeit Prognosen über die Straffälligkeit einzelner Personen oder Personengruppen erstellt werden und ob entsprechende Systeme hier eine sinnvolle Unterstützung leisten könnten.

Folgenabschätzung und Qualifizierung von Beschäftigten

Wir begrüßen ausdrücklich die in § 9 „Beherrschbarkeit und Risiko“ aufgeführten Maßnahmen, insbesondere zur Folgenabschätzung und der Qualifizierung von Beschäftigten, wobei wir den grundsätzlich festgeschriebenen Vorrang der Datenschutz-Folgenabschätzung vor einer umfassenderen Technik-Folgenabschätzung für falsch halten.
Für einen konkreten Vorschlag dazu, wie eine solche Folgenabschätzung aufgebaut sein kann, verweisen wir auf das Instrument zur Folgenabschätzung, das wir in Zusammenarbeit mit der Universität Basel für den Kanton Zürich erarbeitet haben.

Transparenz, Register

Wir begrüßen weiter prinzipiell die erkennbare Absicht, größere Transparenz über den Einsatz von datenbasierten Informationstechnologien herzustellen.
Allerdings weist § 6 „Transparenz; Nichtigkeit von Verwaltungsakten“ unseres Erachtens schwerwiegende Unklarheiten auf. Daher schlagen wir stattdessen vor, nicht zur Offenlegung von konkreten Algorithmen zu verpflichten, sondern zur Offenlegung der Resultate einer Technik-Folgenabschätzung (Transparenzberichte).
Wir begrüßen den Vorstoß zur Einführung eines öffentlich zugänglichen Registers, in dem Systeme zum automatisierten Entscheiden oder zur Entscheidungsunterstützung dokumentiert werden. Allerdings sieht der Gesetzentwurf vor, dass nur solche Systeme in dem Verzeichnis eingetragen werden müssen, die nicht bereits in einem Verzeichnis nach Artikel 30 der Datenschutz-Grundverordnung aufgelistet sind. Dieser Ansatz verkennt Beweggrund und Funktionen eines Transparenzregisters für algorithmische Verfahren, deren Folgen im Wesentlichen anders geartet sein und auch erheblich weiter reichen können, als die Privatsphäre von Individuen zu verletzen.
Darüber hinaus ist derzeit nicht hinreichend festgelegt, welche Informationen das Verzeichnis enthalten muss. Es sollten alle Informationen, die im Transparenzbericht enthalten sind, dort in einem maschinenlesbaren Format, das idealerweise auf einem offenen Standard basiert, abrufbar sein.

Aufsicht und Durchsetzung

Es fehlen konkrete Vorschläge für wirksame Aufsichts- und Durchsetzungsmechanismen, um Aufsicht und Kontrolle zu gewährleisten.

Weitere Reglungen

Wir begrüßen ausdrücklich die Regelungen zur Verantwortlichkeit (§ 4), zur Nichtigkeit von Verwaltungsakten (§6), zu menschlicher Aufsicht; Vorrang menschlicher Entscheidungen (§ 7), zu Sicherheit, Robustheit und Resilienz (§ 10), zur Verordnungsermächtigung (§ 11) und zur KI-Rüge (§ 12).