Bericht der Datenethikkommission: Steilvorlage für die Zivilgesellschaft

Umfangreiche Regulierungsvorschläge für automatisierte Entscheidungen vorgelegt.

Von Lorenz Matzat 

Heute übergibt der Datenethikkommission (DEK) ihre Empfehlungen an die Bundesregierungen. Die Kommission war 2018 von der Bundesregierung einberufen worden und umfasst 16 Mitglieder: Hauptsächlich besetzt mit Wissenschaftler*innen, aber auch mit Vertreter*innen aus der Verwaltung, dem Datenschutz und der Industrie.

Der 240 Seiten starke Report enthält – entgegen diverser anderer Ethikrichtlinien im Rahmen der Digitalisierung, Künstlicher Intelligenz usw. – 75 konkrete Handlungsempfehlungen. Neben allgemeinen ethischen und rechtlichen Grundsätzen und Prinzipien widmet sich die DEK in ihren Empfehlungen dem Komplex „Daten“. Dort rät sie etwa von dem Konzept des „Dateneigentums“ im Sinne eines Sacheigentums ab.

Noch größeren Raum nimmt aber das dritte und letzte Thema in den Empfehlungen ein: „Algorithmische Systeme“. Hier richtet sich der „Blick auf die Architektur und Dynamik des datenverarbeitenden algorithmischen Systems und seine Auswirkungen auf Einzelne und die Gesellschaft“. Eingangs unterscheidet die DEK drei Typen, wie algorithmische Systeme in menschliche Entscheidungen einbezogen werden:

Risikogemäß regulieren

Die zentrale Handlungsempfehlung der DEK lautet, einen „risikoadaptierten Regulierungsansatz“ zu wählen. Fünf „Kritikabilitätsstufen“ identifiziert sie dafür und liefert Beispiele:

  1. Ohne oder mit geringem Schädigungspotential (bspw. Getränkeautomat) - Keine Regulierung
  2. Gewisses Schädigungspotential (bspw. dynamische Preissetzung im Online-Handel). Niedriger Regulierungsbedarf, etwa durch anlassbezogene Überprüfung
  3. regelmäßiges oder deutliches Schädigungspotenzial ( personalisierte Preissetzung): In spezifischen Fällen Zulassungsverfahren mit regelmäßiger Überprüfung
  4. erheblichem Schädigungspotenzial ( Akteure mit massiver Marktmacht bei der Ermittlung von Kreditwürdigkeit): Neben den Regulierungsmöglichkeiten aus Stufe 2 und 3 sieht die DEK Maßnahmen vor „bis hin zu einer weitergehenden Veröffentlichung der in die algorithmische Berechnung einfließenden Faktoren und deren Gewichtung, der Datengrundlage sowie des algorithmischen Entscheidungsmodells in nachvollziehbarer Form oder auch die kontinuierliche Kontrolle durch eine Live-Schnittstelle“.
  5. unvertretbares Schädigungspotenzial ( autonome Waffensysteme, die algorithmen-determiniert töten). Die DEK empfiehlt hier ein teilweises oder komplettes Verbot.

Intermediäre und staatliche Stellen

Hinsichtlich von „Medienintermediären“ (Facebook, Youtube etc.) weist die DEK darauf hin, dass diese „geradezu paradigmatisch für Konstellationen, in denen der Einsatz desselben algorithmischen Systems unterschiedliche Gefährdungspotenziale hat“ stünden. Ihr Schädigungspotential müsste, „insbesondere bei meinungsrelevanten Themen“, höher eingestuft werden. Etwa könne der Gesetzgeber ein Lizenzierungsverfahren anstreben. Weiter könnten die Anbieter verpflichte werden, zumindest alternativ auch „eine tendenzfreie, ausgewogene und die plurale Meinungsvielfalt abbildende Zusammenstellung von Beiträgen und Informationen“ zu bieten. Auch sei gegebenenfalls Einblick in „technische Verfahren der Nachrichtenauswahl und -priorisierung“ zu gewähren und eine „Gegendarstellung in Timelines“ zu ermöglichen.

Der Einsatz von algorithmischen Systemen auf staatlicher Seite sei besonders sensibel und erfordere mindestens eine umfassende Risikofolgenabschätzung. In „Rechtssetzung und Rechtsprechung“ (Legislative, Judikative) hält die DEK den Einsatz entsprechender Systeme höchstens in Randbereichen für angemessen. In der Verwaltung (Exekutive) dagegen, vor allem in der „Leistungsverwaltung“, empfiehlt die Kommission, verstärkt auf (Teil-)Automatisierung zu setzen.

Instrumente, Institutionen und Gesetze

Generell solle die Einstufung eines algorithmischen Systems mittels eines „übergreifenden Modells“ geschehen; der Gesetzgeber solle dafür ein „Prüfschema“ entwickeln. Weitere Instrumente, die die DEK empfiehlt, sind unter anderem:

Die bereits bestehen sektoralen Aufsichtsbehörden sollen mit entsprechenden Finanzen, Personal und technischen Mitteln ausgestattet werden. Zudem könnten sie Beiräte erhalten, die aus Zivilgesellschaft und Unternehmen besetzt werden. Weiter hält die DEK es für angebracht, ein „bundesweiten Kompetenzzentrum Algorithmische Systeme“ aufzubauen, um die Aufsichtsbehörden zu unterstützen. Ebenfalls regt die Kommission an, Selbstregulierung zu unterstützen und etwa einen „Algorithmic Accountability Codex“ zu entwickeln, den eine unabhängige Kommission erarbeitet, bei der ebenfalls die Zivilgesellschaft angemessen beteiligt werden soll. Unternehmen, die kritische algorithmische Systeme betreiben, sollten einen zur Mitwirkung verpflichteten Mitarbeiter (ähnlich den Datenschutzbeauftragten) benennen müssen, so die DEK.

Die Umsetzung der Empfehlungen der DEK solle durch eine Regulierung algorithmischer Systeme auf europäischer Ebene erfolgen. Eine „Verordnung für Algorithmische Systeme, EUVAS“ solle als „horizontale Vorgabe“ etabliert werden - ähnlich der Datenschutzgrundverodrdnung (DSGVO), mit der eine Aufgabenverteilung geklärt werden müsste.

Unsere Einschätzung

Soweit wir auf die Schnelle die Empfehlungen überblicken können, halten wir einige der Empfehlungen der Datenethikkommission für richtig. Wir begrüßen, dass die Rolle der Zivilgesellschaft betont wird, Journalist*innen und Forscher*innen Zugang zu kritischen System bekommen sollen und die DEK zur gleichen Einschätzung wie wir kommen (OpenSCHUFA): Kreditscoring, wie das der SCHUFA, hat gesellschaftlich gesehen ein erhebliches Schädigungspotential und müssen deutlich strenger reguliert werden.

Allerdings bleiben viele Fragezeichen, etwa wie und ob es überhaupt möglich ist, ein „übergreifendes Modell“ für die Einschätzung der Kritikalität eines Systems zu entwickeln. Wir reden hier von einer enormen Vielfalt und einer Unzahl von Systemen. Wie wird die Überprüfung priorisiert? Unklar ist ebenfalls, ob es sinnvoll ist, bei einem „unvertretbarem Schädigungspotential“ das Schlupfloch offen zu lassen, dass das System nur teilweisen verboten wird. Und wie Intermediäre wie Facebook „eine tendenzfreie, ausgewogene und die plurale Meinungsvielfalt abbildende Zusammenstellung von Beiträgen und Informationen“ gewährleisten können soll, ist völlig unklar.

Die Empfehlung der DEK für eine horizontal angelegte EU-Verordnung für algorithmische Systeme verschweigt, dass dies ein Vorhaben wäre, das auf mehr als eine Legislaturperiode angelegt sein müsste und die Regierungen der EU-Mitgliedsstaaten nicht davon entbinden würde, in der Zwischenzeit wenigstens in konkreten Sektoren spezifische Lösungen für drängende Probleme zu finden. Im schlimmsten Fall würde das Vorhaben „EUVAS“ nationale Gesetzgebung lähmen und gleichzeitig Probleme jahrelang unbeantwortet lassen. Darin ist noch nicht einmal die Zeit enthalten, bis sich eine gefestigte Rechtsprechung zur Auslegung einer solchen Verordnung gebildet hätte.

Dennoch sind die ausführlichen Empfehlungen der DEK eine überfällige und substanzielle Diskussionsgrundlage. An ihr wird man zumindest in Deutschland im Diskurs über den Umgang mit Daten (auch jenseits des Datenschutzes) sowie automatische Entscheidungen nicht mehr vorbeikommen.


Foto: BMI (bearbeitet)

Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zu ADM im öffentlichen Sektor.

Abonniere jetzt unseren Community Newsletter!


Mehr Informationen findest du in unserer Datenschutzerklärung.