Algorithmische Systeme werden immer häufiger in allen Lebensbereichen eingesetzt – die Umstände bleiben aber oft im Dunklen. Ihre automatisierten Entscheidungen können Leben auf den Kopf stellen: etwa wenn ein algorithmisches System fälschlicherweise den Missbrauch von Sozialleistungen meldet und damit Menschen in den finanziellen Ruin schickt, wenn Studienplätze wegen eines intransparenten und diskriminierenden algorithmischen Bewertungssystems zurückgezogen werden oder wenn Arbeitgeber ihre Mitarbeiter*innen strafrechtlich belangen, weil ein Fehler im System sagt, dass Geld in der Kasse fehlt.
Die Antwort der Europäischen Union auf solche Auswirkungen von Künstlicher Intelligenz ist der Artificial Intelligence Act (AI Act). Es ist das erste Gesetz weltweit, mit dem KI in allen Lebensbereichen reguliert werden soll. Dieser Prozess wird weltweit genau beobachtet, da das Gesetz über die EU hinaus Wirkung zeigen wird. Gegenwärtig verhandeln das EU-Parlament und der EU-Rat jeweils intern den von der EU-Kommission verfassten Gesetzentwurf. Anschließend werden die drei Institutionen Trilog-Verhandlungen aufnehmen.
Hier erklären wir den neuen Regulierungsansatz und die politischen Prozesse um ihn herum.
Wer ist von dem neuen Gesetz betroffen?
Erstens alle Menschen, die in der EU leben, und die Gesellschaft als Ganzes, da die meisten auf die eine oder andere Art mit den Regelungen für KI-basierte Systeme in Berührung kommen werden. Zweitens geht der Einfluss des AI Act über die EU hinaus, da EU-Regierungen die neuen Technologien zur Grenzkontrolle nutzen, indem sie damit Drittstaatsangehörige überwachen, vor allem Migrant*innen.
Drittens sind Unternehmen, die KI-Systeme innerhalb der EU bereitstellen oder zum Einsatz bringen (im Wortlaut des Gesetzes die „Anbieter und Nutzer“), an die Bestimmungen des AI Act gebunden. Sie gelten immer dann, wenn KI-basierte Systeme in der EU verwendet werden – unabhängig vom Ort, von dem aus die Systeme betrieben werden – oder wenn der Betrieb der Systeme in der EU Folgen hat – unabhängig davon, wo diese betrieben werden.
Geht es nur um Maschinelles Lernen? Geltungs- und Anwendungsbereich
Was ist ein KI-basiertes System? Durch diese Definition wird bereits zu einem großen Teil bestimmt, welche Systeme in den Geltungsbereich des Gesetzes fallen. Im Entwurf der EU-Kommission zum AI Act wurde der Begriff eher weit gefasst definiert. Der EU-Rat und die darin vertretenen Mitgliedsstaaten setzen sich für eine engere Definition ein, etwa indem sie den Begriff auf Maschinelles Lernen begrenzen möchten. Einige Systeme, die aus technischer Perspektive weniger komplex sind als Systeme, die auf Maschinellem Lernen beruhen, würden dadurch vom Geltungsbereich des AI Acts ausgeschlossen bleiben. Der Einfluss solcher Systeme kann nichtsdestotrotz ebenso schädlich sein wie der komplexerer Systeme, wie etliche Fälle zeigen.
Außerdem legt der Entwurf zum AI Act fest, dass der Einsatz von KI-Systemen zu militärischen Zwecken außerhalb des Anwendungsbereichs des Gesetzes liegt. Der EU-Rat und einige Mitglieder des EU-Parlaments möchten diese Einschränkung auf Belange der nationalen Sicherheit ausweiten. Dies würde (etwa auch autokratischen) Regierungen ermöglichen, biometrische Massenüberwachung einzuführen oder auch eine totalitäre Kontrolle durch die Vergabe von Punkten für erwünschtes Verhalten („Social Scoring“) auszuüben: Solche Maßnahmen sind zwar unter dem AI Act verboten, aber sie könnten im Namen der nationalen Sicherheit durch die Hintertür doch möglich bleiben.
Was ist vom AI Act zu erwarten?
Der AI Act folgt einem risikobasierten Ansatz, um zu gewährleisten, dass der Einsatz KI-basierter Systemen keine negativen Auswirkungen auf die Sicherheit, Gesundheit und Grundrechte von Menschen hat. Die jeweiligen gesetzlichen Auflagen hängen von dem jeweiligen Risikopotenzial ab: Inakzeptabel risikoreiche Systeme sind verboten, Hochrisiko-Systeme unterliegen bestimmten Regeln und risikoarme KI-Systeme sind keinen Auflagen unterworfen.
Mit welchen Schutzvorkehrungen schädliche Auswirkungen von KI-basierten Systemen eingedämmt werden, wird vom Regulierungsrahmen des AI Act abhängen. Darin wird ebenso geregelt werden, ob Personen auf Rechte und Rechtsbehelfsverfahren zurückgreifen können, falls ihre Grundrechte durch Voraussagen und Entscheidungen dieser Systeme verletzt wurden, und welche genau dies sind.
Mit Social Scoring wird die Vertrauenswürdigkeit einer Person beurteilt. Im Entwurf zum AI Act wird dieses Verfahren verboten, da es als unvereinbar mit den Werten der EU gilt. Das Verbot betrifft allerdings nur Social Scoring von Regierungen und umfasst nicht ein Social Scoring durch Privatunternehmen. Vorausschauende Polizeiarbeit soll nach den Angaben von Dragoş Tudorache und Brando Benifei, für den Act zuständige Berichterstatter im EU-Parlament, auch verboten werden, da sie „die menschliche Würde verletzt, gegen die Unschuldsvermutung verstößt und ein besonderes Diskriminierungsrisiko in sich birgt“. Der Entwurf schränkt den Einsatz von Gesichtserkennung durch Strafverfolgungsbehörden an öffentlichen Orten ein. Allerdings sind darin noch Schlupflöcher vorhanden, die Raum für den Einsatz von biometrischer Massenüberwachung bieten. Deutschland ist einer der wenigen Mitgliedsstaaten, der ein strengeres Verbot unterstützen und Gesichtserkennung an öffentlich zugänglichen Orten gänzlich untersagen würde. Die einzelnen Anwendungsverbote könnten wiederum umgangen werden, wenn eine Ausnahmeklausel für nationale Sicherheit eingeführt und die KI-Systeme in irgendeiner Form unter Berufung darauf eingesetzt werden.
Hochrisiko-KI-Systeme, die in Bereichen wie der vorausschauenden Polizeiarbeit, Einstellungsverfahren oder der Grenzkontrolle zum Einsatz kommen, müssen einer Konformitätsprüfung durch den Anbieter unterzogen werden. Sie müssen über ihren Lebenszyklus hinweg bestimmte Voraussetzungen erfüllen.
Transparenz und Rechenschaftspflicht
Der AI Act sieht eine EU-Datenbank vor, in der Hochrisiko-KI-Systeme registriert werden. In dieser Datenbank wären nur innerhalb der EU erhältliche und angebotene Systeme aufgeführt, sie würde jedoch keine Informationen dazu enthalten, wo, von wem oder wozu diese eingesetzt werden. Einige Parlamentsmitglieder und der Berichterstatter Brando Benifei sprechen sich dafür aus, dass auch diese Anwendung von Hochrisiko-Systemen registriert werden muss, wenn der Nutzer eine öffentliche Behörde oder eine Person ist, die im Namen der Behörde handelt.
Die im Raum stehenden Bußgelder, die im Fall eines Verstoßes gegen die Verordnungen des AI Act fällig wären, sind beträchtlich. Ein Schadensersatz für Betroffene ist im Entwurf der Kommission jedoch nicht vorgesehen. Zum gegenwärtigen Zeitpunkt gesteht die Verordnung Betroffenen keine direkten individuellen Rechte zu. Außerdem sieht sie weder individuelle bzw. kollektive Schadensersatzleistungen vor noch Untersuchungsverfahren zum Einsatz von Hochrisiko-Systemen, die für Personen oder zivilgesellschaftliche Organisationen zugänglich wären. Manche Parlamentsmitglieder setzen sich gerade dafür ein, das Betroffenen Rechte zugesprochen und Rechtsbehelfsverfahren an die Hand gegeben werden, etwa: das Recht, keinen nicht konformen KI-Systemen ausgesetzt zu sein; das Recht auf eine Erklärung, aus welchen Gründen die Entscheidungen eines Hochrisiko-Systems zustande gekommen sind; oder auch das Recht darauf, bei einer Aufsichtsbehörde eine Beschwerde einzureichen.
Das Gesetzgebungsverfahren
Die EU-Kommission veröffentlichte ihren Vorschlag zum Artificial Intelligence Act im April 2021. Sobald der Vorschlag vorlag, begannen das EU-Parlament und der EU-Rat, den Entwurf zu bearbeiten. Anders als sonst üblich führen zwei Ausschüsse die Verhandlungen im EU-Parlament: der Ausschuss für Binnenmarkt und Verbraucherschutz (Committee on the Internal Market and Consumer Protection, IMCO) mit dem Berichterstatter Brando Benifei und der Ausschuss für bürgerliche Freiheiten, Justiz und Inneres (Committee on Civil Liberties, Justice and Home Affairs; LIBE) mit dem Berichterstatter Dragoş Tudorache. Im April 2022 legten die zwei Berichterstatter den Entwurfsbericht zum AI Act vor – oder zumindest die Teile, auf die sie sich verständigen konnten. Die Mitglieder des Europäischen Parlaments haben tabellarisch über 3000 Änderungen zum Entwurfsbericht zusammengetragen. Diese Änderungen werden zu einem Kompromissänderungsantrag zusammengefügt, über den innerhalb der Ausschüsse im Oktober abgestimmt werden soll. Bei der Plenarversammlung, die für den November 2022 angesetzt ist, stimmen alle Mitglieder des EU-Parlaments über seine Version des Gesetzentwurfs ab. Es ist jedoch zu rechnen, dass sich dieser Prozess verzögern und bis anfangs 2023 hinziehen wird. Der EU-Rat will im Dezember 2022 eine Einigung erzielen. Wenn beide Institutionen intern zu einem Konsens gelangt sind, fangen die Trilog-Verhandlungen an, bei denen sich die drei Organe abschließend einigen müssen.
In Deutschland sind das Justizministerium und das Bundesministerium für Umwelt, Naturschutz, nukleare Sicherheit und Verbraucherschutz für den Gesetzentwurf federführend zuständig. Ihre sowie die Positionen verschiedener anderer Ministerien fließen in die Verhandlungen innerhalb des EU-Rats ein.
Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zum Artificial Intelligence Act.