Ein Leitfaden zum AI Act: Wie die EU KI regulieren will und was das für uns alle bedeutet

Algorithmische Systeme werden immer häufiger in allen Lebensbereichen eingesetzt – die Umstände bleiben aber oft im Dunklen. Ihre automatisierten Entscheidungen können Leben auf den Kopf stellen: etwa wenn ein algorithmisches System fälschlicherweise den Missbrauch von Sozialleistungen meldet und damit Menschen in den finanziellen Ruin treibt, wenn Studienplätze wegen eines intransparenten und diskriminierenden algorithmischen Bewertungssystems zurückgezogen werden oder wenn Arbeitgeber ihre Mitarbeiter*innen strafrechtlich belangen, weil ein Fehler im System sagt, dass Geld in der Kasse fehlt.

Die Antwort der Europäischen Union auf solche Risiken Künstlicher Intelligenz ist der Artificial Intelligence Act (AI Act). Mit dem Gesetz will die EU eine rechtliche Grundlage für die Entwicklung und den Einsatz von KI legen, um mögliche Schäden durch KI abzuwenden oder zu minimieren. Außerdem sollen mit dem AI Act in der gesamten EU einheitliche Regeln für den KI-Markt eingeführt werden, damit die Technologie in der EU besser Fuß fassen kann.

Hier erklären wir den neuen Regulierungsansatz und die politischen Prozesse um ihn herum.

Wer ist von dem neuen Gesetz betroffen?

Erstens alle Menschen, die in der EU leben, und unsere Gesellschaft als Ganzes, da die meisten auf die eine oder andere Art mit KI-basierten Systemen in Berührung kommen werden. Zweitens sind Unternehmen und staatliche Behörden, die in der EU KI-Systeme anbieten bzw. einsetzen (im Wortlaut des Gesetzes „Anbieter und Nutzer“), verpflichtet, den gesetzlichen Auflagen des AI Act zu folgen. Diese Regelungen gelten immer dann, wenn KI-basierte Systeme in der EU angewendet werden – unabhängig davon, wo ihre Betreiber ihren Sitz haben. Außerdem gelten sie immer, wenn KI-Systeme Folgen innerhalb der EU haben – unabhängig davon, wo die Systeme selbst betrieben werden.

Leider gelten die im AI Act festgelegten Schutzmaßnahmen nur für Menschen, die in der EU leben. KI-Anbieter mit Sitz in der EU könnten Systeme entwickeln, die unter dem AI Act verboten sind, und sie außerhalb der EU zum Einsatz bringen.

Geht es nur um Maschinelles Lernen? Geltungs- und Anwendungsbereich

Durch die Definition, was ein KI-basiertes System ist, wird bestimmt, welche Systeme in den Geltungsbereich des Gesetzes fallen. In ihrem Entwurf zum AI Act definiert die EU-Kommission den Begriff eher sehr allgemein. Der EU-Rat und die darin vertretenen Mitgliedsstaaten haben auf eine engere Definition gedrängt, indem sie den Begriff auf Maschinelles Lernen begrenzen. Einige Systeme, die aus technischer Perspektive weniger komplex sind als Systeme, die auf Maschinellem Lernen beruhen, bleiben dadurch vom Geltungsbereich des AI Act ausgeschlossen. Der Einfluss solcher Systeme kann allerdings ebenso schädlich sein wie der komplexerer Systeme, wie etliche Fälle zeigen.

Außerdem legt der Entwurf zum AI Act fest, dass der Einsatz von KI-Systemen zu militärischen Zwecken außerhalb des Anwendungsbereichs des Gesetzes liegt. Der EU-Rat hat diese Einschränkung auf Belange der nationalen Sicherheit ausgeweitet. Dies würde (etwa auch autokratischen) Regierungen ermöglichen, biometrische Massenüberwachung einzuführen oder auch eine totalitäre Kontrolle durch die Vergabe von Punkten für erwünschtes Verhalten („Social Scoring“) auszuüben: Solche Maßnahmen sind zwar unter dem AI Act verboten, aber sie könnten im Namen der „nationalen Sicherheit“ durch die Hintertür dennoch möglich bleiben.

Was ist vom AI Act zu erwarten?

Der AI Act folgt einem risikobasierten Ansatz, um zu gewährleisten, dass der Einsatz KI-basierter Systeme keine negativen Auswirkungen auf die Sicherheit, Gesundheit und Grundrechte von Menschen hat. Die jeweiligen gesetzlichen Auflagen hängen von dem jeweiligen Risikopotenzial ab: Inakzeptabel risikoreiche Systeme sind verboten, Hochrisiko-Systeme unterliegen bestimmten Regeln und risikoarme KI-Systeme sind keinen Auflagen unterworfen.

Der Regulierungsrahmen des AI Act wird vorgeben, mit welchen Schutzvorkehrungen schädliche Auswirkungen von KI-basierten Systemen eingedämmt werden. Außerdem wird von ihm abhängen, ob und wie genau Personen auf Rechte und Rechtsbehelfsverfahren zurückgreifen können, falls ihre Grundrechte durch Voraussagen und Entscheidungen dieser Systeme verletzt wurden.

Mit Social Scoring wird die Vertrauenswürdigkeit einer Person beurteilt. Im Entwurf zum AI Act wurde dieses Verfahren verboten, da es als unvereinbar mit den Werten der EU gilt. Das Verbot betrifft insbesondere Regierungen. Der EU-Rat und das EU-Parlament weiteten dieses Verbot von Social Scoring auf Privatunternehmen aus. Vorausschauende Polizeiarbeit soll nach Dragoş Tudorache und Brando Benifei auch verboten werden, da sie „die menschliche Würde verletzt, gegen die Unschuldsvermutung verstößt und ein besonderes Diskriminierungsrisiko in sich birgt“. Der Entwurf schränkte den Einsatz von Gesichtserkennung durch Strafverfolgungsbehörden an öffentlichen Orten ein. Allerdings waren darin noch Schlupflöcher vorhanden, die Raum für den Einsatz von biometrischer Massenüberwachung bieten. Die Mitglieder des EU-Parlaments sprachen sich für ein striktes Verbot von KI-gestützter Überwachung an öffentlichen Orten aus, sowohl in Echtzeit als auch zeitversetzt. Die einzelnen Anwendungsverbote könnten aber umgangen werden, wenn eine Ausnahmeklausel für die „nationale Sicherheit“ eingeführt wird und KI-Systeme in irgendeiner Form unter Berufung darauf eingesetzt werden.

Dementsprechend schwierig war es für den EU-Rat, das EU-Parlament und die Kommission, in ihren Verhandlungen einen Kompromiss darüber zu finden, welche KI-Systeme verboten werden sollten. Die Mitgliedstaaten des EU-Rats wehrten sich gegen ein vollständiges Verbot der öffentlichen Gesichtserkennung in Echtzeit, während sich das Parlament für strengere Schutzmaßnahmen und wenige Ausnahmefälle einsetzte. Der Kompromiss beinhaltet schließlich ein Verbot der biometrischen Kategorisierung auf der Grundlage sensibler Merkmale wie Rasse und Geschlecht, ein vollständiges Verbot von Emotionserkennung am Arbeitsplatz und im Bildungsbereich sowie das Verbot, sich massenhaft aus dem Internet Bilder von Gesichtern zu beschaffen. Erst wenn der endgültige Wortlaut der Verbote veröffentlicht wird, wird sich sagen lassen, ob diese Verbote die Bevölkerung wirklich schützen.

Alle Hochrisiko-KI-Systeme (die zum Beispiel in der Strafverfolgung, in Einstellungsverfahren, in Bildungsinstitutionen oder bei der Grenzkontrolle zum Einsatz kommen) müssen jedenfalls einer Konformitätsprüfung durch den Anbieter unterzogen werden, um sicherzugehen, dass sie die vorgeschriebenen Voraussetzungen erfüllen. Vor allem müssen sie die Auswirkungen solcher Systeme auf die Grundrechte begutachten.

Transparenz und Rechenschaftspflicht

Der AI Act sieht eine EU-Datenbank vor, in der Hochrisiko-KI-Systeme registriert werden. In dieser Datenbank sollten ursprünglich nur innerhalb der EU erhältliche und angebotene Systeme aufgeführt werden und es wäre nicht verpflichtend gewesen, Informationen über ihren Anwendungskontext bereitzustellen. Der EU-Rat und das EU-Parlament setzten sich für größere Transparenzanforderungen ein. Sie forderten, dass auch öffentliche Behörden die Anwendung von Hochrisiko-Systemen registrieren müssen. Die allgemeine Öffentlichkeit wie auch Watchdog- und Forschungsorganisationen erhalten auf diese Weise Zugang zu Informationen über den Anwendungskontext von Hochrisiko-Systemen, die öffentliche Behörden einsetzen.

Die Bußgelder, die im Fall eines Verstoßes gegen die Verordnungen des AI Act fällig werden, betragen 35 Millionen Euro bzw. sieben Prozent des weltweiten Jahresumsatzes des betreffenden Unternehmens (je nachdem, welcher Betrag höher ist), wenn es verbotene KI-Systeme angewendet hat, 15 Millionen Euro bzw. drei Prozent bei Verstößen gegen die in der KI-Verordnung festgelegten Verpflichtungen und 7,5 Millionen Euro bzw. 1,5 Prozent, wenn das Unternehmen falsche Informationen angegeben hat. EU-Bürger*innen erhalten das Recht, Beschwerden über KI-Systeme einzureichen und Erklärungen zu erhalten, wenn sie von KI-Systemen mit hohem Risiko betroffen sind und diese Systeme ihre Rechte beeinträchtigen. Solche Rechtsbehelfe sind den Abgeordneten des Europäischen Parlaments zu verdanken, da sie im ursprünglichen Entwurf der Kommission nicht enthalten waren.

Das Gesetzgebungsverfahren

Die EU-Kommission veröffentlichte ihren Entwurf zum AI Act im April 2021. Sobald der Vorschlag vorlag, begannen das EU-Parlament und der EU-Rat, das Gesetz zu ändern. Anders als sonst üblich führten zwei Ausschüsse die Verhandlungen im EU-Parlament: der Ausschuss für Binnenmarkt und Verbraucherschutz (Committee on the Internal Market and Consumer Protection, IMCO) mit dem Berichterstatter Brando Benifei und der Ausschuss für bürgerliche Freiheiten, Justiz und Inneres (Committee on Civil Liberties, Justice and Home Affairs; LIBE) mit dem Berichterstatter Dragoş Tudorache. Im April 2022 legten die zwei Berichterstatter den Entwurfsbericht zum AI Act vor ­– oder zumindest die Teile, auf die sie sich verständigen konnten. Der EU-Rat legte sich im Dezember 2022 auf seine Version des AI Act (die allgemeine Ausrichtung) fest. Die Mitglieder des EU-Parlaments verständigten sich im Juni 2023 auf eine gemeinsame Position.

Die drei Institutionen nahmen danach die sogenannten Trilog-Verhandlungen auf. Sie kamen am 8. Dezember 2023 nach intensiven Verhandlungen unter großem Druck zu einer Einigung. Der vollständige konsolidierte Gesetzestext muss noch erarbeitet werden, bevor der EU-Rat und das EU-Parlament das Gesetz offiziell verabschieden können.

In Deutschland waren das Justizministerium und das Bundesministerium für Wirtschaft und Klimaschutz für den Gesetzentwurf federführend zuständig. Ihre sowie die Positionen verschiedener anderer Ministerien flossen in die Verhandlungen innerhalb des EU-Rats ein.

Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zum Artificial Intelligence Act.