Ein Leitfaden zur neuen KI-Verordnung der EU

KI-Systeme werden in allen Lebensbereichen immer häufiger eingesetzt − manchmal so, dass sie sich negativ auf unser Leben und unsere Grundrechte auswirken. Autoversicherungen verletzen das Recht auf Nichtdiskriminierung, wenn sie automatisch Beiträge von Menschen mit nahezu identischen Profilen unterschiedlich berechnen – nur weil sich deren ethnische Zugehörigkeit unterscheidet. Unternehmen und staatliche Behörden können das Recht auf Privatsphäre sowie das Recht auf Meinungs- und Versammlungsfreiheit verletzen, wenn sie mit ihren KI-Systemen öffentliche Räume überwachen, Menschen nach ihrem Aussehen beurteilen und auf der Grundlage der gesammelten Daten Entscheidungen treffen.

Letztendlich reicht die KI-Verordnung (AI Act) nicht aus, um Grundrechte effektiv zu schützen. Die Schlupflöcher im EU-Gesetz sind zu groß. Strafverfolgungs-, Sicherheits- und Migrationsbehörden könnten ausnutzen, dass in ihren Bereichen grundlegende Schutzmaßnahmen fehlen. Die Industrie hat massiv in Lobbyarbeit investiert, was sich für sie ausgezahlt hat, wie die Endfassung des Gesetzes zeigt: Die Entwickler von KI-Systemen können selbst entscheiden, ob ihre Systeme ein hohes Risiko darstellen oder nicht, und so die meisten Anforderungen der Verordnung umgehen. Die im Gesetz festgelegten Schutzmaßnahmen sind trotzdem ein Schritt in die richtige Richtung. In diesem Leitfaden geben wir einen kurzen Überblick über das Gesetz und die Folgen der neuen Vorschriften.

Ziele und Verfahren

Die KI-Verordnung ist nur eine von mehreren Maßnahmen der EU, um algorithmische Systeme und den digitalen Sektor im Allgemeinen zu regulieren. Sie soll Produktsicherheit garantieren. Der Großteil ihrer Vorschriften deckt hauptsächlich technische Aspekte von KI-Systemen ab und richtet sich an diejenigen, die sie entwickeln (in der Terminologie des Gesetzes „Anbieter“ genannt). Darüber vernachlässigt sie die gesellschaftspolitischen Dimensionen der Systeme, etwa die Machtgefälle zwischen denjenigen, die die Technologie einsetzen, und denjenigen, die von ihr betroffen sind.

Nach einem zermürbenden Verhandlungsprozess konnten sich die Europäische Kommission, das Europäische Parlament und der Rat der EU im Dezember 2023 auf einen Gesetzestext einigen. Er wurde im März 2024 in einer förmlichen Abstimmung angenommen. Das Gesetz trat im August 2024 in Kraft. Sechs Monate danach gelten dessen Bestimmungen über verbotene KI-Anwendungen. Aber die KI-Verordnung kann nicht rückwirkend auf Systeme angewendet wenden, die schon davor im Einsatz gewesen sind. Die Verordnung wird über die EU hinaus Folgen haben: Auch wenn Anbieter ihren Sitz außerhalb der EU haben, unterliegen sie der Verordnung, wenn sie in der EU KI-Systeme auf den Markt bringen.

Bei ihrem zentralisierten und sektorübergreifenden Regulierungsansatz geht die KI-Verordnung einen eigenen Weg. Weltweit geht der allgemeine Trend dahin, KI dezentral in den einzelnen Anwendungsfeldern (Sektoren) zu regulieren. In den USA zum Beispiel gibt es kein umfassendes Gesetz auf Bundesebene, das den Einsatz von KI direkt regelt. Voneinander unabhängige Behörden setzen die bestehenden Vorschriften in den jeweiligen Sektoren um.

Was erlauben und verbieten die neuen Vorschriften?

Die für KI-Systeme geltenden Regeln sind von deren Risiko abhängig. Verboten sind Systeme, die mit großer Wahrscheinlichkeit für eine Personengruppe erhebliche inakzeptable Schäden zur Folge haben können, zum Beispiel Systeme, mit denen gezielt Menschen manipuliert oder getäuscht werden können. „Hochrisiko-Systeme“ dürfen nur eingesetzt werden, wenn ihre Funktionsweise zu einem bestimmten Grad transparent ist und die Entwickler technische Maßnahmen ergriffen haben, das Risiko zu mindern. Besondere Transparenzanforderungen gelten auch für Anwendungen, die sogenannte Deepfakes generieren können oder Menschen auf der Grundlage biometrischer Daten kategorisieren. Das Gesetz legt nur geringe oder keine Auflagen für KI-Systeme fest, die als weniger risikoreich für die Gesundheit, Sicherheit und Grundrechte eingestuft werden, etwa Spamfilter oder KI-basierte Anwendungen zur Fotobearbeitung.

Die KI-Verordnung gilt nicht in den Bereichen Militär, Verteidigung und nationale Sicherheit. Regierungen können sich auf eine Ausnahmeregelung zur nationalen Sicherheit berufen und dadurch sogar verbotene KI-Anwendungen ohne im Gesetz vorgesehene Schutzmaßnahmen einsetzen. Das Gesetz misst außerdem bei den Menschenrechten mit zweierlei Maß, indem es erlaubt, in der EU verbotene KI-Anwendungen in Drittländer zu exportieren.

Mehr Transparenz und Haftung − in manchen Fällen

Wenn es sich nicht eindeutig aus dem Kontext ergibt, müssen Menschen informiert werden, wenn sie direkt mit KI-Systemen wie Chatbots interagieren. Sie müssen auch darüber informiert werden, wenn Systeme zur Emotionserkennung und biometrischen Kategorisierung Daten verarbeiten, die ihre Person betreffen − es sei denn, die Polizei verwendet diese Systeme bei einer Strafverfolgung. Deepfakes dürfen Online-Nutzer*innen nur mit einem Hinweis angezeigt werden, dass sie digital generiert wurden.

Die KI-Verordnung sieht vor, eine EU-Datenbank für risikoreiche KI-Systeme einzuführen. Damit soll gewährleistet werden, dass der Öffentlichkeit und Organisationen, die das öffentliche Interesse vertreten, Informationen über den Nutzungskontext solcher KI-Systeme zur Verfügung stehen. Wenn bekannt ist, wo die Systeme von wem und zu welchen Zwecken eingesetzt werden, können Forschungs- und gemeinnützige Organisationen untersuchen, welche Folgen die Systeme haben. Davon sind aber Systeme ausgenommen, die bei der Strafverfolgung und der Migrations- und Grenzkontrolle eingesetzt werden. Solche Systeme werden in einer separaten Datenbank aufgeführt, die der Öffentlichkeit nicht zugänglich ist.

Der Einsatz risikoreicher KI-Systeme im öffentlichen Sektor ist nur erlaubt, wenn vorher eine grundrechtliche Folgenabschätzung durchgeführt wurde. Damit sollen die Risiken eines bestimmten KI-Systems ermittelt werden, um beurteilen zu können, ob sie noch mit den Grundrechten vereinbar sind. Wenn sie nicht akzeptabel sind oder es nicht möglich ist, sie zu minimieren, dürfen die Systeme nicht eingesetzt werden. Im Gesetz ist jedoch nicht vorgesehen, dass die Risiken, die bei der Folgenabschätzung ermittelt wurden, von den Betreibern auch reduziert und eingedämmt werden. Es stellt sich die Frage, wie wirksam solche Folgenabschätzungen dann überhaupt sind.

Alle Betreiber müssen eine menschliche Aufsicht über den Systemeinsatz sicherstellen. Wenn das KI-System fehlerhaft ist oder sogar Schäden verursacht, muss der Betreiber den Einsatz stoppen und den Anbieter sowie die zuständigen Behörden informieren.

Wenn Einzelpersonen erheblich von Entscheidungen betroffen sind, die auf KI-Systemen beruhen, oder durch sie benachteiligt werden, haben sie das Recht, Erklärungen über die Rolle des KI-Systems im Entscheidungsprozess zu erhalten. Einzelpersonen haben auch das Recht, bei den nationalen Behörden Beschwerde einzulegen, wenn sie glauben, dass ein Verstoß gegen die KI-Verordnung vorliegt. Es bleibt abzuwarten, ob die Betreiber von KI-Systemen tatsächlich gewillt und in der Lage sein werden, aussagekräftige Erklärungen zu liefern, und ob die Behörden das Einhalten der Verordnung durchsetzen können.

Wenn Unternehmen verbotene KI-Systeme angewendet haben, müssen sie ein Bußgeld von 35 Millionen Euro bzw. sieben Prozent des weltweiten Jahresumsatzes zahlen (je nachdem, welcher Betrag höher ist). 15 Millionen Euro bzw. drei Prozent werden fällig, wenn sie gegen in der KI-Verordnung festgelegte Verpflichtungen verstoßen haben. Das Bußgeld beträgt 7,5 Millionen Euro bzw. 1,5 Prozent, wenn sie falsche Informationen angegeben haben. Auch für Betreiber von KI-Systemen sind Sanktionen vorgesehen. Sie können die Höhe des Bußgeldes aber reduzieren, indem sie mit den Regulierungsbehörden zusammenarbeiten, um die von den Systemen verursachten Schäden zu begrenzen.

Unzureichender Schutz: Strafverfolgung und Sicherheit

Bei der Strafverfolgung verbietet die KI-Verordnung teilweise den Einsatz von KI-Systemen in öffentlichen Räumen, wenn sie Menschen anhand von biometrischen Daten identifizieren können, etwa durch die sogenannte Gesichtserkennung. Es gibt jedoch Auflagen für eine biometrische Identifizierung in Echtzeit. Eine nachträgliche biometrische Identifizierung im öffentlichen Raum irgendwann nach der Aufnahme ist dagegen leichter möglich. Schon beim bloßen Verdacht bestimmter Straftaten ist ein Einsatz solcher Systeme zulässig.

Die Formulierung des Verbots von Gesichtserkennung lässt außerdem die Möglichkeit offen, dass sie außerhalb der Strafverfolgung durchaus zulässig sein kann, zum Beispiel zu Werbezwecken oder auch an Schulen. 

Verboten ist eine Kategorisierung biometrischer Daten, um daraus Rückschlüsse auf die ethnische Zugehörigkeit, politische Überzeugungen oder die sexuelle Orientierung zu ziehen. Einige Formen der biometrischen Kategorisierung erlaubt die KI-Verordnung hingegen, zum Beispiel eine Bestimmung des Geschlechts. Manche Bestimmungen der KI-Verordnung zeigen deutliche Ungleichgewichte in Machtverhältnissen und erleichtern den Einsatz von KI-Systemen gegen marginalisierte Menschen und Gemeinschaften: Während beispielsweise Emotionserkennung am Arbeitsplatz und im Bildungswesen verboten ist, dürfen Strafverfolgungs- und Migrationsbehörden solche Systeme verwenden.

Bei der Migration werden Verbote weitgehend ausgespart. Die Definition von Hochrisiko-Systemen in der KI-Verordnung erfasst viele dort eingesetzte KI-Systemen nicht, etwa Fingerabdruck-Scanner oder Tools zum Voraussagen, Einschränken und Verhindern von Migration. Außerdem werden bei der Migration Transparenzpflichten ausgesetzt, was eine wirksame öffentliche Kontrolle der Systeme verhindert.

Letzten Endes kann der Einsatz biometrischer Anwendungen zu Massenüberwachung und zur Verletzung von Grundrechten führen: etwa dem Recht auf Privatsphäre, dem Recht zur freien Meinungsäußerung und dem Recht zum friedlichen Protest. Außerdem tragen sie dazu bei, ungleiche Machtverhältnisse zu stärken zwischen denjenigen, die beobachten, und denjenigen, die beobachtet werden.

Leider folgen andere internationale KI-Gesetze diesem Ansatz der KI-Verordnung. Die kürzlich verabschiedete KI-Konvention des Europarats ist nicht anwendbar, wenn KI-Systeme unter dem Deckmantel der „nationalen Sicherheit“ entwickelt oder eingesetzt werden. Außerdem können die Staaten selbst entscheiden, wie sie die Konvention auf Privatunternehmen anwenden wollen − was sogar darauf hinauslaufen könnte, dass sie zu einer unverbindlichen Empfehlungsrichtlinie wird.

Was kommt als Nächstes?

Die KI-Verordnung kann bei der Regulierung von KI durchaus als Fortschritt gelten. Allerdings muss sie jetzt effektiv umgesetzt werden. Außerdem sind noch einige Gesetzeslücken zu beseitigen. Viele Regeln der KI-Verordnung müssen präzisiert, vereinheitlicht und implementiert werden.

In den nächsten Jahren wird sich entscheiden, wie durchsetzungsfähig die KI-Verordnung ist. EU-Institutionen, nationale Gesetzgeber und auch Unternehmen werden Standards festlegen, Auslegungsleitlinien veröffentlichen, Aufsichtsstrukturen aufbauen und daran arbeiten, dass das Gesetz in den EU-Mitgliedstaaten Fuß fasst. Es bleibt zu hoffen, dass dies nicht hinter verschlossenen Türen stattfindet.

Die KI-Verordnung erlaubt den Mitgliedstaaten, bei der biometrischen Fernerkennung im öffentlichen Raum strengere Regeln einzuführen. Viele zivilgesellschaftliche Organisationen fordert ein umfassendes Verbot, da die Systeme sehr fehleranfällig und eine Gefahr für die Grundrechte sind.

Mehr über unsere Policy- und Advocacy-Arbeit zum Artificial Intelligence Act.