Verbote der KI-Verordnung treten in Kraft: Ansatz gut, alles gut?

Verboten sind dann unter anderem:

• manipulative KI-Systeme, die betrügerische Techniken anwenden, um das Verhalten von Menschen zu beeinflussen (z. B. sprachgesteuertes Spielzeug, das Kinder zu einem gefährlichen Verhalten verleitet),
• KI-Systeme, die ungezielt aus dem Internet oder Videoüberwachungsanlagen Bilder von Gesichtern auslesen und damit Datenbanken auf- oder ausbauen (wie Clearview AI oder PimEyes),
• KI-Systeme, die die Schwäche von Menschen oder Gruppen ausnutzen, beispielsweise automatisierte „Robo-Calls“, die zum Betrug älterer Menschen eingesetzt werden,
• bestimmte Formen des „Social Scoring“ (das Bewerten von Personen anhand von Social-Media- und anderer Internetdaten), bei denen Personen benachteiligt werden,
• Kategorisierungssysteme, die auf der Grundlage biometrischer Daten Rückschlüsse auf die ethnische Herkunft, politische Meinungen, religiöse Überzeugungen, eine Gewerkschaftszugehörigkeit, das Sexualleben oder die sexuelle Orientierung von Personen ziehen (das Verbot gilt allerdings nicht für Strafverfolgungsbehörden).

„Es ist gut, dass die KI-Verordnung bestimmte KI-Praktiken verbietet: Man stelle sich vor, wir würden zwar Autos, Flugzeuge und Schiffe benutzen, hätten aber keine Verkehrsregeln, keine Fahr- und Pilotenprüfungen oder keine Flug- und Verkehrsaufsicht. Wenn viele Menschen bestimmte technische Geräte und Maschinen benutzen und das weitreichende gesellschaftlichen Folgen hat, dann müssen wir dafür Sorge tragen, dass diese Geräte und Maschinen niemanden schaden“, sagt Nikolett Aszódi, Policy-Managerin bei AlgorithmWatch.

Teilweise verboten ist vorausschauende Polizeiarbeit („Predictive Policing“), wenn entsprechende KI-Anwendungen Risikobewertungen von Personen auf der Grundlage von Persönlichkeitsmerkmalen vornehmen. Erlaubt ist der Einsatz solcher Systeme hingegen auf der Grundlage von „objektiven und überprüfbaren Fakten, die in direktem Zusammenhang mit einer kriminellen Aktivität stehen.“

Ebenfalls teilweise verboten sind Systeme zur Erkennung von Emotionen im Bildungsbereich und am Arbeitsplatz, außer wenn medizinische und sicherheitstechnische Gründe vorliegen. Verboten sind demnach Systeme, die die Leistungsfähigkeit von Beschäftigten mithilfe ihres Gesichtsausdrucks beurteilen. Erlaubt ist es hingegen, wenn automatisiert kontrolliert wird, dass Personen, die beispielsweise einen Zug steuern, nicht einschlafen.

Nicht verboten ist eine rückwirkende biometrische Fernidentifizierung, etwa bei der Gesichtserkennung. Um ihren Einsatz zu rechtfertigen, reicht der begründete Verdacht einer Straftat aus.

Die Schutzmaßnahmen der Verordnung gelten generell nicht für KI-Systeme, wenn sie ausschließlich zum Zweck der nationalen Sicherheit entwickelt oder eingesetzt werden, unabhängig davon, ob eine Behörde oder ein privates Unternehmen sie entwickelt oder einsetzt.

Kilian Vieth-Ditlmann, Policy-Leiter bei AlgorithmWatch, kommentiert: „Es ist denkbar, dass bestimmte Sicherheitsmaßnahmen Ausnahmen rechtfertigen. Aber die jetzige pauschale Ausnahmeregelung geht viel zu weit. Die ‚nationale Sicherheit‘ war schon immer ein beliebter Vorwand, um Grundrechte zu beschneiden – und das nicht nur in autokratischen Systemen. Wir müssen aufpassen, dass dieses Argument nicht als Freifahrtschein für alle möglichen Grundrechtseinschränkungen missbraucht wird. Die Sicherheit demokratischer Staaten muss immer auch die Sicherheit der Demokratie in diesen Staaten berücksichtigen.“

Hintergrund: Am 2. Februar 2025 treten die Regeln aus Kapitel I und II der KI-Verordnung („AI Act“) in Kraft. Darunter ist auch Artikel 5, „Verbotene Praktiken im KI-Bereich“.

Mehr über unsere Policy- und Advocacy-Arbeit zum Artificial Intelligence Act.