
Ab Februar 2025: Schädliche KI-Anwendungen verboten
In der EU treten Verbote der KI-Verordnung in Kraft. Bestimmte schädliche KI-Systeme, die bereits erprobt wurden oder in Betrieb sind, dürfen jetzt – zumindest teilweise – nicht mehr eingesetzt werden.

KI-Systeme führen manchmal zu Irrtümern und Diskriminierung. Fehleranfällige Gesichtserkennungssysteme sind dafür ein Beispiel. Durch sie wurden schon Menschen unberechtigt als Straftäter*innen angeklagt und inhaftiert. Beim niederländischen Kindergeld-Skandal hat sich gezeigt, dass Unschuldige durch einen voreingenommenen Algorithmus als Betrüger*innen behandelt werden können, was viele in den finanziellen Ruin gestürzt hat. In solchen Fällen wirken sich die technischen Systeme nachteilig auf das Leben der Betroffenen aus. Die Folgen können weitreichend sein, da die Systeme ihre Voreingenommenheit gegenüber bestimmten Gruppen reproduzieren.
Die KI-Verordnung der EU (AI Act) ist das erste umfassende Gesetz, das bestimmte KI-Praktiken reguliert. Sie legt fest, welche KI-Systeme unannehmbare Risiken für die Sicherheit, die Gesundheit und die Grundrechte der Menschen darstellen. Solche Systeme sind verboten, um die EU-Bevölkerung vor ihren negativen Folgen zu schützen. Die Verbote gelten auch dann, wenn die Systeme außerhalb der EU betrieben werden, aber in der EU Folgen haben. Die verbotenen KI-Praktiken sind in Artikel 5 der Verordnung aufgelistet.
Ein Verstoß gegen das Verbot der in Artikel 5 genannten KI-Praktiken wird mit Geldbußen geahndet. Sie können bis zu 35.000.000 Euro betragen oder sieben Prozent des gesamten Jahresumsatzes von Unternehmen.
Welche KI-Praktiken sind jetzt (teilweise) verboten?
Verboten sind:
- manipulative KI-Systeme, die betrügerische Techniken anwenden, um das Verhalten von Menschen zu beeinflussen (z. B. sprachgesteuertes Spielzeug, das Kinder zu einem gefährlichen Verhalten verleitet),
- KI-Systeme, die die Schwäche von Menschen oder Gruppen ausnutzen,
- bestimmte Formen des „Social Scoring“ (das Bewerten von Personen anhand von Social-Media- und anderer Internetdaten), bei denen Personen dadurch benachteiligt werden, dass die verwendeten Daten aus ihrem Erhebungskontext gerissen werden,
- KI-Systeme, die ungezielt aus dem Internet oder Videoüberwachungsanlagen Bilder von Gesichtern auslesen und damit Datenbanken auf- oder ausbauen (wie Clearview AI oder PimEyes),
- Live-Gesichtserkennung durch die Polizei im öffentlichen Raum (mit Ausnahmen).
Teilweise verboten sind:
- vorausschauende Polizeiarbeit („Predictive Policing“), wenn KI-Systeme Risikobewertungen von Personen auf der Grundlage ihrer Persönlichkeitsmerkmale vornehmen, um das Risiko vorherzusagen, dass sie eine Straftat begehen. Erlaubt ist der Einsatz solcher Systeme hingegen auf der Grundlage von „objektiven und überprüfbaren Fakten, die in direktem Zusammenhang mit einer kriminellen Aktivität stehen.“
- Kategorisierungssysteme, die auf der Grundlage biometrischer Daten Rückschlüsse auf die ethnische Herkunft, politische Meinungen, religiöse Überzeugungen, eine Gewerkschaftszugehörigkeit, das Sexualleben oder die sexuelle Orientierung von Personen ziehen. Das Verbot gilt nicht für Strafverfolgungsbehörden.
- Systeme zur Erkennung von Emotionen im Bildungsbereich und am Arbeitsplatz, die von biometrischen Daten wie dem Gesichtsausdruck auf bestimmte Gefühlszustände (zum Beispiel Müdigkeit, Frustration, Stress, Wut oder Trotz) oder Charaktereigenschaften schließen. Diese Praktik ist allerdings zulässig, wenn medizinische oder sicherheitstechnische Gründe dafür vorliegen.
Nicht verboten ist eine rückwirkende biometrische Fernidentifizierung, etwa bei der Gesichtserkennung. Um ihren Einsatz zu rechtfertigen, reicht der begründete Verdacht einer Straftat aus.
Schlupflöcher
Die sicherheitspolitischen Hardliner*innen der EU-Mitgliedstaaten haben erfolgreich Lobbyarbeit dafür betrieben, dass die Auflagen der KI-Verordnung nicht für Belange der „nationalen Sicherheit“ gelten – also keine Schutzmaßnahmen ergriffen werden müssen, wenn Behörden oder Privatunternehmen KI-Systeme ausschließlich zum Zweck der nationalen Sicherheit entwickeln oder einsetzen. Auch wenn allerdings die nationale Sicherheit vom Geltungsbereich der KI-Verordnung ausgenommen ist, soll diese Einschränkung nicht als pauschale Ausnahme missverstanden werden: In den einzelnen Fällen muss jeweils gesondert geprüft werden, ob die Ausnahmeregelung im Einklang mit der EU-Grundrechtecharta stehen.
Die Verbote der KI-Verordnung gelten nur für Systeme, die in der EU auf den Markt gebracht oder dort verwendet werden. Daraus ergibt sich ein gefährliches Schlupfloch: Verbotene Systeme, die die EU-Behörden als „unvereinbar“ mit den Menschenrechten und den Werten der EU einstufen, dürfen dennoch weiterhin in Drittländer exportiert werden.
Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zum Artificial Intelligence Act.