Sexualisierte Deepfakes verbieten, aber richtig: AlgorithmWatch legt Empfehlungen für den KI-Omnibus vor

Berlin, 15. April 2026 - Während die Aufmerksamkeit für Digitale Gewalt, ausgelöst durch den Fall der Schauspielerin und Moderatorin Collien Fernandes, langsam abebbt, laufen in Brüssel die Verhandlungen zum sogenannten “KI-Omnibus” weiter. Im Rahmen dieses Trilogs zwischen EU-Kommission, EU-Parlament und dem Rat der EU soll auch ein Verbot von Deepfakes in der KI-Verordnung (AI Act) als Maßnahme gegen “sexualisierte Gewalt im digitalen Raum” verhandelt werden. AlgorithmWatch formuliert Empfehlungen, wie ein solches Verbot in Artikel 5 der KI-Verordnung umgesetzt werden könnte. Insbesondere sollen neben den Tätern auch Anbieter und Betreiber von KI-Systemen, die Deepfakes ermöglichen, zur Verantwortung gezogen werden.

Zu den Forderungen von AlgorithmWatch gehören:

1. Einverständnis präzise definieren und zur Abfrage verpflichten: Reale Personen müssen um ihr Einverständnis gebeten werden, sonst dürfen mit Hilfe der Systeme keine KI-generierten sexualisierten Darstellungen erzeugt werden. Das Einverständnis zur Produktion von Deepfakes muss von betroffenen Personen frei, informiert, kontextbezogen und ausdrücklich erteilt werden.
2. Haftung eindeutig regeln: Es sollten nur solche KI-Systeme von Artikel 5 der KI-Verordnung erfasst werden, die es erleichtern, nicht-einvernehmliche sexualisierte Deepfakes zu
   erstellen und dabei weder angemessene Schutzvorkehrungen treffen noch bei
   einem Missbrauch Korrekturmaßnahmen ergreifen. Anbieter und Betreiber, die angemessene Sicherheits- und Korrekturmaßnahmen treffen und deren Systeme die Erstellung nicht-
   einvernehmlicher sexualisierter Deepfakes nicht explizit erleichtern, sollten nicht
   für eine Zweckentfremdung durch Dritte oder einen möglichen Jailbreak haftbar gemacht
   werden.
3. Angemessene Sicherheitsvorkehrungen stärken: Es muss Möglichkeiten geben, Missbrauch zu melden. Gleichzeitig ist sicherzustellen, dass die legitime Anwendung und Open-Source-Entwicklung von KI-Systemen nicht gefährdet werden. Die Schutzvorkehrungen müssen kontinuierlich geprüft werden.

Eva Lejla Podgoršek, Senior Policy Managerin bei AlgorithmWatch, ordnet die Empfehlungen für den KI-Omnibus ein:

“Das KI-Omnibus-Verfahren ist aus unserer Sicht grundsätzlich einproblematisches Verfahren, da wichtige Schutzvorkehrungen gekippt werden sollen. Ein Verbot von KI-Systemen, die nicht-einvernehmliche sexualisierte Deepfakes ermöglichen, ist jedoch einer der wenigen guten Vorschläge. Ein solches Verbot würde eine überfällige Gesetzeslücke schließen und wäre ein wichtiger Baustein bei dem Versuch, Betroffene besser zu schützen. DieKI-Verordnung dahingehend zu ergänzen, würde gezielt KI-Anbieter und -Betreiber in die Pflicht nehmen.”

Die Verhandlungen im Trilog zum KI-Omnibus laufen noch bis voraussichtlich Ende April, bevor es in weitere Abstimmungen geht.

Um die Kritik an den weiteren Inhalten des KI-Omnibus-Verfahrens zu unterstützen, hat AlgorithmWatch einen offenen Brief, initiiert von dem Kollektiv European Digital Rights (EDRi), mitgezeichnet. Der Brief richtet sich an Henna Virkkunen, Vizepräsidentin für Technologiegerechtigkeit, Sicherheit und Demokratie in der EU-Kommission,und weitere EU-Politiker*innen und wurde heute veröffentlicht.

Auch andere Gesetzgebungen haben noch Lücken

Neben der KI-Verordnung sieht der Digital Services Act der EU (DSA) Pflichten für sehr große Plattformen (mit mehr als 45 Millionen aktiven Nutzer*innen pro Monatin der EU) vor, um sogenannte “systemische Risiken” zu verringern. Darunter fällt auch geschlechtsspezifische Gewalt. AlgorithmWatch fordert von der EU-Kommission, solches Verhaltenmit Hilfe des DSA schneller und konsequenter zu unterbinden und zu bestrafen. Verbunden damit sollten empfindlichen Geldbußen für Plattformen sein, die ihren Pflichten nicht nachkommen. Darüber hinaus sollte geprüft werden, ob den Betroffenen Schadensersatz zusteht.

Zudem begrüßt AlgorithmWatch den Entwurf für ein Gesetz gegen digitale Gewalt auf nationaler Ebene in Deutschland. Ein ebenfalls längst überfälliger Schritt – denn erste Eckpunkte lagen bereits 2023 vor. Wichtig ist auch hier, dass ebenfalls Plattformen, KI-Anbieter und -Betreiber zur Verantwortung gezogen werden können.

X behindert Forschung von AlgorithmWatch zu sexualisierten Deepfakes

AlgorithmWatch fordert schon seit vergangenem Jahr, dass sehr große Online-Plattformen und Suchmaschinen proaktiv wirksame Maßnahmen ergreifen müssen, um die Verbreitung von Tools zu nicht-einvernehmlicher Sexualisierung(non-consensual sexualization tools, NST, oft auch „Nudify-Apps“ genannt) einzudämmen, wie es der DSA vorsieht. Dazu hat die Organisation eine Untersuchung zu NSTs auf großen Online-Plattformen gestartet. Ausgerechnet die Plattform X von Elon Musk, auf der Musks Chatbot “Grok” und andere NSTs nach aktuellem Kenntnisstand weiterhin sexualisierte Deepfakes ermöglichen, unterstützt AlgorithmWatch jedoch nicht bei der Untersuchung und hat die Anfrage nach Forschungsdaten abgelehnt, obwohl der DSA Plattformen wie X dazu verpflichtet.

AlgorithmWatch hat daher ein eigenes System entwickelt, das dabei hilft, NSTs aufzuspüren, und ein Formular eingerichtet, über das NSTs zu Forschungszwecken gemeldet werden können.

Ergänzende Informationen:

• Zum ausführlichen Blogbeitrag inklusive der Stellungnahme von AlgorithmWatch
• Offener Brief zum Omnibus-Verfahren
• Zur Untersuchung von sexualisierten Deepfakes auf X von AlgorithmWatch
• Zum Meldeformular für NST von AlgorithmWatch