Was vor sexualisierter Gewalt im digitalen Raum wirklich schützen kann

Generative KI wird immer häufiger zum Werkzeug sexualisierter Gewalt gegen Frauen und Mädchen. Männer erstellen ohne deren Einwilligung sexualisierende Deepfakes, generieren entkleidete Körper mit KI-Tools, die sie auf Social-Media-Plattformen wie X (ehemals Twitter) teilen, und verbreiten sexistische Beleidigungen mittels KI-Chatbots. Was sich im digitalen Raum zeigt, ist kein isoliertes Problem, sondern setzt patriarchale Machtstrukturen und geschlechtsspezifische Gewalt mit neuen Mitteln fort.

Die Auswirkungen für betroffene Frauen sind schwerwiegend: Sie können erhebliche psychische und körperliche Belastungen erleiden, haben aber nur wenige Möglichkeiten, sich zu wehren. Zudem sollen Frauen mit sexualisierten Deepfakes eingeschüchtert werden, um sie aus öffentlichen und politischen Debatten zu drängen.

Die regulatorische Lage besteht derzeit aus verschiedenen europäischen und nationalen Regelungen, die nicht gut aufeinander abgestimmt sind und trotz ihrer Vielfalt noch Lücken lassen, die geschlossen werden müssen. In Deutschland fehlt es derzeit an belastbaren Daten zu geschlechtsspezifischer Gewalt im digitalen Raum und an einem rechtlichen Rahmen, der dem Problem gerecht wird. Auf EU-Ebene werden im Rahmen der KI-Verordnung (KI-VO) Wege diskutiert, um Frauen besser zu schützen. Der Digital Services Act (DSA) adressiert vor allem, wie solche Inhalte auf Plattformen verbreitet werden.

KI verbieten, mit der sexualisierte Deepfakes erstellt werden können

KI-gestützte Tools machen es heute leichter denn je, nicht-einvernehmliche sexualisierte Deepfakes herzustellen. Das Spektrum reicht dabei von Anwendungen, die ausdrücklich damit werben, Bilder realer Personen sexualisieren zu können, bis hin zu allgemeiner Software wie „Face-Swapping"-Apps, die für solche Zwecke missbraucht werden können.

Die europäische KI-Verordnung stellt Regeln für Anbieter und Betreiber von KI-Systemen auf und wird derzeit im Rahmen des sogenannten Omnibus-Verfahrens überarbeitet. Es ist aus unserer Sicht problematisch, dass hierbei der Versuch unternommen wird, wichtige Schutzvorkehrungen zu kippen. Ein Verbot von KI-Systemen, die es möglich machen, nicht-einvernehmliche sexualisierte Deepfakes zu erstellen, ist einer der wenigen positiven Vorschläge, die im Rahmen des Omnibus verhandelt werden. Ein solches Verbot würde eine überfällige Gesetzeslücke schließen und wäre ein wichtiger Baustein, Betroffene besser zu schützen. Denn die KI-Verordnung zu ergänzen, würde gezielt KI-Firmen in die Pflicht nehmen.

Unsere Forderungen für ein Verbot von nicht-einvernehmlichen sexualisierte Deepfakes

Damit ein solches Verbot wirksam und verhältnismäßig ist, muss eine schwierige Balance gefunden werden. Das Einverständnis muss klar definiert sein, Haftung muss eindeutig zugeordnet werden und Sicherheitsvorkehrungen müssen angemessen sein, damit die legitime Nutzung oder die Open-Source-Entwicklung von KI-Systemen nicht behindert wird.

Entscheidend ist, dass nicht alle KI-Systeme unter Generalverdacht geraten, mit denen Bilder erzeugt werden können. Es geht um Angebote, die es eindeutig erleichtern, problematische Inhalte zu erstellen, dabei keine angemessenen Schutzvorkehrungen treffen und keine Möglichkeiten bieten, einen Missbrauch zu verhindern. Auch Systeme mit Schutzvorkehrungen sind nicht davor gefeit, dass Menschen versuchen, sie zu umgehen. Doch wo Dritte bestehende Sicherheitsmaßnahmen gezielt entfernen, muss auch die Haftung entsprechend bei ihnen liegen. Unsere ausführliche Sichtweise darauf haben wir in einem Positionspapier zusammengefasst:

• Einverständnis präzise definieren: Frei, informiert, kontextbezogen, ausdrücklich; keine Erfassung nicht-realer Personen.
• Haftungszuordnung eindeutig regeln: Es dürfen nur KI-Systeme ohne angemessene Schutzmaßnahmen erfasst werden.
• Unbeabsichtigte Nebeneffekte vermeiden: Open-Source-KI-Entwicklung darf nicht gefährdet werden.
• Sicherheitsmaßnahmen stärken: Es muss Möglichkeiten geben, Missbrauch zu melden, und angemessene Schutzvorkehrungen, die kontinuierlich geprüft werden.
• Einverständnisabfrage: Reale Personen müssen um ihr Einverständnis gebeten werden, sonst dürfen die Systeme keine KI-generierten Darstellungen erzeugen.

Auch Plattformen müssen endlich haften: Schluss mit zögerlicher Durchsetzung

Wenn Plattform-Algorithmen darauf ausgelegt sind, Inhalte zu verstärken, die viel Interaktion erzeugen und emotional oder skandalisierend wirken, werden sexualisierende Deepfakes noch mehr Menschen angezeigt und betroffene Frauen dadurch zusätzlich geschädigt. Große Plattformen werden auch dazu genutzt, um Links zu problematischen Apps zu teilen, für sie zu werben und Tipps zu diskutieren, wie man „handelsübliche“ LLMs in sogenannte „Non-consensual Sexualisation Tools” (kurz: NSTs; auch „Nudify-Apps" genannt) umwandeln kann.

Auf EU-Ebene greift bereits der Digital Services Act (DSA), der sehr große Plattformen (mit mehr als 45 Millionen aktiven Nutzer*innen pro Monat in der EU) dazu verpflichtet, sogenannte „systemische Risiken“ zu verringern. Darunter fällt auch geschlechtsspezifische Gewalt. Das durchzusetzen ist in der Praxis jedoch oft schwierig. So weigerte sich etwa X (ehemals Twitter) konsequent, AlgorithmWatch Zugang zu Daten zu geben, obwohl der DSA die Datenfreigabe für Forschungszwecke vorschreibt.

Damit verhindert X aktiv, dass wir diese Risiken untersuchen, obwohl das Unternehmen gesetzlich dazu verpflichtet ist, sie einzudämmen. Die EU-Kommission muss solches Verhalten schneller und konsequenter unterbinden und bestrafen, verbunden mit empfindlichen Geldbußen für Plattformen, die ihren Pflichten nicht nachkommen. Darüber hinaus sollte geprüft werden, ob Betroffenen Schadensersatz zusteht, wenn sie einen Schaden dadurch erleiden, dass solche Inhalte verbreitet oder nicht schnell genug gelöscht werden.

In Mitgliedstaaten, in denen nicht-einvernehmliche Sexualisierung bereits illegal ist, müssen sämtliche Online-Dienste (nicht nur die großen) gegen illegale Inhalte auf ihren Plattformen vorgehen und diese melden. Im Falle Deutschlands sind nicht-einvernehmliche sexualisierende Deepfakes bislang kein eigener Straftatbestand; ein entsprechender Entwurf für ein Gesetz gegen digitale Gewalt ist jedoch derzeit im Justizministerium in Arbeit.

Das ist ein wichtiger, längst überfälliger Schritt. Doch das Vorhaben könnte sein Ziel verfehlen, wenn es nicht durch klare, sanktionierbare Pflichten für Plattformen und KI-Firmen ergänzt wird. Zudem sind die geplanten Änderungen als Antragsdelikte konzipiert und legen die Last auf die Betroffenen.

Täter bestrafen, Strukturen benennen, Schutz als gesamtgesellschaftliche Aufgabe begreifen

Umso wichtiger ist es, neben rechtlichen Maßnahmen auch einen gesellschaftlichen Wandel im Umgang mit geschlechtsspezifischer Gewalt und Betroffenen voranzutreiben. Von sexualisierten Deepfakes betroffene Frauen tragen keine Schuld – die Verantwortung liegt bei den Tätern, Plattformen und KI-Firmen. Dennoch erleben sie häufig Stigmatisierung, Scham und Reputationsverlust, die Frauen davon abhalten können, sich Hilfe zu suchen oder Anzeige zu erstatten. Es braucht sichere Anlaufstellen, in denen Betroffenen geglaubt wird, niedrigschwelligen Zugang zu therapeutischer Begleitung – auch während laufender Gerichtsverfahren – und ein gesellschaftliches Bewusstsein dafür, dass nicht-einvernehmliche sexualisierte Deepfakes eine Straftat sind, für die sich nicht die Betroffenen rechtfertigen müssen, sondern die Täter.