Sexualisierte Deepfakes auf X: Was wir dagegen tun und was die EU tun sollte

„Wolltest du schon immer mal deinen Nachbarn oder ein Mädchen, das du kennst, ohne Kleidung sehen?“

Das ist der Text eines Posts, übersetzt aus dem Russischen, auf einem öffentlich zugänglichen Account auf X. Der Account-Inhaber verbreitet Tools zur nicht-einvernehmlichen Sexualisierung (non-consensual sexualization, NST), oft auch „Nudify-Apps“ genannt. Über Netzwerke solcher Accounts berichteten neben anderen The Guardian, Bellingcat und Indicator; X stand dabei im Mittelpunkt der Kritik, weil dort besonders viele dieser Netzwerke zu finden sind.

Im Rahmen unserer Untersuchung zu NSTs auf großen Online-Plattformen haben wir X-Accounts gesehen, die Nudification-Dienste anbieten, Accounts, die NSTs zusammenstellen und bewerten, Accounts, die Wettbewerbe veranstalten, um Credits für NSTs zu erhalten, sowie andere Formen der Verbreitung solcher Tools auf X. Viele haben Hunderte von Followern und Namen, die explizit auf Begriffe wie „Nudify“ oder „Clothes Off“ verweisen. Das sollte es sehr einfach machen, sie zu erkennen und zu entfernen. Und doch sind solche Beiträge und Accounts immer noch auf X zu finden. Wir haben den eingangs genannten Beitrag auf X gemeldet und die Antwort bekommen, dass er nicht gegen die Richtlinien von X verstoße. Das Problem der nicht-einvernehmlichen Sexualisierung auf X ist bei weitem nicht auf den Grok-Chatbot beschränkt.

Deshalb ist es so wichtig, dass Watchdog-Organisationen wie AlgorithmWatch solche Inhalte finden und melden können. Aber X hat uns aktiv daran gehindert, das zu tun.

Durch generative KI-Tools von Unternehmen wie OpenAI ist es in den letzten Jahren relativ einfach geworden, NSTs zu entwickeln. Diese Dienste sind leicht in verschiedenen dunklen Ecken des Internets zu finden, darunter auf Telegram, Discord und ähnlichen Plattformen. Tipps, wie man Allzweck-Chatbots dazu bringt, nicht-einvernehmliche Bilder zu produzieren, finden sich sogar auf der Diskussionsplattform Reddit. Aber ihre Verbreitung auf sehr großen Social-Media-Plattformen wie X, Facebook und Instagram – auch durch bezahlte Werbung – trägt dazu bei, sie einem breiteren Publikum zugänglich zu machen.

Bei AlgorithmWatch haben wir ein System entwickelt, das dabei hilft, NSTs auf großen Plattformen aufzuspüren, unter anderem durch Crowdsourcing-Beobachtungen solcher Tools. Wir haben die Möglichkeiten genutzt, die sich aus dem Digital Services Act (DSA) der EU ergeben. Diese Verordnung verpflichtet Online-Plattformen, Risikobewertungen durchzuführen und Forscher*innen Daten zur Verfügung zu stellen, um vor so genannten systemischen Risiken zu schützen. Dazu zählen Bedrohungen der Grundrechte bis hin zu geschlechtsspezifischer Gewalt. Es sollte selbstverständlich sein, dass Sexualisierung ohne Einwilligung unter diese Regeln fällt.

Lasst uns sexualisierende Deepfakes gemeinsam stoppen!

Um unser Erkennungssystem aufzubauen, wollten wir Daten von Meta (Instagram, Facebook), X und den App-Stores von Apple und Google verwenden. Bei allen diesen Plattformen wurde zuvor festgestellt, dass sie Inhalte anbieten, die NSTs fördern. Und alle fallen unter die DSA-Vorschriften, die besagen, dass sie auf Anfrage Daten an Personen weitergeben müssen, die Forschung im öffentlichen Interesse betreiben und eine Reihe von Bedingungen erfüllen – was auf uns zutrifft. Beim Versuch, diese Vorschriften zu nutzen, haben wir ein gemischtes Bild erlebt. X war, wenig überraschend, die Plattform, die sich mit Abstand am schlechtesten verhalten hat.

Im Juni 2025 haben wir Daten gemäß Artikel 40.12 des DSA angefordert. X lehnt die Herausgabe mit der Begründung ab, dass „Ihr Antrag nicht nachweist, dass die von Ihnen vorgeschlagene Verwendung der X-Daten mit den in Artikel 34 des Digital Services Act beschriebenen systemischen Risiken in der EU in Zusammenhang steht“. Mit genau diesem Wortlaut haben sie viele andere Anfragen abgelehnt (wie das DSA Data Access Collaboratory festgestellt hat), sodass es sich offenbar um ein Standardschreiben handelt. Wir haben uns im Juli über das Online-Formular von X darüber beschwert und später persönliche E-Mails an die zuständigen Mitarbeiter geschickt, aber keine Antwort erhalten.

Im Gegensatz dazu war der Zugriff auf Daten in den App-Stores von Apple und Google relativ unkompliziert, und bisherige Tests deuten darauf hin, dass wirklich offensichtliche NSTs schwer zu finden sind. Daten von Meta aus dem offiziellen Tool zu bekommen, setzt voraus, dass man einer Reihe von komplizierten Nutzungsbestimmungen zustimmen muss, von denen einige es aktiv erschweren, rechtswidrige Inhalte zu melden. Meta unternimmt zwar einige grundlegende Anstrengungen, um offensichtliche Probleme anzugehen. So werden etwa Suchanfragen nach Begriffen wie „nudify“ blockiert und die Firma verklagt Anbieter wegen der Werbung für NSTs auf ihrer Plattform. Dennoch zeigt eine Untersuchung von Indicator Media, dass das Problem weiterhin weitverbreitet ist.

Ende 2025 verkündete die Europäische Kommission eine Geldstrafe in Höhe von 120 Millionen Euro gegen X wegen Verstößen gegen den DSA, etwa dem „Versäumnis, Forscher*innen Zugang zu öffentlichen Daten zu gewähren“. Dies ist ein positiver Schritt – aber nach solch eklatanten und langjährigen Verstößen reicht er nicht aus. Nach dem jüngsten Skandal hat X Nutzer*innen für ihr problematisches Verhalten verantwortlich gemacht – und nicht das eigene Versagen bei den Sicherheitsvorkehrungen. Wahrscheinlich wird X auch den Grok-Chatbot anpassen, um eine weitere Ausweitung des Skandals zu vermeiden, wie die Firma es schon beim letzten Mal getan hat. Keiner dieser Schritte löst jedoch das eigentliche Problem. Bilder von nicht-einvernehmlichen Nacktdarstellungen sind bei X weitverbreitet. Es ist unsere Aufgabe als zivilgesellschaftlicher Watchdog, solche Verstöße aufzudecken und öffentlich zu machen. Aber die EU-Kommission muss ihre Anstrengungen massiv verstärken, um Menschen vor dieser Art von Gewalt zu schützen.