Lasst uns sexualisierende Deepfakes gemeinsam stoppen!

Digitale Gewalt hat viele Gesichter, und KI ist eines von ihnen. Mit KI können sexualisierte Deepfakes ohne die Zustimmung der Betroffenen erstellt werden. AlgorithmWatch versucht, solche „Non-consensual Sexualization Tools" (NST) mit der Unterstützung von Menschen wie dir zu finden und zu verhindern, dass sie auf Social Media und in App-Stores verbreitet werden.

Der Digital Services Act (DSA) soll uns dabei helfen. Dieses EU-Gesetz verpflichtet große Plattformen, systemische Risiken proaktiv zu bekämpfen. Sexuelle Deepfakes, die nicht einvernehmlich erstellt und verbreitet werden, gehören zu solchen Risiken. Zum Minimieren der Risiken müssen Plattformen Forschenden wie uns relevante Daten zur Verfügung stellen. Einige große Plattformen haben uns so einen Datenzugang schon gegeben. X weigert sich allerdings noch und verhindert so aktiv Forschung.

Du kannst uns dabei helfen, etwas gegen NSTs zu unternehmen! Wenn du Websites oder Apps siehst, die solche sexualisierten Deepfakes von realen Personen erstellen, nutze bitte unser Meldeformular, um uns darüber zu informieren – auch wenn du Posts siehst, in denen für solche Websites oder Apps geworben wird.

Du hast keine Fälle zu melden, möchtest aber Forschung und Kampagnen wie diese unterstützen, um Veränderungen zu ermöglichen? Dann spende jetzt um gegen NSTs zu kämpfen. Mit deiner Spende förderst du einen verantwortungsvollen Einsatz von KI – für einen sichereren digitalen Raum für alle.

Non-consensual Sexualization Tools (NSTs) sind Apps und Websites, die mithilfe von KI sexualisierte Bilder von realen Personen („Deepfakes“) erstellen, ohne dass sie deren Zustimmung dazu gegeben haben.

NSTs werden oft als „Nudify-Apps“ bezeichnet. Während einige Tools Menschen ganz nackt zeigen, können sie auch Bilder in Unterwäsche oder Badeanzügen generieren – wie es vor Kurzem der X-Chatbot Grok getan hat. Wir sammeln Meldungen über alle Tools, die Menschen ohne deren Zustimmung entkleiden.

Einige von solchen Tools wurden schon in großem Umfang genutzt, mit gleichermaßen schweren Folgen für Schulkinder oder auch Prominente. AlgorithmWatch hat bereits über Fälle in spanischen Schulen berichtet. Auch der Spiegel berichtete, dass 2024 an mehr als 500 Schulen und Universitäten in Südkorea mit Hilfe von KI Nacktbilder von jungen Frauen und Mädchen verbreitet wurden. Die Deepfakes wurden in großen Chatgruppen auf Telegram geteilt. In einigen Fällen wurden die Betroffenen damit erpresst.

Diese Tools werden über Netzwerke, Websites und Online-Dienste gehostet und verbreitet (The Guardian und Bellingcat berichteten), auch über Telegram- und Discord-Kanäle (404 Media und Wired berichteten) oder auf sehr großen Plattformen und in App-Stores (Graphika und Context berichteten).

Wir untersuchen fünf Plattformen, über die NSTs einem sehr großen Publikum zugänglich gemacht werden können: X, Facebook, Instagram, den Google Play Store und den Apple App Store.
Wir sammeln Berichte über NSTs (etwa über ihre Verbreitung auf Social Media) und entwickeln ein Tool, das Inhalte und Konten erkennen soll, die für NSTs werben und zu ihrer Verbreitung beitragen. Du kannst uns dabei helfen! Nutze dafür unser Formular.
Wir können NSTs über die DSA-Meldeformulare der jeweiligen Plattformen melden, damit die Tools entfernt werden. Gleichzeitig dokumentieren wir so Beweise darüber, wie die Tools online verbreitet werden.

Der DSA ist eine EU-Verordnung, die Anforderungen an Online-Dienste stellt. Besondere Anforderungen gelten für Dienste mit mehr als 45 Millionen monatlichen Nutzer*innen in der EU, sogenannte sehr große Online-Plattformen und Suchmaschinen. Dazu gehören die fünf Plattformen, die wir untersuchen: X, Facebook, Instagram, der Google Play Store und der Apple App Store.
Der DSA legt (in Artikel 34 und 35) eindeutig fest, dass große Online-Plattformen und Suchmaschinen in der EU systemische Risiken minimieren müssen – unter anderem „tatsächliche oder vorhersehbare negative Auswirkungen in Bezug auf geschlechtsspezifische Gewalt”.

Sehr große Online-Plattformen und Suchmaschinen müssen proaktiv wirksame Maßnahmen ergreifen, um die Verbreitung von NSTs einzudämmen. Dazu muss gegebenenfalls die EU-Kommission tätig werden, um den DSA durchzusetzen.

Der DSA legt außerdem fest (Artikel 40.12), dass diese Plattformen und Suchmaschinen Forschungsorganisationen, die sich mit systemischen Risiken befassen (wie beispielsweise AlgorithmWatch), Zugang zu öffentlichen Daten gewähren müssen.

Im Juni haben wir gemäß Artikel 40.12 des DSA öffentlich zugängliche Daten von sehr großen Plattformen und Suchmaschinen angefordert. Wir haben nun Zugriff auf Daten von Apple und Google. Wir befinden uns noch in Verhandlungen mit Meta über Daten für Facebook und Instagram. X hat sich jedoch kategorisch geweigert, uns Daten zur Verfügung zu stellen.
Die Ablehnung von X lautet lediglich: „Ihr Antrag belegt nicht, dass die von Ihnen vorgeschlagene Verwendung der X-Daten mit den in Artikel 34 des Digital Services Act beschriebenen systemischen Risiken in der EU in Zusammenhang steht.“ Genau diesen Wortlaut hat X auch verwendet, um viele andere Anträge abzulehnen (wie das DSA Data Access Collaboratory festgestellt hat): Es scheint also die Standardausrede des Unternehmens zu sein.
Wir haben uns am 23. Juli 2025 über das Online-Formular von X darüber beschwert, aber keine Antwort erhalten.
Wir wenden uns in dieser Angelegenheit an die Europäische Kommission, damit sich auch X endlich an die Vorgaben des DSA hält, worauf die wir schon seit Monaten warten.

Wir wissen, dass NSTs nur ein Teil eines größeren Problems sind. Digitale Gewalt ist sehr komplex und hat viele Facetten. Wir möchten unsere Forschung als Ausgangspunkt nutzen, um weiter zu lernen, zu forschen, Bewusstsein zu schaffen und uns für Veränderungen einzusetzen!

Was machen wir jetzt?

🗯 Wir werden weiter an unserem Erkennungstool arbeiten, um damit NSTs zu finden und zu melden. Ihr könnt uns dabei helfen! Berichtet uns über unser Formular von Websites oder Apps, die sexualisierte Deepfakes verbreiten.

🗯 Wir werden dafür kämpfen, dass alle Plattformen NSTs proaktiv bekämpfen, wie es der DSA vorschreibt. Auch X muss sich an die Regeln halten und uns Daten zur Verfügung stellen. Wenn die Plattform sich weiterhin weigert, werden wir uns an die Europäische Kommission wenden, damit sie X dazu zwingt, die gesetzlichen Vorgaben des DSA zu erfüllen.

🗯 Wir werden die von uns gesammelten Beweise nutzen, um weitere Maßnahmen gegen digitale Gewalt zu fordern – wie beispielsweise das im deutschen Koalitionsvertrag (S. 91) versprochene Gesetz gegen digitale Gewalt.

Wenn du Fragen hast oder mehr über dieses Projekt erfahren möchtest, wende dich bitte an:

Oliver Marsh

Head of Tech Research

marsh@algorithmwatch.org

Du hast keine Fälle zu melden, möchtest aber Forschung und Kampagnen wie diese unterstützen, die Veränderungen herbeiführen sollen? Dann hilf jetzt mit durch deine Spende:

Deine Unterstützung hilft dabei, gierigen Tech-Konzernen nachzuweisen, dass sie die Gesetze umgehen und von ihnen verursachte Schäden ignorieren. Deine Unterstützung macht einen Unterschied.