AlgorithmWatch kämpft gegen sexualisierte Deepfakes auf X

Berlin, 08. Januar 2026 – Elon Musks Chatbot „Grok“ erzeugt auf der Plattform X Bilder echter Menschen in Bikinis oder ganz ohne Bekleidung – ohne deren Zustimmung, und auch, wenn es sich um Kinder handelt. Das Problem sexualisierter Darstellungen durch KI geht jedoch weit über X hinaus, wie Untersuchungen von AlgorithmWatch zeigen. Die Berliner Organisation hatte sich zu diesem Zweck schon letztes Jahr auch an X gewandt, die Plattform hat die Herausgabe von Daten dazu jedoch blockiert. AlgorithmWatch fordert die EU-Kommission auf, viel entschlossener bei der Durchsetzung von EU-Recht vorzugehen, um Menschen vor dieser Art von Gewalt zu schützen und die Erforschung von Plattformen stärker zu unterstützen.

Auf X lassen sich mit dem Bildgenerator des generativen KI-Systems „Grok“ weiterhin Bilder von unbekleideten Frauen und Mädchen erstellen und dann über X und andere Plattformen verbreiten – ohne Einverständnis der betroffenen Personen.

„Es kann keinen Zweifel daran geben, dass diese Funktion von ,Grok’ zu nicht-einvernehmlicher Sexualisierung von Menschen ein systemisches Risiko im Sinne des Digital Services Acts darstellt”, so Oliver Marsh, Head of Tech Research bei AlgorithmWatch. „Der Digital Services Act legt in den Artikeln 34 und 35 eindeutig fest, dass sehr große Online-Plattformen und Suchmaschinen in der EU systemische Risiken minimieren müssen, wozu auch ,tatsächliche oder vorhersehbare negative Auswirkungen in Bezug auf geschlechtsspezifische Gewalt’ zählen. Es ist für uns völlig offensichtlich, dass X hier gegen das Gesetz verstößt.”

Das Problem ist größer als „Grok“ und X allein

AlgorithmWatch fordert schon seit dem vergangenen Jahr, dass sehr große Online-Plattformen und Suchmaschinen proaktiv wirksame Maßnahmen ergreifen müssen, um die Verbreitung von Tools zu nicht-einvernehmlicher Sexualisierung (non-consensual sexualization, NST, oft auch „Nudify-Apps“ genannt) einzudämmen. Kommen sie dem nicht nach, muss die EU-Kommission tätig werden und den DSA durchsetzen. In zahlreichen anderen Ländern der Welt gehen Aufsichtsbehörden derzeit deswegen gegen X vor.

Gleichzeitig hat AlgorithmWatch eine Untersuchung zu NSTs auf großen Online-Plattformen gestartet, denn „Grok“ ist bei weitem nicht das einzige NST. Dabei konnten die Forschenden X-Accounts finden, die NSTs anbieten, in Übersichten zusammenstellen und bewerten, und erweiterte Zugänge zu NSTs anbieten. Diese Accounts haben oft Hunderte von Followern und Namen, die explizit auf Begriffe wie „Nudify“ oder „Clothes Off“ verweisen. Sie können also von X sehr einfach gefunden und entfernt werden. X unternimmt jedoch weder etwas gegen diese Accounts, noch unterstützt die Plattform AlgorithmWatch bei der Untersuchung. So hat X die Anfrage nach Forschungsdaten abgelehnt, obwohl der DSA in Artikel 40.12 festlegt, dass diese sehr großen Plattformen und Suchmaschinen Forschungsorganisationen, die sich mit systemischen Risiken befassen (wie beispielsweise AlgorithmWatch), Zugang zu öffentlichen Daten gewähren müssen.

NSTs, die sogenannte „Deepfakes” erstellen, sind auch auf anderen Plattformen zu finden wie Facebook, Instagram, Telegram oder Discord. AlgorithmWatch hat daher ein System entwickelt, das dabei hilft, NSTs auf großen Plattformen aufzuspüren. Um weitere Daten zu gewinnen, hat AlgorithmWatch ein Formular eingerichtet, über das NSTs zu Forschungszwecken gemeldet werden können: https://algorithmwatch.org/de/lasst-uns-deepfake-apps-gemeinsam-stoppen/