Die Sprache von Cybergroomern entschlüsseln

Plattformen setzen bereits verschiedene Verfahren gegen sexualisierte Gewalt ein. Bilderkennungsverfahren versuchen, sexualisierte Posen und Darstellungen von Missbrauch zu identifizieren. Um bereits bekannte Aufnahmen zu erkennen, erstellt Software wie Microsofts PhotoDNA einen digitalen Fingerabdruck eines Bildes („Hash”). Damit ist es möglich, die Bilder mit den Einträgen in CSAM-Datenbanken (CSAM: „child sexual abuse material”) zu vergleichen.

Cybergrooming fängt bereits an, bevor ein Foto versandt wird. Es kann auch ganz ohne Aufnahmen stattfinden. Einfache textbasierte Verfahren wie Wortfilter sind bereits bei Chatplattformen wie Knuddels oder sozialen Netzwerken wie Instagram oder TikTok im Einsatz. Deren Algorithmen gleichen Nachrichten oder Kommentare mit Blocklists voller Schlüsselwörtern ab. Sie erkennen aber nur explizite Begriffe. Pädokriminelle lernen schnell, solche Maßnahmen zu umgehen, indem sie etwa die Schreibweise ändern oder Buchstaben durch Zahlen ersetzen.

An der Swansea University in Wales hat ein Team das neue Machine-Learning-Tool DRAGON-Spotter entwickelt. Es behauptet, dass das Tool KI und Linguistik miteinander verbindet und damit auch versteckte Bedeutungen und Absichten erkannt werden könnten: Wann und wie genau wird der Chat sexuell aufgeladen, auch wenn keine eindeutigen sexuellen Wörter auftauchen; wann kann hinter einem (finanziellen oder emotionalen) Hilfsangebot ein Sextortion-Versuch stehen, eine Form der Erpressung, bei der dem Opfer mit der Online-Veröffentlichung von Nacktfotos oder -videos gedroht wird; wann ebnet scheinbar unschuldiger Smalltalk den Weg für eine abhängig machende Online-Beziehung? Der Algorithmus soll Polizeikräften dabei helfen, die manipulativen Sprachtaktiken von Groomern automatisch zu identifizieren – „von der emotionalen Isolation von Kindern bis hin zur impliziten oder expliziten Übermittlung sexueller Absichten an sie”.

Als Grundlage für das Machine-Learning-Modell dienten unter anderem 622 englischsprachige Chatprotokolle der US-Initiative Perverted Justice. Freiwillige begannen 2003, mit kindlich klingenden User-Namen wie „sadlilgrrrl” an Chats bei MSN, AOL oder Yahoo teilzunehmen. Fiel ein Pädokrimineller auf den Trick hinein, versuchten die Freiwilligen, ihm möglichst viele Details zu entlocken. Wenn ein Treffen mit den Männern vereinbart werden konnte, wurden sie festgenommen – teils vor den laufenden Kameras der US-Show „Catch a Predator”. Ihre umstrittenen Undercover-Operationen hat die Initiative 2019 eingestellt, doch die Chats sind online noch verfügbar – das Dragon-Spotter-Team versuchte, daraus typische Sprachprofile von Tätern abzuleiten, wie ein Paper offenbart.

Mit Verfahren linguistischer Diskursanalyse wurden in den Chats 70 wiederkehrende sprachliche Muster identifiziert. Drei-Wort-Kollokationen, d.h. Kombinationen aus drei Wörtern, treten häufig benachbart auf. Aus ihnen können bestimmte Verbindungen zu Grooming-Zielen wie Vertrauensaufbau, Isolation des Kindes oder sexuelle Befriedigung abgeleitet werden: Die Kombination aus den Wörtern „wish”, „could” und „help” dient etwa dem Vertrauensaufbau; die Wörter „home”, „alone” und „weekend” zielen zusammen darauf ab, mit den Minderjährigen einen direkten Kontakt in der realen Welt herzustellen. Weniger als die Hälfte solcher Kombinationen enthielt sexuell explizite Wörter. Die Forschungsleiterin Nuria Lorenzo-Dus schreibt in ihrem Buch „Digital Grooming” (Oxford University Press 2023), dass die Groomer stattdessen häufig romantische oder freundschaftliche Begriffe wie „love” oder „like” nutzten – also Begriffe, die auch in einer harmlosen Kommunikation vorkommen können.

Das Team untersuchte zudem, wie Komplimente, Drohungen oder sexualisierte Aufforderungen eingesetzt werden. Es erforschte, wie Groomer sich und dem Kind bestimmte Rollen zuweisen. Nuria Lorenzo-Dus berichtet, dass Groomer Sprache taktisch einsetzen und schnell zwischen „netter” und „gemeiner” Ansprache hin und her wechseln. Sie unterbreiten dem Kind Vorschläge, belehren es, geben nach, kritisieren es – und verwirren es auf diese Weise völlig. Groomer betonen ihre Fähigkeiten, ihre Überlegenheit und ihr sexuelles Wissen. Sie stellen Sex als romantisch oder als eine positive Erfahrung für das Kind dar. Mit ihrer vorgetäuschten Offenheit bauen sie Nähe auf, etwa indem sie echte oder vermeintliche emotionale Schwächen wie Furcht oder Einsamkeit teilen. Damit verleiten sie die Kinder dazu, ebenfalls offen und mitteilsam zu sein und sich verletzlich zu zeigen. Die Bindung wird auch durch ein demonstratives, ausgeprägtes Interesse am Kind gestärkt. 

In die Entwicklung von Spotter flossen auch Chatdaten echter Polizeifälle ein. Das Tool durchforstet Chats nach verdächtigen Mustern und kalkuliert einen Gesamtverdachtswert („overall suspicion score”), der die Wahrscheinlichkeit anzeigen soll, mit der es sich um eine Cybergrooming-Konversation handelt. Eine Benutzeroberfläche ermöglicht es den Polizeikräften, Geräte von Tatverdächtigen nach Nachrichten zu durchsuchen und diese Nachrichten herunterzuladen und auszuwerten. Um die Auswertung von Beweisen zu beschleunigen, können Unterhaltungen nach Beteiligten, Plattformen oder einem Verdacht-Score sortiert werden.

Noch ist unklar, wie zuverlässig Spotter ist. Das Team der Swansea University hat nicht offengelegt, ob die Treffsicherheit des Tools auch mit nicht-pädokriminellen Chatdaten geprüft wurde und wie hoch die Falschmeldungsquote ist. Angeblich haben die britische und die australische Polizei Spotter erfolgreich getestet. An beide hat AlgorithmWatch Anfragen gestellt, doch beide Anfragen blieben unbeantwortet. Die Swansea University lehnte eine Interviewanfrage ab, nachdem sie einen Fragenkatalog erhalten hatte. Das bisher nur englischsprachige Tool könnte künftig in weiteren Ländern zum Einsatz kommen. Potenzial sieht das Team der Swansea University etwa in Indien. Die Online-Grooming-Chatdaten müssten dazu in Kooperation mit lokalen Strafverfolgungsbehörden in indischem Englisch und anderen indischen Sprachen linguistisch ausgewertet werden, um das Tool an den lokalen Kontext anzupassen. 

Fehlalarme in Kauf nehmen

Der deutsche Informatiker Nicolai Erbs hat die Deep-Learning-KI Privalino entwickelt. Er weiß: „Es ist sehr schwierig zu erkennen, wann Cybergrooming anfängt.” Der Kontext  müsse in die Analyse einfließen. Das Team des von ihm mitgegründeten Start-ups Kitext habe Tausende Chats von der Plattform Knuddels und andere Datensätze ausgewertet, um typische Hinweise für Cybergrooming zu finden. Das System wurde mit Schulklassen getestet und die KI laufend nachgebessert. Die kostenpflichtige Kinderschutz-App WhatsSafe, die auf Privalino basiert, sollte Cybergrooming in WhatsApp-Chats aufdecken – denn häufig wechseln Pädokriminelle auf Messenger, nachdem sie Kinder und Jugendliche in Foren, sozialen Netzwerken oder Spielen angesprochen haben. Messenger haben für die Groomer den Vorteil, dass es keine Moderation und bisher keine automatisierte Auswertung der Nachrichten gibt.

Das System analysierte die Chat-Historie und wurde zum Beispiel aktiv, wenn Kontaktdaten angefragt oder Telefonnummern versandt wurden, ebenso bei Gesprächseröffnungen, bei denen gleich ein persönliches Treffen vorgeschlagen wurde. „Wenn jemand seit zehn Wochen schreibt und dann nach einem Treffen fragt, ist das Risiko für Cybergrooming etwa deutlich geringer als wenn es der Initialkontakt ist”, sagt Erbs. Doch: Es könnte auch um ein harmloses Treffen zwischen Kindern gehen. Erbs ist sich bewusst, dass Algorithmen irren können: „Wir wollten, dass alle Probleme erkannt werden – auch auf das Risiko hin, dass harmlose Situationen als dubios geflaggt werden”, sagt er. „Fehlalarme mussten wir in Kauf nehmen.”

Bei jeder verdächtigen Nachricht erhielten Eltern von WhatsSafe eine Warnung per Mail. Ein Ampelsystem zeigte ihnen die Cybergrooming-Wahrscheinlichkeit an. Heute glaubt Erbs: Die ersten Eltern, die WhatsSafe kauften, hätten sich ohnehin damit beschäftigt, was auf den Handys ihrer Kinder passiert, und mit ihnen über Cybergrooming gesprochen – sie hätten also solch ein plakatives Ampelsystem nicht gebraucht. Andere seien trotz Warnsystem überfordert gewesen, manche hätten sich erst eine Woche nach Vorfällen an das Start-up gewandt und gefragt, was sie nun tun sollten. „Die pädagogische Seite ist unheimlich wichtig und der beste Schutz, den die Kinder bekommen können”, sagt Erbs. Kitext gibt es seit 2019 nicht mehr, weil es nicht genug Kundschaft für das System gab.

Im Rückblick hält Nicolai Erbs andere Ansätze sinnvoller als Textanalysen, etwa eine Altersverifikation oder Netzwerkanalysen, mit denen automatisiert Profile aufgespürt werden können, die zum Beispiel in sozialen Netzwerken innerhalb kurzer Zeit viele junge Mädchen anschreiben und kaum Antworten erhalten. Er findet, dass automatisierte Meldesysteme nicht in die Hände der Polizei gehören, da diese jeden Hinweis auf Cybergrooming verfolgen müsse, unabhängig vom Alter der Beteiligten. „Es kann sein, dass zwei Kinder miteinander chatten, die an derselben Schule sind, und man möchte ja nicht, dass die Polizei nach so einem leichten Fall von Cybergrooming in der Schule steht”, sagt Erbs. Die Eltern sollten aber über den Vorfall informiert werden, so dass die Schulen dazu pädagogische Hilfestellung leisten können.

Im dritten und letzten Teil dieses Beitrags ist zu lesen, warum sich auch Kinder und Jugendliche nach deutschem Recht des Cybergroomings schuldig machen können.