Die Insta-Mafia: Kleinkriminelle melden Nutzer·innen massenhaft für Profit

Lire en français: Comment de petits escrocs font fermer des comptes Instagram

Emma* ist eine niederländische Teenagerin aus einer kleinen Stadt an der Nordseeküste. In den vergangenen zwei Jahren baute sie sich eine Instagram-Präsenz auf, die ihr bis November 2020 über 20.000 Follower einbrachte. Dann, am 18. November, war es vorbei.

Wir haben Emma über Instagram kontaktiert, um mehr über ihre Erfahrungen im Umgang mit Missbrauch auf der Plattform zu erfahren. Wie viele andere Verfasser·innen von Inhalten, insbesondere Frauen, wird sie regelmäßig bei Facebook, der Mutterfirma von Instagram, gemeldet. Einmal wurde ihr Konto von Facebook aufgrund einer Meldung deaktiviert, dass sie sich für eine andere Person ausgebe. Ein „dummer“ Vorschlag angesichts der Menge an Selfies, die sie poste, findet Emma. Nachdem sie mit einem Vertreter  von Facebook gesprochen hatte, gelang es Emma schließlich, ihren Account zurückzubekommen. Insgesamt wurde sie „fünf oder sechs Mal“ innerhalb von zwei Jahren gemeldet und schaffte es immer, ihr Konto wiederzubekommen. Doch nicht dieses Mal.

Kleinkriminelle

Zwei Tage nachdem wir mit ihr gesprochen hatten, war Emmas Konto verschwunden (am 29. Januar 2021 war es noch immer nicht verfügbar). Wir wussten, dass sie in Gefahr war, da ihr Instagram-Nutzername in einer von uns überwachten Telegram-Gruppe aufgetaucht ist. Tausende Kilometer von ihrer Heimat entfernt, war sie zur Zielscheibe einer Gruppe von Kleinkriminellen aus dem Nahen Osten geworden.

Dahinter stehen mehrere Dutzend männliche Teenager, die dem von ihnen verwendeten Arabisch nach hauptsächlich im Irak und Saudi-Arabien leben und stolz darauf sind, Instagram-Nutzerinnen von der Plattform zu stoßen. In den Stories auf ihren eigenen Instagram-Accounts prahlen sie mit ihren Erfolgen und posten manchmal mehrere solcher “Leistungen” täglich.

Ihre Methode ist simpel. Mithilfe einfacher Skripte, die auf Github, einer Austauschplattform für Computercode, verfügbar sind, melden sie Instagram-Nutzer·innen automatisch. Unter Verwendung mehrerer Instagram-Konten kann ein einzelner Krimineller eine·n Nutzer·in mit wenigen Klicks hunderte Male melden. Meistens werden Nutzer·innen unter dem Vorwand von Spam, Identitätsmissbrauch oder wegen „Selbstmord oder Selbstverletzung“ gemeldet, einer Option, die Instagram 2016 eingeführt hat. Nach Erhalt mehrerer solcher Meldungen sperrt Facebook den Account. 

Ein 16-Jähriger namens „Zen“, der an dieser kriminellen Aktion beteiligt ist, hat AlgorithmWatch das übliche Vorgehen der Gruppe geschildert. Nach der Sperrung eines Kontos kontaktiert er Facebook per E-Mail und behauptet, er sei der rechtmäßige Besitzer des Kontos. In einem automatisiert wirkenden Prozess fordert Facebook ihn auf, ein Foto von sich mit einem Zettel zu schicken, auf dem ein handgeschriebener 5-stelliger Code steht. Nach Erhalt des Fotos überträgt Facebook ihm das Nutzungsrecht für das anschließend wieder aktivierte Konto. Schließlich wird der gekaperte Account je nach Anzahl der Follower zwischen 20 und 50 US-Dollar weiterverkauft. Zen zufolge wollen die Käufer·innen einfach mehr Follower, doch wahrscheinlich werden die Konten anschließend weiterverkauft. Konten mit ein paar tausend Followern können auf Plattformen wie SocialTradia bis zu 200 US-Dollar einbringen.

Anstatt einer offiziellen Antwort auf unsere konkreten Fragen, hat uns Facebook diese Erklärung geschickt: „Wir lassen nicht zu, dass Menschen unsere Meldesysteme missbrauchen, um andere zu belästigen, und haben erheblich in Technologie investiert, um Konten zu erkennen, die koordinierte oder automatisierte Meldungen vornehmen. Es wird immer Leute geben, die versuchen, unsere Systeme zu missbrauchen. Wir konzentrieren uns darauf, immer einen Schritt voraus zu sein und diese Aktivitäten so gut wie möglich zu unterbinden.“

Chrome-Erweiterung für Massenmeldungen

Wir haben die von den Kriminellen benutzten Programme untersucht. Ihre Nutzung setzt keine besonderen Kenntnisse voraus und in der Regel können sie von einem Smartphone aus bedient werden. Das automatische und fälschliche Melden von Benutzer·innen auf Facebook und Instagram ist so einfach, dass es von Kleinkriminellen auf der ganzen Welt häufig betrieben wird.

Eine andere in Pakistan operierende Gruppe hat eine Chrome-Erweiterung gebaut, die es ermöglicht, Nutzer·innen auf Facebook massenhaft zu melden. Eine Lizenz für das Tool kostet 10 US-Dollar. Die unlizenzierte Version gibt Zugriff auf eine Liste mit Zielpersonen, die etwa zweimal pro Monat aktualisiert wird. Insgesamt konnten wir etwa 400 verschiedene Zielpersonen in vierzig Ländern identifizieren.

Es ist unklar, wie die Zielpersonen von der pakistanischen Gruppe ausgewählt werden. Zu ihnen gehören vor allem Anhänger·innen des Ahmadiyya-Islam, einer religiösen Bewegung, die im Punjab entstand, balochische und paschtunische Separatist·innen sowie LGBTQ+-Befürworter·innen, Atheisten·innen, Journalist·innen und Feminist·innen - in Pakistan und darüber hinaus. Die Kriminellen melden sie meist unter den Begriffen „gefälschtes Konto“ oder „religiöser Hass“.

Mahmud*, ein in Belfast lebender bekennender Atheist, erschien auf einer ihrer Ziellisten. Ob ihn die Gruppe tatsächlich angegriffen hat, weiß er nicht, da Facebook den gemeldeten Personen keine Informationen darüber gibt. Er wurde jedoch bereits Opfer einer Massenmeldung und gibt an, dass „Hunderte“ seiner Beiträge in den letzten sieben Jahren blockiert wurden.

Tausende Opfer

Massenmeldungen sind weit verbreitet. Angesichts der Dutzenden von Code-Snippets, die auf Github verfügbar sind, und der Tausenden von YouTube-Tutorials ist es wahrscheinlich, dass es noch viel mehr Gruppen gibt, die ähnlich operieren wie die beiden von uns überwachten.

Wir haben eine nicht-repräsentative Stichprobe von 75 Facebook-Nutzer·innen in Großbritannien befragt. 21 von ihnen berichteten uns, dass sie bereits von einer Plattform blockiert oder suspendiert wurden. Eine 56-jährige Frau aus Schottland betrieb eine Gruppe namens „Let Kashmir Decide“. Sie erzählte, Facebook habe die Gruppe im September 2020 mit der Begründung deaktiviert, dass sie „gegen die Gemeinschaftsstandards“ verstößt, wahrscheinlich die Folge einer Massenmeldung.

Bei Menschen, die wiederholt auf Facebook schikaniert und massengemeldet werden, kann das Gefühl aufkommen, dass es sie zu viel Energie kostet, in dem sozialen Netzwerk aktiv zu bleiben. Eine 30-jährige Berlinerin berichtete uns, dass sie die sozialen Medien aufgegeben hat, nachdem sie wiederholt beschimpft und unter anderem zu Unrecht gemeldet worden war. Da sich ein Großteil des öffentlichen Lebens in die sozialen Medien verlagert hat, wurden ihre Möglichkeiten zur Teilnahme am gesellschaftlichen Leben durch diese Entscheidung stark beeinträchtigt. Die Auswirkungen könnten allerdings noch größer sein. Da sich in Folge der Covid-Pandemie immer mehr soziales Leben auf Facebook verlagert, kann es zu einem ernsthaften Nachteil werden, nicht auf dieser Plattform zu sein. Einige deutsche Krankenhäuser haben zum Beispiel ihre öffentlichen Sitzungen auf Instagram Live verlegt, was die Teilnahme für Nicht-Mitglieder unmöglich macht.

Die Auswirkungen von Massenmeldungen können unsichtbar, aber dennoch wirkungsvoll sein. Einigen Nutzern·innen zufolge kann eine Meldung zu einem sogenannten „Shadow-Ban“ führen (d.h. die eigenen Beiträge erscheinen mit deutlich geringerer Wahrscheinlichkeit in den Newsfeeds anderer Nutzer·innen oder in den Suchergebnissen). In einem Test stellte eine Instagram-Nutzerin fest, dass ihre Beiträge nicht mehr im „Erkunden“-Tab der Plattform auftauchten, nachdem sie gemeldet worden ist. Eine Expertin für Online-Marketing hat AlgorithmWatch berichtet, dass die Tatsache des „Shadow-Bannings“ von häufig gemeldeten Konten durch einen Vertreter Facebooks bestätigt wurde.

Obwohl Massenmeldungen wahrscheinlich Tausende von Europäer·innen betreffen, ist das Problem von seinem Ausmaß her weniger bedeutend als andere Formen von Belästigung im Netz, wie etwa Beleidigungen.

Der DSA als Retter in der Not

Am 15. Dezember schlug die Europäische Kommission im Rahmen des Digital Services Act (DSA) neue Regeln vor, um Mängel bei der „ Nutzer·in melden“-Funktion zu beheben. Der Gesetzentwurf muss noch durch das Europäische Parlament und den Europäischen Rat gehen, bevor er Gesetz wird.

Der Vorschlag der Europäischen Kommission würde sehr große Plattformen wie Facebook und Instagram dazu zwingen, transparenter zu sein gegenüber Nutzer·innen, deren Inhalte gemeldet und entfernt wurden. Insbesondere müssten die Plattformen Verfahren zur Handhabung von Beschwerden einrichten, bei denen gemeldete Benutzer·innen die Entscheidung anfechten können.

Facebook hat bereits ein solches System eingeführt. Allerdings haben alle Personen, mit denen wir gesprochen haben und die Opfer einer Massenmeldung durch kriminelle Gruppen wurden, erklärt, dass eine Lösung durch diesen Mechanismus illusorisch sei. Emma, die niederländische Teenagerin, sagte, dass sie zuerst ihren Instagram-Account auf einen „geschäftlichen“ Account umstellen musste, bevor sie jemanden bei Facebook kontaktieren konnte. Zudem stellte sich heraus, dass ihr Kontakt bei Facebook in Frankreich saß, obwohl sie aus den Niederlanden stammt.

Trista Hendren, die in Norwegen lebt, berichtet von ähnlich willkürlichen Prozeduren. Als Herausgeberin feministischer Bücher wurde sie in den letzten acht Jahren wiederholt ins Visier genommen, zuletzt durch die von uns beobachtete pakistanische Gruppe. Sie sagte, dass offizielle Verfahren bei Facebook nie zu irgendwelchen Maßnahmen führten und der persönliche Kontakt mit Facebook-Mitarbeiter·innen die einzige Möglichkeit sei, ein Konto oder einen Beitrag wiederherzustellen.

Redefreiheit für die Reichen

Der Digital Services Act der Europäischen Kommission schlägt vor, zusätzliche Strukturen zu schaffen, um diese Konflikte zu lösen. Vorgesehen ist die Einrichtung von außergerichtlichen Schlichtungsstellen, die durch interne Mechanismen nicht lösbare Streitigkeiten übernehmen sollen.

Josephine Ballon arbeitet als Anwältin für HateAid, eine gemeinnützige Organisation, die Opfern von Hassreden im Internet hilft. Sie äußerte gegenüber AlgorithmWatch, dass die unabhängigen Schlichtungsstellen zwar eine gute Sache seien, der DSA jedoch nichts über die Bestimmung ihrer Standorte aussage. Die Opfer müssen gegebenenfalls ein Gerichtsverfahren außerhalb ihres Landes einleiten, wo möglicherweise eine andere Gesetzgebung gilt. Sie glaubt, dass die Tortur, die Opfer durchmachen, durch den DSA nicht wirklich verbessert wird.

Geld ist ein weiteres Problem bei den Schlichtungsstellen, da die Nutzer·innen für die Inanspruchnahme dieser privaten Schiedsgerichte zahlen müssen (eine Erstattung erfolgt nur, wenn der Fall zu ihren Gunsten entschieden wird). Mit einem solchen System „könnte der Kampf für das Recht auf freie Meinungsäußerung zu einem Privileg für diejenigen werden, die es sich leisten können“, sagt Tiemo Wölken, Mitglied des Europäischen Parlaments, der im Rechtsausschuss Berichterstatter über den DSA war.

Zwar wird der DSA eine Auflage einführen, um den Missbrauch der Meldefunktion auf sozialen Plattformen, wie durch die von uns überwachten kleinkriminellen Gruppen, zu verhindern. Es ist jedoch unwahrscheinlich, dass dieser Mechanismus viel an der aktuellen Situation ändern wird. Jede Meldung, von der behauptet wird in guter Absicht getätigt worden zu sein, würde weiterhin als gültig erachtet werden.

Aus der Sicht von Herrn Wölken führt der DSA zwar dringend benötigte Schutzmaßnahmen ein, gibt aber wenig Anreize für Plattformen, ihre Praxis des „removing first and asking questions later” zu beenden.

* Die Namen der Personen, mit denen wir gesprochen haben, wurden zum Schutz ihrer Privatsphäre geändert.

Die Produktion dieser Recherche wurde durch einen Zuschuss aus dem IJ4EU-Fond unterstützt. Das International Press Institute (IPI), das European Journalism Centre (EJC) und alle weiteren Partner im IJ4EU-Fonds sind nicht für die veröffentlichten Inhalte und deren Verwendung verantwortlich.