Algorithmische Polizeiarbeit: Vorauseilende Schuldvermutung

Der Begriff „vorausschauende Polizeiarbeit“ („Predictive Policing“) ist rechtlich nicht definiert. Er ist suggestiv, da damit implizit die Behauptung verbunden ist, dass bestimmte Technologien tatsächlich Straftaten vorhersagen können. Generell bezieht der Begriff sich auf KI-Systeme und Algorithmen, die Gebiete, Orte und Zeiten ermitteln sollen, in denen wahrscheinlich bestimmte Arten von Straftaten auftreten werden. In einzelnen Fällen werden sie sogar eingesetzt, um vorauszusagen, wer wahrscheinlich eine Straftat begehen wird.

So eine personenbezogene vorausschauende Polizeiarbeit wertet enorme Datenmengen aus: frühere kriminelle Aktivitäten, aktuelle Netzwerke und Faktoren, die statistisch Straftaten begünstigen. Daraus werden dann Voraussageprofile von einzelnen Personen erstellt.

Anwendungen wie das Berliner kbO-System sind nicht auf Personen, sondern auf Orte ausgerichtet. Auch die Polizei in anderen deutschen Städten setzt solche Systeme ein, um zu ermitteln, welche Stadtteile stärker von Kriminalität betroffen sein werden. Die Annahmen des Systems beruhen auf statistischen Daten, unter anderem historischen Kriminalitätsdaten. Algorithmisch generierte „Hotspots“ für Kriminalität sind in der Regel Gebiete, in denen viele Minderheiten leben und arbeiten. Alle Einwohner*innen dieser Stadtteile sind durch die Systeme einem besonders hohen Risiko ausgesetzt, unter Generalverdacht gestellt zu werden: Die Polizei darf ohne konkreten Anlass Kontrollen durchführen und Ausweise verlangen. Die dort lebenden Menschen werden auf diese Weise kriminalisiert.

Vorauseilender Verdacht führt zu mehr Kriminalität

Solche Kontrollen werden nämlich aufgezeichnet, fließen anschließend in Kriminalitätsdaten ein und verzerren sie, da die Kontrollen nicht durch einen konkreten Verdacht begründet sind. So beeinflussen sie wiederum weitere Analysen zur Voraussage von Kriminalität. Das führt zu einer Rückkopplungsschleife: Dieselben Gebiete und Profile werden immer wieder ins Visier genommen, wodurch immer mehr Kriminalitätsdaten generiert werden. Dieses Phänomen ist in der Kriminologie als Lüchow-Dannenberg-Syndrom bekannt. Eine erhöhte Polizeipräsenz an einem Ort lässt die statistisch erfassten Vergehen und Verbrechen ansteigen. Anders gesagt: Eine stärkere Polizeipräsenz führt zu mehr Verbrechen. Da die Polizei ihre Ressourcen verstärkt in algorithmisch markierten Gebieten einsetzt, ist zu vermuten, dass infolgedessen mehr Straftaten in anderen Gebieten unbemerkt bleiben.

Außerdem können von der Polizei eingesetzte Analyse- und Profiling-Systeme Verdächtige mit Personen in Verbindung bringen, die nur zufällig mit ihnen Kontakt hatten. Dadurch entwerfen die Systeme ein der Kriminalität verdächtiges Netzwerk, das so nicht existiert und Menschen beinhaltet, die keinen Anlass zu einem Verdacht gegeben haben.

Es fehlen öffentlich zugängliche Informationen darüber, welche Daten diese algorithmisch-automatisierten Analysesysteme verarbeiten und ob vor ihrem Einsatz ihre Funktionsweise und Effektivität in unabhängigen Audits geprüft wurde. Deshalb lässt sich nicht sicher sagen, wie voreingenommen diese Systeme gegen bestimmte Bevölkerungsgruppen sind. Zahlreiche Beispiele beweisen allerdings, dass solche Systeme direkt und indirekt Racial Profiling (verdachtsunabhängige Kontrollen, die vor allem auf dem Aussehen der Kontrollierten beruhen), Rassismus und andere Diskriminierungsformen begünstigen, insbesondere gegen muslimische Menschen und Menschen, die als Migrant*innen wahrgenommen werden.

Algorithmische Polizeiarbeit richtet sich aber auch gegen Reisende. Das Fluggastdatengesetz (Passenger Name Record, PNR) gilt für Flüge aus Drittländern in EU-Länder. Die einzelnen EU-Länder können das Gesetz auch auf Flüge aus oder zu anderen EU-Ländern anwenden. Die PNR-Richtlinie erlaubt das sechsmonatige Speichern und Verarbeiten aller Daten von Fluggästen, selbst wenn sie keiner Straftat verdächtigt werden. Das betrifft alle Informationen, die bei der Buchung eines Fluges angegeben werden müssen, zum Beispiel die Dauer und das Ziel des Fluges, die Kreditkartennummer, die Kontaktdaten, Ernährungshinweise oder auch besondere Bedürfnisse bei Behinderungen. Polizei-Algorithmen suchen in den Fluggast-Datensätzen nach Mustern. Es ist öffentlich nicht bekannt, wie die Polizei verdächtige Muster definiert. Als verdächtig eingestufte Personen können unter Beobachtung gestellt oder verhaftet werden, ihr Aufenthaltsstatus kann überprüft oder ihre Einreise verweigert werden.

Was bringt das Ganze?

Es gibt keine Belege dafür, dass „vorausschauende“ Systeme tatsächlich Kriminalität verringern. Manche der Untersuchungen darüber, wie oft sie einen falschen Verdacht generiert haben oder wie häufig ihnen ein möglicher berechtigter Verdacht entgangen ist, sind beunruhigend. Das Bundeskriminalamt ließ zwischen dem 29. August 2018 und dem 31. März 2019 die automatisch generierten „Treffer“ des Fluggastdaten-Systems manuell überprüfen. Nur 277 von rund 94.000 Übereinstimmungen erwiesen sich als richtig, was einer Trefferquote von 0,3 Prozent entspricht.

Eine Analyse aus dem Jahr 2023 ergab: Weniger als 0,5 Prozent der 23.631 Kriminalitätsvoraussagen, die das Geolitica-System (ehemals PredPol) für Plainfield in New Jersey generiert hatte, stimmten mit den gemeldeten Verbrechen überein. So eine Quote deutet nicht darauf hin, dass das System effektiv funktioniert.

Palantir und das Bundesverfassungsgericht

Im Jahr 2016 einigten sich in Deutschland der Bund und die Länder darauf, die IT-Architektur der Polizei durch das Programm „Polizei 2020“ zu modernisieren. Das Projekt heißt inzwischen „Polizei 20/20“ oder „P 20“ (auf Landes- und Bundesebene sind 20 Polizeibehörden beteiligt). Bis 2030 sollen die verschiedenen polizeilichen Systeme, Anwendungen und Prozesse schrittweise zusammengeführt werden.

Durch das „Polizei 20/20“-Programm wurde die Software des umstrittenen US-Unternehmens Palantir landesweit verfügbar gemacht, um Polizeikräften eine schnelle Suche und Analyse großer Datenmengen zu ermöglichen. Die Software führt Daten aus verschiedenen polizeilichen Datenbanken zusammen, zum Beispiel Angaben zu Personen, die von der Polizei angehalten, befragt oder durchsucht wurden, Daten über „Ausländer*innen“ oder auch Daten aus externen Quellen wie Social Media, Mobilfunk- und Anrufprotokollen. Aus diesen Daten erstellen die Systeme Fahndungsprofile − auch von Personen, bei denen keine Beweise für eine Beteiligung an mutmaßlichen Straftaten vorliegen und die keiner Straftat verdächtigt werden. Es werden sogar Profile von Opfern und Zeug*innen erstellt.

Die Palantir-Systeme zum Erstellen von komplexen und detaillierten Personenprofilen wurden und werden getestet oder sogar eingesetzt, ohne dass es eine klare Rechtsgrundlage dafür gab und gibt − oder überhaupt eine. Polizeibehörden und Datenschutz-Beauftragte sind sich oft nicht einig darüber, welche Gesetze für die Systeme gelten. Rechtsexpert*innen warnen, dass die Software Datenbestände zusammenführt, die zu völlig unterschiedlichen Zwecken erhoben wurden, was zu Scheinzusammenhängen führen kann. Bundesländer wie Hessen haben dabei nachweislich Daten von Personen verarbeitet, die nicht im Verdacht stehen, an Straftaten beteiligt zu sein, etwa Zeugen. Dadurch kann das Grundrecht verletzt werden, über die eigenen Daten zu bestimmen. Menschen können willkürlich ins Visier der Polizei geraten und da sie von der Datenauswertung nichts erfahren, können sie sich auch nicht dagegen wehren.

Im Februar 2023 entschied das Bundesverfassungsgericht, dass der Einsatz von Palantir-Plattformen in Hessen und Hamburg gegen das Recht auf informationelle Selbstbestimmung verstoße und somit verfassungswidrig sei. Dieses Urteil führte in Hessen dazu, dass das Polizeigesetz präzisiert werden musste. Daraufhin durfte die Palantir-Software hessenDATA nicht mehr auf bestimmte Datenquellen zugreifen, außerdem wurden einige Anwendungsbereiche beschränkt. Bevor Palantir-Systeme eingesetzt werden dürfen, hält es Bettina Gayk − die Datenschutz-Landesbeauftragte in Nordrhein-Westfalen – generell für erforderlich, geltende Gesetze zu ändern, den Anwendungsbereich der Systeme einzuschränken und verfahrensrechtliche Schutzmaßnahmen zu verbessern. Der Bayerische Datenschutz-Landesbeauftragte Thomas Petri forderte das Landeskriminalamt auf, den VeRA-Software-Testbetrieb mit echten Personendaten einzustellen, da er ihn für rechtswidrig hielt. In Bayern wurde VeRA dennoch getestet und mit Palantir ein Rahmenvertrag abgeschlossen, der es anderen Bundesländern ermöglicht, die Software ohne eine neue, langwierige Ausschreibung zu erwerben. In Hessen und Nordrhein-Westfalen wird weiterhin Palantir-Software (hessenDATA/DAR) verwendet.

Rassistischer Teufelskreis

Diskriminierendes und rassistisches Profiling führt zu unbegründeten Kontrollen und Durchsuchungen, was Opfer, Opferverbände, Wissenschaftler*innen, Menschenrechtsorganisationen und internationale Organisationen seit Langem kritisieren.

Trotzdem wird diese Diskriminierung durch Polizei, Strafverfolgungsbehörden und datengestützte Systeme selten als strukturelles oder institutionelles Problem behandelt. Die vom Europarat eingesetzte Europäische Kommission gegen Rassismus und Intoleranz (ECRI) hat bereits 2007 auf Racial Profiling bei der Polizeiarbeit hingewiesen. Sie empfahl, in Deutschland eine bundesweite Studie dazu in Auftrag zu geben, um Daten darüber zu sammeln und Gegenmaßnahmen zu ergreifen. Allerdings wurde so eine Studie bisher nicht umgesetzt. Im Jahr 2020 stoppte Bundesinnenminister Horst Seehofer eine geplante bundesweite Studie zu Racial Profiling und Rassismus in der Polizei.

2023 hat die Agentur der Europäischen Union für Grundrechte den Bericht „Being Black in the EU“ veröffentlicht. Darin ist zu lesen, dass in 13 EU-Ländern fast die Hälfte der Menschen afrikanischer Abstammung im Alltag Rassismus und Diskriminierung erfahren hat. Rassistisches Verhalten und Racial Profiling sind in der Polizei weit verbreitet, Deutschland schneidet besonders schlecht ab. 33 Prozent der Befragten in Deutschland hatten in den fünf Jahren vor der Umfrage willkürliche Polizeikontrollen erlebt.

Ein Beispiel aus den USA macht deutlich, was passieren kann, wenn autonome Systeme voreilig eingesetzt werden, ohne vorab die ethischen, rechtlichen und sozialen Konsequenzen ihres Einsatzes geprüft zu haben. Der COMPAS-Algorithmus sollte voraussagen, ob Straftäter*innen rückfällig werden. Er stufte Schwarze Personen im Vergleich zu weißen Straftäter*innen häufiger als Wiederholungstäter*innen ein, was nicht der Realität entspricht.

Solche rassistischen Vorurteile können auftreten, wenn Polizeikontakte auf Racial Profiling zurückzuführen sind und die daraus resultierenden Daten in ein KI-System für voraussagende Polizeiarbeit eingespeist werden. Die Voraussagen des Systems werden dann genauso rassistisch sein wie Racial Profiling selbst.

KI-gestützte Strafverfolgung und EU-Gesetze

Der Einsatz von KI-Systemen in der Strafverfolgung ist bis zu einem gewissen Grad durch die Strafverfolgungsrichtlinie (JI-Richtlinie) geregelt. Gemäß Artikel 11 der Richtlinie muss ein Mensch die Verarbeitung personenbezogener Daten zum Erstellen von Profilen zur Strafverfolgung überprüfen, da es verboten ist, Entscheidungen ausschließlich auf der Grundlage von automatisiert verarbeiteten Personendaten zu treffen.

Die KI-Verordnung der EU (AI Act) stellt fest, dass bestimmte von Strafverfolgungsbehörden eingesetzte KI-Systeme ein erhebliches Risiko darstellen, das zu Überwachung, Festnahmen und generell zur Verletzung von Grundrechten führen kann. Wenn die Funktionsweise dieser Systeme geheim, undurchsichtig oder nicht dokumentiert ist, kann dies das Recht auf ein faires Verfahren, wirksamen Rechtsschutz oder auch die Unschuldsvermutung unterlaufen.

Artikel 5 Absatz 1 Buchstabe d der KI-Verordnung verbietet KI-Systeme für vorausschauende Polizeiarbeit, wenn sie ausschließlich auf Profilen natürlicher Personen oder der Bewertung ihrer Persönlichkeitsmerkmale und Eigenschaften beruht (im Gegensatz zu Voraussagen über geografische Gebiete). Der Einsatz von KI-gestützter vorausschauender Polizeiarbeit ist aber zulässig, wenn KI Polizeibeamte, die Staatsanwaltschaft oder auch Ermittler*innen dabei unterstützt, Beurteilungen abzugeben. Viele nicht verbotene Systeme zur vorausschauenden Polizeiarbeit werden gemäß Artikel 6 Absatz 2 als KI-Systeme mit hohem Risiko eingestuft. In Anhang III sind Anwendungsfälle aufgeführt, nach denen ein KI-System als „hochriskant“ zu gelten hat.

Zu solchen KI-Systemen mit hohem Risiko gehören insbesondere: Systeme, die einzelnen Personen einen Risikowert zuordnen, Emotionserkennung-Systeme, Systeme zum Bewerten von Beweismitteln, Systeme zur Voraussage von Straftaten und Systeme zum Erstellen von Persönlichkeits- oder Verhaltensprofilen. Die KI-Verordnung stuft für Strafverfolgungsbehörden insbesondere folgende Anwendungen von KI-Systemen als hochriskant ein:

• Bewertungen, wie wahrscheinlich bestimmte Personen Opfer einer Straftat werden können,
• Bewertungen (die nicht nur auf der Grundlage einzelner Profile erfolgen), wie wahrscheinlich natürliche Personen straffällig oder wieder straffällig werden,
• die Bewertung von Persönlichkeitsmerkmalen und -eigenschaften oder eines früheren kriminellen Verhaltens von Einzelpersonen oder Gruppen,
• das Erstellen von Personenprofilen im Rahmen des Aufdeckens, der Untersuchung oder der Verfolgung von Straftaten.

Anbieter von KI-Systemen mit hohem Risiko müssen verschiedene Anforderungen erfüllen, um ihre KI-Systeme Strafverfolgungsbehörden verkaufen zu dürfen. Die Betreiber − zum Beispiel Polizeibehörden, Grenzbehörden oder Gefängnisse − müssen ebenfalls einige Voraussetzungen erfüllen, bevor sie ein Hochrisiko-System in Betrieb nehmen, zum Beispiel müssen sie eine grundrechtliche Folgenabschätzung durchführen.

Mehr über unsere Policy- und Advocacy-Arbeit zu biometrischen Erkennungssystemen.