KI-Forschung an der Grenze: Mehr Transparenz bei EU-finanzierter Überwachungstechnologie erforderlich

Unsere Forschung zeigt, dass die bestehenden Transparenzmechanismen nicht wirksam sind. Wir haben über 18 Monate eine Reihe von Forschungsprojekten im Kontext der Grenzüberwachung unter die Lupe genommen. Unsere Erkenntnis: Diese EU- Projekte und ihre Ergebnisse bleiben der Öffentlichkeit weitgehend verborgen. Die Forschungsagentur der EU (REA) verweigert regelmäßig den Zugang zu Projektinformationen mit der Begründung, dass Sicherheits- und Anbieter-Interessen wichtiger seien als die der Öffentlichkeit. Geschwärzte Dokumente und willkürliche Zugangs-Beschränkungen zu Dokumenten bedeuten, dass wichtige Daten zu hochriskanten Projekten – etwa solche zu automatisierten Risikobewertungen, biometrischer Datenverarbeitung, Schwärmen unbemannter Fahrzeuge und Drohnen und anderen KI-basierten Überwachungssystemen – der öffentlichen Kontrolle entzogen werden. Doch Forschungsprojekte im öffentlichen Interesse, die von öffentlichen Geldern finanziert sind, sollten der Öffentlichkeit auch zugänglich sein.

Private Unternehmen aus der Verteidigungs- und Sicherheitsbranche spielen eine große Rolle bei der Entwicklung von Technologie für die Grenzüberwachung, nicht zuletzt, weil sie einen großen Anteil der EU-Forschungsgelder erhalten. In einigen Projekten werden sogar militärische Einrichtungen als potenzielle Endnutzer genannt, was im Widerspruch zu den EU-Vorgaben für rein zivile Nutzung steht und Bedenken hinsichtlich Dual-Use-Potenzial der Anwendungen weckt.

Das Ethikbewertungssystem der EU berücksichtigt menschenrechtliche Bedenken außerdem nur unzureichend. Nur ein einziger Projekt-Antrag wurde jemals aus ethischen Gründen abgelehnt. Die meisten Projekte durchlaufen diesen Bewertungs-Prozess, ohne dass ihr Schadenspotenzial für Menschenrechte gründlich untersucht wurde.

Selbst die europäische Agentur für Grenz- und Küstenwache Frontex räumt den „begrenzten Nutzen“ von KI für die Grenzsicherheit ein. Es gibt kaum Belege für den praktischen Mehrwert solcher automatisierten Systeme, dennoch finanziert die EU sie im großen Stil weiter. Zwischen 2014 und 2022 hat die EU mehr als 250 Millionen Euro für 49 Projekte zur Erforschung und Entwicklung von Grenztechnologien bereitgestellt. Das EU-Gesamtbudget für Grenzsicherheit hat sich im Zeitraum 2021-2027 im Vergleich zum vorherigen Haushaltszyklus fast verdoppelt.

Dazu kommt, dass es auch keine Transparenz über die tatsächliche operative Verwendung von Grenztechnologien gibt. Die KI-Verordnung der EU schützt leider nicht wirksam gegen KI-bezogene Grundrechtsverletzungen in Grenz- und Asylverfahren. Dennoch bietet die Durchführung dieser Verordnung nun ein kritisches Zeitfenster für Politik und Verwaltung, um für eine bessere Regelungen zu sorgen.

Unsere Forderungen:

• Keine unkontrollierte KI-Nutzung im Migrations-Kontext. Die Umsetzung der KI-Verordnung bietet die Möglichkeit, sinnvolle Transparenzstandards für Hochrisiko-Anwendungen im Grenz- und Migrationskontext zu schaffen. Es müssen wirksame Aufsichts- und Durchsetzungsstrukturen auf EU- und nationaler Ebene geschaffen werden, die Zivilgesellschaft und betroffene Personen müssen in die Gestaltung von Hochrisikoanforderungen einbezogen werden. Die Beiträge von Forschungsprojekten zu praktischen Anwendungen sollten systematisch offengelegt werden.
• Stimmen von Betroffenen in der KI-Migrationsforschung in den Mittelpunkt stellen. Sicherheitsakteure wie Frontex und die Sicherheits- und Verteidigungsindustrie haben einen unverhältnismäßig großen Einfluss auf die Forschungsagenda der EU. Die EU sollte stattdessen die Stimmen betroffener Menschen auf der Flucht, der Zivilgesellschaft, unabhängiger Akademiker*innen und Journalist*innen in der öffentlich finanzierten Forschung und Entwicklung von KI-Systemen stärken. Diese Gruppen sollten formelle Interessensvertreter*innen in EU-finanzierten Forschungsprojekten werden, um Entscheidungen über den Einsatz von automatisierten Systemen an Grenzen oder in Asyl- und Einwanderungsverfahren wesentlich zu beeinflussen. Jede neue Forschungsfinanzierung in diesem Bereich sollte an die Einführung solcher Transparenz-, Mitgestaltungs- und Aufsichtsmechanismen gebunden sein.
• Zivile und militärische Anwendungen klar trennen. Die Bewertung hinter der Entscheidung, welche Forschungsergebnisse für „ausschließlich zivile Anwendungen“ qualifiziert sind, sollte systematisch und transparent der Öffentlichkeit zugänglich gemacht werden. Es sollten klare Kriterien festgelegt werden, um Transparenz über potenzielle zivile und militärische Doppelnutzungen von EU-finanzierten Forschungsprojekten herzustellen, so dass die Zivilgesellschaft Entscheidungen hierüber nachvollziehen kann.
• Fundierte und nachvollziehbare Ethikbewertungen für Forschungsprojekte einführen. Alle Informationen zur Umsetzung der sieben zentralen ethischen Anforderungen, die von der hochrangigen Expertengruppe der EU für KI entwickelt wurden, sollten der Öffentlichkeit proaktiv zugänglich gemacht werden. Diese Transparenzpflicht sollte offizielle Dokumente umfassen, die sowohl in der Selbstbewertung (z. B. in der „Ethik-Checkliste“ für künstliche Intelligenz) als auch von Gutachter*innen erstellt wurden. Die Projektunterlagen über Risiken und entsprechende Gegenmaßnahmen sollten veröffentlicht werden – und zwar für alle automatisierten Systeme im Bereich Grenzsicherheit, unabhängig von deren Risikoeinstufung.
• Informationsfreiheit garantieren. Die Öffentlichkeit muss einen hürdenlosen Zugang zu Informationen über die KI-Systeme haben, die zur Grenzüberwachung und zur Steuerung der Grenz-Mobilität erforscht und entwickelt werden. Es braucht Verfahren, die EU-Behörden, Strafverfolgungsbehörden und KI-Entwickler*innen dazu verpflichten, nationale Sicherheitsinteressen gegen das Recht der Öffentlichkeit auf Information und das allgemeine öffentliche Interesse abzuwägen. Generell sollte das öffentliche Interesse bei Anträgen auf Informationsfreiheit Vorrang vor kommerziellen Interessen haben. Dies bedeutet, dass die rechtliche Schwelle um ein „vorrangiges öffentliches Interesse“ zu begründen, deutlich gesenkt werden sollte.

Unsere Forschung: Fallstudien zu EU-Projekten

Das Projekt Automation on the Move untersuchte mehr als 20 EU-finanzierte Forschungsprojekte in Bereichen wie der Grenzüberwachung und Migration. In diesen Projekten wurden Technologien entwickelt zur Vorabkontrolle von Reisenden, Lage- und Risikobewertungssysteme, Systeme zur biometrischen Identifizierung und zur Emotionserkennung und andere KI-gestützte Überwachungssysteme wie Drohnen und automatisierte Überwachungstürme.

Zwei EU-Förderprogramme standen im Mittelpunkt unserer Untersuchung: Horizon 2020 (H2020) und Horizon Europe (HE). Wir haben eine Auswahl von EU-finanzierten Forschungsprojekten im Detail untersucht, um zu verstehen, was sie zu leisten versprechen und welche Auswirkungen sie auf Menschenrechte haben könnten.

Diese Forschungsprojekte sind keine theoretischen Übungen. Ähnlich wie ihre Vorgängerprojekte, die mit Mitteln des Siebten Rahmenprogramms (RP7) finanziert wurden und etwa zur Entwicklung des europäischen Grenzüberwachungssystems EUROSUR beitrugen, sind diese Projekte darauf ausgelegt, tatsächlich eingesetzt zu werden. Wir haben mehrere Fälle dokumentiert, in denen Forschungsergebnisse in den operativen Einsatz übergingen: Überwachungstechnik aus dem ANDROMEDA-Projekt wurde tatsächlich in Griechenland eingesetzt, während Komponenten aus Projekten wie EFFECTOR und D4FLY in realen Grenzsicherheitsmaßnahmen Verwendung fanden.

Unser Ergebnis: Blockade mit System

Die Untersuchung der Technologien an den EU-Grenzen zeigt strukturelle Transparenz-Barrieren auf. Anträge auf Zugang zu Informationen, die wir bei der REA gestellt haben, wurden häufig verspätet oder nur teilweise bearbeitet. Anfragen nach Dokumenten wurden mehrfach mit willkürlichen Einschränkungen beantwortet, beispielsweise mit der Auflage, unsere Anfragen auf maximal zehn Dokumente pro Projekt zu begrenzen. Selbst diese Schwelle unterbietet die REA noch regelmäßig, indem sie separate Anfragen zu mehreren Projekten bündelt, wodurch die Anzahl der tatsächlich zugänglichen Dokumente pro Projekt weiter begrenzt wird (in unserem Fall: auf nur noch drei anstatt zehn).

In einigen Fällen wurden Projektdokumente stark geschwärzt, so dass sie für die öffentliche Auswertung fast unbrauchbar sind. Bei mehreren Projekten waren selbst als öffentlich eingestufte Arbeitsergebnisse geschwärzt, was Fragen zur fehlenden Sichtbarkeit und mangelnder Nachvollziehbarkeit öffentlich finanzierter Forschungsergebnisse aufwirft. So wurde uns beispielsweise der Fördervertrag für das NESTOR-Projekt mit 170 geschwärzten Seiten übergeben, während öffentliche Ergebnisse für Projekte wie MELCHIOR und ODYSSEUS nahezu vollständig fehlten, obwohl sie gemäß der Projekt-Zeitpläne längst vorliegen müssten.

Außerdem stießen wir auf Projekt-Websites, die plötzlich offline gingen oder durch andere willkürliche Websites ersetzt wurden, was den Zugang zu wichtigen Informationen weiter erschwerte.

Ethische Prüfungen können schädliche Folgen für Menschenrechte nicht abwenden

Alle mit Horizon 2020 und Horizon Europe geförderten Projekte müssen eine ethische Bewertung durchlaufen, um die Einhaltung ethischer Grundsätze und Rechtsvorschriften zu gewährleisten. Unsere Untersuchung zeigt, dass dieser Ethikbewertungsprozess nicht ausreicht, um die tiefgreifenden ethischen, sozialen und menschlichen Folgen von KI-Systemen bei der Grenzüberwachung und beim Mobilitätsmanagement zu berücksichtigen. Die Ethiküberprüfungen sind in mehrfacher Hinsicht problematisch:

1. Sind die Gutachter unabhängig? Der Mangel an öffentlichen Informationen verhindert eine gründliche Überprüfung des gesamten ethischen Bewertungsverfahrens. Insbesondere ist es nicht möglich, die Unabhängigkeit der beauftragten Ethik-Gutachter zu überprüfen.
2. Funktionieren Maßnahmen zur Schadensbegrenzung? Die Intransparenz der Forschungsprojekte verhindert es, dass Außenstehende verstehen können, ob die Maßnahmen zur Minderung ethischer Risiken tatsächlich konkrete Gefahren abwenden können. Selbst in den wenigen Fällen, in denen die Projekte eine öffentlich zugängliche Analyse der ethischen und gesellschaftlichen Risiken liefern, werden die Gegenmaßnahmen nur kurz und vage skizziert.
3. Ethikbewertungen werden in den Projekten uneinheitlich angewendet. Von allen Horizon 2020- und Horizon Europe-Projektanträgen im Bereich Grenzsicherung wurde nur einer aus ethischen Gründen abgelehnt. Denn dieses Projekt namens EMERALD beinhaltete militärische Anwendungsmöglichkeiten. Im Gegensatz dazu wurde anderen Projekten, die ausdrücklich „militärische Einrichtungen“ als Zielgruppen für zukünftige Anwendungen nennen, die Förderung genehmigt. Diese Inkonsistenz deutet darauf hin, dass das ethische Bewertungssystem der EU nicht konsequent angewandt wird.
4. Ethikbewertungen bleiben oberflächlich. Viele der von uns analysierten Forschungsprojekte scheinen die ethischen Anforderungen nur oberflächlich zu erfüllen. Sie beschränken sich auf die Einhaltung grundlegender Datenschutzgesetze und die Integrität der Forschung, während tiefere ethische Fragestellungen zu Fairness und Voreingenommenheit nur selten angesprochen werden.

Unsere Ergebnisse bestätigen somit die empirischen Belege vieler langjähriger und umfassender Untersuchungen zu EU-finanzierten Forschungsprojekten zu Grenzsicherheit und Mobilität. Die Kritik an diesen Initiativen geht auf das Jahr 2011 zurück, als Statewatch eine grundlegende Neubewertung der aus RP7-Mitteln finanzierten Projekte forderte. Schon damals argumentierten die Forschenden, dass diese Technologien umfassendere Fragen aufwerfen, die über den Schutz der Privatsphäre und den Datenschutz hinausgehen und mehr Rechenschaftslegung und öffentliche Kontrolle brauchen. In jüngerer Vergangenheit kam eine Studie aus dem Jahr 2019, die die ethische Bewertung der H2020-Projekte MARISA und RANGER untersuchte, zu dem Schluss: „Während die Einhaltung ethischer Standards seit langem fast gleichbedeutend mit einer anständigen Forschungsethik ist, werden andere wichtige Dimensionen mehr oder weniger nur anekdotisch behandelt.“

Fazit: Automatisierte Grenzen sind auf Kollisionskurs mit demokratischen Prinzipien

Die EU setzt weiterhin stark auf Automatisierung und KI, um Grenzen und Mobilität zu überwachen. Viele der EU-finanzierten KI-Systeme, die wir analysiert haben, funktionieren nicht einmal wie beabsichtigt. Selbst wenn sie funktionieren, stehen nicht die Menschen und ihre Grundrechte im Mittelpunkt. Den Anwendungen fehlt eine solide wissenschaftliche Evidenzbasis für ihren Nutzen, und die EU läuft mit ihrem intransparenten Ansatz Gefahr, humanitäre Anliegen, demokratische Prinzipien und Menschenrechte zu verletzen.

Dieser Weg ist eine Sackgasse. Öffentlich finanzierte Forschung und Entwicklung muss vollständige Transparenz, die Achtung der Menschenrechte und eine sorgfältige Bewertung der Angemessenheit von Automatisierung bei der Steuerung menschlicher Mobilität priorisieren.