Einsatz digitaler Technologien im Asyl- und Migrationskontext

Digitale Technologien sind zu allgegenwärtigen, risikoreichen und oft experimentellen Instrumenten in
der Gestaltung und Umsetzung der Migrations- und Asylpolitik von Staaten und regionalen Organisationen geworden. Von Satellitenbildern, Drohnen und Sensordaten bis hin zu Gesichtserkennung, Iris-Scans und sog. „Lügendetektoren“: Im Grenz- und Migrationskontext wird auf
diverse Technologien vertraut, die höchst fragwürdig sind.

Sowohl direkt als auch indirekt haben digitale Technologien das Potenzial, schwerwiegende Menschenrechtsverletzungen zu verursachen oder zu verstärken. Wenn Staaten Ziele verfolgen, die im Widerspruch zu ihren Menschenrechtsverpflichtungen gegenüber Geflüchteten und Migrant*innen stehen, verschärfen diese Technologien meist Menschenrechtsverletzungen und Leiden. Grenz- und Migrationstechnologien können aber auch an sich problematisch sein, da die Systeme anfällig für Verzerrungen (sog. „Bias“) und Fehler sind. Oft beruhen sie auf einer ausufernden Erhebung, Speicherung und Nutzung von Informationen, wodurch das Recht auf Privatsphäre und Nichtdiskriminierung sowie weitere Menschenrechte gefährdet werden.

Digitale Technologien verstärken repressive Grenzregimes, die Personen aufgrund von Rassifizierung, ethnischer Zugehörigkeit, nationaler Herkunft und Staatsangehörigkeit diskriminieren. Sie bergen die
Gefahr, dass rassistische Vorurteile und Diskriminierung, die in historischen und kolonialen Praktiken der
Ausgrenzung wurzeln, unter dem Deckmantel technologischer Neutralität und Objektivität fortbestehen
und verschleiert werden. Ihr Einsatz kann mitbedingen, dass systemischer Rassismus, Unterdrückung und Gewalt fortbestehen.

In den vergangenen Jahren ist immer wieder zu beobachten, dass Technologien, die für Migrations- und
Grenzmanagementzwecke eingesetzt werden, von bestimmten rechtlichen Vorgaben ausgenommen
werden. So gibt es u. a. Ausnahmeregelungen bei Datenschutz- und Datensicherheitsvorschriften sowie
bei Anforderungen an die öffentliche Rechenschaftspflicht und die Transparenz. Sie stehen im
Zusammenhang mit einer zunehmenden Kriminalisierung von Migration und der Vermischung von
Migrations-, Polizei- und nationaler Sicherheitspolitik.

Umso dringlicher ist es derzeit, Staaten, Unternehmen und andere Interessengruppen daran zu erinnern, dass jede Entwicklung und Nutzung von neuen Technologien die Menschenrechte achten und schützen muss, einschließlich jener von Geflüchteten, Asylsuchenden und Migrant*innen. Transparenz schafft hier Nachvollziehbarkeit und ist somit ein wichtiger erster Schritt zur Verwirklichung von Rechten, Gerechtigkeit und Rechenschaftspflicht. Letztlich kann Transparenz allein aber keine Rechte schützen, sondern muss von anderen Schutzmaßnahmen begleitet werden. Wenn Technologien schon im Design mit internationalen Menschenrechtsnormen unvereinbar sind, sind Rechtsverletzungen und ihre negativen Auswirkungen im wahrsten Sinne des Wortes vorprogrammiert. Auch Technologieverbote
dürfen dann kein Tabu sein.

Leitprinzipien und Rahmenbedingungen

Staaten haben gemäß der Internationalen Menschenrechtscharta verbindliche Verpflichtungen. Sie müssen die Menschenrechte aller Menschen achten, schützen und verwirklichen. Aber auch internationale Organisationen, Unternehmen und andere nicht staatliche Akteur*innen stehen in der
Verantwortung, die Menschenrechte zu achten.

Im Sinne eines menschenrechtsbasierten Ansatzes sind bei der Beurteilung einer jeden möglicherweise zum Einsatz kommenden Technologie im Bereich Asyl und Migration (ebenso wie in anderen Bereichen)
einige übergeordnete Grundsätze und Rahmenbedingungen zu beachten:

• Technologie ist nicht neutral. Finanzielle und andere Anreize prägen ihre Entwicklung, strukturelle Macht- und Repressionssysteme schreiben sich in sie ein, institutioneller Rassismus, verschiedene Diskriminierungsformen, Ungleichheit und politische Rahmenbedingungen spiegeln sich in ihr wider und werden durch ihren Einsatz reproduziert. In vielen Fällen ist Technologie ein Instrument, das in der Absicht oder Praxis rassistisch und diskriminierend sein kann.
• Kritische Haltung gegenüber dem „Tech-Solutionismus“ – der Vorstellung, dass komplexe soziale, wirtschaftliche und politische Probleme durch Technologie überwunden werden können. Entwicklung und Einsatz von Technologien sind selten notwendig oder unvermeidlich. Vielmehr ist bei jeder konkreten Technologie zu hinterfragen, ob sie tatsächlich geeignet ist, ein bestimmtes Problem zu lösen und welche Alternativen es zu ihr gibt. Statt Probleme zu lösen, können neue Technologien sie nämlich auch verschärfen oder (unbeabsichtigt) neue Probleme verursachen.
• Neue Technologien müssen mit Menschenrechten sowohl direkt als auch indirekt vereinbar sein. Etablierte Rechtsgüter und Prinzipien wie jenes der Nichtdiskriminierung, das Recht auf Privatsphäre, auf Leben, auf Asyl, auf Freiheit oder auch der völkerrechtliche Grundsatz der Nichtzurückweisung dürfen von Technologien nicht konterkariert oder unterlaufen werden. Und zwar auch dann nicht, wenn sie in Teile der Welt exportiert werden, deren Rechtsordnungen diese Prinzipien weniger stark schützen.
• Intersektionalität ist entscheidend. Staaten und Unternehmen sollten die direkten und indirekten Auswirkungen und Risiken des Designs einer Technologie und ihrer Nutzung kritisch abschätzen. Dies muss frühzeitig, vor der Einführung, und kontinuierlich erfolgen, und zwar in einer intersektionalen Perspektive. Staaten, Unternehmen und andere Akteur*innen sollten also untersuchen, ob und wie sich durch die Interaktion mit den Technologien verschiedene Formen der Diskriminierung überschneiden und verstärken.
• Verbindliche Umsetzung. Maßnahmen zur Regulierung von Technologien sollten verbindlich und durchsetzbar sein. Dies ist besonders wichtig, da es bereits viele softe, unverbindliche Ethikkodizes, Verhaltenskodizes und Richtlinien gibt, die oft keinen angemessenen Schutz gewährleisten.
• Transparenz, Rechenschaftspflicht und Zugänglichkeit. Informationsfreiheit ist ein wesentlicher Bestandteil des Rechts auf freie Meinungsäußerung. Staaten, Unternehmen und andere Akteur*innen müssen Transparenz, Rechenschaftspflicht und den Zugang zu relevanten Informationen sicherstellen. Dies ist entscheidend, um eine öffentliche Kontrolle sowie die Beteiligung verschiedener Interessengruppen, insbesondere der Betroffenen, an politischen Entscheidungsprozessen zu ermöglichen. Transparenz muss sich auch auf die Rollen und Verantwortlichkeiten aller Beteiligten in Entwicklung, Beschaffung und Umsetzung erstrecken. Dabei gilt: Transparenz ist ein wichtiger erster Schritt, reicht jedoch allein nicht aus.
• Betroffene Communities einbinden. Staaten, Unternehmen und andere Akteur*innen müssen eine sinnvolle Beteiligung der betroffenen Communities sicherstellen. Policy-Diskussionen sollten sich an den Bedürfnissen und Prioritäten dieser Communities orientieren. Dafür ist es notwendig, ausreichende Ressourcen bereitzustellen, um eine gleichberechtigte Beteiligung von repräsentativen Interessenvertreter*innen und Organisationen zu ermöglichen. Zudem müssen faire Rahmenbedingungen für alle Interessengruppen und Rechteinhaber*innen geschaffen werden, deren Erfahrungswissen als wertvolle Expertise anerkannt werden muss. Besonderes Gewicht sollte dabei neben den Stimmen und Perspektiven der betroffenen Communities den zivilgesellschaftlichen Akteur*innen der Globalen Mehrheit zukommen.

Empfehlungen an Staaten

Verbote

Unter keinen Umständen sollten Staaten die Entwicklung, Herstellung, den Verkauf, die Verwendung, den Export und Import von Technologien zulassen, die Menschenrechte verletzen, irreparable, irreversible Schäden verursachen und/oder inakzeptable Risiken darstellen. In diesen Fällen sollten Staaten lückenlose Technologiebverbote erlassen. Zu diesen Technologien gehören:

• Automatisierte Risikobewertungs-, Scoring- und Profiling-Systeme im Zusammenhang mit Migrationsmanagement, Asyl und Grenzkontrolle (einschließlich Betrugserkennungssystemen): Solche Systeme bewerten, ob Migrant*innen oder Geflüchtete ein „Risiko“ für rechtswidrige Handlungen oder Sicherheitsbedrohungen darstellen. Sie sind schon per se diskriminierend, da sie Menschen aufgrund von Faktoren vorverurteilen, die außerhalb ihres Einflussbereichs liegen – oder auf Grundlage diskriminierender Rückschlüsse aus persönlichen Merkmalen. Solche Systeme verletzen grundlegende Rechte, darunter das Recht auf Gleichheit und Nichtdiskriminierung, Privatsphäre und Datenschutz, und sie verstoßen gegen die Unschuldsvermutung. Sie können außerdem zu ungerechtfertigten Eingriffen in weitere Rechte führen, etwa in das Recht auf Arbeit, auf Freiheit (zum Beispiel durch unrechtmäßige Inhaftierung), auf ein faires Verfahren, auf soziale Absicherung oder auf Gesundheit. Angesichts des besonders hohen Diskriminierungsrisikos in diesem Kontext sollte die automatisierte Profilerstellung von Personen vollständig verboten werden.
• Technologien zur individuellen Risikobewertung durch die Verarbeitung oder Ableitung sensibler persönlicher Merkmale oder Ersatzmerkmale auf Basis von Rassifizierung, politischer Überzeugung, Weltanschauung oder genetischer, gesundheitlicher und biometrischer Daten: Dazu gehört die Verwendung von Daten über Staatsangehörigkeit, „Migrationsgeschichte“ und Nationalität. Ein weiteres Beispiel hierfür ist die Verwendung der Postleitzahl einer Person, um Rückschlüsse auf ihren sozioökonomischen Status zu ziehen. Auch die Verwendung von Daten über Ernährungsgewohnheiten als Ersatz für religiöse Überzeugungen oder den Gesundheitszustand sollte verboten werden.
• Vorausschauende Technologien, die Vorhersagen darüber treffen, wo das Risiko einer „irregulären Migration“ besteht: Diese Systeme können verwendet werden, um präventive Maßnahmen zu erleichtern, die darauf abzielen, Migrationsbewegungen zu verhindern oder zu stoppen. Häufig werden diese Maßnahmen von EU-Drittstaaten durchgeführt, die als „Torwächter Europas“ fungieren. Vorausschauende Technologien bergen die Gefahr, zu repressiven und missbräuchlichen Grenzkontrollmaßnahmen beizutragen, wenn sie sich auf rassistische Vorurteile und Stereotypen stützen. So hindern sie Menschen daran, Asyl zu beantragen, setzen sie dem Risiko der Zurückweisung aus und beschneiden das Recht auf Leben, Freiheit und Sicherheit.
• KI-basierte Anwendungen zur Emotionserkennung, wie KI-„Lügendetektoren“ und Verhaltensanalyse-Systeme: KI-„Lügendetektoren“ sind pseudowissenschaftliche Technologien, die behaupten, Emotionen aus biometrischen Daten ableiten zu können. Systeme zur Verhaltensanalyse dienen dazu, „verdächtige“ Personen anhand ihres Aussehens oder willkürlicher anderer persönlicher Merkmale zu erkennen. Ihr Einsatz verstärkt rassistische Vorurteile gegenüber Migrant*innen und Asylsuchenden und kann diskriminierende Annahmen aufgrund rassistischer und religiöser Vorurteile automatisieren. Dadurch wird das Recht auf Nichtdiskriminierung, Privatsphäre, Freiheit und ein faires Verfahren bedroht. Die angebliche Nützlichkeit dieser Technologien wird auch durch ableistische Vorstellungen von körperlicher, kognitiver und verhaltensbezogener „Normalität“ untermauert, mit dem Ziel, Behinderungen und Neurodiversität zu „korrigieren“, zu „heilen“ und zu beseitigen.
• Die nachträgliche biometrische Fernidentifizierung (Remote Biometric Identification) als Ergänzung zu Echtzeit-Massenüberwachung, wie Gesichtserkennung: Diese Technologien erleichtern die massenhafte und diskriminierende Überwachung in diversen Kontexten, einschließlich der Migrations- und Grenzverwaltung. Sie können im Zuge der Überwachung von Grenzgebieten als Abschreckungsmaßnahme sowie als Teil eines umfassenderen Sanktionsregimes eingesetzt werden. Flüchtende werden so daran gehindert, Asyl zu beantragen, wodurch Staaten gegen ihre internationalen Schutzverpflichtungen verstoßen, insbesondere gegen die Verpflichtung zur Nichtzurückweisung (Non-Refoulement).
• Die massenhafte Erhebung, Verarbeitung, Zusammenführung und Nutzung personenbezogener Daten, einschließlich des Austauschs der erhobenen Daten zwischen Migrations-, Sozial-, Polizei- und nationalen Sicherheitsbehörden. Diese Praxis untergräbt etablierte Datenschutzgrundsätze sowie das Recht auf Privatsphäre. Der Austausch personenbezogener Daten mit Drittländern über supranationale Strafverfolgungsbehörden unter dem Deckmantel der nationalen Sicherheit sollte ebenfalls verboten werden, wenn er weder notwendig noch verhältnismäßig ist oder mit der Gefahr von Menschenrechtsverletzungen einhergeht.

Vor dem Einsatz

Zusätzlich zu klaren Verboten von Technologien, die mit Menschenrechten unvereinbar sind, sollten
Staaten vor dem Einsatz eines Technologiesystems einen verlässlichen Rechtsrahmen schaffen:

• Es darf keine Gesetze geben, die digitale (und nicht-digitale) Diskriminierung begünstigen und bestehende Systeme der Unterdrückung und Marginalisierung verstärken.
• Die Rechtmäßigkeit, Notwendigkeit und Verhältnismäßigkeit jeder neuen digitalen Technologie sowie deren Wert und Auswirkung müssen jeweils konkret beurteilt und nachgewiesen werden. Jede eingesetzte Technologie muss im Einklang stehen mit:
  • internationalen Menschenrechtsabkommen, -verträgen und -konventionen und den darin festgehaltenen Prinzipien, insbesondere jenem der Nicht-Diskriminierung;
  • anerkannten Datenschutzstandards, einschließlich der Grundsätze der Rechtmäßigkeit, Verarbeitung nach Treu und Glauben, Transparenz, Zweckbindung, Datenminimierung, Richtigkeit, Speicherbegrenzung, Integrität und Vertraulichkeit (Sicherheit) sowie der Rechenschaftspflicht.
• Es bedarf eines verbindlichen und durchsetzbaren Governance-Rahmens, der die Entwicklung und den Einsatz digitaler Technologien reguliert und dabei die Rechte aller Menschen, einschließlich jener von Migrant*innen, Geflüchteten und Asylsuchenden, schützt und fördert. Ein solches rechtliches Rahmenwerk darf keine pauschalen Ausnahmeregelungen enthalten, etwa für Zwecke der nationalen Sicherheit. Solche Ausnahmen sind weder notwendig noch verhältnismäßig und führen häufig zu diskriminierenden Auswirkungen.
• Normen, Richtlinien und Gesetze sollten sicherstellen, dass der Einsatz automatisierter Entscheidungssysteme in den Bereichen Asyl, Migration und in ähnlichen Feldern keine Diskriminierung aufgrund von Einkommen, ethnischer Zugehörigkeit, Religion, Migrationsstatus oder anderen persönlichen Merkmalen verstärkt oder verstetigt. Vielmehr sollten Normen und Gesetze sicherstellen, dass solche Systeme vollständig im Einklang mit einschlägigen internationalen Menschenrechtsstandards stehen.
• Sämtliche relevanten Akteure, einschließlich Sicherheits-, Strafverfolgungs-, Migrations- und Grenzbehörden, sollten beim Einsatz digitaler Technologien strengen Rechenschafts- und Transparenzpflichten unterworfen sein, insbesondere:
  • der Verpflichtung zur Einrichtung einer öffentlich zugänglichen Datenbank, die Informationen über die jeweiligen Systeme offenlegt, ersichtlich macht, wo und wie die Technologie eingesetzt wird und ggf. Angaben zur Zusammenarbeit mit privaten Technologieentwickler*innen enthält;
  • der Verpflichtung zur Erhebung und Offenlegung von Daten zu möglichen diskriminierenden Auswirkungen, auf Grundlage bestehender Gleichbehandlungs- und Antidiskriminierungsvorschriften;
  • der Verpflichtung zur Einführung eines verbindlichen Prozesses zur Menschenrechtsverträglichkeitsprüfung. Neben einer menschenrechtlichen Folgenabschätzung hilft eine Datenschutz-Folgenabschätzung die potenziellen Risiken, insbesondere diskriminierende Auswirkungen, frühzeitig zu identifizieren und zu minimieren. Diese Bewertungen sollten mit ausreichenden personellen und finanziellen Ressourcen sowie menschenrechtlicher Expertise vorgenommen werden. Sie sollten aufgeschlüsselte Daten (z. B. zu Herkunft, Geschlecht, Behinderung) enthalten. Auch sollten relevante Stakeholder einbezogen werden, insbesondere jene, die von den Technologien betroffen sind. Die Bewertungen sollten öffentlich zugänglich gemacht werden, um Transparenz zu gewährleisten, und von einer unabhängigen öffentlichen Stelle kontrolliert werden, die für die Durchsetzung digitaler Governance-Vorgaben mandatiert ist. Die Bewertungen sollten kontinuierlich, also vor der Einführung sowie während des gesamten Lebenszyklus der Technologien, durchgeführt werden. Ergeben sich bei der Prüfung menschenrechtliche Risiken, darf ein Einsatz der Technologie nur genehmigt werden, wenn diese Risiken zumindest abgemildert, wenn nicht abgewendet werden. Besondere Aufmerksamkeit sollte dabei intersektionalen Diskriminierungen gegenüber Geflüchteten, Migrant*innen, rassifizierten Gruppen, Menschen in Armut, älteren Menschen, Menschen mit Behinderungen sowie Kindern und Jugendlichen gelten. Können Risiken nicht wirksam abgewendet werden, sollte der Einsatz der betreffenden Technologie unterbunden werden.
• Auch Umweltauswirkungen in der Entwicklung und während des Einsatzes von Technologien brauchen einen regulatorischen Rahmen. Digitale Technologien sind in hohem Maße auf fossile Brennstoffe angewiesen und haben erhebliche Auswirkungen auf natürliche Ressourcen wie Land und Wasser. Häufig verschärfen sie den Klimawandel und die Umweltzerstörung.
• Für Unternehmen, die an der Entwicklung und Bereitstellung von Technologien im Zusammenhang mit Asyl, Migration und Grenzkontrollen beteiligt sind, einschließlich Big Data, KI und biometrischen Systemen, müssen verbindliche Sorgfaltspflichten gelten. Als Maßstab können hier die UN-Leitprinzipien für Wirtschaft und Menschenrechte und der OECD-Leitfaden für die Erfüllung der Sorgfaltspflicht für verantwortungsvolles unternehmerisches Handeln gelten.
• Wo immer möglich, sollten stets jene Alternativen gewählt werden, die die Grundrechte am wenigsten einschränken. Das Recht auf Privatsphäre, der Grundsatz der Gleichbehandlung, der Schutz vor Überwachung und andere menschenrechtliche Standards sollten von Technologie nicht angetastet werden.
• Bei Entwicklung, Einsatz und Kontrolle von KI-Systemen sollten betroffene Communities, zivilgesellschaftliche Organisationen und Menschenrechtsexpert*innen stets einbezogen werden. Auch müssen sie bei der Umsetzung und Evaluierung von KI-Vorschriften eingebunden sein.
• Zur Stärkung öffentlicher Rechenschaftspflichten von KI-Entwickler*innen und -Anwender*innen bedarf es wirksamer Schutzmechanismen für Whistleblower.

Während der Einführung

Während des Lebenszyklus von Technologien sollten Staaten:

• Betroffenen die Möglichkeit geben, über die Erhebung, Verarbeitung und Nutzung ihrer personenbezogenen Daten informiert zu werden, der Nutzung freiwillig zuzustimmen oder sie abzulehnen bzw. ihre Zustimmung zu widerrufen. Dabei muss auch das Recht umfasst sein, eine Datenerhebung anzufechten, worüber die Betroffenen in verständlicher Sprache zu informieren sind. Außerdem sollte transparent dargelegt werden, wer die Daten erhebt, welche Daten betroffen sind und zu welchem Zweck sie verwendet werden. Eine Einwilligung in die Datenerhebung und -verarbeitung sollte frei von Zwang, Manipulation oder Einschüchterung erfolgen müssen. Ein Widerruf der Zustimmung sowie das Verlangen, die Daten zu löschen, sollten unkompliziert und ohne Angst vor Nachteilen möglich sein. Diese Vorgaben sollten auch für unbeabsichtigte Datenerhebungen gelten, etwa für Drohnenaufnahmen, die personenbezogene Informationen erfassen;
• Betreiber*innen von KI-Systemen verpflichten, betroffene Personen darüber zu informieren, wenn Entscheidungen, die sie betreffen, ganz oder teilweise unter Zuhilfenahme von KI-Systemen, insbesondere von algorithmischen Entscheidungsprozessen, getroffen wurden. Diese Informationspflicht sollte mindestens aussagekräftige Informationen darüber umfassen, wie eine KI-Bewertung zustande gekommen ist, wie die Daten verarbeitet wurden und inwieweit das jeweilige KI-System die endgültige Entscheidung eine*r menschlichen Entscheidungsträger*in beeinflusst hat. Zudem sollten Hinweise zu Widerspruchs- und Beschwerderechten sowie zu Kompensationsansprüchen enthalten sein;
• Entwickler*innen und Betreiber*innen für von ihnen (mit)verursachte Menschenrechtsverletzungen sowie für die Nichtbeachtung angemessener Sorgfaltspflichten im Bereich Menschenrechte und Datenschutz verantwortlich machen, wobei ggf. Entschädigungsansprüche gewährleistet werden sollten;
• sicherstellen, dass Personen, die aufgrund eines Missbrauchs von digitalen Technologien Menschenrechtsverletzungen erlitten haben, Zugang zu wirksamen gerichtlichen und außergerichtlichen Rechtsbehelfen haben, ohne befürchten zu müssen, dass dies ihre laufenden Asylanträge oder ihr Aufenthalts- oder Einreiserecht gefährdet. Gemeinnützige Organisationen müssen in die Lage versetzt werden, betroffene Personen bei der Einreichung von Klagen zu unterstützen und von sich aus Klagen einzureichen. Insbesondere ist hier der Zugang zu Rechtshilfe zu gewährleisten;
• diskriminierende Auswirkungen oder Folgen beseitigen, die sich aus der Nutzung digitaler Technologien ergeben, und im Einklang mit internationalen Menschenrechtsstandards Maßnahmen ergreifen, um solche Diskriminierungen in Zukunft zu verhindern.

Empfehlungen an Unternehmen

Unternehmen, die Technologien entwickeln, anbieten oder vermarkten, einschließlich solcher, die Technologien für Asyl, Migration und Grenzkontrolle entwickeln und bereitstellen, sollten:

• weltweit und in allen Geschäftsbereichen die Achtung der Menschenrechte gewährleisten – unter Einhaltung der weltweit anerkannten Leitprinzipien der Vereinten Nationen für Wirtschaft und Menschenrechte (UNGP) und der OECD-Leitsätze für multinationale Unternehmen zu verantwortungsvollem unternehmerischem Handeln;
• Sorgfaltsprüfungen im Bereich der Menschenrechte, systematische menschenrechtliche Folgenabschätzungen und Datenschutz-Folgenabschätzungen in Übereinstimmung mit internationalen Standards wie dem UNGP und dem OECD-Leitfaden für die Erfüllung der Sorgfaltspflicht für verantwortungsvolles unternehmerisches Handeln durchführen. Diese Prüfungen und Folgeabschätzungen sollten frühzeitig und kontinuierlich von allen Unternehmen durchgeführt werden, die die Technologien einsetzen. Dabei ist für ausreichende personelle und finanzielle Ressourcen sowie für Fachkenntnis im Bereich der Menschenrechte Sorge zu tragen. Die Prüfungen und Folgeabschätzungen sollten aufgeschlüsselte Daten zu Rassifizierung, ethnischer Zugehörigkeit, Geschlecht, Alter und anderen Diskriminierungsgründen enthalten und in Absprache mit den relevanten Interessengruppen durchgeführt werden, insbesondere jenen, die von den Technologien betroffen sind. Die Ergebnisse dieser Prüfungen und Folgenabschätzungen sollten aus Gründen der Transparenz öffentlich zugänglich gemacht werden. Der Prozess sollte von einer unabhängigen öffentlichen Stelle überwacht werden, die mit der Durchsetzung des geltenden Rechtsrahmens für digitale Governance beauftragt ist. Die Prüfungen sollten während des gesamten Lebenszyklus der Technologien kontinuierlich durchgeführt werden. Jedes festgestellte menschenrechtliche Risiko, einschließlich potenzieller diskriminierender Auswirkungen, muss gemindert oder verhindert werden, bevor der Einsatz der Technologie genehmigt oder fortgesetzt wird. Besondere Aufmerksamkeit sollte intersektionalen Schäden oder diskriminierenden Auswirkungen auf rassifizierte Gruppen, in Armut lebende Menschen, ältere Menschen, Menschen mit Behinderungen und andere marginalisierte Bevölkerungsgruppen sowie Kinder und Jugendliche gewidmet werden. Wenn festgestellt wird, dass Risiken für die Menschenrechte nicht gemindert werden können, sollte der Einsatz dieser Technologien eingestellt werden;
• die von ihnen entwickelten und/oder bereitgestellten Technologien daraufhin hinterfragen, ob es alternative, nicht-invasive Wege gibt, die den intendierten Zweck ebenfalls erfüllen würden, ohne das Recht auf Privatsphäre, auf Gleichbehandlung, auf Nichtdiskriminierung oder auf Freiheit von Überwachung zu beeinträchtigen. Diese sollten ggf. priorisiert werden, um die Achtung der Menschenrechte zu gewährleisten;
• jederzeit den Schutz von personenbezogenen Daten gewährleisten, um sicherzustellen, dass diese nicht für rechtsverletzende Zwecke verwendet werden. Dabei ist der Grundsatz der Datenminimierung zu beachten, und die Sicherheit aller erhobenen personenbezogenen Daten und aller Geräte, Anwendungen, Netzwerke oder Dienste, die an der Erhebung, Übertragung, Verarbeitung und Speicherung beteiligt sind, ist zu gewährleisten. Einzelpersonen müssen die Möglichkeit haben, sich über die Erhebung, Aggregation, Speicherung und Verwendung ihrer personenbezogenen Daten zu informieren, ihre Zustimmung zu erteilen oder zu widerrufen und die Datenerhebung und -verarbeitung anzufechten. Dies sollte durch Informationen in verständlicher Sprache und durch eine klare Erklärung darüber erfolgen, wer die Daten erhebt, welche Daten erhoben werden und wie sie verwendet werden. Einzelpersonen sollten eine echte Wahlmöglichkeit haben und nicht durch Zwang, Einschüchterung oder Manipulation zur Einwilligung gedrängt werden. Es sollte einfach sein, die Einwilligung zu widerrufen und Daten löschen zu lassen, ohne Repressalien befürchten zu müssen. Dies gilt auch, wenn Daten unbeabsichtigt erhoben werden, wie beispielsweise bei Drohnenaufnahmen, die unbeabsichtigt personenbezogene Daten erfassen;
• Geschäftsaktivitäten, die Menschenrechtsverletzungen verursachen oder dazu beitragen, vermeiden und sich mit deren Auswirkungen befassen. Werden im Zusammenhang mit der eigenen Geschäftstätigkeit Verstöße gegen Menschenrechte festgestellt, sind diese zu beseitigen. Dabei sollten die Lieferkette und der Lebenszyklus des betroffenen Produkts oder der Unternehmensaktivität berücksichtigt werden, auch wenn es sich um ein Exportprodukt handelt. Auch für unbeabsichtigte diskriminierende Auswirkungen sollte Verantwortung übernommen werden, sofern Letztere sich aus der praktischen Nutzung der betroffenen digitalen Technologien ergeben;
• negative Auswirkungen ihrer Geschäftstätigkeiten, Produkte oder Dienstleistungen auf die Menschenrechte verhindern oder mindestens vermindern, und zwar auch dann, wenn sie nur indirekt, etwa durch Geschäftsbeziehungen, der eigenen Unternehmensverantwortung zugeschrieben werden können, und auch dann, wenn das eigene Unternehmen nicht aktiv zu diesen Auswirkungen beigetragen hat. Unternehmen sollten ihren Einfluss auf Geschäftspartner*innen nutzen, um solche Risiken und Auswirkungen zu mindern, wenn nicht zu verhindern;
• Transparenz- und Rechenschaftsmechanismen einführen und Informationen über ihre KI-Technologien offenlegen, einschließlich darüber, wo und wie diese eingesetzt werden (sollen);
• bei Regierungen keine Änderungen von Gesetzen oder Richtlinien zu erwirken versuchen, die negative Auswirkungen auf die Menschenrechte haben können;
• bei der Entwicklung von Technologien proaktiv mit Community-Organisationen zusammenarbeiten und diese sinnvoll konsultieren, insbesondere solche, die marginalisierte Communities und Akteur*innen der Zivilgesellschaft vertreten.

Empfehlungen an internationale Organisationen (einschließlich Organisationen der UN)

• Die Rechtmäßigkeit, Notwendigkeit und Verhältnismäßigkeit der Entwicklung oder des Einsatzes neuer Technologien muss regelmäßig bewertet und belegt werden. Jede eingesetzte Technologie muss im Einklang sein mit:
  • dem internationalen Menschenrechtsrahmen und anerkannten menschenrechtlichen Grundsätzen, einschließlich des Diskriminierungsverbots,
  • Datenschutzstandards, einschließlich der Grundsätze der Rechtmäßigkeit, Verarbeitung nach Treu und Glauben, Transparenz, Zweckbindung, Datenminimierung, Richtigkeit, Speicherbegrenzung, Integrität und Vertraulichkeit und Rechenschaftspflicht.
• Risiken der Diskriminierung und anderer Menschenrechtsverletzungen durch digitale Technologien sollte begegnet werden, indem ein Prozess zur Bewertung dieser Risiken eingeführt wird, der eine menschenrechtliche Folgenabschätzung sowie Datenschutz-Folgenabschätzungen beinhalten sollte.
  • Diese Bewertungen sollten mit ausreichenden personellen und finanziellen Ressourcen sowie menschenrechtlicher Expertise vorgenommen werden. Sie sollten aufgeschlüsselte Daten zu Rassifizierung, ethnischer Zugehörigkeit, Geschlecht und anderen Diskriminierungsgründen enthalten, über die Einvernehmen mit den relevanten Interessengruppen herzustellen ist, insbesondere mit jenen, die von den Technologien betroffen sind.
  • Die Bewertungen sollten aus Gründen der Transparenz öffentlich zugänglich gemacht und von einer unabhängigen öffentlichen Stelle kontrolliert werden, die für die Durchsetzung digitaler Governance-Vorgaben mandatiert ist.
  • Die Bewertungen sollten kontinuierlich durchgeführt werden, also vor der Einführung sowie während des gesamten Lebenszyklus der Technologien.
  • Ergeben sich bei der Prüfung menschenrechtliche Risiken, darf ein Einsatz der Technologie nur genehmigt werden, wenn diese Risiken zumindest abgemildert, wenn nicht abgewendet werden.
  • Besondere Aufmerksamkeit sollte intersektionalen Diskriminierungen von rassifizierten Gruppen, Geflüchteten und Migrant*innen, Menschen in Armut, älteren Menschen, Menschen mit Behinderungen und anderen marginalisierten Bevölkerungsgruppen sowie von Kindern und Jugendlichen gelten.
• Wenn es zum Einsatz von Technologien alternative, nicht-invasive Wege gibt, die den intendierten Zweck ebenfalls erfüllen würden, ohne das Recht auf Privatsphäre, auf Gleichbehandlung, auf Nichtdiskriminierung oder auf Freiheit von Überwachung zu beeinträchtigen, sollten diese priorisiert werden, um die Achtung der Menschenrechte zu gewährleisten.
• Personenbezogene Daten müssen geschützt werden, um sicherzustellen, dass sie nicht für rechtsverletzende Zwecke verwendet werden. Dabei ist der Grundsatz der Datenminimierung zu beachten, und die Sicherheit aller erhobenen personenbezogenen Daten und aller Geräte, Anwendungen, Netzwerke oder Dienste, die an der Erhebung, Übertragung, Verarbeitung und Speicherung beteiligt sind, ist zu gewährleisten.
• Einzelpersonen müssen die Möglichkeit haben, sich über die Erhebung, Aggregation, Speicherung und Verwendung ihrer personenbezogenen Daten, einschließlich biometrischer Daten, zu informieren, ihre Zustimmung zu erteilen oder zu widerrufen und die Datenerhebung und -verarbeitung anzufechten. Dies sollte durch Informationen in verständlicher Sprache und durch eine klare Erklärung darüber erfolgen, wer die Daten erhebt, welche Daten erhoben werden und wie sie verwendet werden. Einzelpersonen sollten eine echte Wahlmöglichkeit haben und nicht durch Zwang, Manipulation oder Einschüchterung zur Einwilligung gedrängt werden. Es sollte einfach sein, die Einwilligung zu widerrufen und Daten löschen zu lassen, ohne Repressalien befürchten zu müssen wie den Verlust des Zugangs zu der jeweiligen Dienstleistung. Dies gilt auch, wenn Daten unbeabsichtigt erhoben werden, wie beispielsweise bei Drohnenaufnahmen, die unbeabsichtigt personenbezogene Daten erfassen.
• Betreiber*innen von KI-Systemen sollten verpflichtet werden, betroffene Personen darüber zu informieren, wenn Entscheidungen, die sie betreffen, ganz oder teilweise unter Zuhilfenahme von KI-Systemen, insbesondere von algorithmischen Entscheidungsprozessen, getroffen wurden. Diese Informationspflicht sollte mindestens aussagekräftige und zugängliche Informationen darüber umfassen, wie eine KI-Bewertung zustande gekommen ist; wie die Daten verarbeitet wurden und inwieweit das jeweilige KI-System die endgültige Entscheidung eine*r menschlichen Entscheidungsträger*in beeinflusst hat. Zudem sollten Hinweise zu Widerspruchs- und Beschwerderechten sowie zu Kompensationsansprüchen enthalten sein.
• Personen, die aufgrund des Missbrauchs von Technologien Menschenrechtsverletzungen erlitten haben, müssen Zugang zu wirksamen Rechtsbehelfen haben.
• Es bedarf expliziter und spezifischer Schutzmaßnahmen gegen den Missbrauch von Technologien, wozu auch der Datenaustausch mit nationalen Sicherheitsbehörden oder Herkunftsländern gehört, da dieser zu Menschenrechtsverletzungen führen könnte.
• Betroffene Gemeinschaften müssen sich sinnvoll an der Entwicklung und am Einsatz von KI-Technologien sowie an deren Überwachung und Bewertung beteiligen können.
• Im Einklang mit einschlägigen Menschenrechtsverpflichtungen muss sichergestellt sein, dass
• jegliche Unterstützung technologischer Entwicklung, einschließlich ihrer Finanzierung und etwaiger technischer Unterstützung im Rahmen von Hilfsprogrammen, nicht zu einer Verbreitung von Technologien führt, die die Rechte von Migrant*innen, Geflüchteten und Asylbewerber*innen verletzen.

Empfehlungen für andere Dienstleister

Dienstleister, die digitale Technologien in den Bereichen Asyl, Migration, Grenzsicherung und humanitäre Hilfe einsetzen, einschließlich Nichtregierungsorganisationen (NGOs) und gemeinnützige humanitäre Dienstleister, sollten die folgenden Empfehlungen berücksichtigen:

• Die Achtung der Menschenrechte gebietet überall und jederzeit die Einhaltung der weltweit anerkannten Leitprinzipien der UNGP, der OECD-Leitsätze für multinationale Unternehmen zu verantwortungsvollem unternehmerischem Handeln und der Sphere-Standards.
• Risiken durch digitale Technologien, die Diskriminierung und andere Menschenrechtsverletzungen begünstigen, kann u. a. mit der Durchführung von Menschenrechtsverträglichkeitsprüfungen begegnet werden. Dabei sollte ein besonderes Augenmerk auf intersektionale Auswirkungen auf rassifizierte Menschen und Communities, Geflüchtete und Migrant*innen, Menschen in Armut, ältere Menschen, Menschen mit Behinderungen und andere marginalisierte Bevölkerungsgruppen sowie Kinder und Jugendliche gelegt werden.
• Sofern es zum Einsatz digitaler Technologien Alternativen gibt, die nicht-invasiv sind und den intendierten Zweck ebenfalls erfüllen würden, ohne das Recht auf Privatsphäre, auf Gleichbehandlung, auf Nichtdiskriminierung oder auf Freiheit von Überwachung zu beeinträchtigen, sollten diese priorisiert werden, um die Achtung der Menschenrechte zu gewährleisten.
• Der Schutz personenbezogener Daten muss jederzeit gewährleistet sein, um sicherzustellen, dass diese nicht für rechtsverletzende Zwecke verwendet werden. Dabei ist der Grundsatz der Datenminimierung zu beachten, und die Sicherheit aller erhobenen personenbezogenen Daten und aller Geräte, Anwendungen, Netzwerke oder Dienste, die an der Erhebung, Übertragung, Verarbeitung und Speicherung beteiligt sind, ist zu gewährleisten. Einzelpersonen müssen die Möglichkeit haben, sich über die Erhebung, Aggregation, Speicherung und Verwendung ihrer personenbezogenen Daten, einschließlich biometrischer Daten, zu informieren, ihre Zustimmung zu erteilen oder zu widerrufen und die Datenerhebung und -verarbeitung anzufechten. Dies sollte durch Informationen in verständlicher Sprache und durch eine klare Erklärung darüber erfolgen, wer die Daten erhebt, welche Daten erhoben werden und wie sie verwendet werden. Einzelpersonen sollten eine echte Wahlmöglichkeit haben und nicht durch Zwang, Manipulation oder Einschüchterung zur Einwilligung gedrängt werden. Es sollte einfach sein, die Einwilligung zu widerrufen und Daten löschen zu lassen, ohne Repressalien fürchten zu müssen wie etwa den Verlust des Zugangs zu der jeweiligen Dienstleistung.
• Es bedarf expliziter und spezifischer Schutzmaßnahmen gegen den Missbrauch von Technologien, wozu auch der Datenaustausch mit nationalen Sicherheitsbehörden oder Herkunftsländern gehört, da dieser zu Menschenrechtsverletzungen führen könnte.

Über dieses Dokument

Dieses Dokument ist gedacht als Advocacy-Ressource für Aktivist*innen, Akteur*innen der Zivilgesellschaft und Communities, die von digitalen Technologien und Überwachung im Asyl- und Migrationskontext betroffen sind. Es bietet eine menschenrechtliche Einordnung und Grundsätze, anhand derer die Auswirkungen neuer und bestehender Technologien auf Geflüchtete, Asylsuchende und Migrant*innen analysiert werden können. Das schließt auch die Berücksichtigung diskriminierender und intersektionaler Folgen der Systeme mit ein. Zudem enthält das Dokument Empfehlungen für Staaten, Unternehmen, internationale Organisationen und Dienstleister*innen, die digitale Technologien und Überwachungssysteme entwickeln und/oder einsetzen.

Dieses Dokument wurde von Amnesty International mit Unterstützung von AlgorithmWatch, Border Violence Monitoring Network (BVMN), EuroMed Rights und Privacy International verfasst. Als Grundlage dienten die rechtlichen und politischen Empfehlungen der Koalition #ProtectNotSurveil zu Migration, Asyl und Grenzüberwachungstechnologien, einschließlich der Entwicklung und Nutzung Künstlicher Intelligenz (KI). Es ist als „lebendiges“ Dokument konzipiert, das regelmäßig aktualisiert wird. Die Übersetzung aus dem Englischen ins Deutsche hat AlgorithmWatch übernommen. Die aufgeführten Empfehlungen sind keineswegs erschöpfend, sondern sollen als Ausgangspunkt für nationale und internationale Advocacy-Arbeit dienen. Der Abschnitt „Quellen“ enthält eine Liste von Publikationen, in denen diese Empfehlungen ursprünglich formuliert wurden.