Für eine KI-Verordnung der EU mit Grundrechten im Fokus

Eine gemeinsame Stellungnahme aus der Zivilgesellschaft

AlgorithmWatch hat mit anderen zivilgesellschaftlichen Organisationen (u. a. European Digital Rights (EDRi), Access Now) eine Stellungnahme zur geplanten KI-Verordnung der EU verfasst, mit dem Appell die Grundrechte ins Zentrum der Verordnung zu stellen. Die Stellungnahme umfasst konkrete Empfehlungen, die dem Europäischen Parlament und dem Rat der Europäischen Union bei ihren Änderungsvorschlägen zu dem im April 2021 vorgelegten Entwurf der EU-Kommission als Orientierung dienen sollen. Insgesamt 123 zivilgesellschaftliche Organisationen haben die Stellungnahme unterschrieben.

Die Empfehlungen an Rat und Parlament sind darauf ausgerichtet, dass die KI-Verordnung neun Ziele erfüllt:

• Ein bindender, flexibler und zukunftssicherer Ansatz zur „Risiko“-Bewertung von KI-Systemen

Der derzeitige Vorschlag für einen risikobasierten Ansatz in der KI-Verordnung ist dysfunktional. Die ex-ante-Einstufung von KI-Systemen in verschiedene Risikokategorien berücksichtigt nicht, dass das Risikoniveau eines KI-Systems auch von dem Kontext abhängt, in dem es eingesetzt wird. Wenn dieser risikobasierte Ansatz verabschiedet werden sollte, braucht es einen robusten und konsequenten Mechanismus zur Aktualisierung von KI-Systemen, die unter die Kategorien „unannehmbares Risiko“ (Artikel 5) und begrenztes Risiko (Artikel 52) fallen. Zudem muss sichergestellt werden, dass die Bereiche der „Hoch-Risiko-Systeme" (Anhang III) ebenfalls aktualisiert werden können.

• Verbote für alle KI-Systeme, die ein unannehmbares Risiko für die Grundrechte darstellen

Ein solcher Ansatz schließt ein Verbot folgender Anwendungen ein: Social-Scoring-Systeme, biometrische Fernidentifizierung in öffentlich zugänglichen Räumen (durch alle Akteure), Emotionserkennungssysteme, diskriminierende biometrische Kategorisierung, KI-Physiognomie, Systeme zur Vorhersage künftiger krimineller Aktivitäten, Systeme zur Erstellung von Profilen und zur Risikobewertung im Zusammenhang mit Migration.

• Verpflichtung der Nutzer·innen von Hoch-Risiko-KI-Systemen Rechenschaft gegenüber Betroffenen abzulegen

In der Verordnung sollte eine obligatorische Verpflichtung aufgenommen werden, dass Nutzer·innen von Hoch-Risiko-KI-Systemen eine Folgenabschätzung in Bezug auf Grundrechte durchführen und deren Ergebnisse veröffentlichen müssen. Diese Folgenabschätzung umfasst die Auswirkungen eines KI-Systems auf Menschen, die Umwelt und das allgemeine öffentliche Interesse.

• Konsequente und aussagekräftige Transparenz

Um effektiv Transparenz herzustellen, sollten Nutzer·innen – und nicht nur Anbieter·innen – von KI-Systemen verpflichtet werden, die Nutzung von Hochrisikosystemen in der öffentlichen Datenbank nach Artikel 60 zu registrieren.

• Wichtige Rechte und Rechtsmittel für Menschen, die von KI-Systemen betroffen sind

Derzeit sieht die KI-Verordnung keine individuellen Rechte für Betroffene vor. Um einen sinnvollen Rechtsbehelf zu ermöglichen, muss Betroffenen das Recht eingeräumt werden, nicht Gegenstand einer Entscheidung eines KI-Systems zu werden, das ein unannehmbares Risiko darstellt oder nicht der Verordnung entspricht. Zudem bedarf es eines Rechts auf Erklärung für Entscheidungen, die mit Hilfe von KI-Systemen getroffen wurden.

• Barrierefreiheit im gesamten KI-Lebenszyklus

In der KI-Verordnung werden aktuell keine verbindlichen Anforderungen an die Barrierefreiheit von KI-Systemen auf Seiten von Anbieter·innen und Nutzer·innen gestellt. Um der Gefahr entgegen zu wirken, dass die Entwicklung und Nutzung von KI mit weiteren Barrieren für Menschen mit Behinderungen einhergehen, braucht es umfängliche Anforderungen an die Barrierefreiheit für alle KI-Systeme unabhängig von deren Risiko-Niveau.

• Nachhaltigkeit und Schutz der Umwelt

Auch die Auswirkungen auf Nachhaltigkeit und den Schutz der Umwelt müssen in der KI-Verordnung berücksichtigt werden. Daher braucht es Transparenzvorschriften in Bezug auf den Ressourcenverbrauch und die Treibhausgasemissionen von KI-Systemen.

• Verbesserte und zukunftssichere Standards für KI-Systeme

Die KI-Verordnung stützt sich in vielen Bereichen auf die Entwicklung von Normen. Harmonisierte Normungsprozesses sollten sich auf technische Aspekte beschränken unter Gewährleistung der Beteiligung der Zivilgesellschaft an diesem Prozess.

• Eine umfassende KI-Verordnung, mit allen Menschen im Blick

Es geht darum, die Privatsphäre von Menschen mit Behinderungen zu schützen, die Durchsetzungsstellen mit angemessenen Ressourcen auszustatten, die weitreichenden Ausnahmeregelung für KI-Systeme der EU abzuschaffen sowie robuste Durchsetzungsverfahren zu ermöglichen, in deren Mittelpunkt der Schutz von Grundrechten stehen.

Systeme des Automatisierten Entscheidens (ADM-Systeme), die oft als Systeme der künstlichen Intelligenz (KI) bezeichnet werden, finden sich zunehmend in allen Bereichen des öffentlichen Lebens. In Europa beobachten wir nicht nur, dass sie immer mehr eingesetzt werden. Wir sehen auch die potenziell negativen Auswirkungen von KI-Systemen auf den Einzelnen und die Gesellschaft: Die Vorhersagen und Entscheidungen, die diese Systeme treffen, können falsch, diskriminierend oder anderweitig ungerecht sein und die Autonomie der Menschen oder das öffentliche Wohl untergraben.

Der Einsatz von KI-Systemen kann unsere Grundrechte, Werte und demokratischen Prozesse gefährden. Sie können Massenüberwachung fördern sowie gesellschaftliche Ungleichheiten und Machtungleichgewichte verstärken. Die KI-Verordnung der EU muss diese strukturellen, gesellschaftlichen, politischen und wirtschaftlichen Auswirkungen des Einsatzes von KI berücksichtigen. So wird sichergestellt, dass die Verordnung zukunftssicher ist und dem Schutz der Grundrechte Vorrang einräumt.

Wir, die unterzeichnenden Organisationen, fordern den Rat der EU, das Europäische Parlament und alle Regierungen der EU-Mitgliedstaaten auf, dafür zu sorgen, dass die KI-Verordnung die in unserer Erklärung gesetzten Ziele erreicht und unsere Grundrechte ins Zentrum stellt.

Wir, die unterzeichnenden Organisationen, fordern den Rat der EU, das Europäische Parlament und alle Regierungen der EU-Mitgliedstaaten auf, dafür zu sorgen, dass die KI-Verordnung die in unserer Erklärung gesetzten Ziele erreicht und unsere Grundrechte ins Zentrum stellt.

Unterzeichnet von:

1. European Digital Rights (EDRi) (European)
2. Access Now (International)
3. The App Drivers and Couriers Union (ADCU) (United Kingdom)
4. Algorights (Spain)
5. AlgorithmWatch (European)
6. All Out (International)
7. Amnesty International (International)
8. ARTICLE 19 (International)
9. Asociación Salud y Familia (Spain)
10. Aspiration (United States)
11. Association for action against violence and trafficking in human beings - Open Gate / La Strada Macedonia (North Macedonia)
12. Association for Juridical Studies on Immigration (ASGI) (Italy)
13. Association for Monitoring Equal Rights (Turkey)
14. Association of citizens for promotion and protection of cultural and spiritual values - Legis Skopje (North Macedonia)
15. Associazione Certi Diritti (Italy)
16. Associazione Luca Coscioni (Italy)
17. Baobab Experience (Italy)
18. Belgian Disability Forum asbl (BDF) (Belgium)
19. Big Brother Watch (United Kingdom)
20. Bits of Freedom (The Netherlands)
21. Border Violence Monitoring Network (European)
22. Campagna LasciateCIEntrare (Italy)
23. Center for AI and Digital Policy (CAIDP) (International)
24. Chaos Computer Club (CCC) (Germany)
25. Chaos Computer Club Lëtzebuerg (Luxembourg)
26. CILD – Italian Coalition for Civil Liberties and Rights (Italy)
27. Controle Alt Delete (The Netherlands)
28. D3 - Defesa dos Direitos Digitais (Portugal)
29. D64 - Zentrum für digitalen Fortschritt (Center for Digital Progress) (Germany)
30. DataEthics.eu (European)
31. Digital Defenders Partnership (International)
32. Digitalcourage (Germany)
33. Digitale Freiheit e.V. (Germany)
34. Digitale Gesellschaft (Germany)
35. Digitale Gesellschaft (Schweiz) (Switzerland)
36. Disabled Peoples Organisations (Denmark)
37. DonesTech (Spain)
38. Državljan D / Citizen D (Slovenia)
39. Each One Teach One e.V. (Germany)
40. Elektronisk Forpost Norge (EFN) (Norway)
41. epicenter.works (Austria)
42. Equinox Initiative for Racial Justice (European)
43. Eticas Foundation (Spain)
44. Eumans (European)
45. European Anti-Poverty Network (European)
46. European Center for Not-for-Profit Law Stichting (International)
47. European Civic Forum (European)
48. European Disability Forum (EDF) (European)
49. European Network Against Racism (ENAR) (European)
50. European Network on Religion and Belief (European)
51. European Network on Statelessness (European)
52. European Sex Workers’ Rights Alliance (European)
53. European Youth Forum (European)
54. Fair Trials (European)
55. FAIRWORK Belgium (Belgium)
56. FIDH (International Federation for Human rights) (International)
57. Fundación Secretariado Gitano (Spain)
58. Future of Life Institute (International)
59. GHETT’UP (France)
60. Greek Forum of Migrants (Greece)
61. Greek Forum of Refugees (European)
62. Health Action International (The Netherlands)
63. Helsinki Foundation for Human Rights (Poland)
64. Hermes Center (Italy)
65. Hivos (International)
66. Homo Digitalis (Greece)
67. Human Rights Association (Turkey)
68. Human Rights House Zagreb (Croatia)
69. HumanRights360 (Greece / European)
70. ILGA-Europe - The European Region of the International Lesbian, Gay, Bisexual, Trans and Intersex Association (European)
71. Implementation Team of the Decade of People of African Descent (Spain)
72. info.nodes (Italy)
73. Interferencias (Spain)
74. International Commission of Jurists (NJCM) - Dutch Section (The Netherlands)
75. Irish Council for Civil Liberties (ICCL) (Ireland)
76. IT-Pol Denmark (Denmark)
77. JustX (European)
78. Lafede.cat – organitzacions per a la justícia global (Spain)
79. Ligue des droits de l'Homme (LDH) (France)
80. Ligue des droits humains (Belgium)
81. Maruf Foundation (The Netherlands)
82. Mediterranea Saving Humans Aps (Italy / International)
83. Melitea (European)
84. Mnemonic (Germany / International)
85. Moje Państwo Foundation (Poland)
86. Montreal AI Ethics Institute (Canada)
87. Movement of Asylum Seekers in Ireland (MASI) (Ireland)
88. Netwerk Democratie (The Netherlands)
89. NOVACT (Spain / International)
90. OMEP - Oraganisation Mondiale pour l'Education Prescolaire / World Organization for Early Childhood Education (International)
91. Open Knowledge Foundation (International)
92. Open Society European Policy Institute (OSEPI) (International)
93. OpenMedia (International)
94. Panoptykon Foundation (Poland)
95. The Platform for International Cooperation on Undocumented Migrants (PICUM) (International)
96. Privacy International (International)
97. Racism and Technology Center (The Netherlands)
98. Ranking Digital Rights (International)
99. Refugee Law Lab, York University (International)
100. Refugees in danger (Denmark)
101. Science for Democracy (European)
102. SHARE Foundation (Serbia)
103. SOLIDAR & SOLIDAR Foundation (European)
104. Statewatch (European)
105. Stop Wapenhandel (The Netherlands)
106. StraLi (European)
107. SUPERRR Lab (Germany)
108. Symbiosis-School of Political Studies in Greece, Council of Europe Network (Greece)
109. Taylor Bennett Foundation (United Kingdom)
110. UNI Europa (European)
111. Universidad y Ciencia Somosindicalistas (Spain)
112. Vrijschrift.org (The Netherlands)
113. WeMove Europe (European)
114. Worker Info Exchange (International)
115. Xnet (Spain)

Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zum Artificial Intelligence Act.