Forderungen von AlgorithmWatch in den Verhandlungen zum Artificial Intelligence Act der EU

Die Verhandlungen über den Entwurf für eine Verordnung über Künstliche Intelligenz (Artificial Intelligence Act, AI Act) sind im Europäischen Parlament und im Europäischen Rat in vollem Gange. Im Parlament führen der Ausschuss für Binnenmarkt und Verbraucherschutz (Committee on the Internal Market and Consumer Protection, IMCO) und der Ausschuss für bürgerliche Freiheiten, Justiz und Inneres (Committee on Civil Liberties, Justice and Home Affairs; LIBE) die Verhandlungen. Wir erwarten, dass sie heute ihren Entwurfsbericht veröffentlichen.

Der AI Act hat zum Ziel, die Bevölkerung vor den negativen Folgen zu schützen, die der Einsatz von Künstlicher Intelligenz (KI) haben kann. Allerdings muss noch einiges geschehen, damit er die in ihn gesetzten Hoffnungen erfüllt. Wir haben darauf bereits in unserem ursprünglichen Positionspapier hingewiesen – ebenso wie in der gemeinsamen Stellungnahme, die AlgorithmWatch mitverfasst hat und die von über 120 zivilgesellschaftlichen Organisationen unterzeichnet wurde. In den vergangenen Monaten und in enger Zusammenarbeit mit zivilgesellschaftlichen Partnern hat AlgorithmWatch intensiv an Vorschlägen gearbeitet, damit der AI Act seinen Zweck erfüllt: die Grundrechte zu schützen.

Worum geht es?

Unzählige Beispiele beweisen, dass KI – oder genauer gesagt automatisierte Entscheidungssysteme (automated decision-making systems, ADM) – diskriminierende Auswirkungen haben, unsere Grundrechte verletzen und bestehende soziale Ungerechtigkeiten verschärfen können. In den Niederlanden zeigte im vergangenen Jahr der Skandal um Kinderbetreuungszuschüsse, was passieren kann, wenn ADM-Systeme ohne notwendige Schutzmaßnahmen eingesetzt werden. Das algorithmische System verwendete diskriminierende Risikoindikatoren (etwa doppelte Staatsangehörigkeiten oder ein geringes Einkommen), um Risikoprofile zu erstellen. Auf dieser Grundlage forderten die Behörden von Personen Zahlungen zurück, ohne dass es einen Beweis gegeben hätte, dass diese zuvor ungerechtfertigt erfolgt wären. Zehntausende Familien verarmten und über tausend Kinder mussten in Pflegeeinrichtungen untergebracht werden. In einem anderen Fall nutzte das österreichische Arbeitsamt ein Programm zur Evaluierung der ‚Vermittelbarkeit‘ von Arbeitslosen, wie unter anderem AlgorithmWatch berichtete. Es stellte sich heraus, dass der Algorithmus Frauen und Menschen mit Behinderung diskriminierte.

Könnte der AI Act ein effektives Instrument sein, um uns vor solchen Fällen zu schützen? In seiner jetzigen Fassung wird dies kaum umfassend der Falls ein. Deshalb fordert AlgorithmWatch unter anderem folgende Anpassungen:

Einige unserer zentralen Forderungen

Context matters. Die gegenwärtige Fassung des AI Acts ordnet KI-Systeme vor ihrem Einsatz unterschiedlichen Risikokategorien zu. Das berücksichtigt nicht, dass der Risikograd sich auch aus dem Kontext ergibt, in dem KI eingesetzt wird – und daher nicht ex ante bestimmt werden kann. Einerseits müssen deshalb die Risikokategorien im AI Act konsistent aktualisiert werden können. Um den Kontext angemessen zu berücksichtigen, müssen wir andererseits jene stärker in die Pflicht nehmen, die ein System zum Einsatz bringen: die „Nutzer“, wie sie im AI Act genannt werden.

Grundrechtliche Folgenabschätzung. Bevor ein Hochrisiko-System eingesetzt wird, sollen Nutzer·innen verpflichtet werden, in einer Folgenabschätzung zu prüfen, ob dieser Einsatz mit Grundrechten in Einklang steht. Wenn der Einsatz durch öffentliche Behörden erfolgt, sollte eine solche Folgenabschätzung immer vorgenommen werden, unabhängig von der Risikokategorie des jeweiligen KI-Systems.

Öffentliches Register für risikoreiche KI-Anwendungsfälle. Transparenz ist der erste Schritt in Richtung Rechenschaftspflicht. Der AI Act sieht eine EU-Datenbank vor, in der alle Hochrisiko-KI-Systeme von ihren Anbieter·innen registriert werden müssen. In unseren Augen ist dies ein wichtiger Schritt, geht aber nicht weit genug. Je nach Zusammenhang, in dem es eingesetzt wird, kann ein System sehr unterschiedliche Folgen haben. Es ist also wichtig, dass auch alle Anwendungsfälle von Hochrisiko-Systemen in der Datenbank registriert werden. Öffentliche Behörden haben zudem eine besondere Rolle und Verantwortung, da ihre Entscheidungen weitreichende Konsequenzen für die Betroffenen haben und sie eine besondere Verantwortung tragen. Deshalb fordern wir, dass öffentliche Behörden alle KI-Systeme, die sie einsetzen, in der EU-Datenbank registrieren müssen – unabhängig von der Risikokategorie des jeweiligen Systems.

Weitere Details über die Position von AlgorithmWatch hinsichtlich der EU-Datenbank können Sie den folgenden Empfehlungen entnehmen:

Weitgefasste Definition von KI. Im vergangenen Jahr hat die slowenische Ratspräsidentschaft vorgeschlagen, die Definition von KI im AI Act bedeutend einzuengen und damit seinen Geltungsbereich drastisch einzugrenzen. Als Folge würden viele Systeme, die erhebliche Auswirkungen auf das Leben von Menschen haben, nicht zwangsläufig unter den AI Act fallen werden – wie AlgorithmWatch berichtete. Die mit dem System einhergehenden Risiken hängen nicht einfach von der Komplexität der eingesetzten Technologie ab. Eine breite Definition von „KI“ ist deshalb entscheidend.

Ausnahmeregelungen für „militärische Zwecke“ und nationale Sicherheit überdenken. Der AI Act gilt nicht für KI-Systeme, die ausschließlich für militärische Zwecke entwickelt oder verwendet werden. Darüber hinaus hat der Rat weitere Ausnahmen für KI-Systeme vorgeschlagen, die ausschließlich der Wahrung der nationalen Sicherheit dienen. Wir fordern dazu auf, klar zu definieren, was solche militärischen Zwecke beinhalten, und auch den Bereich nationale Sicherheit klar im Geltungsbereich des AI Acts zu verankern.

Ökologische Folgen des Einsatzes von KI-Systemen aufzeigen. Der Einsatz von KI-Systemen kann durch Ressourcenverbrauch und freigesetzte Emissionen auch erhebliche Auswirkungen auf die Umwelt haben. Aufgrund erster Erkenntnisse aus unserem SustAIn-Projekt fordern wir, dass unabhängig vom Risikograd der KI-Systeme hinsichtlich ihrer Umweltfolgen Transparenzanforderungen im AI Act formuliert werden. Es sollte für alle KI-Systeme offengelegt werden, wie sich ihr Design, das Datenmanagement, das Training und die dem System zugrundeliegenden Infrastrukturen auf die Umwelt auswirken.

Weitere Details über die Position von AlgorithmWatch hinsichtlich ökologischer Nachhaltigkeit im AI Act können Sie dem folgenden Empfehlungen entnehmen:

Keine Schlupflöcher für verbotene Systeme. Der AI Act würde bestimmte Anwendungen von KI-Systemen verbieten, die nicht mit den Grundrechten vereinbar sind. Wir begrüßen dies, fordern aber, dass Schlupflöcher geschlossen werden, damit die Bestimmungen in Artikel 5 die Menschen wirklich vor solchen Anwendungen schützen können. Darüber hinaus müssen weitere Anwendungsfälle verboten werden.

EU-Rat und EU-Parlament werden ihre jeweiligen Positionen zum AI Act im Verlaufe dieses Jahres festlegen. Gemeinsam mit unseren zivilgesellschaftlichen Partnern wird AlgorithmWatch sich weiterhin dafür einsetzen, dass der AI Act zu einem wirkungsvollen Instrument zum Schutz unserer Grundrechte wird.

Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zum Artificial Intelligence Act.