Gesetzlicher Schutz vor Grundrechtsverletzungen in Europa und Deutschland: Mängel beim AI Act, Potenziale beim AGG

AI Act: Die KI-Verordnung der EU

Matthias Spielkamp von AlgorithmWatch erklärte, wie problematisch die Positionen der deutschen Bundesregierung sind, die sie zuletzt in den EU-Ministerrat zur Bildung einer gemeinsamen Position einbrachte. Sie rückt dabei deutlich von ihren bisherigen Versprechen ab. Die Ausnahmen, die sie nun für Sicherheitsbehörden vorsieht, würden dazu führen, dass durch die Behörden eingesetzte Systeme nicht in die geplante EU-Datenbank eintragen werden müssten. Ähnliches gilt für das Verbot biometrischer Erkennungssysteme. Im Koalitionsvertrag hatte die Bundesregierung noch angekündigt, solche Systeme im öffentlichen Raum europarechtlich ausschließen zu wollen. In der jetzigen Allgemeinen Ausrichtung des EU-Rats sieht das deutlich anders aus.

Das EU-Parlament wird im Frühjahr wie soeben der EU-Rat eine eigene Position entwickeln, mit der es in die Trilogverhandlungen mit dem Rat und der Kommission gehen wird. Um im Sinne der Grundrechte positiv auf das EU-Parlament einwirken zu können, hat Matthias Spielkamp die Bundestag-Abgeordneten auf folgende Schwächen in der jetzigen Allgemeinen Ausrichtung des EU-Rats aufmerksam gemacht:

1. Definition von KI

Die Definition eines KI-Systems im Entwurf der Allgemeinen Ausrichtung wird im Wesentlichen auf Maschinelles Lernen eingegrenzt. Systeme, die auf von Menschen definierten Regeln beruhen, fielen dann nicht mehr in den Geltungsbereich der Verordnung. Das führt zu Problemen, da

• das Risiko, das vom Einsatz eines Systems ausgeht, nicht zwangsläufig im Zusammenhang mit der Komplexität des jeweiligen Systems steht.
• die Gefahr besteht, dass Systeme, die ebenfalls unsere Grundrechte verletzen können, nicht in den Anwendungsbereich des KI-Gesetzes fallen.
• Entwickler*innen demotiviert werden, ML-Systeme zu entwickeln, da sie höhere Anforderungen erfüllen müssen, als wenn sie ohne Maschinelles Lernen arbeiten. Die Art von Spitzentechnologie, die die EU fördern möchte, wird dadurch eher verhindert.

Da die EU-Kommission zuvor eine weiter gefasste Definition vorgeschlagen hatte, ist die Definition des Rats ein Rückschritt.

2. Nachhaltigkeitsaspekte

Der Kommissionsentwurf sieht vor, dass Anbieter auf freiwilliger Basis Selbstverpflichtungen in Bezug auf die ökologische Nachhaltigkeit schaffen und umsetzen. Dieser Ansatz geht nicht weit genug, da bestimmte KI-Systeme, insbesondere große Sprachmodelle, immense Mengen an Ressourcen und Energie benötigen.

Anbieter von KI-Systemen müssten dazu verpflichtet werden, Transparenzindikatoren für den Ressourcenverbrauch zu erstellen: das Design, die Datenverwaltung, das Training und die zugrunde liegenden Infrastrukturen der KI-Systeme müssen darin erfasst werden. Zudem sollten die Anbieter Methoden zur Verringerung dieser Auswirkungen entwickeln und ihr Vorgehen dabei begründen. Sowohl der Kommissionsentwurf als auch die Allgemeine Ausrichtung verpassen es, dafür Vorgaben festzulegen.

3. Rechenschaftspflichten und Rechtsbehelfsmechanismen für Betroffene

Ursprünglich enthielt der Kommissionsentwurf zum KI-Gesetz weder individuelle Rechte für Menschen, die von KI-Systemen betroffen sind, noch Bestimmungen zu Rechtsbehelfen, auf die sie zurückgreifen können, etwa ein Auskunftsrecht bei einem Einsatz von Hochrisikosystemen. Positiv ist, dass der Rat in seiner Allgemeinen Ausrichtung einige notwendige Rechte und Rechtsbehelfsmechanismen aufgenommen hat – sie reichen jedoch bei Weitem noch nicht aus. In der Ratsposition werden Anwender von Emotionserkennungssystemen verpflichtet, natürliche Personen zu informieren, wenn sie solchen Systemen ausgesetzt sind. Das Recht auf Information über den Einsatz von KI-Systemen sollte allerdings nicht auf Emotionserkennungssysteme beschränkt sein. Stattdessen sollte ein generelles Recht auf Information über den Einsatz und die Funktionsweise von KI-Systemen gelten, um sicherzustellen, dass natürliche Personen darüber informiert sind, wenn sie risikoreichen oder anderen regulierten (Art. 52) KI-Systemen ausgesetzt sind.

Außerdem sieht der Ratstext vor, dass eine natürliche oder juristische Person bei der zuständigen Marktaufsichtsbehörde eine Beschwerde wegen Nichteinhaltung des KI-Gesetzes einreichen kann. Ebenfalls aufgenommen werden sollten unseres Erachtens zumindest das Recht, „keinen nicht konformen KI-Systemen ausgesetzt zu sein“, und das Recht auf einen wirksamen Rechtsbehelf gegen die Behörde, bei der die Beschwerde eingereicht wurde.

Da die bisher verhandelten EU-Vorgaben für den Schutz von Betroffenen so lückenhaft sind, forderte Matthias Spielkamp im Rahmen des Parlamentarischen Austauschs, dass die geplante Novellierung des Allgemeinen Gleichbehandlungsgesetzes (AGG) dazu genutzt werden sollte, notwendige Anpassungen zum Schutz vor algorithmischer Diskriminierung umzusetzen.

AGG-Novelle: Algorithmischer Diskriminierung entgegenwirken

Matthias Spielkamp betonte gegenüber den Abgeordneten, dass algorithmische Diskriminierung zunehmend als Problem anerkannt und diskutiert werde, und wies darauf hin, dass der Koalitionsvertrag die Novellierung des Allgemeinen Gleichbehandlungsgesetz vorsehe. Dieses Vorhaben biete die Chance, Schutzlücken hinsichtlich algorithmischer Diskriminierung zu schließen und Betroffenen wirksame Rechtsbehelfe an die Hand zu geben. Er empfahl für die Anpassung der nationalen Antidiskriminierungsgesetzgebung eine Reihe von Maßnahmen für einen ausgedehnten Schutz vor algorthmischer Diskriminierung:

• Der Anwendungsbereich des AGG sollte so ausgedehnt werden, dass das Gesetz vor Diskriminierung durch teil- und vollautomatisierte Entscheidungsverfahren schützt. In ihrem abschließenden Bericht kommt auch die Datenethik-Kommission der Bundesregierung (DEK) zu dem Schluss, dass das AGG in seiner aktuellen Form „nicht sämtliche sensiblen Konstellationen [erfasst], in denen algorithmisch ermittelte Ergebnisse eine Diskriminierung auslösen oder begünstigen“, und empfiehlt ebenfalls, den Anwendungsbereich des Gesetzes situativ auszudehnen.
• Der Diskriminierungsschutz des AGG sollte ausgeweitet werden. Zudem sollte die Auflistung der Diskriminierungskategorien offen bleiben und nicht abschließend formuliert werden.
• Durch die Aufnahme eines entsprechenden Tatbestands sollte sichergestellt werden, dass das AGG auch vor Diskriminierung schützt, wenn Opfer nicht eindeutig identifizierbar sind oder ein automatisiertes System zufällig oder aus der Systemlogik heraus eine Vorhersage oder Entscheidung mit diskriminierenden Auswirkungen auf Personen trifft. In Fällen, in denen einzelne Betroffene nicht eindeutig identifizierbar sind, aber der Einsatz eines algorithmischen Systems strukturell diskriminiert, könnte ein entsprechendes Bußgeld verhängt werden – zusätzlich oder anstelle von weiteren Bei- oder Abhilfebefugnissen.
• Es sollte der Tatbestand der intersektionalen oder verschränkten Diskriminierung aufgenommen werden, damit das AGG auch davor schützt, dass sich eine Kombination geschützter Kategorien diskriminierend auf Personen auswirkt.
• Klagebefugnisse von qualifizierten Verbänden sollten ausgeweitet werden. Das betrifft eine Verbandsklage, wenn aus Gründen des Allgemeininteresses der Rechtsweg angezeigt ist, sowie die Prozessstandschaft, mit der zum Beispiel Antidiskriminierungsverbände und Beratungsstellen die Rechte Betroffener wahrnehmen können. Da es oft völlig unklar ist, wo, von wem und wozu algorithmische Systeme eingesetzt werden und wie sie funktionieren (Algorithmen als „Black Box“), kann durch Verbandsklagen algorithmische Diskriminierung erkannt, sichtbar gemacht und angefochten werden.
• Anbieter sollten dazu verpflichtet werden, regelmäßig Folgenabschätzungen und standardisierte, unabhängigen Audits beim Einsatz von algorithmischen Entscheidungssystemen durchzuführen. Dadurch können Risiken diskriminierender (Fehl-)Funktionen oder Verwendungsweisen frühzeitig erkannt werden. Die Ergebnisse dieser Maßnahmen sollten nach Möglichkeit veröffentlicht werden, um eine öffentliche Aufsicht zu gewährleisten.
• Beim Einsatz von algorithmischen Entscheidungssystemen sollte mehr Transparenz geschaffen werden, zudem müssen klare Verantwortlichkeiten gewährleistet sein. Gerade weil bisher keine Auskunftspflichten für Anwender der Systeme bestehen, ist ein Auskunftsrecht für Antidiskriminierungs- und Beratungsstellen nötig, um die Rechte von Betroffenen zu stärken. Dieses Recht würde eine größere Transparenz darüber schaffen, auf welchem Funktionsmodell ein System basiert, zu welchem Zweck, von wem und in welchem Kontext es eingesetzt wird und welche Risiken dies mit sich bringt – etwa durch einen Einblick in die Ergebnisse von Folgenabschätzungen und Audits. Auch Betroffenen selbst sollte ein Recht auf Information und auf Erklärung zugesprochen werden, da Transparenz die Voraussetzung dafür ist, dass algorithmische Diskriminierung erkannt wird und Betroffene geeignete Rechtsmittel ergreifen können.

Über die Revision des AGG hinaus sollte die Bundesregierung jetzt etwas unternehmen, um Antidiskriminierungs(beratungs-)stellen darin zu unterstützen, über algorithmische Diskriminierung aufzuklären und für das Thema zu sensibilisieren.

---

Das Bündnis F5 besteht aus AlgorithmWatch, der Gesellschaft für Freiheitsrechte, der Open Knowledge Foundation Deutschland, Reporter ohne Grenzen (deutsche Sektion) und Wikimedia Deutschland.