Stories

Wie beeinflussen automatische Entscheidungssysteme unser aller Alltag? Wo werden sie konkret eingesetzt und was läuft dabei schief? Unsere Recherchen zeigen aktuelle Fälle und Fehler automatischer Entscheidungssysteme auf.

27. März 2021

#COVID19

Impfen in Berlin: Riskante Terminvergabe-Software [Update]

Der Berliner Gesundheitssenat setzt zur Terminvergabe für Corona-Impfungen einen Dienst für Arztpraxen ein, der sich für Impfzentren mit tausenden Terminen am Tag offenbar nicht eignet. Möglicherweise haben dadurch zahlreiche Berliner·innen einen späteren Impftermin erhalten – obwohl deutlich früher eigentlich Termine für sie frei gewesen wären.

Piero Nigro | Unsplash

25. Februar 2021

In Berlin verleiten Google Maps und TomTom Autofahrer·innen zu Gesetzesverstößen

Navigationsdienste wie TomTom und Google Maps empfehlen Autofahrer·innen, Fahrradstraßen zu benutzen und damit gegen die Verkehrsregeln zu verstoßen. Beide Unternehmen kündigten an, ihre Datenbanken zu aktualisieren. Davon ist jedoch kaum eine endgültige Lösung des Problems zu erwarten.

Weiterlesen
Claudio Schwarz Purzlbaum / Unsplash

1. Februar 2021

Die Insta-Mafia: Kleinkriminelle melden Nutzer·innen massenhaft für Profit

Teenager-Gruppen nutzen Schwachstellen in den Meldesystemen von Facebook und Instagram, um Konten zu kapern und Nutzer·innen zu belästigen. Die geplante DSA-Verordnung spricht das Problem an, wird aber wahrscheinlich zu kurz greifen.

Weiterlesen

4. Dezember 2020

Minuspunkte für Hautfarbe: Algorithmen diskriminieren Schwarze Patient·innen in der Schweiz

Algorithmen sollen die Nierenfunktion berechnen oder ein Herzversagen vorhersagen und verwenden dabei die Hautfarbe als zentrales Kriterium. Lesen Sie die Story auf der Website von AlgorithmWatch Schweiz.

Weiterlesen
Joshua Hoehne | Unsplash

18. Oktober 2020

Automatisierte Diskriminierung: Facebook verwendet grobe Stereotypen, um die Anzeigenschaltung zu optimieren

Ein Experiment von AlgorithmWatch zeigt, dass Online-Plattformen die Anzeigenauslieferung in diskriminierender Weise optimieren. Die Nutzung durch Werbetreibende könnte gesetzeswidrig sein.

Weiterlesen
NeONBRAND | Unsplash

17. Juni 2020

Instagram-Algorithmus: Wer gesehen werden will, muss Haut zeigen

Eine exklusive Untersuchung deckt auf, dass Instagram Bilder priorisiert, die spärlich bekleidete Männer und Frauen zeigen, und so das Verhalten von Content-Erstellern und die Weltsicht von 140 Millionen Europäern prägt – ein blinder Fleck in den EU-Richtlinien.

Weiterlesen

14. Mai 2020

Wie ein Schreibfehler die Kreditwürdigkeit senken kann

Ein 52-jähriger Mann in Hannover stellte fest, dass seine Kreditwürdigkeit von einer Auskunftei falsch eingestuft worden war und ließ das korrigieren. Seine Geschichte offenbart die Lücken in der Regulierung von Bonitätsprüfungen.

Weiterlesen
Eric Kilby| flickr

29. April 2020

Im Reich der Papiertiger – Von “ethischer KI” und zahnlosen Richtlinien

Vor einem Jahr hat AlgorithmWatch begonnen, Richtlinien für "ethische KI" in einem Verzeichnis zusammenzustellen. Von den mehr als 160 Richtlinien, die wir inzwischen in unserem komplett überarbeiteten AI Ethics Guidelines Global Inventory erfasst haben, verfügt nur ein Bruchteil über angemessene Aufsichts- und Durchsetzungsmachnismen. Die überwältigende Mehrheit stammt aus dem globalen Norden.

Weiterlesen
Tim Reckmann| flickr

17. April 2020

Unsere Untersuchung der Hartz-IV-Algorithmen zeigt: Hier diskriminiert der Mensch und nicht die Maschine

Die Bundesagentur für Arbeit (BA) und die Jobcenter setzen Algorithmen ein, um zu berechnen, wie viel Arbeitslosengeld II – besser bekannt als Hartz IV – ein·e Antragsteller·in bekommt. Anders als in den USA oder in Österreich geschehen, konnten wir in den deutschen Sozialhilfe-Algorithmen keine diskriminierenden Muster nachweisen. Das Problem sind eher Sachbearbeiter·innen und das Gesetz.

Weiterlesen
ev | Unsplash

11. Dezember 2019

AlgorithmWatch deckt auf: In mindestens zehn EU-Ländern nutzt die Polizei automatisierte Gesichtserkennung

Die Mehrheit der nationalen Polizeibehörden, die an einer Befragung durch AlgorithmWatch teilnahmen, gaben an, Software zur Gesichtserkennung bereits einzusetzen oder ihren Einsatz zu planen. Verschiedene Staaten nutzen die Technologie unterschiedlich, doch fast überall mangelt es an Transparenz.

Weiterlesen
Parker Coffman| Unsplash

11. November 2019

Palantir, die Datenkrake aus dem Umfeld der Trump-Administration, zieht es nach Europa

Das Datenanalyse-Unternehmen, bekannt durch sein Mitwirken an der Abschiebe-Maschinerie der US-Regierung, stößt mit einer aggressiven Expansionsstrategie auf den europäischen Kontinent vor. Wer sind seine Kunden?

Weiterlesen
Nik Shuliahin| Unsplash

4. November 2019

Facebook ermöglicht automatisierte Betrugsmaschen, scheitert aber bei deren automatisierter Bekämpfung

Betrüger missbrauchen die Werbeplattform von Facebook massiv. Sie setzen dabei sogenannte Cloaking-Dienste ein, um die Sicherheitschecks von Facebook zu umgehen. Das Problem dabei: Facebook könnte Cloaking automatisiert erkennen – trotz gegenteiliger Ankündigungen scheint es die Technik aber zu tolerieren.

Weiterlesen
Paweł Czerwiński| Unsplash

16. Oktober 2019

Entscheiden Algorithmen bald über die Bewilligung von Therapien?

Algorithmen sollen die Medizin revolutionieren. Doch die Technologie noch weit davon entfernt, verlässlich zu arbeiten und automatisierte Systeme als alleinige Entscheidungsinstanz sind mit dem Recht auf Leben und auf Selbstbestimmung nicht zu vereinbaren.

Weiterlesen
Linh Do| flickr (bearbeitet)

16. Oktober 2019

UN-Sonderberichterstatter prangert “menschenrechtsfreie Zonen” an

Der von den Vereinten Nationen ernannte Sonderberichterstatter für extreme Armut und Menschenrechte hat einen Bericht veröffentlicht, der auf das Schärfste verurteilt, wie Regierungen die Sozialsysteme privatisieren und automatisieren.

Weiterlesen
Jonathan Borba| Unsplash

4. Oktober 2019

Ethische Richtlinien des größten technischen Berufsverbands der Welt zeigen kaum Wirkung

Der weltweit größte Berufsverband von Ingenieuren hat im März dieses Jahres seine Ethikrichtlinien für automatisierte Systeme veröffentlicht. Eine Auswertung von AlgorithmWatch zeigt, dass Facebook und Google diese noch nicht anerkannt haben.

Weiterlesen

23. September 2019

Sprachanalyse: Wunschdenken oder Wissenschaft?

Die algorithmische Analyse menschlicher Persönlichkeitsmerkmale, wird als wichtige neue Entwicklung im HR-Bereich angepriesen. Doch die Methoden sind zweifelhaft und bergen ein hohes Diskriminierungsrisiko.

Weiterlesen
Nikola Johnny Mirkovic| Unsplash

12. August 2019

Spanien: Rechtsstreit um den Code eines Algorithmus

In Spanien ist einer halben Million Menschen ein Stromkosten-Zuschuss verweigert worden, auf den sie unter Umständen einen Anspruch gehabt hätten. Eine Software hat über die Anträge entschieden. Die Non-Profit-Organisation Civio zieht jetzt vor Gericht, um den Quellcode zu erhalten.

Weiterlesen
Suganth | Unsplash

22. Juli 2019

Wenn Algorithmen über den Job entscheiden

Welche Gruppen von Arbeitslosen sollen gefördert werden, welche nicht? In welchen Familien sind Kinder in Gefahr, vernachlässigt zu werden? Fragen dieser Art versucht man immer öfter über automatisierte Systeme zu klären. Auch in Österreich.

Weiterlesen
Pablo García Saldaña | Unsplash

20. Juni 2019

Richtlinien für „Ethische KI“: Verbindliche Selbstverpflichtung oder Schönfärberei?

Im April haben wir begonnen, eine Übersicht von Richtlinien zu so genannter „ethischer Künstlicher Intelligenz“ zu erstellen. Unser Inventar ist mittlerweile durch Mithilfe unserer Leser*innen auf 83 Einträge angewachsen und findet weltweit Aufmerksamkeit. Es ist daher Zeit für eine kurze Zwischenbilanz: Es gibt einige substantielle Beiträge, aber vieles ist noch dünn. Zudem mangelt es an Überwachungsmechanismen zur Einhaltung der Richtlinien.

Weiterlesen
Daan Stevens | Unsplash

11. Juni 2019

Schlechte Daten und Gesundheit: Müll rein, Mist raus

Ein Designfehler in einer Software, die im zweitgrößten Krankenhaus Frankreichs zum Einsatz kommt, setzt das Leben von Patientinnen und Patienten aufs Spiel. Das berichteten vor kurzem Journalisten des französischen investigativen Nachrichtenmagazins Mediacités. Da die Daten der Software auch dazu genutzt werden, Systeme maschinellen Lernens zu trainieren, wirft der Einsatz erhebliche Fragen darüber auf, was der Einsatz von KI-Lösungen für die Sicherheit von Patient*innen bedeutet.

Weiterlesen
Luke Chesser / Unsplash (bearbeitet)

6. Juni 2019

Automatisierte Tarifgestaltung in der Krankenversicherung – Schreckgespenst oder plausibles Szenario?

Die Idee des „Gläsernen Patienten“ geistert immer wieder durch die Medien, befeuert durch neue Möglichkeiten, die Gesundheit durch Smartwatches, Fitnesstracker und Apps zu überwachen. Das Schreckensszenario: Wer sich dem entzieht, muss um seine Krankenversicherung fürchten. Doch was ist da dran – werden in Zukunft tatsächlich nur diejenigen versichert, die sich umfassend durchleuchten lassen?

Weiterlesen
Marie Bellando-Mitjans | Unsplash

16. April 2019

Polen: Regierung schafft umstrittenes Scoring-System für Arbeitslose ab

Aufgrund der Kritik von Aktivisten, Richtern und einer Menschenrechtsorganisation ist die polnische Regierung gezwungen, ein umstrittenes Bewertungssystem für Arbeitslose zu streichen. Das automatisierte System wird eingesetzt, um grundlegende Entscheidungen darüber zu treffen, welche Unterstützung Menschen vom Arbeitsamt erhalten. Grundlage sind die persönlichen Daten der Betroffenen sowie deren Antworten auf Interviews, die in den Jobcentern durchgeführt werden. Kritiker sagen, das System sei diskriminierend, intransparent und verletze Datenschutzrechte. Infolgedessen hat die Regierung beschlossen, ihr Experiment zum Profiling von Arbeitslosen zu beenden und das System bis Dezember 2019 abzuschaffen.

Weiterlesen
Alireza Badiee | Unsplash

28. Februar 2019

Schweden: Fehlerhafter Algorithmus stoppt Zahlungen für über 70.000 Arbeitslose

Automatisierte Entscheidungsfindung ist in Schweden zum nationalen Gesprächsthema geworden, nachdem ein Bericht des staatlichen Senders aufgedeckt hat, dass Tausenden Arbeitslosen durch einen blindwütigen Verwaltungscomputer zu Unrecht die Auszahlung ihrer Sozialleistungen verweigert wurde. Die Sprecher des […]

Weiterlesen

21. November 2018

Kreditscoring: Urteil aus Finnland wirft Fragen zur Diskriminierung auf

In einem außerhalb Finnlands wenig bekannten Fall verurteilte das finnische Nichtdiskriminierungs- und Gleichheitstribunal im April dieses Jahres den Finanzdienstleister Svea Ekonomi AB zu einer Geldstrafe von 100.000 Euro, weil er mit seinen statistischen Verfahren einen Mann diskriminiert habe. Die Begründung des Gerichts lässt Fragen offen.

Weiterlesen

4. Juli 2018

Risikobürger

In den Niederlanden filtert eine Software automatisch potentielle Sozialbetrüger heraus. Wie sie funktioniert, verrät der Staat nicht. Bürgerrechtler klagen dagegen.

Weiterlesen