Automatisch aussortiert? Wenn KI-Systeme in Bewerbungsprozessen diskriminieren

Die Personalsuche ist zeitaufwendig und teuer. Arbeitgeber und Personalverantwortliche sehen sich häufig mit Hunderten Bewerbungen pro Stellenausschreibung konfrontiert und stehen unter hohem Zeitdruck. Immer mehr öffentliche und private Organisationen nutzen deshalb algorithmische Entscheidungssysteme, sogenannte Applicant-Tracking-Systeme (ATS), die sie beim Vorsortieren von Bewerbungen unterstützen. HR-Abteilungen und Recruiting-Firmen erhoffen sich von ihnen eine Zeit- und Kostenersparnis. In diese Systeme sind immer häufiger KI-gestützte Funktionen integriert.

Auch Algorithmen sind nicht frei von Vorurteilen

Algorithmischen Systemen wird eine größere „Objektivität“ oder „Neutralität“ nachgesagt: Sie sollen Bewerbungsprozesse fairer machen. Recruitment-Systeme können allerdings bereits bestehende diskriminierende Muster reproduzieren, sie verschärfen oder neue Formen der Diskriminierung schaffen. 

Wenn beispielsweise leitende Positionen in einem Unternehmen über längere Zeit hinweg vornehmlich mit Männern besetzt werden, besteht die Gefahr, dass algorithmische Systeme diese Ungleichheit übernehmen und Bewerberinnen im Auswahlprozess per se als weniger geeignet einstufen.

Ein prominentes Beispiel dafür ist ein Bewerbungssystem, das Amazon entwickelt hat. Schon in der Testphase zeigte sich angeblich, dass das System Kandidatinnen benachteiligte, indem es ihre Lebensläufe systematisch schlechter bewertete. Laut Amazon wurde das Projekt eingestellt, bevor es eingesetzt wurde. Korrekturmaßnahmen blieben offenbar ohne Wirkung.

Die Daten, mit denen Algorithmen trainiert werden, spiegeln bestehende gesellschaftliche und strukturelle Denkmuster, Stereotypen und Vorurteile wider. Außerdem beeinflussen Entscheidungen von Software-Entwickler*innen und Anwender*innen der Systeme das Ergebnis erheblich. Ihre Wertevorstellungen fließen in die Systeme mit ein. Kurzum: Solche Systeme sind keineswegs neutral oder objektiv.

Algorithmische Diskriminierung ist komplex und subtil

Diskriminierung durch KI und Algorithmen bleibt sehr oft unbemerkt. Die Systeme können in unbekanntem Ausmaß Stellensuchende benachteiligen. Algorithmische Diskriminierung kann alle treffen. Besonders häufig trifft sie jedoch Menschen, die auch sonst bereits diskriminiert werden – etwa aufgrund ihres Geschlechts, ihrer Herkunft, ihres Alters, ihrer sexuellen Orientierung oder ihrer Religion. Solche Merkmale sind eigentlich durch das europäische Antidiskriminierungsrecht geschützt. Eine Person kann auch wegen mehrerer Merkmale diskriminiert werden und dadurch verstärkte Formen von Diskriminierung erfahren, was als intersektionale Diskriminierung bezeichnet wird. Entwickler*innen algorithmischer Recruitment-Systeme stellt es vor besondere Herausforderungen, intersektionaler Diskriminierung vorzubeugen. 

Allein der Name oder das Foto einer Person im Lebenslauf können zu ungerechter Behandlung führen, wenn ein KI-System die Bewerbung bewertet. Stellensuchende haben etwa berichtet, dass sie nach etlichen erfolglosen Bewerbungen versuchten, bessere Ergebnisse zu erzielen, indem sie ihre Namen oder deren Schreibweise ändern, um „westlicher“ zu klingen oder besser lesbar zu sein. Einige Menschen bearbeiten ihre Fotos, um jünger oder älter zu erscheinen, oder spielen ihre Berufserfahrung absichtlich herunter – aus Sorge, wegen Überqualifikation oder ihres Alters aussortiert zu werden. 

Aber auch bei anonymisierten Bewerbungen kann es sein, dass algorithmische Recruitment-Systeme Rückschlüsse auf demografische Merkmale (wie zum Beispiel Nationalität, Alter oder Geschlecht) von Kandidat*innen ziehen, selbst wenn sie nicht ausdrücklich im Lebenslauf genannt sind. Bewerbungen enthalten oft subtile Hinweise, sogenannte Proxies, die Rückschlüsse auf diese demografischen Merkmale zulassen. Sprachkenntnisse, die Berufserfahrung oder der Bildungsweg können etwa stellvertretend für die ethnische Herkunft, das Alter oder das Geschlecht stehen. Da Diskriminierung durch Proxy-Variablen versteckt stattfindet, ist es schwierig, sie aufzudecken und zu verhindern. 

Online-Bewerbungsprozesse können Menschen vorneweg ausschließen

Automatisierung kommt an zahlreichen Stellen im Einstellungsprozess zum Einsatz: bei der Veröffentlichung der Stellenanzeige, der Vorauswahl der Bewerbungen, in Gestalt von digitalen Assessment-Tools in Bewerbungsgesprächen oder der finalen Bewertung der Kandidat*innen.

Algorithmische Diskriminierung kann schon stattfinden, bevor sich Kandidat*innen überhaupt auf eine Stelle bewerben. Sowohl die Wahl der Job-Plattform, auf der eine Stellenanzeige veröffentlicht wird, als auch deren algorithmische Zielgruppen-Optimierung bestimmen wesentlich, wer eine Stellenanzeige überhaupt zu sehen bekommt.

Ein Experiment von AlgorithmWatch hat beispielsweise gezeigt, dass Online-Plattformen – in diesem Fall Facebook – Anzeigen in diskriminierender Weise schalten. Jobanzeigen wurden, selbst wenn sie ohne Zielgruppen-Targeting erstellt wurden, automatisch so optimiert, dass sie stereotypisch vor allem Männern oder Frauen ausgespielt wurden. Eine Stellenanzeige für LKW-Fahrer wurde überwiegend Männern gezeigt, eine Anzeige für Kinderbetreuung fast ausschließlich Frauen, obwohl wir keine geschlechtsspezifische Zielgruppe angegeben hatten.

Facebook nutzt unter anderem Bildinhalte der Anzeigen, um vorherzusagen, wer wahrscheinlich darauf klicken wird. Das zeigt, dass bereits die Gestaltung einer Jobanzeige keine Stereotypen enthalten darf, wenn Diskriminierung verhindert werden soll. Algorithmische Systeme könnten sie aufnehmen und Entscheidungen daraus ableiten. Verwendet ein Unternehmen in einer Stellenanzeige zum Beispiel ein Bild, auf dem eine bestimmte Gruppe von Menschen zu sehen ist, könnten Empfehlungsalgorithmen die Anzeige vorwiegend Personen aus dieser Gruppe ausspielen. Das kann die Diversität möglicher Kandidat*innen im Vorhinein einschränken.

Der Einsatz algorithmischer Systeme im Bewerbungsprozess wird kaum offengelegt. Bewerbende wissen daher selten, ob ihre Unterlagen zunächst von einem System oder von einem Menschen geprüft werden. Der „erste Eindruck“ eines Lebenslaufs basiert bei Algorithmen jedoch auf anderen Kriterien als bei Menschen: Während grafische Elemente wie Farben, Hintergründe oder Linien die Aufmerksamkeit von Personalverantwortlichen erhöhen können, können sie für algorithmische Systeme die Lesbarkeit der Inhalte erschweren. Ein Experiment zeigte, dass qualifizierte Bewerber*innen aufgrund der Formatierung des Lebenslaufs aussortiert wurden – also aufgrund von Faktoren, die nichts mit ihrer Qualifikation zu tun hatten. Wie gut und effizient das System einen Lebenslauf auslesen kann (Parsability), stellte sich als entscheidender Faktor heraus für das Bewertungsergebnis.

Algorithmische Diskriminierung ist für die Betroffenen schwer erkennbar oder nachvollziehbar. Transparenz über den Einsatz von algorithmischen Bewerbungssystemen sowie gezielte Schulungen für Stellensuchende, um sich in Online-Bewerbungen sicher zurechtzufinden, wären deshalb dringend nötig. 

Aufgrund der Intransparenz vieler algorithmischer Systeme ist es oft schwer nachzuvollziehen, wann, wie und warum Diskriminierung stattfindet  – die Konsequenzen davon sind jedoch für alle Beteiligten problematisch.

Die Grundrechte der betroffenen Personen oder Gruppen werden verletzt, wenn sie aufgrund geschützter Merkmale benachteiligt werden und ihr Zugang zu Arbeit erschwert wird. Gleichzeitig entstehen für Arbeitgeber erhebliche Kosten: Neben Reputationsrisiken besteht die Gefahr, qualifizierte und kompetente Talente zu übersehen, weil KI-Systeme sie aussortieren. Das kann sich negativ auf die Vielfalt der Mitarbeiter*innen und letztlich auch auf die Leistungsfähigkeit des Unternehmens auswirken.

Weniger Diskriminierung ist möglich

Der Zugang zum Arbeitsmarkt war leider schon immer geprägt von Diskriminierung. Bestehende diskriminierende Muster werden nicht automatisch durch digitale Prozesse ausgeglichen. Die gute Nachricht: Weniger Diskriminierung ist möglich, wenn alle involvierten Akteure Verantwortung übernehmen.

HR-Verantwortliche können ihre Teams für Risiken der Diskriminierung sensibilisieren. Zudem können sie den Bewerbungsprozess und die involvierten Systeme intern und extern kritisch auf potenzielle Diskriminierung prüfen lassen.

Software-Entwickler*innen können durch inklusives, Fairness-bewusstes Software-Design und nachvollziehbare und verständliche Entscheidungslogiken der Systeme maßgeblich dazu beitragen, dass algorithmische Systeme transparenter werden und somit einfacher überprüfbar. Sie sollten beispielsweise die Bedürfnisse der verschiedenen Stakeholder, die mit dem System in Berührung kommen werden, im Entwicklungs- und Designprozess berücksichtigen und verschiedene Perspektiven einholen. Dazu gehört zum Beispiel, die Nutzeroberfläche so zu gestalten, dass sie möglichst barrierefrei ist und Menschen mit geringen technischen Kenntnissen den Umgang erleichtert. Außerdem sollten sie verständlich erklären können, welche Faktoren zur jeweiligen Bewertung geführt haben. Das hilft HR-Verantwortlichen, algorithmische Empfehlungen besser einzuordnen, und Kandidat*innen, ihr Profil gezielt auf bestimmte Vorgaben hin anzulegen.

Politische Entscheidungsträger*innen können schließlich dafür sorgen, dass rechtliche und politische Rahmenbedingungen gestärkt werden, um Stellensuchende und Arbeitnehmende besser vor algorithmischer Diskriminierung zu schützen – etwa indem sie auf nationaler und/oder EU-Ebene Beschwerdemechanismen etablieren, um algorithmische Diskriminierung bei Einstellungsverfahren zu melden. Ebenso sollten Unternehmen und Behörden, die algorithmische Systeme entwickeln, anbieten oder einsetzen, dazu verpflichtet werden, regelmäßig Folgenabschätzungen und standardisierte, unabhängige Audits durchzuführen, um diese Systeme auf diskriminierende Risiken zu überprüfen.