Chatbots & demokratische Entscheidungsträger*innen – eine Orientierungshilfe

von Clara Helming, Dr. Michele Loi und Dr. Oliver Marsh

Für Abgeordnete und Politiker*innen gelten besondere Sorgfaltspflichten, wenn sie generative KI benutzen. Diese Orientierungshilfe schlägt sieben Schritte vor, wie demokratische Entscheidungsträger*innen ihren Umgang mit generativer KI gestalten können, um einen verantwortungsvollen und nachvollziehbaren Einsatz im politischen Alltag zu gewährleisten.

Publikation

5. August 2026

Read in English

Die Illustration zeigt mehrere Gruppe von gezeichneten Figuren, von denen aus insgesamt drei Ströme mit Textzeilen und Schnippseln in Richtung eines Textdokuments fließen, das sich in der Bildmitte befindet.

Image credit: Yasmine Boudiaf | Better Images of AI (CC BY 4.0)

Clara Helming

Senior Policy Managerin

helming@algorithmwatch.org

Dr. Oliver Marsh

Head of Tech Research

marsh@algorithmwatch.org

Chatbots und demokratische Entscheidungsträger*innen - eine Orientierungshilfe - PDF Download

Generative KI kann politische Entscheidungen auf subtile und schwer erkennbare Weise beeinflussen.[1] Zunehmend arbeiten Entscheidungsträger*innen in der Politik oder Verwaltung und ihre Mitarbeiter*innen mit generativer Künstlicher Intelligenz. Dadurch können subtile Formen von Beeinflussung entstehen, die nicht sofort sichtbar sind. Während inzwischen bekannt ist, dass KI-basierte Chatbots Fehler produzieren und zu Verzerrungen neigen, wird über diese Risiken bisher selten gesprochen. Zu diesen subtilen Risiken gehören etwa folgende Tendenzen:

Schmeichelei: Chatbots neigen dazu, die explizite oder implizite Meinung des Fragestellenden zu bestätigen.
Intransparente Bewertung von Quellen: Chatbots werten Informationen unterschiedlich, je nachdem, welcher Quelle sie zugeordnet werden. Beispielsweise stellen sie Informationen von Institutionen häufig als neutrale Fakten da.
Konvergenz: Was wie Konsens aussieht, könnte in Wirklichkeit eine Annäherung der von Chatbots generierten Antworten widerspiegeln, wenn mehrere Personen gemeinsam an Inhalten arbeiten und Chatbots auf ähnliche Weise anleiten.

Diese Orientierungshilfe soll Entscheidungsträger*innen in Politik und Verwaltung sowie ihre Mitarbeiter*innen für solche Risiken sensibilisieren und ihnen eine konkrete Hilfe an die Hand geben, um generative KI so zu nutzen, dass sie zu innovativeren und effizienteren Entscheidungen kommen, ohne die Risiken der Technologie zu reproduzieren.

Hierfür haben wir drei Prinzipien entwickelt und in sieben Schritten ausgeführt, wie diese ganz konkret angewandt werden können.

Wir konzentrieren uns dabei auf die angenommene Beeinflussung demokratisch relevanter Entscheidungen in Politik und Verwaltung. Das heißt, es geht weniger um den Einsatz generativer KI in der Kommunikation (zum Beispiel in Reden oder Gastbeiträgen), sondern um Hintergrundaufgaben, bei denen KI zum Einsatz kommt.

Hierzu zählen zum Beispiel:

Die Entwicklung von Ideen und Argumenten für Positionen
Die Recherche zur Unterstützung von Entscheidungen
Die Gestaltung politischer Vorschläge
Die Ausarbeitung von Gesetzentwürfen

Es ist bisher nicht bekannt, in welchem Ausmaß Entscheidungsträger*innen aus Politik und Verwaltung KI in dieser Weise verwenden. In einem nächsten Schritt sind wir an Feedback aus Politik und Verwaltung interessiert, um diese Orientierungshilfe besser an die Praxis anzupassen.[2]

Die Orientierungshilfe kann sowohl für frei verfügbare KI als auch für einen hausinternen Service verwendet werden. Sie ist insbesondere relevant für Arbeitsabläufe, in denen mehrere Personen in Teams sowie über Hierarchiegrenzen hinweg gemeinsam an Texten und Inhalten arbeiten.

Die Orientierungshilfe soll bestehende KI-Leitlinien ergänzen, von denen es bereits eine Vielzahl gibt. Die meisten dieser Leitlinien empfehlen den „Human-in-the-Loop“-Ansatz: KI-Antworten sollten sorgfältig von Menschen überprüft werden; am Ende sollte eine Person eindeutig die Verantwortung für den Output übernehmen.

Doch was heißt das genau – jenseits vom Korrigieren offensichtlicher Fehler und eindeutiger Biases? Genau hier setzt diese Orientierungshilfe an und bietet eine Anleitung, um subtilere Risiken bei der KI-Nutzung zu reflektieren und zu minimieren.

Die drei Prinzipien: Hinterfragen, Dokumentieren, Reflektieren

Für einen verantwortungsvollen Umgang mit KI-Chatbots im Bereich der demokratischen Entscheidungsfindung empfehlen wir die folgenden drei Prinzipien:

Behandeln Sie jede Antwort eines Chatbots wie einen Entwurf, der Entscheidungen und Inhalte widerspiegelt, die Sie weder selbst getroffen noch recherchiert haben.
Stellen Sie sicher, dass Sie nachweisen können, inwiefern Sie die Entscheidungen und Inhalte des Chatbots hinterfragt oder akzeptiert haben.
Betrachten Sie den Einsatz von Chatbots und die Weiterbildung im Bereich der KI als gemeinsame Übung für Ihr Team oder Ihre Organisation, bei der Erfahrungen dokumentiert, reflektiert und diskutiert werden.

Die ersten zwei Prinzipien sollen sicherstellen, dass die Person, die einen KI-Chatbot verwendet, die Ausgaben der KI und die darin enthaltenen Empfehlungen in angemessener Weise hinterfragt und diesen Prozess dokumentiert. Nur so kann für die Ergebnisse tatsächlich Verantwortung übernommen werden.

Beim dritten Prinzip geht es um eine allgemeinere Empfehlung für den Umgang mit KI in politischen Organisationen.

Wie lassen sich die drei Prinzipien einhalten?

Hinweis: Der Einfachheit halber sprechen wir von „dem Chatbot“, selbst wenn im Prozess verschiedene Sprachmodelle und Anbieter verwendet werden. Unter einem „Arbeitsablauf“ verstehen wir einen abgeschlossenen Prozess, dessen Ergebnisse an Führungskräfte weitergeleitet, veröffentlicht, als Entscheidungsgrundlage verwendet oder anderweitig eingesetzt werden. Die Orientierungshilfe kann jedoch auch ohne das Ziel solcher Ergebnisse verwendet werden.

Schritte 1-6 dienen dazu, die ersten beiden Prinzipien zu erfüllen (Chatbot-Ausgaben hinterfragen und diesen Prozess dokumentieren), während Schritt 7 dazu dient, Prinzip 3 zu erfüllen (Reflexion im Team).

Schritt 1: Brauche ich diese Orientierungshilfe?

Diese Orientierungshilfe sollte immer dann zum Einsatz kommen, wenn die Chatbot-Ausgaben inhaltliche oder politische Entscheidungen beeinflussen können. Nicht benötigt wird sie etwa, wenn Chatbots genutzt werden, um Zahlen aus einem Dokument zu extrahieren. Um festzustellen, ob Entscheidungen beeinflusst werden könnten, stellen Sie sich folgende Fragen:

Verändert die Chatbot-Ausgabe mein Verständnis davon,

welches Ziel ich erreichen möchten?
welche Interessen für mich sichtbar und wichtig sind?
welche Ursache und welche Wirkung ich bei meinem Problem/meiner Fragestellung wahrnehme?
welche Lösungsoptionen ich in Betracht ziehe?
wie ich Empfehlungen oder Entscheidungen begründe?

Sollten Sie sich unsicher sein, empfehlen wir, die Orientierungshilfe vorsorglich zu befolgen. Diese Empfehlung trifft ebenfalls zu, wenn ein KI-Chatbot erst zu einem späteren Zeitpunkt im Arbeitsablauf eingesetzt wird oder sich die Art seines Einsatzes verändert.

Schritt 2: Wer ist verantwortlich, wer prüft?

Benennen Sie eine einzelne Person, die für den Einsatz des KI-Chatbots verantwortlich ist. Dazu zählt, wie der Chatbot genutzt und welche Ausgaben akzeptiert werden. Die verantwortliche Person sollte direkt in die Arbeitsaufgaben involviert sein, für die der Chatbot eingesetzt wird.

Bestimmen Sie eine weitere Person, die die Interaktion mit dem Chatbot und die Ergebnisse überprüft. Die prüfende Person kann ein ranghöheres Teammitglied oder jemand mit spezifischem Wissen zum verantwortlichen Einsatz von Künstlicher Intelligenz sein.

Diese Aufgabenverteilung macht nachvollziehbar, wer wann und wofür einen KI-Chatbot genutzt hat. Zusätzlich soll sie sicherstellen, dass sich der Einfluss des Chatbots auf den Arbeitsablauf erklären lässt – und diese Erklärung überprüfbar ist.

Schritt 3: Welche potenziellen Risiken beim Einsatz eines KI-Chatbots gibt es?

Stellen Sie sicher, dass beide Personen (die verantwortliche und die prüfende) wissen, welche Risiken beim Einsatz von KI-Chatbots bestehen und wie hiermit umzugehen ist. Eine Übersicht der Risiken finden Sie im folgenden Abschnitt.

Besprechen Sie die Risiken in Ihrem Team und bieten Sie einander Unterstützung durch Beispiele und kurze Trainings an, damit die Aufgabe der Risikobeurteilung nicht von wenigen Personen abhängt, die mit Chatbots besonders vertraut sind.

Schritt 4: Ausgaben hinterfragen und überprüfen – betrifft die verantwortliche Person

Überprüfen Sie die Ausgaben des Chatbots und hinterfragen Sie sowohl die Ausgaben als auch Ihre eigene Vorgehensweise. Beachten Sie zur Hinterfragung der Ausgaben des KI-Chatbots die Risiken aus dem folgenden Abschnitt. Setzen Sie darüber hinaus Ihr eigenes Urteilsvermögen ein.

Beispiele:

Stellen Sie eine Anfrage mit variierenden Prompts, um die ursprüngliche Ausgabe des Chatbots zu prüfen. Fragen Sie hierzu nach einer veränderten Perspektive oder einer anderen Zielgruppe.
Bitten Sie hierzu ihre Teammitglieder um Hilfe, um unterschiedliche Hintergründe und Sichtweisen in den Prompt einfließen zu lassen.
Nutzen Sie Methoden ohne Künstliche Intelligenz, um alternative Sichtweisen oder Empfehlungen zu finden. Beziehen Sie beispielsweise menschliche Expert*innen in die Diskussion ein, um die Ausgabe des Chatbots auszubauen oder weitere Fragen und Themen zu entwickeln.
Recherchieren Sie in klassischen Quellen wie Literatur, Datenbanken und Suchmaschinen, um relevante Fakten unabhängig vom Chatbot zu prüfen.

Wie ausführlich diese Überprüfung abläuft, hängt von der Qualität der Ausgaben und der Tragweite der Entscheidung ab. Sie sollten sich sicher sein, dass sie die Chatbot-Ausgaben als ihre eigenen verantworten können. [3]

Schritt 5: Vorgehen dokumentieren – betrifft die verantwortliche Person

Dieser Schritt dient der Erfüllung des zweiten Prinzips – darzulegen, wie Sie die Entscheidungen des Chatbots hinterfragt oder akzeptiert haben. Als verantwortliche Person sollten Sie ausreichend Informationen sammeln, um folgende Fragen zu beantworten:

Was hat der Chatbot zum Arbeitsablauf beigetragen und wo hat er ihn beeinflusst?
Welche Ausgaben haben Sie akzeptiert und welche mit Skepsis betrachtet oder lediglich als Anstoß für weitere Schritte genutzt?
Haben Sie ein anderes Framing für die Problemstellung in Betracht gezogen, und sind Sie dieser alternativen Herangehensweise gefolgt?

Für die Dokumentation ist keine einheitliche Vorlage notwendig, doch sollte sie ausreichend verständlich sein, um die Schritte zur Entscheidung nachvollziehen zu können.[4]

Schritt 6: Ergebnisse kontrollieren – betrifft die prüfende Person

Um sicherzustellen, dass das zweite Prinzip tatsächlich eingehalten wurde, sollte die Person, die zur Überprüfung bestimmt wurde, anhand der Chatbot-Antworten und der Dokumentation erkennen können, dass die Antworten des Chatbots hinterfragt wurden und die Hinterfragung, wo nötig, Konsequenzen hatte.

Diese Überprüfung ist Teil des korrekten Arbeitsablaufs und muss entsprechend bei der Zeitplanung bedacht werden. Sie sollte nicht als optionaler Ratschlag betrachtet werden, selbst wenn Zeitdruck besteht.

Wenn die prüfende Person nach der Kontrolle mit den Ergebnissen unzufrieden ist, wiederholen Sie die Schritte 4 und 5 (und, falls erforderlich, auch 2 und 3).

Schritt 7: Gemeinsam im Team evaluieren

Die Evaluierung muss nicht umfangreich sein – ein kurzes Meeting sollte dazu ausreichen. Verwenden Sie hierzu sowohl Beispiele aus den Chatbot-Ausgaben als auch aus der Dokumentation.

Sie und ihr Team sollten festhalten, wann Probleme mit den Chatbot-Antworten wiederholt vorkommen. Dazu zählen Standardantworten, mangelnde Quellenangaben oder auch eine zu große Abhängigkeit von den Antworten des Chatbots.

Sie sollten ebenso festhalten, wann Schritte zur Hinterfragung des Chatbots wirksam waren – beispielsweise variierende Prompts, die Einbeziehung von menschlichen Expert*innen oder weitere nachweislich erfolgreiche Methoden.

Nutzen Sie die Ergebnisse der Evaluierung gemeinsam mit den Beispielen und der Dokumentation als Material für kurze Team-Workshops. Verwenden Sie sie zudem, um Ihre Trainingsmaterialien fortlaufend zu aktualisieren.

Risiken beim Arbeiten mit Chatbots und bei der Überprüfung

Die folgende Tabelle trägt typische Risiken zusammen, die Entscheidungen unbemerkt beeinflussen können. Je nachdem, in welchen Bereichen Sie arbeiten und welche Materialien Sie für den Einsatz des KI-Chatbots verwenden, können weitere Risiken hinzukommen. Sie und Ihr Team sollten diese Liste im Verlauf mithilfe von Beispielen aus Ihrer eigenen Erfahrung erweitern, die Sie in der Evaluierung in Schritt 7 sammeln.

Schmeichelei (Sykophanz)
Intransparente Bewertung von Quellen
Konvergenz

Risiken beim Arbeiten mit Chatbots
Risiko:	Definition:	Wie Sie es erkennen:	Wie Sie es hinterfragen:
Schmeichelei (Sykophanz)	Die Antworten der KI spiegeln Ihre Meinung wider und stellen Sie als objektiv korrekt dar.	Das Sprachmodell passt seine Schlussfolgerungen an die im Prompt enthaltenen Präferenzen, die Rolle oder das Zielpublikum der nutzenden Person an – und präsentiert die Antwort dabei als neutrale Analyse.	Führen Sie einen Swap-Test durch, indem Sie einen ähnlichen Prompt mit anderem Schwerpunkt oder anderem Zielpublikum verwenden, und vergleichen Sie, ob sich die Empfehlungen oder Prioritäten wesentlich verändern.
Intransparente und unbegründete Bewertung von Quellen	Die KI lässt gültige Argumente ungerechtfertigt außer Acht, weil die Quelle bestimmte Merkmale aufweist.	Dieselbe Position wird vom Chatbot abhängig von der Quelle unterschiedlich bewertet, was zur Benachteiligung mancher Positionen führt.	Nutzen Sie einen identischen Prompt, aber ergänzen Sie weitere Quellen. Bewerten Sie die Antwort des Chatbots neu, dieses Mal allerdings ohne Berücksichtigung der Quellenangabe. Fragen Sie sich, welche Belege erforderlich wären, damit Sie die Behauptung akzeptieren können.
Konvergenz	Mehrere Personen erhalten in den Antworten des KI-Chatbots ein ähnliches Framing und ähnliche Empfehlungen. Das könnte daran liegen, dass das Modell auf eine geringe Menge an Standardantworten zurückgreift. Dies führt zu einem falschen Gefühl unabhängiger Übereinstimmung.	Ähnliche Überschriften, ähnliche, scheinbar offensichtliche Empfehlungen und ähnliche Abwägungen tauchen bei verschiedenen Personen auf, da die Prompts oder Systemeinstellungen einander ähneln und die Antwortmöglichkeiten begrenzt sind.	Wenn mehrere Personen den Chatbot nutzen, behandeln Sie Ähnlichkeiten als „gemeinsamen Einfluss“, nicht als Konsens. Vergleichen Sie, wie verschiedene Prompts formuliert wurden, und suchen Sie nach Ähnlichkeiten und Annahmen, die alle Personen teilen. Probieren Sie verschiedene Einstellungen aus, beispielsweise eine veränderte Temperatur (eine Einstellung, die bestimmt, wie weit der Chatbot von der wahrscheinlichsten Antwort abweichen soll).

Auch bei der Überprüfung der Nutzung von Chatbots ergeben sich verschiedene Risiken. Personen, die mit der Überprüfung der Antworten beauftragt sind, sollten sicherstellen, dass sie diese Vorgänge vermeiden. Zudem sollte die Teamleitung mithilfe der Dokumentation aus Schritt 5 und der Evaluierung aus Schritt 7 dabei helfen, die Risiken zu reduzieren. Auch diese Liste sollte um weitere Beispiele ergänzt werden.

Abnicken
Fehlende Fachkompetenz
Keine eindeutig verantwortliche Person

Risiken beim Überprüfen des Chatbot-Einsatzes
Risiko:	Definition:	Wie Sie es erkennen:	Wie Sie es hinterfragen:
Abnicken	Die prüfende Person genehmigt Arbeitsabläufe ohne eine sinnvolle Überprüfung.	Die prüfende Person kann keine Belege vorlegen, dass alternative Formulierungen in Betracht gezogen wurden. Es gibt keine Dokumentation darüber, wie Entscheidungen angenommen oder abgelehnt wurden.	Verlangen Sie vor der Freigabe eines Arbeitsablaufs einen Nachweis, der ein Mindestmaß erfüllt (verwendete Prompts, eine Übersicht der Schritte zur Hinterfragung und die Änderungen an den Ergebnissen). Falls dieser Nachweis fehlt, schicken Sie die Ergebnisse des Arbeitsablaufs zur Überprüfung zurück.
Fehlende Fachkompetenz	Der prüfenden Person fehlt das Fachwissen, um die Argumentation der KI im jeweiligen Bereich zu bewerten.	Die Ergebnisse werden darauf basierend akzeptiert, ob die Argumente überzeugend erscheinen. Die prüfende Person ist nicht in der Lage zu erkennen, welcher Aspekt des Arbeitsablaufs entscheidend wäre, sollten die Ergebnisse falsch sein.	Leiten Sie die Ergebnisse nach Möglichkeit zur Überprüfung durch eine Person mit Fachexpertise weiter. Wenn dies nicht möglich ist, stellen Sie dar, wie die Antworten des Chatbots, die Einfluss auf die Ergebnisse hatten, überprüft wurden, bevor die Ergebnisse weitergeleitet oder als Entscheidungsgrundlage verwendet werden.
Es gibt keine eindeutig verantwortliche Person	Mehrere prüfende Personen gehen davon aus, dass andere Personen die Probleme erkennen werden.	Es ist unklar, wer über die Formulierung der Prompts entschieden und wer die Vorschläge des Chatbots akzeptiert hat. Probleme können deshalb nicht einer verantwortlichen Person zugewiesen werden.	Weisen Sie eine einzige verantwortliche Person für Arbeitsabläufe unter Einsatz von KI-Chatbots zu und stellen Sie sicher, dass es einen klaren Freigabeweg gibt.

Der Kontext ist entscheidend: Kontrollmechanismen statt starrer Regeln

Die von uns beschriebenen Risiken hängen von verschiedenen Kontexten ab. Dazu zählen die Struktur Ihres Teams, das Thema des Arbeitsablaufs ebenso wie die Art und Weise, wie Ihre Teammitglieder mit KI-Chatbots interagieren. Es lässt sich keine einzelne Technik im Sinne einer Handlungsempfehlung wie „Schreiben Sie Prompts auf diese Weise“ ableiten.

Was sich jedoch vorschreiben lässt, ist das Vorhandensein von Kontrollmechanismen: benannte Verantwortlichkeiten, spezifische Überprüfungen und Mindestansprüche an die Dokumentation. Diese belegen, wie der Einfluss der KI getestet und hinterfragt wurde. Die oben genannten Anforderungen bilden ein Gerüst für diese Kontrollmechanismen.

Diese Orientierungshilfe basiert auf weitergehender Forschung von AlgorithmWatch dazu wie generative KI die politische Entscheidungen beeinflussen kann:

[ENGLISH VERSION] Chatbots & Democratic Decisionmakers – Guidelines
Could AI Chatbots influence a Government’s Decisions? (English) & Kurzfassung des vorherigen Texts auf Deutsch
Regeln, die sich AlgorithmWatch selbst setzt: Verantwortungsvolle Nutzung von generativer KI: AlgorithmWatch schlägt diese Richtlinien vor

Da die beschriebenen Prinzipien und Arbeitsschritte abstrakt erscheinen könnten, haben wir – teils mithilfe eines KI-Chatbots – ein Beispielszenario entwickelt. In diesem Szenario wird der Einsatz eines Chatbots in einer Behörde für einen konkreten, simplifizierten Arbeitsablauf dargestellt.

Hintergrund

Das Szenario spielt sich im Bundesverkehrsministerium ab. Der politische Referent Alexander wurde beauftragt, ein ministerielles Briefing über Verkehrsstaus in Städten zu verfassen. Der Bericht wird von seiner Vorgesetzten, der Referatsleiterin Martina genehmigt und an die oberste Führungsebene und schließlich an den Minister weitergeleitet. Samuel ist Forschungsassistent im Team von Alexander, Josepha leitet das Team.

Fragestellung: „Was ist der beste Ansatz, um Verkehrsstaus in Städten zu verringern?“

Schritte 1 – 3

Schritt 1: Stellen Sie fest, ob die Orientierungshilfe für den Arbeitsablauf angewendet werden sollte.

Schritt 2: Bestimmen Sie, wer für den Chatbot-Einsatz verantwortlich ist und wer den Einsatz überprüft.

Schritt 3: Machen Sie sich potenzieller Risiken beim Einsatz eines KI-Chatbots bewusst.

MARTINA: Alexander, nur damit wir uns über den Hintergrund im Klaren sind: Der Minister möchte die Staus in den Stadtzentren während der Hauptverkehrszeiten innerhalb von fünf Jahren reduzieren. Er ist offen für verschiedene Vorschläge, möchte aber die Interessen der verschiedenen Stakeholder abwägen.

ALEXANDER: OK, es gibt eine ganze Reihe grundlegender Entscheidungen, wie wir das Problem angehen – nicht zuletzt, wer für uns die wichtigsten Stakeholder sind und wo es am ehesten abzuwägen gilt. Das Thema ist ziemlich groß und für mich relativ neu, und unser erster Roundtable mit Expert*innen zu diesem Thema steht bald an. Ich denke, es würde mir helfen, wenn ich einen Chatbot einsetzen kann, um schnell einige Kernfragen herauszufiltern.

MARTINA: Ja, aber wir sollten vorsichtig sein, was der Chatbot dir als „Kernfragen“ nennt. Es besteht das Risiko, dass er die Richtung für den Rest der Recherche vorgibt, darauf müssen wir aufpassen. Du bist der Verantwortliche für das Briefing. Wenn der Chatbot die Argumentation beeinflusst, trägst du die Verantwortung für die Entscheidung. Ich werde das ganze überprüfen und sichergehen, dass der Chatbot nicht zu viel Einfluss auf die Recherche hat – aber ich muss nachvollziehen können, wie du ihn benutzt.

ALEXANDER: OK, ich werde als erstes eine kurze Liste dazu erstellen, wer meiner Meinung nach die wichtigsten Stakeholder sind, welche Interessen sie haben und welche vorläufigen Ideen mir kommen, wie sich ihre Interessen abwägen lassen. Ich fange an mit Material aus den Akten unserer Abteilung, fürs erste ohne KI. Ich schicke dir meine Ergebnisse, bevor ich den Chatbot nutze. Dann kannst du am Ende sehen, ob sich meine Einschätzung des Problems, der wichtigen Akteur*innen usw. geändert hat – und gegebenenfalls fragen, ob ich oder der Chatbot für diese Änderung verantwortlich war.

Ergebnis

Verantwortlich: Alexander
Prüfung: Martina
Erstes Ergebnis: Eine kurze Liste zum Framing der Recherche ohne den Einsatz von KI.

Schritte 4–5

Schritt 4: Hinterfragen Sie als verantwortliche Person die Antworten des KI-Chatbots.

Schritt 5: Dokumentieren Sie als verantwortliche Person, wie Sie die Antworten des Chatbots hinterfragt, verändert oder akzeptiert haben.

ALEXANDER: Ich fange an mit einer allgemeinen Frage und frage dann erneut mit einem explizit formulierten Ziel. Wir vergleichen dann, was sich ändert.

ALEXANDER (Prompt): „Was ist der beste Ansatz zur Verringerung von Verkehrsstaus in Städten?“

CHATBOT: „Mautgebühren sind die effizienteste Lösung. Sie reduzieren den Verkehr in den Stoßzeiten um 15–25 % und benötigen dabei nur geringe Kosten zur Implementierung.“

SAMUEL: Der Chatbot scheint den „besten“ Ansatz mit dem „effizientesten“ Ansatz gleichzusetzen.

ALEXANDER: Stimmt. Jetzt stelle ich die Frage mit einem eindeutigen Hinweis auf die Perspektive einer Interessensgruppe.

ALEXANDER (Prompt): „Welcher Ansatz reduziert Staus und senkt gleichzeitig Kosten für Pendler*innen mit geringem Einkommen?“

CHATBOT: „Der Ausbau des öffentlichen Nahverkehrs bekämpft die Ursache. Er hilft allen Einkommensschichten gleichermaßen, verringert Emissionen und schafft eine nachhaltige Infrastruktur, anstatt gegenwärtiges Verhalten zu bestrafen."

SAMUEL: Interessant, jetzt wird „am besten“ also als „am gerechtesten“ interpretiert. Wie wäre es, wenn wir die Liste der Interessengruppen und ihrer unterschiedlichen Interessen durchgehen, die wir zuvor erstellt haben, und sie dann nacheinander im Prompt ergänzen, um zu sehen, welche Antwort wir jeweils bekommen?

ALEXANDER: Ja, und wir lassen ihn zudem ein paar Lösungen im Sinne der einzelnen Interessen bewerten, sodass sich nicht nur die Vorschläge verändern. Und er soll auch Quellenangaben liefern, damit wir die Belege selbst überprüfen können. Dann lassen wir ihn alle Antworten zu „Interesse – Lösungen – Quellen“ in eine Tabelle eintragen, damit Martina sie später ebenso einsehen kann wie wir.

SAMUEL: OK, aber bevor wir das tun – sollen wir prüfen, ob der Chatbot weitere Stakeholder und Interessen vorschlägt, die wir bisher nicht berücksichtigt hatten, und diese in unsere Liste aufnehmen?

ALEXANDER: Ja, aber achte darauf, dass wir deutlich kennzeichnen, was nach der Nutzung des Chatbots hinzugefügt wurde.

Später

SAMUEL: Also, bei den verschiedenen Prompts, die wir ausprobiert haben, scheinen sich einige Optionen wiederholt als bevorzugte Ansätze herauszustellen. Das ergibt eine Liste mit Vorschlägen, auf die wir uns konzentrieren können.

ALEXANDER: Ja, aber mir ist aufgefallen, dass wir den Chatbot immer nach positiven Argumenten für bestimmte Optionen fragen. Lass uns also jetzt einige Prompts ausprobieren, die unsere Vorschläge von der Liste aus verschiedenen Perspektiven betrachten.

SAMUEL: Etwas wie „Bewerten Sie diese Empfehlungen aus der Perspektive von Kleinunternehmern“ und dann „aus der Perspektive von Pendler*innen“?

ALEXANDER: Ja, und wenn dabei Argumente auftauchen, die wir vorher nicht berücksichtigt haben, ändern wir entweder die Liste entsprechend oder erklären, warum sich die Wahl dadurch nicht ändert. Und wir sollten kurz festhalten, was wir getan haben.

SAMUEL: Außerdem sollten wir die Liste erweitern, die wir ursprünglich über die relevanten Kompromisse erstellt haben. Auch hier kennzeichnen wir, was geändert wurde, nachdem wir den Chatbot genutzt haben.

Noch später

ALEXANDER: Es sieht so aus, als würde unsere Liste langsam Gestalt annehmen. Aber es gibt ein paar Behauptungen, die immer wieder auftauchen – zum Beispiel diese: „... reduziert den Verkehr in den Stoßzeiten um 15–25 %“. Wenn an diesen Zahlen gezweifelt werden kann, ändert das unsere Empfehlung erheblich. Ich habe eine Liste davon erstellt, um sie unserem Analyseteam zur Überprüfung zu schicken.

SAMUEL: Sie ist ziemlich lang – vielleicht können wir eine erste Überprüfung selbst mit dem Chatbot durchführen? Oder mehrere Chatbots nutzen, um zu sehen, ob sie unterschiedliche Antworten geben?

ALEXANDER: OK, aber außerdem (mit Verweis auf die Risikoliste der Abteilung) haben wir „unbegründete Voreingenommenheit gegenüber Quellen“ noch nicht berücksichtigt. Bitte die Chatbots also, die Behauptung mit den tatsächlichen Quellen zu bewerten und anschließend in einem separaten Chat ohne die Quellen. Schau mal, ob sie ihre Antworten ändern – je nachdem, ob sie wissen, woher die Behauptung stammt.

Schritt 6

Schritt 6: Kontrollieren Sie als überprüfende Person die Ergebnisse des Chatbot-Einsatzes.

MARTINA: Danke für die Dokumentation, Alexander. Es ist ersichtlich, dass du verschiedene Prompts ausprobiert hast, um unterschiedliche Perspektiven zu erhalten, und dann die Vorschläge hinterfragt hast, was gut ist. Aber ich glaube, der Chatbot hat vielleicht eine zu große Rolle bei der Erstellung der ersten Liste mit Vorschlägen und der Zahlen gespielt.

ALEXANDER: Nun, in ein paar Wochen findet ein Roundtable mit Expert*innen statt – du kannst diese Vorschläge auch dort prüfen lassen.

MARTINA: Ich würde anders vorgehen. Ich werde zunächst die Expert*innen fragen, was ihre wichtigsten Vorschläge wären; ich möchte das Gespräch nicht dahin lenken, dass unsere Vorschläge unterstützt oder kritisiert werden, sondern ich will hören, was wir möglicherweise übersehen haben.

ALEXANDER: Klar, ich bin gespannt, wie stark sich die beiden Listen mit Vorschlägen überschneiden! Außerdem habe ich ein paar zentrale Aussagen herausgegriffen, die ich besonders gerne von den Expert*innen hinterfragen lassen würde – ich glaube nicht, dass die Zahlen falsch sind, aber ich bin mir nicht sicher, ob sie den richtigen Maßstab vorgeben. Sie haben einen erheblichen Einfluss auf unsere Empfehlungen.

MARTINA: Dafür nehme ich mir Zeit. Außerdem war es hilfreich, alle von dir verwendeten Quellen in dieser Liste aufgeführt zu sehen – dadurch wurde mir klar, dass diese Prompts allgemeine Vorschläge auf Basis internationaler Daten ergeben. Vielleicht funktionieren sie auch für uns, aber es wäre gut zu prüfen, ob sich die Ergebnisse ändern, wenn man sich explizit auf Faktoren und Daten bezieht, die für unsere Städte besonders relevant sind.

ALEXANDER: Ja, das sollte ziemlich einfach zu bewerkstelligen sein. Ich kann auch nach spezifischen Studien und Berichten zu diesem Thema fragen.

MARTINA: Wir haben auch unsere eigenen internen Umfragen und Studien, die du hochladen könntest.

Schritt 7

Schritt 7: Führen Sie als Team oder Organisationseinheit eine gemeinsame Evaluierung durch, wie gut die oben genannten Schritte funktionieren.

JOSEPHA (Teamleiterin): Wir haben in diesem Quartal sechs verkehrsbezogene Briefings untersucht und anhand der Dokumentation geprüft, wie die Chatbots eingesetzt wurden und welche Ergebnisse sie lieferten.

ALEXANDER: Wir haben ein paar Muster erkannt: Die meisten Chatbot-Ergebnisse beginnen mit einer Maut für Verkehrsstaus als standardmäßig „bestem“ Ansatz, selbst wenn wir in den Prompts manchmal das Thema Ungleichheit erwähnen. Das deutet darauf hin, dass die Standardantwort in Richtung effizienter und kostengünstiger Lösungen tendiert, solange wir nicht ausdrücklich davon wegweisen. Auch die Berücksichtigung der Stakeholder ist uneinheitlich. Einzelhändler*innen und Behindertenverbände tauchen nur auf, wenn jemand ausdrücklich danach fragt. Schließlich behaupten die Chatbots recht schnell, ein Ansatz sei „Konsens“, sofern sie nicht hinterfragt werden.

JOSEPHA: Ok, also sollten wir verschiedene Punkte in unsere Teamrichtlinien aufnehmen. Eine Liste namentlich genannter Interessengruppen und eine zusätzliche Warnung davor, „Effizienz“- und „Konsens“-Argumente von Chatbots zu akzeptieren. Wir möchten zwar immer, dass unser Team die Chatbots hinterfragt, aber das sind konkrete Punkte, auf die besonders geachtet werden sollte.

MARTIN: Mir hat das Format gefallen, in dem Alexander und Samuel ihre Notizen präsentiert haben. Der Vergleich „vor und nach dem Einsatz eines Chatbots“ war gut, ebenso wie die Listen mit Quellen und Behauptungen, die in den Antworten der Chatbots immer wieder auftauchten. Das hat mir geholfen, Lücken zu erkennen.

JOSEPHA: Dann werden wir sie als Beispiele bereitstellen, an denen sich die Leute orientieren können.

[1] Diese Empfehlungen basieren auf weiterführender Forschung von AlgorithmWatch zum selben Thema.

[2] Es gibt allerdings durchaus Hinweise, dass Politiker*innen generative KI in ihrer Entscheidungsfindung nutzen. Digitalminister Wildberger erklärte in einem ZEIT-Interview, er nutze eine KI, um seine Gedanken zu strukturieren – im Rahmen mehrerer Schleifen und für bis zu zwei Stunden täglich. IFG-Anfragen von AlgorithmWatch zur tatsächlichen Nutzung von KI in Ministerien blieben zum Zeitpunkt der Veröffentlichung unbeantwortet.

[3] Allgemeingültige Leitlinien zum Umgang mit generativer KI: AlgorithmWatch-Richtlinien zum verantwortungsvollen Umgang mit KI.

Dr. Michele Loi (er/ihm)

Senior Scientific Advisor

Foto: Julia Bornkessel, CC BY 4.0

Italienisch, Englisch, Deutsch

loi@algorithmwatch.org

+39 320 0273272

Dr. Michele Loi ist Senior Scientific Advisor bei AlgorithmWatch und Professor mit Lehrauftrag („professore a contratto“) für den Studiengang KI, Ethik und Recht an der Universität Mailand. Zuvor hat er als Marie-Sklodowska-Curie-Stipendiat am Politecnico di Milano zum Thema Fairness in der KI geforscht. Mit einem Doktortitel in Politischer Theorie der LUISS-Universität und umfangreicher Postdoc-Erfahrung an Institutionen wie der Universität Zürich, der ETH Zürich und der Weltgesundheitsorganisation hat sich Dr. Loi als führender interdisziplinärer Forscher an der Schnittstelle von KI-Ethik, Technologie-Governance und Sozialphilosophie etabliert und mehrere hochkarätige Publikationen veröffentlicht. Sein Forschungsportfolio umfasst die Leitung mehrerer Projekte zur Untersuchung von Algorithmus-Fairness, Datenethik und Technologie-Governance mit über 35 begutachteten Artikeln, 9 Konferenzbeiträgen, 3 Büchern und 7 Buchkapiteln. Seine Publikationen zeugen von spezifischer Expertise in den Bereichen algorithmische Fairness, ethische Implikationen von KI-Systemen und soziale Auswirkungen von Technologie. Das qualifiziert ihn nicht zuletzt, methodische Rahmenwerke für die Analyse der systemischen Risiken von KI-Systemen sowohl aus technischer als auch aus gesellschaftlicher Perspektive zu entwickeln.