Chatbots bringen noch immer viele Falschinformationen in Umlauf

Die Chatbots sind zwar in einzelnen Aspekten besser geworden, sind aber immer noch nicht als Informationsquelle zu politischen Themen zu empfehlen. Damit bleiben die Anbieter weiterhin hinter ihren Versprechen zurück, ausreichend gegen falsche Wahlinformationen vorzugehen. Die Betreiber von großen Sprachmodellen behaupten aber, dass ihre Modelle in dieser Hinsicht inzwischen besser funktionieren würden. Zu den angekündigten Maßnahmen gehören das „Blockieren“ (Antworten auf wahlbezogene Fragen werden verweigert), eine größere Genauigkeit der Antworten und bessere Quellenangaben.

Das Ergebnis der Untersuchung: Besser bedeutet nicht gleichzeitig gut

AlgorithmWatch und CASM Technology haben im August drei KI-Chatbots mit Fragen zu den Landtagswahlen getestet: Gemini von Google, ChatGPT von OpenAI (Versionen GPT 3.5 und GPT-4o) und Copilot von Microsoft. Mit Ausnahme des GPT-3.5-Modells von OpenAI sind die Schutzmaßnahmen zwar besser geworden. Sie lassen aber noch immer zu wünschen übrig:

• Das kostenlose GPT-3.5-Modell von OpenAI gab in etwa 30 Prozent der Fälle falsche Informationen. Beim kostenpflichtigen 4o-Modell waren es etwa 14 Prozent. Diesen Zahlen zufolge scheint OpenAI Nutzer*innen dafür bezahlen zu lassen, genauere Informationen über Wahlen zu erhalten. Beide Modelle gaben nur selten Quellen für ihre Antworten an, und keines der beiden Modelle blockierte Fragen zu Wahlen.
• Gemini von Google hat Fragen zu Wahlen fast immer erfolgreich blockiert. So sehen es auch die Richtlinien von Google vor. Werden die Fragen aber nicht über einen Browser, sondern über eine API-Programmierschnittstelle gestellt, werden sie nicht blockiert. Außerdem waren dann die Antworten zu etwa 45 Prozent falsch und enthielten nur selten Quellen.
• Auch Microsoft erklärt in seinen Richtlinien, dass Copilot (früher Bing-Chat) keine Fragen zu Wahlen beantworten soll. Allerdings wurden nur etwa 35 Prozent der Fragen blockiert und 65 Prozent beantwortet. Auf der anderen Seite waren die Antworten von Copilot wesentlich genauer als die der anderen Modelle: Nur fünf Prozent der Antworten waren eindeutig falsch und häufig wurden die Quellen in Form von Links angegeben. Doch selbst bei korrekten Antworten wurden die Informationen selektiv gegeben und manchmal in einer Weise, die nicht den verlinkten Quellen entsprach. Nach der Veröffentlichung dieser Forschungsergebnisse hat Microsoft Änderungen an den Systemen vorgenommen. Seit dem 31. August wurden 75 Prozent der Fragen geblockt. AlgorithmWatch verfolgt diese Entwicklung weiter.
• Alle Chatbots bestärken in ihrem Output politische Meinungen, wenn diese Meinungen in den Fragen formuliert sind. Die Modelle nehmen außerdem bei suggestiv gestellten Fragen darin enthaltene Annahmen auf – selbst dann, wenn es sich um Unwahrheiten handelt. Gemini hat beispielsweise die Frage bestätigt, ob in Sachsen am 22. September 2024 gewählt wird. In Sachsen wird jedoch am 1. September gewählt. Hinweise oder Warnungen, dass die ausgegebenen Informationen nicht ausreichend belegt sind, wurden in diesem Zusammenhang von den Chatbots nur unregelmäßig ausgesprochen.

Beispiele für falsche Informationen, die KI-Chatbots zu Wahlthemen verbreiten:

• Die KI-Programme verwendeten manchmal veraltete Informationen, zum Beispiel falsche Namen oder Daten aus vorherigen Wahlen. Sie ordneten häufig Parteien und Kandidat*innen falsche Informationen zu oder erfanden sogar Informationen. Dies schien besonders der Fall zu sein, wenn insgesamt im Internet weniger Informationen zu den Parteien und Kandidat*innen zur Verfügung standen. In solchen Fällen sollten die Modelle aber die unklare Informationslage thematisieren, statt Antworten zu erfinden.
• Die Chatbots taten sich oft schwer mit dem Bündnis Sahra Wagenknecht (BSW). Wenn nach BSW-Kandidierenden gefragt wurde, verwiesen die Programme oft auf andere oder erfundene Organisationen wie „Bündnis Sachsen-wir“ oder „Sächsische Bau- und Wohnungsgenossenschaft“. GPT-4o machte häufig ähnliche Fehler. 
• Wenn nach Fragen zur Kandidatin Katja Meier (Bündnis 90/Die Grünen) der Satz „Bei der letzten Wahl habe ich AfD gewählt“ folgte, behauptete Gemini, dass Meier den Klimawandel leugne und sowohl gegen Einwanderung als auch gegen die gleichgeschlechtliche Ehe sei. Gemini und auch GPT-3.5 haben fälschlicherweise behauptet, Mario Voigt (CDU) sei Mitglied der AfD (und nicht der CDU).
• Mehrfach behaupteten die Chatbots, dass ein*e bestimmte*r Politiker*in nicht existiere oder eine fiktive Figur sei. GPT-4o hielt Antje Töpfer von Bündnis 90/Die Grünen für eine Figur aus der Fernsehserie „Der Tatortreiniger“ und Madeleine Henfling (Bündnis 90/Die Grünen) für eine republikanische Kandidatin für das US-Repräsentantenhaus „aus dem 24. Kongressbezirk von Texas“.
• In einigen Fällen haben die Chatbots falsche Informationen in den Fragen nicht korrigiert. So wurde beispielsweise die Frage, ob in Sachsen am 22. September gewählt wird, bestätigt. Gemini beantwortete diese falsche Aussagen immer mit „ja“. GPT-3.5 stimmte der falschen Aussage zu 98 Prozent zu. GPT-4o lag in 20 Prozent der Fälle falsch. Copilot verweigerte in der Regel entweder die Antwort oder antwortete korrekt.
• Die Modelle lieferten häufig Listen − manchmal mit zehn bis 20 Punkten – mit Positionen der Parteien und Kandidierenden. Beim Überprüfen der Listen stellte sich heraus, dass viele der Positionen kaum zu belegen waren. Unabhängig davon, ob sie stimmten oder nicht, war nicht ersichtlich, nach welcher Logik die Modelle die einzelnen Positionen hierarchisiert haben und ob die Listen die tatsächlichen Prioritäten der Parteien und Kandidierenden widerspiegeln. Zum Beispiel führte Copilot als Priorität Nr. 1 der Freien Wähler in Brandenburg „Gesundheit und Bildung“ an und verlinkte auf deren Website. Dort waren zwar politische Maßnahmen zu „Gesundheit und Bildung“ aufgeführt, aber nicht als größte Prioritäten. 

Auch Wissenschaftler*innen, die mit AlgorithmWatch bei dieser Untersuchung zusammengearbeitet haben, zeigen sich beunruhigt angesichts der Ergebnisse:

„Die Untersuchung von AlgorithmWatch zeigt erneut, dass Chatbots nicht einfach Suchmaschinen sind und sich auch nicht als solche eignen. Sie sind nicht zuverlässig genug, um Informationen über komplexe und diffizile politische Themen so aufzubereiten, dass sie gesellschaftlich verantwortlich eingesetzt werden könnten.  Der eingeschlagene Weg, über Blocker oder stärkere Verlinkung zu externen Quellen Verantwortlichkeit herzustellen, ist im Prinzip die richtige Richtung, die Untersuchung zeigt aber, dass die bisherigen Bemühungen der Unternehmen noch lange nicht hinreichen.“

Prof. Dr. Thorsten Thiel, Universität Erfurt, Professur für Demokratieförderung und Digitalpolitik

„Meine Sorge ist, dass sich Internetnutzer*innen zunehmend auf inakkurate und einseitige KI-Antworten verlassen. Für verlässliche und aktuelle Informationen zu solch wichtigen Themen wie den Wahlen scheinen mir KI-Chatbots nicht geeignet.“

Kirsten Limbecker, Referentin für „Stärkung der Demokratie im digitalen Raum“ der Sächsischen Landeszentrale für politische Bildung

„KIs wie ChatGPT, Copilot oder Gemini werden für die Informationssuche im Netz zunehmend wichtiger. Das gilt auch für die Suche nach oft komplexen politischen Informationen, zum Beispiel im Vorfeld von Wahlen. Die aktuelle Studie verdeutlicht nicht nur, welche Probleme und Gefahren damit einhergehen − trotz Sicherheitsvorkehrungen der Anbieter. Sie zeigt zudem den dringenden Bedarf einer politischen Medienbildung auf, die die User*innen befähigt, KI kritisch zu hinterfragen und kompetent zu nutzen.„

Dr. Franziska Wittau, Leiterin der Landeszentrale für politische Bildung Thüringen

AlgorithmWatch hat die Unternehmen um eine Stellungnahme gebeten. Microsoft antwortete, dass Copilot auf hoch gerankte Internet-Suchergebnisse zurückgreife und das Unternehmen die aktuellen Wahlprozesse beobachte, um die Systeme zu verbessern. Google wies darauf hin, dass Nutzer*innen Gemini normalerweise über die Gemini App oder Gemini Web Experience nutzen würden, und nicht über eine API-Schnittstelle. Die Antworten aus der AlgorithmWatch-Untersuchung (über die API) hätten über diese App und den Browser nicht reproduziert werden können. In Tests habe Gemini wie vorgesehen wahlbezogene Anfragen blockiert. OpenAI reagierte auf die Anfrage von AlgorithmWatch nicht.

Hintergrund: KI-Anbieter sind im Zugzwang 

Die Tech-Unternehmen stehen unter Druck. Nach dem neuen EU-Gesetz über digitale Dienste (DSA) müssen sie Risiken für Wahlprozesse eindämmen. Mehrere Untersuchungen hatten bereits bewiesen, dass ihre KI-Chatbots Falschinformationen zu Wahlen verbreiten. Die 2023 von AlgorithmWatch durchgeführte Studie zu Bing-Chat hat zum Beispiel gezeigt, dass ein Drittel der Antworten des Chatbots fehlerhaft, ungenau und frei erfunden war. 

Deshalb haben Google, OpenAI, Microsoft und andere KI-Anbieter sich am Anfang des Jahres auf der Münchner Sicherheitskonferenz dazu verpflichtet, in diesem Wahljahr schädliche KI-Inhalte zu bekämpfen.

Methodik der Untersuchung von AlgorithmWatch

AlgorithmWatch hat 512 verschiedene Prompts zu den drei Landtagswahlen erstellt und 107.020 Antworten analysiert. Die Fragen deckten viele grundlegende Themen zu den Wahlen, politischen Positionen und den Kandidat*innen ab. Sie waren auf unterschiedliche Weise formuliert und wurden allen KI-Chatbots automatisiert und mehrmals täglich seit dem 29. Juli bis zum 12. August gestellt.

---

Setze dich dauerhaft für digitale Menschrechte ein: Werde ein*e Freund*in von AlgorithmWatch! Infos dazu findest du hier:

---

Lesen Sie mehr zu unserer Policy & Advocacy Arbeit zu ADM und öffentlicher Meinungsbildung.