Mehr Sicherheitsprobleme dank KI?
Anekdoten über Leute, die ihre Daten verloren haben, nachdem sie die Beaufsichtigung des eigenen Computers einem Chatbot anvertraut hatten, gibt es inzwischen zuhauf. Ist das ein neuer Trend? Und falls ja, ist KI schuld daran? Oder sind Leute, die Chatbots vertrauen, vielleicht schlichtweg ein bisschen zu leutselig? Dazu fehlt es noch an Forschung, aber KI macht das Problem anscheinend eher größer als kleiner.
Schadenfreude. Nachdem die Leiterin der Abteilung für KI-Sicherheit bei Meta letzten Monat einen KI-Bot aufgesetzt hatte, um ihre beruflichen Mails zu sortieren, erwies sich die Software als überengagiert und löschte ohne jegliche Vorwarnung zahlreiche Nachrichten. Summer Yue musste daraufhin angeblich mit Siebenmeilenstiefeln nach Hause laufen, um den Stecker zu ziehen. Im Dezember letzten Jahres hatte es schon einen ähnlichen Vorfall gegeben: Ein Amazon-Webdienst war 13 Stunden lang nicht erreichbar, nachdem eine automatisierte Software vorschnell neu gebooted hatte.
Weitere Beispiele gefällig? Da gibt es den Unternehmer, der sich mit Vibe-Coding ein Tool zusammengeschustert hatte, um seine Steuererstattungen zu sortieren, dabei aber versehentlich seine Steuerdaten öffentlich machte. Oder den Start-up-Gründer, dem ein automatisierter Coding-Agent seine gesamte Datenbank ausradierte.
Vertrauen. Auch wenn sich diese Liste noch lange fortsetzen ließe, ist theoretisch immer noch denkbar, dass es sich lediglich um ausgesuchte Schiffbrüche Einzelner auf einem weiten Meer handelt, durch das große Sprachmodelle üblicherweise verlässlich hindurchnavigieren. Zwar haben mehrere Studien bereits erwiesen, dass von KI-Tools generierter Code nicht sonderlich sicher ist, nachdem die Nutzer mit ihren Prompts üblicherweise keine besonderen Sicherheitsmechanismen einfordern. Aber eine Erhebung von 2023 kam zu dem Schluss, dass Code, der von Menschen geschrieben wird, auch nicht mehr Fehler enthält als maschinengenerierter.
Unbestreitbar ist hingegen, dass große Sprachmodelle einen Einfluss darauf haben, was Nutzer*innen glauben oder auch nicht glauben. Beispielsweise verstärken sie wahrscheinlich die gut dokumentierte „Automation Bias”, also das unbegründete übermäßige Vertrauen in die Ergebnisse von Computern. Während Laien, wenn sie ein Computerproblem hatten, vor ein paar Jahren noch davor zurückschreckten, eine online gefundene Lösung einfach in ein Befehlsfenster zu copypasten, tun sie das heutzutage vermutlich mit größerer Zuversicht, zumindest wenn der Inhalt von einem großen Sprachmodell stammt. Einstweilen ist das freilich nur eine Hypothese, wenn auch eine gut begründete. Studien, die den Einfluss großer Sprachmodelle auf die digitale Hygiene von Nicht-Programmierern untersuchen, liegen meines Wissens noch nicht vor.
Straßenumfrage. Wissen Spezialisten für Datenrettung mehr? Also die Leute, zu denen man geht, wenn alles andere nicht mehr hilft? Ich habe eine Reihe von Computer-Reparaturläden angeschrieben und gefragt, wie oft Kunden zu ihnen kommen, die vorher falsche Anleitungen eines Chatbots befolgt haben. Ein Laden in Bonn wusste von keinem solchen Fall zu berichten, ein weiterer in Schweinfurt ebenso wenig.
Fündig wurde ich in München, bei Alexey Lavrov. Er hatte schon mehrere Kunden, die auf den Rat von Chatbots hin verschiedene Tests an ihren Laufwerken durchgeführt hatten, wobei diese mehrfach neu gebootet worden waren. Wenn man Pech hat, macht das den Schaden nur noch schlimmer. Lavrov lässt sich jetzt gelegentlich die Chatverläufe seiner Kunden zeigen, bevor er sich an die Arbeit macht.
Liebediener. Er selbst fasst das Problem so zusammen: „KI folgt der Intention, dass der Kunde das Problem selbst lösen will, und verhindert dadurch eine richtige Voreinschätzung, ob es überhaupt machbar bzw. nicht schädlich ist.” Tatsächlich sind Chatbots nicht immer hilfreich, aber sie sind stets große Schmeichler. Fühlst du dich auch immer gleich viel besser, wenn das Modell dir sagt, wie schlau deine Frage war? Das geht mir ähnlich, und wir sind nicht die Einzigen. Laut der Vorab-Publikation eines wissenschaftlichen Aufsatzes von 2025 schmeicheln sich die maßgeblichen großen Sprachmodelle durch die Bank routiniert bei den Nutzer*innen ein.
Das verfängt vermutlich bei vielen Normal-Nutzer*innen so gut, dass sie unkritisch werden und Sicherheitsvorbehalte hintanstellen. Dass die Chatbots manchmal auch die richtige Empfehlung abgeben, hilft wenig. Denn statt aus eigenen Fehlern zu lernen, machen die Nutzer*innen sich nur in steigendem Maße abhängig von Systemen, die selbst fehleranfällig sind. Möglicherweise wird der vorprogrammierte Super-GAU so bloß ein bisschen weiter aufgeschoben. Wie meistens, bräuchte man auch hier mehr Forschung zum Thema. Aber wenn nicht mal die Leiterin der KI-Sicherheitsabteilung von Meta in der Lage ist, ihre eigenen Daten zu schützen, wie sollen wir das dann hinbekommen?
Dies ist ein Auszug aus dem Newsletter „Die automatisierte Gesellschaft“, einer zweiwöchentlichen Zusammenfassung von Neuigkeiten zur automatisierten Systemen in Europa. Hier abonnieren.