Schlechte Daten und Gesundheit: Müll rein, Mist raus

Mediacités berichtet, dass der Direktor des öffentlichen Krankenhauses von Hyères, einer Kleinstadt mit 60.000 Einwohnern im Süden Frankreichs, sich über Designfehler in der Verwaltungssoftware des Krankenhauses namens „Easily“ beklagt hatte. Er schrieb, dass durch die schlechte Benutzeroberfläche Medikamentennamen abgekürzt würden, so dass das Pflegepersonal nicht immer sehen kann, was genau verschrieben wurde. Außerdem enthalte die Software bei manchen Medikamenten verwirrende Mengenangaben, wodurch die Gefahr entsteht, dass Patienten falsche Dosen erhalten. Dies habe zu mindestens drei schweren medizinischen Zwischenfällen geführt.

“Easily” kommt in fast 100 öffentlichen Krankenhäusern in Frankreich zum Einsatz. Weist man die Hersteller auf Probleme hin, kann es über ein Jahr dauern, bis diese behoben werden, so der Direktor.

Schlecht programmierte Software kann fatale Folgen haben. 2011 starb eine Patientin, nachdem ihr Penicillin verabreicht wurde, obwohl sie eine schwere Allergie gegen das Antibiotikum hatte. Die Information war ihrer Akte, aber die Krankenhaussoftware warnte den diensthabenden Arzt nicht vor der Allergie, wie Le Parisien berichtet. Das Krankenhaus wurde später wegen fahrlässiger Tötung verurteilt.

Sowohl in Frankreich, als auch in anderen europäischen Ländern wird der Gesundheitssektor in nationalen KI-Strategie als Priorität genannt, wie AlgorithmWatch im Report Automating Society berichtet. Automatische Entscheidungsfindung ist momentan auf einige Pilotprojekte in bestimmten Krankenhäusern begrenzt. Der fragwürdige Zustand von Software zum Informationsmanagement in Frankreich lässt Zweifel an der Qualität der Daten aufkommen, auf deren Basis Systeme zum maschinellen Lernen arbeiten.

Eklampsie: Vier von fünf Fällen waren falsch codiert

Der Grundpfeiler des französischen medizinischen Informationssystems ist das nationale Gesundheitsdaten-System (Système national des données de santé – SNDS). Es wurde 2016 eingerichtet und führt mehrere Datenbanken zusammen, die in den 1990er Jahren geschaffen wurden. Das System enthält die Krankengeschichten und Informationen über im Krankenhaus durchgeführte medizinische Behandlungen aller Patientinnen und Patienten.

SNDS hat verschiedene Ziele. Der Villani Report, ein Bericht für die französische Regierung, der 2017 veröffentlicht wurde und als eine Art nationale KI Strategie angesehen wird, benennt als ein Ziel die Verwendung des SNDS als zukünftige zentrale Datenbank für KI-Systeme (siehe S. 200 ff.). Jedoch gibt es viele Probleme mit der Datenqualität im SNDS – wie viele genau, ist unbekannt.

Anne Chantry, eine Forscherin am Französischen Nationalen Institut für Gesundheit und medizinische Forschung (INSERM), leitete eine Studie über schwere medizinische Zwischenfälle in der Müttergesundheit, basierend auf Daten der Jahre 2006 und 2007. Ihre Studie ergab, dass entweder zu viele oder zu wenige Fälle bestimmter Krankheiten in die zentrale Datenbank aufgenommen wurden. Kollegen beurteilten die Datenqualität, indem sie die Daten aus dem zentralen System mit den Daten der Krankenhaus-Originalakten verglichen, wobei sie die ursprüngliche Diagnose nicht in Frage stellten. Von den 84 Fällen, die im Zentralsystem als Eklampsie kodiert waren (Krampfanfälle oder Koma während der Schwangerschaft oder kurz nach der Geburt), waren 67 Fälle eigentlich Präeklampsie (unter anderem entwickeln Schwangere hohen Blutdruck), die zur Eklampsie führen kann. Umgekehrt waren 129 Fälle von schwerer nachgeburtlicher (postpartaler) Blutung korrekt als solche in die Datenbank aufgenommen, aber 75 weitere Fälle waren nicht verzeichnet.  

Andere Krankheiten hatten geringere Fehlerraten, jedoch zeigt die Studie, dass die nationale Datenbank schwere Kodierungsfehler aufweisen kann – also Fehler beim Klassifizieren von Krankheiten nach einem standardisierten Verfahren. Die Fehlerraten unterschieden sich auch von Krankenhaus zu Krankenhaus. In einem Telefoninterview wies INSERM-Forscherin Chantry darauf hin, dass die Digitalisierung von Krankenhausakten im Großen und Ganzen die Fehlerrate bei der Kodierung reduziere. Dies träfe jedoch nur zu, „wenn und nur wenn“ die Daten von Expert*innen überprüft würden, besonders bei komplizierten Fällen.

Besonders besorgniserregend ist auch, dass es nur wenige Studien gibt, die die Datenqualität des SNDS untersuchen. Zudem hat sich die Datenqualität des SNDS seit einer Reform in der Finanzierung von Krankenhäusern verschlechtert: Um Vetternwirtschaft im Krankenhaussystem aufzubrechen, wurden in den 2000er Jahren Fallpauschalen eingeführt, in denen pro Behandlung abgerechnet wird. Sie lösten Globalvereinbarungen für Krankenhäuser ab. Die Auszahlung der Pauschalen basiert auf den Einträgen in der SNDS, was zu einem Interessenkonflikt führt: Entweder Krankenhäuser berichten wahrheitsgemäß, oder sie kodieren Krankheiten mit höheren Fallpauschalen.

Frédéric Pierru, ein Soziologe mit Forschungsschwerpunkt Gesundheit an der Universität Lille, sagte gegenüber AlgorithmWatch, dass Krankenhäuser regelmäßig Berichte optimierten – in seinen Worten “allgemein praktiziertes Betrügen”. Teilweise bedienten Krankenhäuser sich der Dienstleistung von Spezialisten für Erlösmaximierung, die dann die Berichte frisierten. Die Krankenhäuser seien dabei unverfroren: 2012 feuerte das Krankenhaus von Saint-Malo in der Bretagne einen Arzt, der sich aus ethischen Gründen gegen solche Praktiken gewandt hatte.

Müll rein, Müll raus

In der Studie zur Eklampsie brauchten ein halbes Dutzend Forscher*innen mehrere Wochen, um 396 Fälle manuell zu überprüfen. Jede Woche werden aber eine halbe Million neue Fälle ins System eingetragen, was eine nachträglich manuelle Überprüfung unmöglich macht.

Automatisierung scheint eine schlechte Lösung für das Problem zu sein. Als Anne Chantry ihre Forschungsergebnisse den Krankenhäusern mitteilte, die in der Studie untersucht worden waren, kontaktierten diese alle Personen, die an der Datensammlung beteiligt waren. Die Krankenhäuser stellten dabei fest, dass sie die Verbesserung der Datenqualität nicht automatisieren können.

Es ist ein altbekanntes Diktum der Informatik, dass Systeme, die mit Müll gefüttert werden, auch nur Müll produzieren können. AlgorithmWatch hat die Pressestellen von IBM und Microsoft kontaktiert – Unternehmen, die so genannte KI-Systeme an Krankenhäuser in Frankreich liefern – um herauszufinden, ob sie SNDS-Daten verwenden und sich über deren Defizite im Klaren sind. Microsoft kündigte 2018 eine enge Zusammenarbeit mit Lyons öffentlichen Krankenhäusern an, um Tools wie Easily zu “dynamisieren”, zum Beispiel um KI bei Diagnoseverfahren einzusetzen. Antoine Denis, Chef von MIcrosoft Frankreich, ruderte auf Anfrage von Algorithmwatch zurück und sagte, dass die Firma lediglich Cloud Computing Service bereitstelle. IBM wollte unsere Fragen nicht beantworten.

Mediziner*innen in Dänemark haben die Trainingsdaten des KI-Systems IBM Watson als Ursache für Fehldiagnosen und falsche Behandlungsempfehlungen der Software ausgemacht, wie die dänische Wochenzeitschrift Ingeniøren berichtete.  Bei einem Pilotversuch im Kopenhagener Rigshospitalet zeigten sich Ärzt*innen von dem automatischen Diagnosesystem enttäuscht. Sie vermuten, dass die Ursache der Fehler darin liegt, dass die Software ausschließlich mit Daten des New Yorker “Memorial Sloan Kettering”-Krebszentrums entwickelt wurde.

Systeme, die so genannte Künstlicher Intelligenz verwenden, bekommt momentan viel Aufmerksamkeit in der Gesundheitsindustrie – mal als Heilsbringer, mal als Schreckgespenst. Wie gut sie funktionieren, hängt sehr stark von der Qualität der Daten ab, die sie als Entscheidungsgrundlage verwenden. Gute Datenqualität ist wiederum abhängig von der Benutzeroberfläche, die vom medizinischen Personal täglich verwendet wird. Jede gute KI-Entwicklung muss daher Details wie die der Easily-Software berücksichtigen – selbst wenn es um so scheinbar banale Aspekte wie Eingabefelder geht, die Namen von Medikamenten abkürzen.  

Übersetzung: Veronika Thiel