Medizinprofessor: „KI-Chatbots benötigen Zulassung als Medizinprodukte“

Die meisten Menschen informieren sich online über ihre Symptome, bevor sie ärztlichen Rat einholen. Sind die „Ansprechpartner“ heute vor allem Suchmaschinen, könnten die Rolle über kurz oder lang sogenannte Large Language Models (LLMs), besser bekannt als Sprach-KIs oder Chatbots, übernehmen. Professor Stephen Gilbert, Fachmann für Medizinsysteme an der TU Dresden, warnt vor den Nebenwirkungen dieser Entwicklung:

„Diese Chatbots sind unsichere Werkzeuge, wenn es um medizinische Beratung geht.“ Es sei daher notwendig, „neue Rahmenbedingungen zu entwickeln, die die Patientensicherheit gewährleisten“, so der Professor am Else Kröner Fresenius Zentrum für Digitale Gesundheit weiter.

„ChatGPT oder MedPaLM von Google haben großes medizinisches Potenzial“, erklären die Forscher. Gleichzeitig berge ihre unregulierte Verwendung im Gesundheitswesen jedoch „inhärente Risiken“. In ihrer Ende Juni in „Nature Medicine“ veröffentlichten Arbeit beschäftigen sich die fünf Autoren um Gilbert daher „mit einem der drängendsten internationalen Probleme unserer Zeit“: Wie lassen sich LLMs im Allgemeinen und im Gesundheitsbereich im Besonderen regulieren?

Weitere Schwerpunkte sind, „die begrenzten Szenarien, in denen LLMs unter den aktuellen Rahmenbedingungen Anwendung finden könnten“, die Entwicklungsmöglichkeiten von Sprach-KIs, die als medizinische Geräte zugelassen werden könnten, sowie neue Rahmenbedingungen zum Schutz der Patienten.

Chatbots: Ärzte ohne Grundausbildung

Wie die Forscher berichten, haben „LLMs mit Chat-Schnittstelle […] schon schädigende medizinische Antworten erzeugt und wurden bereits in Versuchen an Patienten, ohne deren Einverständnis, eingesetzt.“ LLMs mit nachvollziehbaren Ergebnissen, geringer Verzerrung, vorhersagbar, korrekt und mit überprüfbaren Ergebnissen gebe es derzeit nicht.

Insbesondere wenn sie mit medizinischen Fragen konfrontiert werden, könnten Sprach-KIs „äußerst gefährliche Informationen“ liefern. Grund dafür sei, dass LLMs kein Modell einer medizinischen „Grundwahrheit“ enthalten. Durch das Fehlen dieser Prozessmethode könne nicht sichergestellt werden, dass die verwendeten Daten aktuell, präzise, vollständig und bestens gepflegt sind.

Das Problem mit Sprach-KIs sei indes nicht, dass sie interaktive Gespräche führen, sondern „oft äußerst überzeugende Aussagen [generieren], die nachweislich falsch oder unangemessen sind“. Ersteres führe dazu, dass das Vertrauen der Nutzer zu ihrer virtuellen Sprechstundenhilfe steigt. Es bedeutet jedoch auch, dass es nicht möglich ist, die Qualität, Stichhaltigkeit oder Zuverlässigkeit der gegebenen Antworten zu überprüfen.

„Aktuelle LLM-Chatbots erfüllen nicht die wichtigsten Prinzipien für KI im Gesundheitswesen, wie Voreingenommenheitskontrolle, Erklärbarkeit, Aufsichtssysteme, Validierung und Transparenz“, fasst Prof. Gilbert die Situation zusammen. „Um sich ihren Platz im medizinischen Repertoire zu verdienen, müssen Chatbots für eine höhere Genauigkeit konzipiert werden, wobei Sicherheit und klinische Wirksamkeit nachgewiesen und von den Aufsichtsbehörden genehmigt werden müssen.“