Medizinprofessor: „KI-Chatbots benötigen Zulassung als Medizinprodukte“

„Doktor Google“ weiß zwar viel, aber auch viel Blödsinn. Bevor ChatGPT und andere Sprechstundenhilfen den Schaden noch vergrößern, sei die medizinische Grundausbildung von Chatbots dringend geboten.
Wenn das Chatbots den Arzt ersetzt, leidet meist die Gesundheit.
Wenn das Internet den Arzt ersetzt, leidet meist die Gesundheit.Foto: iStock
Von 16. Juli 2023

Die meisten Menschen informieren sich online über ihre Symptome, bevor sie ärztlichen Rat einholen. Sind die „Ansprechpartner“ heute vor allem Suchmaschinen, könnten die Rolle über kurz oder lang sogenannte Large Language Models (LLMs), besser bekannt als Sprach-KIs oder Chatbots, übernehmen. Professor Stephen Gilbert, Fachmann für Medizinsysteme an der TU Dresden, warnt vor den Nebenwirkungen dieser Entwicklung:

„Diese Chatbots sind unsichere Werkzeuge, wenn es um medizinische Beratung geht.“ Es sei daher notwendig, „neue Rahmenbedingungen zu entwickeln, die die Patientensicherheit gewährleisten“, so der Professor am Else Kröner Fresenius Zentrum für Digitale Gesundheit weiter.

„ChatGPT oder MedPaLM von Google haben großes medizinisches Potenzial“, erklären die Forscher. Gleichzeitig berge ihre unregulierte Verwendung im Gesundheitswesen jedoch „inhärente Risiken“. In ihrer Ende Juni in „Nature Medicine“ veröffentlichten Arbeit beschäftigen sich die fünf Autoren um Gilbert daher „mit einem der drängendsten internationalen Probleme unserer Zeit“: Wie lassen sich LLMs im Allgemeinen und im Gesundheitsbereich im Besonderen regulieren?

Weitere Schwerpunkte sind, „die begrenzten Szenarien, in denen LLMs unter den aktuellen Rahmenbedingungen Anwendung finden könnten“, die Entwicklungsmöglichkeiten von Sprach-KIs, die als medizinische Geräte zugelassen werden könnten, sowie neue Rahmenbedingungen zum Schutz der Patienten.

Chatbots: Ärzte ohne Grundausbildung

Wie die Forscher berichten, haben „LLMs mit Chat-Schnittstelle […] schon schädigende medizinische Antworten erzeugt und wurden bereits in Versuchen an Patienten, ohne deren Einverständnis, eingesetzt.“ LLMs mit nachvollziehbaren Ergebnissen, geringer Verzerrung, vorhersagbar, korrekt und mit überprüfbaren Ergebnissen gebe es derzeit nicht.

Insbesondere wenn sie mit medizinischen Fragen konfrontiert werden, könnten Sprach-KIs „äußerst gefährliche Informationen“ liefern. Grund dafür sei, dass LLMs kein Modell einer medizinischen „Grundwahrheit“ enthalten. Durch das Fehlen dieser Prozessmethode könne nicht sichergestellt werden, dass die verwendeten Daten aktuell, präzise, vollständig und bestens gepflegt sind.

Das Problem mit Sprach-KIs sei indes nicht, dass sie interaktive Gespräche führen, sondern „oft äußerst überzeugende Aussagen [generieren], die nachweislich falsch oder unangemessen sind“. Ersteres führe dazu, dass das Vertrauen der Nutzer zu ihrer virtuellen Sprechstundenhilfe steigt. Es bedeutet jedoch auch, dass es nicht möglich ist, die Qualität, Stichhaltigkeit oder Zuverlässigkeit der gegebenen Antworten zu überprüfen.

„Aktuelle LLM-Chatbots erfüllen nicht die wichtigsten Prinzipien für KI im Gesundheitswesen, wie Voreingenommenheitskontrolle, Erklärbarkeit, Aufsichtssysteme, Validierung und Transparenz“, fasst Prof. Gilbert die Situation zusammen. „Um sich ihren Platz im medizinischen Repertoire zu verdienen, müssen Chatbots für eine höhere Genauigkeit konzipiert werden, wobei Sicherheit und klinische Wirksamkeit nachgewiesen und von den Aufsichtsbehörden genehmigt werden müssen.“



Kommentare
Liebe Leser,

vielen Dank, dass Sie unseren Kommentar-Bereich nutzen.

Bitte verzichten Sie auf Unterstellungen, Schimpfworte, aggressive Formulierungen und Werbe-Links. Solche Kommentare werden wir nicht veröffentlichen. Dies umfasst ebenso abschweifende Kommentare, die keinen konkreten Bezug zum jeweiligen Artikel haben. Viele Kommentare waren bisher schon anregend und auf die Themen bezogen. Wir bitten Sie um eine Qualität, die den Artikeln entspricht, so haben wir alle etwas davon.

Da wir die Verantwortung für jeden veröffentlichten Kommentar tragen, geben wir Kommentare erst nach einer Prüfung frei. Je nach Aufkommen kann es deswegen zu zeitlichen Verzögerungen kommen.


Ihre Epoch Times - Redaktion