Chemikerin: Erfundener „KI-Unsinn“ droht Wissenschaft zu entwerten

Heather Desaire, eine Chemikerin, die an der Universität von Kansas maschinelles Lernen in der biomedizinischen Forschung einsetzt, hat ein neues Tool vorgestellt, das mit 99-prozentiger Genauigkeit vermeintlich wissenschaftliche Texte erkennt, die von ChatGPT erzeugt wurden.

Ihre bereits von Fachkollegen geprüften Ergebnisse veröffentlichte die Inhaberin des Keith D. Wilner Lehrstuhl für Chemie ihrer Universität in der Fachzeitschrift „Cell Reports Physical Science“. Sie belegen die Wirksamkeit ihrer KI-Erkennungsmethode – und umfassen „ausreichend Quellcode, damit andere das Tool nachbauen können.“

„ChatGPT und alle anderen KI-Textgeneratoren dieser Art erfinden Fakten“, so Desaire und bekräftigte, dass genaue Werkzeuge zur Erkennung von KI dringend erforderlich sind, um die wissenschaftliche Integrität zu schützen. Weiter sagte sie:

„In der akademischen Wissenschaft, die über neue Entdeckungen und den Stand des menschlichen Wissens schreibt, können wir es uns wirklich nicht leisten, die Literatur mit glaubwürdig klingenden Unwahrheiten zu verunreinigen. Diese würden unweigerlich in die Veröffentlichungen gelangen, wenn KI-Textgeneratoren allgemein verwendet werden. Soweit mir bekannt ist, gibt es keine narrensichere Methode, um diese sogenannten ‚Halluzinationen‘ auf automatisierte Weise zu finden. Sobald man anfängt, echte wissenschaftliche Fakten mit erfundenem KI-Unsinn zu füllen, der absolut glaubwürdig klingt, werden diese Veröffentlichungen immer weniger vertrauenswürdig und weniger wertvoll.“

Genauigkeit von 90 Prozent für die Wissenschaft nicht ausreichend

Parallel zum Siegeszug von ChatGPT und Co. verbreiteten sich auch Werkzeuge, die – mehr oder weniger zuverlässig – KI-Texte von menschlichen Werken unterscheiden können. Dieses Thema ging auch an der Chemieprofessorin nicht spurlos vorbei. Kritisch wird dies immer dann, wenn KI-generierte Texte als Arbeit eines menschlichen Geistes präsentiert werden. In diesem Fall benötigen Hochschullehrer, Zuschussgeber und Verlage eine präzise Methode, um KI-Ergebnisse zu erkennen.

„Wenn man über KI-Plagiate nachdenkt, ist eine Genauigkeit von 90 Prozent nicht gut genug“, stellt Desaire klar. „Man kann nicht herumlaufen und Leute beschuldigen, heimlich KI zu benutzen, und sich dabei häufig irren – Genauigkeit ist entscheidend. Aber um Genauigkeit zu erreichen, ist der Kompromiss meist die Verallgemeinerbarkeit“.

Der Schlüssel zum Erfolg ihrer Erkennungsmethode liege in einer entsprechenden Eingrenzung auf Texte aus der Wissenschaft. „Wenn man sich auf eine bestimmte Gruppe von Menschen beschränkt, die auf eine bestimmte Art und Weise schreiben, kann man leicht eine Methode zur Unterscheidung von menschlichen und KI-Texten entwickeln, die sehr genau ist“, so Desaire.

„Bestehende KI-Detektoren wie ‚RoBERTa‘ sind in der Regel als allgemeine Werkzeuge konzipiert, die für jede Art von Text genutzt werden können. Sie sind für den beabsichtigten Zweck nützlich, aber bei einer bestimmten Textform werden sie nicht so genau sein wie ein Werkzeug, das für diesen speziellen und engen Zweck entwickelt wurde.“

Daten sind Schall und Rauch

Bei der Entwicklung ihres Werkzeugs verzichteten Desaire und ihre Koautoren der Universität von Kansas auf KI. Selbst einschlägige Literatur nahmen sie erst im Nachhinein zur Hand. Das hat zum Vorteil, dass ihre Technik ein „hohes Maß an menschlichem Verständnis“ und Elemente enthält, die auf dem Gebiet der KI-Texterkennung völlig einzigartig sind.

„Es ist mir etwas peinlich, das zuzugeben, aber wir haben nicht einmal die Literatur über KI-Texterkennung konsultiert, bis wir ein funktionierendes Werkzeug in der Hand hatten“, sagte Desaire. „Wir haben dies nicht auf der Grundlage dessen getan, wie Informatiker über Texterkennung denken, sondern auf der Grundlage unserer Intuition, was funktionieren würde.“

So verwendeten sie „einen viel kleineren Datensatz und viel mehr menschliche Eingriffe“, um die Hauptmerkmale zu identifizieren. In Summe nutzten sie lediglich 192 Texte – 64 menschliche und 128 KI-generierte –, um die Schwerpunkte ihres Detektors festzulegen. Das sei „vielleicht 100.000 Mal weniger“ als andere Trainingssätze.

„Die Leute reden oft über Zahlen. Aber das 100.000-fache ist der Unterschied zwischen den Kosten für eine Tasse Kaffee und einem Haus“, ergänzte die Chemikerin. „Wir hatten also diesen kleinen Datensatz, der superschnell verarbeitet werden konnte, und alle Dokumente konnten tatsächlich von Menschen gelesen werden. Wir nutzten unser menschliches Gehirn, um nützliche Unterschiede in den Dokumenten zu finden.“

KI schreibt wie Menschen, aber Menschen nicht wie KI

„Wir haben bei der Entwicklung der Schlüsselmerkmale nicht den KI-Text in den Mittelpunkt gestellt“, sagt Desaire weiter. „Wir haben den menschlichen Text in den Mittelpunkt gestellt.“

Die meisten Forscher, die KI-Detektoren entwickeln, schienen sich zu fragen: „Wie sieht der von der KI erzeugte Text aus?“ Desaire fragte ihr Team indes: „Wie sieht diese einzigartige Gruppe menschlicher Texte aus, und wie unterscheidet sie sich von KI-Texten?“

Letztlich sei KI-Schrift menschliche Schrift, da die KI-Generatoren auf großen Beständen menschlicher Schrift aufbauen. Aber KI-Schrift ist, zumindest seit ChatGPT, eine verallgemeinerte menschliche Schrift, die aus einer Vielzahl von Quellen stammt.

„Die Schrift in der Wissenschaft ist keine verallgemeinerte menschliche Schrift. Es ist die Schrift von Wissenschaftlern. Und wir Wissenschaftler sind eine ganz besondere Gruppe.“

Wissenschaft, die Wissen schafft

Die Autoren haben das von ihnen entwickelte Werkzeug anderen Forschern vollständig zugänglich gemacht. Auch die Studie erschien als Open-Access und ist für jedermann, -frau und -kind einsehbar. Desaire hofft dadurch, dass KI und KI-Erkennung auch für Menschen erreichbar sind, die sich vielleicht nicht als Computerprogrammierer sehen.

„Es gibt enorme Möglichkeiten für Menschen, sich mit KI zu beschäftigen, auch wenn sie keinen Abschluss in Informatik haben. Keiner der Autoren unseres Manuskripts hat einen Abschluss in Informatik. Ein Ergebnis, das ich mir von dieser Arbeit erhoffe, ist, dass Menschen, die sich für KI interessieren, wissen, dass die Hürden für die Entwicklung echter und nützlicher Produkte wie unseres gar nicht so hoch sind. Mit ein wenig Wissen und etwas Kreativität können viele Menschen einen Beitrag zu diesem Bereich leisten.“

„ChatGPT ist wirklich ein so radikaler Fortschritt und wurde so schnell von so vielen Menschen angenommen, dass dies wie ein Wendepunkt in unserem Vertrauen in die KI erscheint“, sagte sie abschließend. „Aber die Realität ist, dass ein Schüler mit etwas Anleitung und Mühe das tun könnte, was wir getan haben.“