GPT-4: OpenAI stellt neue Technologie für ChatGPT und Dall-E vor

In der Nacht zum Mittwoch, 15.3., hat das Start-up OpenAI die Technologie „GPT-4“ vorgestellt. Diese soll die Leistungsfähigkeit des seit November des Vorjahres verfügbaren KI-Bots ChatGPT und der Bildersoftware Dall-E steigern.

Bereits jetzt ist GPT-4 nach Angaben des Unternehmens im Einsatz. Microsoft, das zu den führenden Investoren in die Entwicklung der Technologie gehört, verwendet das Tool seit Wochen in der Suchmaschine „Bing“. Zuvor hatte es mit einem Chatbot der Vorgängergeneration namens „Sydney“ Unwägbarkeiten gegeben. Dieser hatte in einzelnen Fällen Nutzer beleidigt oder bedroht.

Auch die Sprachlern-App Duolingo nutzt GPT-4 bereits für Dialog-Trainings. Allerdings ist die KI nur in einem neuen und teureren Abo verfügbar. Zahlende Kunden von OpenAI werden bevorzugt Zugang zu der neuen Version des Chatbots bekommen. Es gebe bereits eine Warteliste.

Drei-Phasen-Trainingsprozess hinter ChatGPT

Die Software, die den GPT-Technologien zugrunde liegt, basiert auf einem Maschinenlernmodell, dessen Training auf selbstüberwachtem Lernen beruhte. Unter anderem die milliardenschweren Investitionen von Microsoft sicherten den Zugang zur enormen Rechenleistung, die zur Erfassung von Texten und Bildern erforderlich war.

Die Texte, mit denen die Entwickler die Software im Pre-Training fütterten, stammten unter anderem aus Online-Foren, sozialen Medien, Zeitungen, Büchern und gesprochener Sprache. Die KI sollte anfangs lernen, das nächste Wort eines Textausschnittes vorherzusagen.

In einem weiteren Schritt des Fine-Tunings lernte die Software das Generieren von Antworten auf zuvor gestellte Fragen. Dazu verwendete man zu Beginn vorgefertigte Antworten. Im letzten Schritt erfolgte eine Optimierung auf Grundlage eines Reward-Modells mit überwachtem Lernen. Auf der Grundlage der bestbewerteten Antworten von ChatGPT brachten die Entwickler einen Algorithmus zur Anwendung, der diese Vorgehensweise verstetigte.

GPT-4 soll genauer sein und weniger Fakten erfinden

Mittlerweile kann ChatGPT nicht nur Sätze formulieren, die von denen eines Menschen kaum zu unterscheiden sind. Die KI kann auch Gedichte schreiben, Hochschulprüfungen absolvieren oder mit dem Nutzer über Countrymusik fachsimpeln. Nach wie vor beruht das Funktionsprinzip darauf, dass das Programm schätzt.

Eine Schwachstelle von ChatGPT – neben geringem Wissen zu bestimmten Detailfragen wie Dörfern in Sachsen-Anhalt – war dabei das „Halluzinieren von Fakten“. Unter anderem machte die KI Gerhard Schröder zu einem früheren Bundeswirtschaftsminister oder datierte die Wahl Horst Köhlers zum Bundespräsidenten auf das Jahr 2006.

Chat-GPT nannte auch Leitsätze von Gerichtsentscheidungen, die zwar plausibel klangen, aber in keiner Datenbank auffindbar waren. So etwas könne auch GPT-4 passieren, wenn auch seltener als zuvor, hieß es im Blogeintrag zur Neuvorstellung. Auch könnten der neuen Version ebenfalls einfache Logik-Fehler unterlaufen und sie könne Vorurteile weiterverbreiten. GPT-4 seien nur Fakten bekannt, die vor September 2021 passiert seien – und es lerne nicht aus Erfahrungen, betonte OpenAI.

GPT-4 soll auch gut darin sein, Bilder zu analysieren und mit Worten zu beschreiben – diese Funktion macht OpenAI zunächst aber nicht für die Kunden verfügbar.

Derzeitige Version von ChatGPT weiß noch nichts von GPT-4

Die derzeit für Nutzer verfügbare Fassung weiß über ihr Update im Übrigen selbst noch nichts Näheres. Auf die Frage, worin sich die GPT-4-Technologie von der derzeitigen Version unterscheiden werde und in welcher Form sich der zugrunde liegende Input verändert habe, erklärt ChatGPT:

Als KI-Modell habe ich keine Informationen darüber, wann oder ob es eine GPT-4-Version geben wird. Derzeit ist GPT-3 die neueste Version von GPT, die von OpenAI entwickelt wurde.“

Sollte eine neue Version von GPT verfügbar sein, sah jedoch auch der Bot mögliche Verbesserungen in größeren Trainingsdatensätzen und besseren Algorithmen. Fortschrittlichere Modelle würden auch eine höhere Genauigkeit und eine bessere Fähigkeit zur Sprachverarbeitung ermöglichen.

(Mit Material der dpa)

---