SAN FRANCISCO – OpenAI hat diese Woche eine öffentliche Forschungsvorschau von ChatGPT veröffentlicht, einem dialogbasierten KI-System, das Folgefragen beantworten, Fehler erkennen, falsche Annahmen hinterfragen und unangemessene Anfragen ablehnen kann. In der Ankündigung vom 30. November stellt das Unternehmen das System als Schwestermodell von InstructGPT vor und bietet es kostenlos an, während OpenAI Feedback zu seinen Stärken, Schwächen und seinem Sicherheitsverhalten sammelt.

Die Veröffentlichung ist weniger deshalb bemerkenswert, weil Computer Texte generieren können – große Sprachmodelle tun dies schon seit Jahren –, als vielmehr, weil OpenAI ein leistungsstarkes generatives Modell mit Dialogfunktion und einem feedbackgesteuerten Trainingsprozess kombiniert hat, der die Antworten für normale Nutzer nützlicher machen soll. Diese Schnittstelle verändert die Interaktion mit einem Sprachmodell grundlegend: Anstatt eine Eingabe zu formulieren und eine Vervollständigung zu erhalten, kann der Nutzer das System in mehreren Runden befragen, verfeinern, korrigieren und in die richtige Richtung lenken.

Von der Textvorhersage bis zur Anweisungsbefolgung

Die technische Tradition findet sich in OpenAIs Arbeit an immer größeren generativen Modellen wieder. Die 2020 veröffentlichte Studie zu GPT-3 zeigte, dass die Skalierung eines Sprachmodells auf 175 Milliarden Parameter ohne aufgabenspezifisches Feintuning eine starke Leistung bei wenigen Beispielen für ein breites Aufgabenspektrum erzielen kann. Die einfache Vorhersage des nächsten Wortes offenbarte jedoch auch eine grundlegende Diskrepanz: Ein Modell, das darauf trainiert ist, Text fortzusetzen, ist nicht automatisch darauf trainiert, die Absicht eines Nutzers sicher oder präzise zu verfolgen.

OpenAI reagierte darauf, indem menschliche Präferenzen in den Trainingsprozess integriert wurden. Im Januar stellte das Unternehmen InstructGPT, eine Modellfamilie, die zunächst anhand von von Menschen erstellten Demonstrationen feinabgestimmt und anschließend mithilfe von Ranglisten der Modellausgaben optimiert wurde. Die zugehörige Forschungsarbeit zeigte, dass menschliche Gutachter die Ausgaben des 1,3 Milliarden Parameter umfassenden InstructGPT-Modells im Allgemeinen denen des deutlich größeren 175 Milliarden Parameter umfassenden GPT-3-Modells vorzogen. Dies verdeutlicht, dass die Übereinstimmung mit Anweisungen für die wahrgenommene Nützlichkeit ebenso wichtig sein kann wie die reine Größe des Modells.

ChatGPT wendet eine ähnliche Methode auf Konversationen an. Laut OpenAI lieferten menschliche KI-Trainer Dialogdaten, indem sie beide Seiten eines Gesprächs simulierten und dabei auf vom Modell generierte Vorschläge zugreifen konnten. Anschließend kombinierte das Unternehmen diese Dialogdaten mit seinen InstructGPT-Daten und nutzte Reinforcement Learning mit menschlichem Feedback (RLHF), um Antworten zu bewerten und zu verbessern. Das Trainingsverfahren beseitigt Modellfehler nicht; es zielt darauf ab, das Modell in Richtung von Antworten zu lenken, die von Menschen als hilfreicher und angemessener beurteilt werden.

Dialog schafft neue Fähigkeiten – und neue Fehlermodi

Das dialogbasierte Format ermöglicht es ChatGPT, den Kontext über mehrere Gesprächsrunden hinweg zu erhalten und Antworten anzupassen, sobald ein Nutzer auf ein Problem hinweist. Zudem kann das Modell Fragen stellen oder beantworten und Anfragen gemäß den Sicherheitsregeln ablehnen. Diese Verhaltensweisen bauen auf früheren Bemühungen von OpenAI auf, menschliche Urteile in Sprachsystemen zu nutzen. Im Jahr 2020 zeigten Forscher, dass Modelle mithilfe von menschlichem Feedback für die Textzusammenfassung, indem sie verschiedene Zusammenfassungsvorschläge vergleichen, um die Ausgabequalität zu verbessern, anstatt sich ausschließlich auf ein festes, überwachtes Ziel zu verlassen.

OpenAI untersuchte auch Modelle, die mit externen Informationen interagieren. Im Rahmen des 2021 gestarteten WebGPT-Projekts wurde ein Sprachmodell mit einem textbasierten Browser ausgestattet und darauf trainiert, längere Fragen mit Zitaten zu beantworten. Diese Arbeit unterscheidet sich von ChatGPT, das OpenAI in seiner aktuellen Vorschau als Dialogmodell und nicht als interaktiver Web-Recherchedienst beschreibt. Sie verdeutlicht jedoch die übergeordnete Forschungsrichtung: die Kombination großer Sprachmodelle mit Schnittstellen, menschlichem Feedback und Werkzeugen, die deren Verhalten einschränken oder verbessern.

Das Unternehmen stellt ausdrücklich klar, dass ChatGPT weiterhin unzuverlässig ist. In der Ankündigung wird darauf hingewiesen, dass das Modell plausibel klingende, aber falsche oder unsinnige Antworten liefern kann, empfindlich auf kleine Änderungen in der Formulierung reagiert, übermäßig ausführlich sein kann und manchmal eher errät, was ein Nutzer beabsichtigt hat, anstatt eine klärende Frage zu stellen. OpenAI räumt außerdem ein, dass Sicherheitssysteme sowohl Fehlalarme auslösen als auch schädliche Anweisungen nicht blockieren können.

Eine kontrollierte Vorschau, kein fertiges Produkt

OpenAIs Entscheidung, ChatGPT als Forschungsvorschau zu veröffentlichen, spiegelt eine wiederkehrende Problematik in der fortgeschrittenen KI-Entwicklung wider: Die Schwächen eines Modells lassen sich im Labor nur schwer vollständig erfassen. Eine breite öffentliche Nutzung kann jedoch unerwünschte Eingabeaufforderungen, unerwartete Anwendungen, systematische Verzerrungen und häufige Missverständnisse aufdecken, die bei formalen Evaluierungen unbemerkt bleiben. Das Unternehmen bittet die Nutzer um Feedback zu problematischen Ergebnissen und bietet einen Wettbewerb für besonders hilfreiche Berichte an.

Dieser Ansatz basiert auf Erfahrungen aus früheren Veröffentlichungen. OpenAI betonte 2019 in seiner Diskussion zu GPT-2 den potenziellen Missbrauch zunehmend kohärenter Textgenerierung und verfolgte zunächst eine Strategie der stufenweisen Veröffentlichung, anstatt das größte Modell sofort herauszubringen. Seitdem hat sich das Feld rasant in Richtung größerer Systeme und breiterer Anwendung entwickelt, während die Fragen rund um Fehlinformationen, Identitätsdiebstahl, Voreingenommenheit und automatisierte Beeinflussung konkreter geworden sind.

ChatGPT präsentiert sich daher sowohl als produktähnliche Benutzeroberfläche als auch als experimentelles Einsatzverfahren. Seine Nützlichkeit hängt davon ab, dass der Nutzer versteht, dass flüssiger Text nicht mit verifizierten Fakten gleichzusetzen ist. Das Modell generiert Antworten anhand von während des Trainings erlernten Mustern; es verfügt nicht über menschliches Urteilsvermögen, und OpenAI stellt die Vorschau nicht als unfehlbare Quelle dar.

Die Schnittstelle ist möglicherweise genauso wichtig wie das Modell

Die unmittelbare technische Bedeutung dieser Veröffentlichung liegt in der Kombination aus einem leistungsfähigen Sprachmodell, einer vertrauten Chat-Oberfläche und einem auf menschliche Präferenzen abgestimmten Trainingsprogramm. Bisherige Sprachmodelle erforderten oft, dass Nutzer Eingabeaufforderungsformate lernten oder über Entwicklertools interagierten. ChatGPT senkt diese Hürde, indem es die normale Konversation zur Steuerungsoberfläche macht.

Diese Einfachheit könnte die Zielgruppe für generative KI über Forscher und Programmierer hinaus erweitern. Nutzer können im selben Fenster Erklärungen, Entwürfe, Codehilfe, Zusammenfassungen oder Transformationen anfordern und das Ergebnis anschließend im Dialog verfeinern. Gleichzeitig birgt die Benutzerfreundlichkeit das Risiko bekannter Einschränkungen: Ein autoritärer Tonfall kann eine falsche Antwort verschleiern, und iterative Gespräche können dazu führen, dass Nutzer dem System mehr vertrauen, als dessen Zuverlässigkeit eigentlich rechtfertigt.

OpenAI betrachtet diese Spannungen aktuell als Kernpunkt der Vorschau. ChatGPT wird nicht als Endpunkt der Sprachmodellentwicklung präsentiert. Es handelt sich vielmehr um einen öffentlichen Test, ob Training mit menschlichem Feedback und Dialog große generative Modelle nützlicher, steuerbarer und sicherer machen können – und wo diese Methoden noch an ihre Grenzen stoßen, wenn das System einer deutlich größeren Nutzergruppe zur Verfügung steht.