OpenAI hat diese Woche Sora vorgestellt, ein generatives KI-Modell, das anhand schriftlicher Vorgaben bis zu 60 Sekunden lange Videos erstellen kann. Damit erweitert das Unternehmen sein Tätigkeitsfeld von Text und Standbildern auf längere, detailreiche Bewegtbilder. Das Modell befindet sich vorerst in der Forschungsphase und ist noch kein öffentliches Produkt. Der Zugriff ist auf ausgewählte Künstler, Filmemacher, Designer und Sicherheitstester beschränkt, während OpenAI die Fähigkeiten und Risiken bewertet.

In einem technischen Bericht beschreibt OpenAI Sora als Diffusionstransformator, der gemeinsam mit Videos und Bildern unterschiedlicher Dauer, Auflösung und Seitenverhältnisse trainiert wurde. Laut Unternehmen kann das größte Modell eine Minute hochauflösendes Video generieren und darüber hinaus Standbilder animieren, bestehende Videos vor- oder zurückspulen sowie einige Videobearbeitungsaufgaben durchführen.

Von Sprachbausteinen bis hin zu visuellen Elementen

Die Architektur von Sora übernimmt eine zentrale Idee großer Sprachmodelle: die Darstellung vielfältiger Informationen in standardisierten Einheiten, die sich in großem Umfang verarbeiten lassen. Anstelle von Textbausteinen repräsentiert das Modell komprimierte visuelle Daten als „Raum-Zeit-Ausschnitte“. Laut OpenAI ermöglicht dies einem einzelnen System, aus Videos und Bildern mit vielen Dimensionen zu lernen, anstatt auf Clips fester Länge oder eine einzige Auflösung beschränkt zu sein.

Laut der Sora-Systemübersicht des Unternehmens kombiniert das System einen Diffusionsprozess mit einer Transformatorarchitektur. Es beginnt mit visuellem Rauschen und wandelt dieses schrittweise in ein Video um, wobei mehrere Einzelbilder so verarbeitet werden, dass die abgebildeten Personen auch dann erhalten bleiben, wenn sie vorübergehend aus dem Bildausschnitt der Kamera verschwinden.

OpenAI verwendet außerdem eine für DALL·E 3 entwickelte Technik zur Neubeschreibung von Untertiteln. Ein Untertitelungsmodell erstellt detailliertere Beschreibungen von Trainingsvideos, und GPT kann kurze Benutzereingaben vor der Generierung in ausführlichere Anweisungen umwandeln. Ziel ist es, die Fähigkeit des Modells zu verbessern, Eingaben zu Themen, Umgebung, Kamerabewegung und visuellem Stil zu befolgen.

Die Ein-Minuten-Generation setzt neue Maßstäbe im Wettbewerb

Text-zu-Video-Systeme gibt es bereits von Unternehmen wie Runway, Meta und Google, doch die ersten Beispiele von Sora zeichnen sich durch ihre Länge und die scheinbare visuelle Kohärenz aus. In einem Vorbericht vom 15. Februar beschrieb Wired das Modell als System, das fotorealistische Sequenzen von bis zu einer Minute Länge erzeugt, und betonte gleichzeitig, dass es derzeit nur einer kleinen Gruppe von Kreativen und Sicherheitsforschern präsentiert wird.

Engadgets Bericht hob Beispiele hervor, die von verschneiten Stadtansichten bis hin zu Wollmammuts reichten, und zeigte die Fähigkeit des Modells, ganze Sequenzen zu generieren, anstatt nur kurze Clips zusammenzufügen. Die Demonstrationen deuten auf bedeutende Fortschritte hinsichtlich der zeitlichen Konsistenz hin, einem der zentralen technischen Probleme bei generierten Videos.

Dieser Fortschritt sollte nicht mit physikalischem Verständnis verwechselt werden. Laut einem Bericht von OpenAI stößt Sora bei grundlegenden Ursache-Wirkungs-Zusammenhängen, Objektpermanenz und realen physikalischen Gesetzen an seine Grenzen. Eine generierte Person kann beispielsweise in ein Lebensmittel beißen, ohne die erwarteten Spuren zu hinterlassen, Objekte können spontan erscheinen und komplexe Interaktionen können unzusammenhängend werden. Das System kann visuell überzeugende Szenen erzeugen, ohne die zugrundeliegenden Mechanismen zu verstehen.

Das Produkt ist bewusst noch nicht öffentlich

OpenAI verfolgt bei der Markteinführung einen vorsichtigeren Ansatz als bei ChatGPT. Laut Associated Press ist Sora nicht allgemein verfügbar, und das Unternehmen hat nur wenige Informationen über den zugrundeliegenden Trainingskorpus veröffentlicht. Die Öffentlichkeit sieht lediglich ausgewählte Beispiele; es handelt sich nicht um einen Dienst, den jeder frei testen kann.

Das Unternehmen stellt nach eigenen Angaben Red-Team-Experten mit Fachkenntnissen in den Bereichen Desinformation, Hassrede und Voreingenommenheit sowie Künstlern und Filmemachern Zugang zur Verfügung, deren Feedback sowohl kreative Anwendungsmöglichkeiten als auch Schwachstellen aufzeigen kann. OpenAI entwickelt einen Erkennungsklassifikator, der von Sora generierte Videos identifizieren soll, und gibt an, dass bei einem Produkteinsatz des Modells Herkunftsstandards wie C2PA-Metadaten verwendet werden könnten.

Der Zeitpunkt ist heikel, da realistische synthetische Videos in einem Jahr mit wichtigen Wahlen weltweit veröffentlicht werden. Das Risiko beschränkt sich nicht auf gefälschte politische Reden. Generiertes Material könnte für Identitätsdiebstahl, Betrug, Belästigung, Beweisfälschung oder irreführende Darstellungen realer Ereignisse missbraucht werden. Der Bericht des Guardian zur Veröffentlichung wies darauf hin, dass OpenAI diese Risiken vor der breiten Freigabe testet.

Sora ist zudem Gegenstand einer noch nicht abgeschlossenen Rechtsstreitigkeit über das zum Training generativer Modelle verwendete Material. OpenAI hat keine detaillierte Auflistung der für Sora verwendeten Videos und Bilder veröffentlicht. Aktuellen Berichten zufolge beschreibt das Unternehmen das Korpus lediglich allgemein als öffentlich zugängliches und lizenziertes Material.

Dies dürfte die Aufmerksamkeit von Filmemachern, Fotografen, Verlagen und anderen Rechteinhabern auf sich ziehen. Unternehmen im Bereich generativer KI sehen sich bereits mit Klagen konfrontiert, die sich darauf beziehen, ob urheberrechtlich geschütztes Material ohne Genehmigung für das Training verwendet werden darf und ob die Modellausgaben geschützte Ausdrucksformen wiedergeben dürfen. Video bringt eine weitere Ebene ins Spiel, da das Trainingsmaterial Filmaufnahmen, Darsteller, Charaktere, Musik und andere Rechte umfassen kann.

Das kreative Potenzial des Modells ist dennoch beträchtlich. Filmemacher könnten Szenen vor Drehbeginn prototypisch entwickeln, Werbetreibende Konzeptmaterial erstellen, Spielestudios Umgebungen testen oder Pädagogen schwer filmbare Situationen visualisieren. Sora kann zudem Bilder und bestehende Videos als Eingabe verarbeiten, was über die reine Text-zu-Video-Erstellung hinausgehende Anwendungsmöglichkeiten eröffnet.

Eine Forschungsvorschau mit Implikationen, die über das Video hinausgehen

OpenAI versteht Sora als mehr als nur ein Medientool. Die Forscher argumentieren, dass die Skalierung generativer Videos ein Weg zu Modellen sein könnte, die nützliche Repräsentationen der physischen Welt erlernen. Die Forschungsarbeit verweist auf erste Verhaltensweisen wie konsistente Kamerabewegungen und bestimmte Formen der Objektinteraktion, räumt aber gleichzeitig ein, dass diese Fähigkeiten noch nicht vollständig ausgereift sind.

Diese Behauptung bedarf umfangreicher unabhängiger Tests. Plausible Pixel zu generieren ist nicht dasselbe wie Physik, Kausalität oder menschliche Absicht zu verstehen, und Soras visuell überzeugende Fehler könnten es Nutzern erschweren, diese Unterschiede zu erkennen. Das Modell kann kompetent wirken, selbst wenn die zugrunde liegende Simulation fehlerhaft ist.

Soras Bedeutung liegt derzeit darin, dass es die Lücke zwischen kurzen, instabilen KI-Clips und längeren Filmsequenzen zu schließen scheint. OpenAI hat ein System demonstriert, das aus Sprache eine Minute Video generieren kann, und hält den breiten Zugang zurück, um die Auswirkungen zu testen. Ob Sora sich zu einer weit verbreiteten kreativen Plattform entwickelt, hängt nicht nur von der visuellen Qualität ab, sondern auch von Kosten, Geschwindigkeit, Urheberrechtsbestimmungen, Herkunft und davon, ob die Sicherheitssysteme mit den immer überzeugenderen synthetischen Medien mithalten können.