Meta hat am Donnerstag die ersten Modelle seiner Llama-3-Familie vorgestellt. Die Modelle umfassen Versionen mit 8 Milliarden bzw. 70 Milliarden Parametern, die mit über 15 Billionen Token trainiert wurden. Damit mischt Meta sofort in einem der dynamischsten Wettkämpfe der Technologiebranche mit: dem Wettlauf um die breite Verfügbarkeit immer leistungsfähigerer generativer künstlicher Intelligenz für Entwickler und Verbraucher. Laut Metas technischer Ankündigung sind die beiden ersten Modelle sowohl vortrainiert als auch instruktionsoptimiert verfügbar, während ein deutlich größeres Modell mit über 400 Milliarden Parametern noch trainiert wird.

Die Veröffentlichung ist von großer Bedeutung, da Meta zwei Vertriebswege gleichzeitig verfolgt. Zum einen stellt das Unternehmen Llama 3 Entwicklern unter seiner Community-Lizenz zur Verfügung und nutzt es gleichzeitig für einen leistungsfähigeren KI-Assistenten von Meta auf Facebook, Instagram, WhatsApp, Messenger und als eigenständige Webanwendung. Laut Metas Ankündigung vom 18. April wird der Assistent über die USA hinaus in mehr als einem Dutzend Ländern eingeführt und integriert Llama 3 in Konsumprodukte mit Milliarden von Nutzern.

Zwei Modellgrößen, ein wesentlich größerer Trainingsdatensatz

Die erste Version von Llama 3 umfasst die Modelle 8B und 70B, jeweils in einer Basis- und einer instruktionsoptimierten Variante. Die offizielle Beschreibung des 8B-Modells stellt einen autoregressiven Transformer vor, der mit einer neuen Mischung öffentlich verfügbarer Online-Daten trainiert wurde. Die Kontextlänge beträgt 8.000 Token, und es wurden über 15 Billionen Token im Vortraining verwendet. Das 70B-Instruktionsmodell nutzt dieselbe Architektur, wobei die optimierte Version durch überwachtes Feintuning und bestärkendes Lernen auf Basis von Nutzerfeedback optimiert wurde.

Meta gibt an, dass der Trainingskorpus mehr als siebenmal so groß ist wie der von Llama 2 und viermal so viel Code enthält. Das Unternehmen führte außerdem einen Tokenizer mit einem Vokabular von 128.000 Token ein, der Sprache effizienter kodieren soll, und trainierte die Modelle auf zwei eigens entwickelten Clustern mit je 24.000 GPUs. Diese technischen Entscheidungen sind wichtig, da die Modellqualität nicht nur von der Anzahl der Parameter, sondern auch vom Umfang und der Zusammensetzung der Trainingsdaten, der Tokenisierung, den Nachbearbeitungsmethoden und der verfügbaren Infrastruktur für umfangreiche Experimente abhängt.

Unabhängige Vertriebspartner reagierten schnell. Laut der zeitgleichen Veröffentlichung waren alle vier Hauptvarianten – zwei Basismodelle und zwei auf Befehle optimierte Modelle – am Veröffentlichungstag über den Modell-Hub sowie Llama Guard 2 erhältlich. Auch Amazon Web Services stellte Llama 3 am 18. April über SageMaker JumpStart zur Verfügung. In einer AWS-Ankündigung wurde die anfängliche Verfügbarkeit in den USA, Europa und Asien bekanntgegeben.

Meta verwandelt seinen KI-Assistenten in eine Vertriebsmaschine

Die Verbraucherstrategie ist möglicherweise genauso wichtig wie die Veröffentlichung des Modells selbst. Meta AI wird direkt in Suchfelder, Chats und Feeds der größten Anwendungen des Unternehmens integriert. Nutzer können den Assistenten aufrufen, ohne WhatsApp oder Messenger zu verlassen, Fragen stellen, während sie auf Facebook oder Instagram surfen, und Bilder mit der „Imagine“-Funktion von Meta generieren. Das Unternehmen startet außerdem eine Webpräsenz für Meta AI, die eine direkte Benutzeroberfläche bietet, die eher mit eigenständigen Assistenten anderer KI-Unternehmen vergleichbar ist.

Diese Vertriebsmethode verschafft Meta einen ungewöhnlichen Vorteil: Nutzer müssen nicht erst zur Installation einer neuen Anwendung überredet werden, bevor sie das Modell kennenlernen können. Stattdessen kann Llama 3 in bereits genutzte Dienste integriert werden. Laut Meta liefert der Assistent Echtzeitinformationen aus dem Web und ist zunächst in englischer Sprache in Ländern wie Australien, Kanada, Ghana, Jamaika, Malawi, Neuseeland, Nigeria, Pakistan, Singapur, Südafrika, Uganda, Sambia und Simbabwe verfügbar.

Dieser Ansatz schafft zudem eine Wechselwirkung zwischen den Entwickler- und Kundenstrategien von Meta. Entwickler können die zugrundeliegenden Modelle für ihre eigenen Anwendungen anpassen, während Meta dieselbe Modellfamilie in großem Umfang für Endkunden einsetzen kann. Dies steht im Gegensatz zu einer rein proprietären Modellstrategie, bei der der Zugriff primär auf die eigene Anwendung oder API des Anbieters beschränkt ist.

Sicherheitswerkzeuge werden Teil des Freigabepakets

Meta kombiniert die neuen Modelle mit zusätzlichen Sicherheitstools. Die Beschreibung der verantwortungsvollen Veröffentlichung erläutert die vor dem Launch getroffenen Maßnahmen und hebt Entwicklerressourcen hervor, die unsichere Nutzungen reduzieren sollen. Die technische Version von Llama 3 führt Llama Guard 2, Code Shield und CyberSec Eval 2 ein – Tools zur Klassifizierung unsicherer Inhalte, zur Identifizierung unsicheren Codes und zur Bewertung von Cybersicherheitsrisiken.

Die Modellkarten des Unternehmens beschreiben auch Einschränkungen, die Entwickler berücksichtigen müssen. Die April-Version ist primär für englischsprachige Texte konzipiert, und die Modelle haben feste Wissensgrenzen – März 2023 für die 8-Bit-Version und Dezember 2023 für die 70-Bit-Version. Wie andere große Sprachmodelle können auch sie fehlerhafte oder irreführende Ergebnisse liefern, und die Entwickler sind weiterhin dafür verantwortlich, das Verhalten in den jeweiligen Einsatzumgebungen zu testen.

Das Lizenzmodell ist breit gefächert, aber nicht uneingeschränkt. Metas Community-Lizenz für Llama 3 erlaubt die kommerzielle und wissenschaftliche Nutzung unter bestimmten Bedingungen, stellt aber zusätzliche Anforderungen an sehr große Plattformen und verbietet Nutzungen, die gegen die Nutzungsrichtlinien des Unternehmens verstoßen. Diese Struktur unterstreicht Metas Bestreben, Llama als allgemein zugänglich zu positionieren, ohne die Gewichte selbst gemeinfrei zu machen.

Die Wettbewerbsfrage verlagert sich vom Zugang zur Leistung

Meta behauptet unmittelbar, dass die auf Anweisungen abgestimmten Versionen mit führenden frei verfügbaren Modellen in gängigen Benchmarks für logisches Denken, Codierung und Befehlsausführung konkurrenzfähig sind. Benchmark-Ergebnisse sind zwar nützliche, aber unvollständige Indikatoren für die Leistung in der Praxis, insbesondere da praktische Systeme neben den Modellbewertungen auch von Abruf, Eingabeaufforderung, Feinabstimmung, Latenz, Kosten- und Sicherheitskontrollen abhängen.

Die Kombination aus Modellverfügbarkeit und -verteilung verändert die Wettbewerbslandschaft. Entwickler können Llama 3 über verschiedene Infrastrukturanbieter herunterladen und bereitstellen, anstatt auf eine einzelne gehostete API angewiesen zu sein. Der sofortige SageMaker-Support von AWS und die Integration von Hugging Face zum Marktstart reduzieren den Aufwand für das Testen der Modelle. Laut Meta ist die Verfügbarkeit über Microsoft Azure, Google Cloud, Databricks, IBM Watson, NVIDIA NIM, Snowflake und weitere Partner geplant.

Die entscheidende Frage ist, was nach den Veröffentlichungen von 8B und 70B folgt. Laut Meta wird derzeit noch ein Modell mit über 400 Milliarden Parametern trainiert, und die erste Version von Llama 3 ist erst der Anfang. Bereits am Samstag waren die Fortschritte messbar: Meta hat zwei neue Modellgrößen veröffentlicht, sie einem breiten Entwickler-Ökosystem zugänglich gemacht und Llama 3 gleichzeitig in einen KI-Assistenten integriert, der auf den Verbraucherplattformen des Unternehmens verfügbar ist. In der nächsten Phase wird sich zeigen, ob diese Kombination aus offener Verteilung, großflächigem Einsatz und schneller Modelliteration einen nachhaltigen Vorteil im Bereich der generativen KI ermöglicht.