Google hat Gemini vorgestellt, eine neue Familie von KI-Modellen zur Verarbeitung von Text, Bildern, Audio, Video und Code, und setzt das mittelgroße Modell Gemini Pro ab sofort am Bard College ein. Laut Google übertrifft die größte Version, Gemini Ultra, den aktuellen Stand der Technik in 30 von 32 gängigen akademischen Benchmarks. Dieses Modell befindet sich jedoch noch bis zum nächsten Jahr in der Sicherheitsprüfung und wird in begrenztem Umfang evaluiert.
Die Veröffentlichung am 6. Dezember ist Googles bisher direkteste technische Antwort auf die rasante Verbreitung von OpenAIs GPT-4 und ChatGPT. Anstatt ein einziges Modell für alle Anwendungsfälle zu veröffentlichen, hat Google drei Versionen: Ultra für komplexeste Aufgaben, Pro für den breiten Einsatz in der Cloud und Nano für effiziente Berechnungen direkt auf dem Gerät.
Drei Modelle zielen auf unterschiedliche Computerumgebungen ab
Laut Google DeepMind ist Gemini von Anfang an als multimodales System konzipiert und nicht als Textmodell mit später hinzugefügten separaten Komponenten. Dieser Ansatz ermöglicht es den Modellen, Kombinationen aus geschriebener Sprache, Bildern, Audio und Video zu verarbeiten und Programmieraufgaben auszuführen. In der Einführungsdokumentation wird Gemini 1.0 als umfangreich auf der Tensor Processing Unit-Infrastruktur des Unternehmens trainiert beschrieben.
Gemini Pro ist die Version, die den meisten Nutzern aktuell zur Verfügung steht. Google hat eine speziell angepasste englischsprachige Version in Bard in über 170 Ländern und Regionen integriert. Laut Google verbessert das Upgrade das logische Denken, die Planung und das Verständnis. Eine Ankündigung von Bard besagt, dass der Zugriff auf Gemini Ultra nach weiteren Evaluierungen über eine erweiterte Bard-Umgebung später erfolgen wird.
Gemini Nano ist für mobile Geräte konzipiert. Laut Googles Pixel-Update nutzt das Pixel 8 Pro Nano für Funktionen wie die Zusammenfassung in der Recorder-App und Smart Reply in Gboard. Durch die lokale Ausführung einiger generativer KI-Funktionen lassen sich Latenzzeiten reduzieren, die Offline-Nutzung ermöglichen und bestimmte Daten auf dem Gerät speichern, anstatt sie an ein entferntes Rechenzentrum zu senden.
Google stellt aggressive Benchmark-Ansprüche auf
Das Auffälligste an der Ankündigung ist Googles Behauptung, dass Gemini Ultra in einer Vielzahl von Tests neue Maßstäbe setzt. Laut Unternehmen übertrifft Ultra die bisherigen Bestleistungen in 30 von 32 Benchmarks, die für große Sprachmodelle und multimodale Systeme verwendet werden. Es erzielt einen Wert von 90 % im MMLU-Benchmark, der 57 Fachgebiete wie Mathematik, Physik, Geschichte, Recht, Medizin und Ethik umfasst.
Diese Ergebnisse sollten eher als firmeninterne Benchmark-Ergebnisse denn als Belege aus breiter öffentlicher Nutzung betrachtet werden. Gemini Ultra ist noch nicht allgemein verfügbar, was bedeutet, dass externe Entwickler und Forscher die vollständigen Behauptungen im normalen Einsatz nicht unabhängig reproduzieren können. Ars Technica merkte an, dass Google behauptet, Ultra übertreffe die Ergebnisse von GPT-4 in vielen Tests, betonte aber auch, dass Benchmark-Vergleiche zwischen proprietären Modellen von der Art der Eingabe, den Bewertungsmethoden und dem Modellzugriff beeinflusst werden können.
des Guardian schnitt Ultra in 30 von 32 Tests besser ab als Konkurrenzsysteme. Das Unternehmen räumte jedoch ein, dass Halluzinationen – also das unbewusste Generieren falscher oder unbegründeter Antworten – weiterhin ein ungelöstes Forschungsproblem darstellen. Diese Einschränkung ist wichtig, da eine hohe Leistungsfähigkeit im Vergleich zu Benchmarks die Zuverlässigkeitsprobleme, die jedes größere System generativer KI betreffen, nicht beseitigt.
Ultra bleibt hinter einem Sicherheitstor
Google wird sein leistungsstärkstes Modell nicht zum Marktstart allgemein veröffentlichen. Laut Unternehmen durchläuft Gemini Ultra externe Tests durch Experten, Sicherheitsprüfungen, Feinabstimmungen und optimiertes Lernen anhand von Nutzerfeedback. Ausgewählte Kunden, Entwickler und Experten erhalten frühzeitigen Zugriff, bevor die breitere Veröffentlichung für Anfang 2024 geplant ist.
Das stufenweise Vorgehen spiegelt die zunehmende kritische Prüfung von KI-Systemen der Spitzenklasse wider. Die Exekutivanordnung von Präsident Joe Biden vom Oktober verpflichtet die Entwickler bestimmter leistungsstarker Modelle, der US-Regierung Informationen über Sicherheitstests unter festgelegten Bedingungen bereitzustellen. Google erklärt, mit den Sicherheitsbemühungen der Regierung kooperieren zu wollen und führt zudem Gespräche mit dem neuen britischen Institut für KI-Sicherheit über eine Evaluierung.
Gemini Pro wird laut Unternehmensangaben ab dem 13. Dezember über Google AI Studio und Vertex AI für Entwickler und Unternehmenskunden verfügbar sein. Diese Vertriebsstrategie positioniert Gemini nicht nur als Upgrade für Chatbots von Endverbrauchern, sondern als Plattformtechnologie, die im Wettbewerb um Unternehmenssoftware, Cloud-Computing und Anwendungsentwicklung bestehen soll.
Der Wettbewerb erstreckt sich auf das gesamte Produktportfolio von Google
Google verfügt bei der Verbreitung eines neuen Basismodells über außergewöhnliche Vorteile, da das Unternehmen weit verbreitete Verbraucherdienste wie Android, Chrome, die Google-Suche und eine bedeutende Cloud-Plattform kontrolliert. Laut Google soll Gemini schließlich in der Google-Suche, in Anzeigen, in Chrome und weiteren Produkten verfügbar sein. Erste Tests in der Google-Suche haben die Latenz der Suchgenerierung reduziert, wie aus den Einführungsunterlagen hervorgeht.
Diese Bandbreite erhöht auch den Druck. Microsoft hat OpenAI-Technologie in Bing, GitHub und seine Unternehmenssoftware integriert, während OpenAI über ChatGPT eine große direkte Nutzerbasis aufgebaut hat. Google muss nicht nur beweisen, dass Gemini in kontrollierten Tests gut abschneidet, sondern auch, dass es Produkte, die von Milliarden von Menschen genutzt werden, verbessern kann, ohne inakzeptable Probleme hinsichtlich Zuverlässigkeit, Datenschutz oder Sicherheit zu verursachen.
Die Markteinführung erfolgt daher in zwei Phasen. Gemini Pro und Nano können ab sofort auf Bard- und Pixel-Geräten Praxiserfahrung sammeln. Gemini Ultra, das Modell mit den stärksten Leistungsversprechen des Unternehmens, muss zunächst weitere interne und externe Prüfungen bestehen.
Googles Ankündigung etabliert Gemini als die zentrale KI-Architektur des Unternehmens für die Zukunft. Ob sich dadurch das Wettbewerbsgleichgewicht ändert, hängt weniger von einer einzelnen Benchmark-Tabelle ab als vielmehr davon, wie sich die drei Modellgrößen im breiten Einsatz durch Entwickler, Unternehmen und Endverbraucher bewähren. Dieser Prozess hat diese Woche für Pro und Nano begonnen; die wichtigsten Aussagen zu Ultra müssen noch außerhalb von Google überprüft werden.