Modal gab am Montag, dem 19. Oktober, bekannt, dass das Unternehmen plant, Nvidias Vera-Prozessor in seinen KI-Sandbox-Service zu integrieren. Interne Tests hatten zuvor eine bis zu doppelt so hohe Aufgabenleistung wie bei einem vergleichbaren Intel-System unter hoher Last ergeben. Der Bericht des Unternehmens beschreibt eine Erweiterung der bestehenden x86-Infrastruktur, jedoch keine vollständige Umstellung aller Systeme.
Die Erkenntnis betrifft die Rechenumgebungen, in denen KI-Agenten Befehle ausführen, und nicht die Modelle, die ihre Antworten generieren. Modal berichtete von einem deutlich geringeren Vorteil, wenn Aufgaben einzeln auf einem ansonsten ungenutzten Rechner ausgeführt wurden. Die Ergebnisse stützen daher eine spezifische Aussage zur Verarbeitung paralleler Arbeitslasten, nicht aber die allgemeine Schlussfolgerung, dass jede KI-Anwendung doppelt so schnell läuft.
Warum KI-Agenten mehr als GPUs benötigen
KI-Agenten wechseln zwischen der Generierung und Ausführung von Anweisungen. In seiner Architekturanalysebeschreibt Nvidia die CPU-Auslastung, die das Ausführen von Code, das Abfragen von Datenbanken, das Abrufen von Informationen und die Verarbeitung von Tool-Ergebnissen umfasst. Diese Operationen können auf dem kritischen Pfad zwischen den Entscheidungen eines Modells liegen. Schnellere Grafikprozessoren beseitigen Verzögerungen in der umgebenden Software nicht automatisch.
Die praktische Herausforderung besteht darin, einen Server so zu teilen, dass die Aktivitäten eines Kunden die anderer nicht beeinträchtigen. der Ressourcendokumentation reservieren die Sandboxes eine Mindestmenge an Rechenkapazität, können aber darüber hinaus freie Ressourcen nutzen. Die Abrechnung richtet sich nach dem höheren Wert aus angeforderter oder tatsächlich verbrauchter Kapazität. Diese Regelung schafft nutzbare Reserven, bedeutet aber auch, dass neben der Geschwindigkeit auf einem leeren Server auch ein vorhersehbares Verhalten bei gleichzeitiger hoher Auslastung wichtig ist.
Was der Benchmark tatsächlich misst
Modal hat seinen Testcodenamens Agentless Agent Bench veröffentlicht und damit die Methodik zur Untersuchung zugänglich gemacht. Das Repository beschreibt 50 Aufgaben aus Terminal-Bench 2.1, die mithilfe vordefinierter Lösungen ausgeführt werden, anstatt auf die Entscheidung eines Sprachmodells zu warten. Netzwerkabhängige Operationen werden ausgeschlossen, und Container werden vor der Messung vorbereitet und vorgewärmt. Eine Aufgabe gilt erst dann als abgeschlossen, wenn ihr Verifizierungsschritt erfolgreich war.
Dieses Design isoliert die Host-Rechnerleistung von verschiedenen anderen Verzögerungsquellen. Es misst sowohl die Latenz sequenzieller Aufgaben als auch die Anzahl der verifizierten, gleichzeitig innerhalb eines festen Intervalls abgeschlossenen Durchläufe. Es misst nicht, wie zuverlässig ein KI-Modell den richtigen Befehl auswählt, wie lange ein Remote-Dienst reagiert oder wie sich der Start einer neuen Umgebung gestaltet. Diese Auslassungen stellen methodische Grenzen dar und sind kein Beweis dafür, dass die ausgeschlossenen Verzögerungen verschwunden sind. Das Repository bietet außerdem einen Test, der die Anzahl der verfügbaren CPUs erhöht und gleichzeitig die Anzahl der Replikate gleichzeitiger Aufgaben variiert. Dadurch wird das Skalierungsverhalten Teil der veröffentlichten Methode, anstatt die Evaluierung auf einen einzelnen, gering ausgelasteten Durchlauf zu reduzieren.
Erinnerung und Konflikte prägen das Ergebnis
Laut Nvidias Produktspezifikationenkombiniert Vera 88 speziell angepasste Olympus-Kerne mit 176 Hardware-Threads und einer Speicherbandbreite von bis zu 1,2 Terabyte pro Sekunde. Nvidia bietet sie sowohl als Host für beschleunigtes Rechnen als auch als eigenständigen Prozessor an. Es handelt sich hierbei um Herstellerangaben; sie garantieren keine einheitliche Leistungssteigerung für alle Kunden oder Softwareanwendungen.
Nvidias technische Erklärung betont den nachhaltigen Fortschritt bei vielen Aufgaben, die um Ressourcen konkurrieren. Sie beschreibt einen Ansatz, der Ressourcen zwischen zwei Hardware-Threads aufteilt, um Interferenzen zu reduzieren, sowie ein Speichersubsystem, das die aktiven Kerne mit Daten versorgt. Modal führt seine besseren Ergebnisse auf stark ausgelasteten Servern auf diese Fähigkeit zurück, Konflikte zu bewältigen. Dieser Unterschied ist entscheidend: Mehr Aufträge auf einem stark ausgelasteten Host abzuschließen, ist etwas anderes, als die Ausführungszeit jedes einzelnen Auftrags zu halbieren.
Auch unabhängige Tests haben ihre Grenzen
Frühere Tests von Phoronix liefern eine separate, unmittelbare Einschätzung von Vera, stellen aber keine Replikation des Modal-Experiments dar. Der Tester Michael Larabel testete im Mai Vorserienhardware in den Büros von Nvidia und berichtete von vielversprechenden Ergebnissen bei den ausgewählten Arbeitslasten. Seine Angaben erklären auch, warum dieser Test nicht alle Fragen zu Produktionssystemen oder Betriebskosten beantworten kann. Für die Tests wurde Ubuntu mit einem gepatchten Linux-Kernel und einer spezifischen Compiler-Konfiguration verwendet. Larabel testete die Installation nicht auf verschiedenen Linux-Distributionen – ein weiterer Grund, eine erfolgreiche, kontrollierte Demonstration von der Validierung der Softwareumgebung jedes einzelnen Kunden zu unterscheiden.
Nvidia beschränkte den zulässigen Benchmark-Umfang und bat darum, die Prozessorleistung und -frequenz während der Optimierung nicht zu überwachen, schrieb Larabel. Er bezeichnete den Artikel als ungesponsert, die Testbedingungen waren jedoch dennoch eingeschränkt. Weder diese Überprüfung noch der Bericht von Modal liefern einen allgemeingültigen, unabhängig ermittelten Kostenvorteil pro Aufgabe für alle Implementierungen. Zur Beantwortung dieser Frage sind Leistungs- und Stromverbrauchsmessungen, Hardwarekosten und die tatsächliche Arbeitslast erforderlich, nicht nur ein Durchsatzwert.
Ein Einführungsplan, keine exklusive Umstellung
Modal-Chef Erik Bernhardsson erklärte gegenüber Reuters , dass das Unternehmen weiterhin Intel- und AMD-Prozessoren in einer gemischten Produktpalette einsetzen und die Entwicklung auf die jeweils am besten geeignete Hardware konzentrieren werde. Er fügte hinzu, dass der Vergleich bereits verfügbare Chips bezog, während neuere Konkurrenzprozessoren noch getestet werden müssten. Die Entscheidung verschafft Nvidia einen weiteren CPU-Kunden, ohne dass dadurch bestehende Lieferanten verdrängt werden.
Modal gibt an, dass die Unterstützung des Arm-kompatiblen Prozessors Änderungen an der Infrastruktur und dem Image-Erstellungssystem erfordert. In der Ankündigung wird die Absicht geäußert, gemeinsam mit Nvidia und Cloud-Anbietern zu skalieren, ein allgemeiner Verfügbarkeitstermin wird jedoch nicht genannt. Die aktuelle Entwicklung besteht aus einer geplanten Hardware-Erweiterung, die durch einen veröffentlichten Benchmark untermauert wird. Ob Kunden dauerhaft schnellere Dienste oder niedrigere Rechnungen erhalten, bleibt abzuwarten.