Nvidia, SK Telecom und der südkoreanische Chipdesigner Rebellions unterzeichneten am Montag in Seoul eine Vereinbarung zur Entwicklung und Erprobung eines KI-Systems, das zwei verschiedene Chiptypen zur Beantwortung einer einzelnen Anfrage nutzt. Die Grafikprozessoren von Nvidia übernehmen die Vorverarbeitung der Anfrage, während ein von Rebellions entwickelter Chip die Antwort generiert. SK Telecom plant, das kombinierte System in einem seiner KI-Rechenzentren zu testen.
Das Projekt würde Rebellions die Möglichkeit geben, seine Hardware in einem Nvidia-Rack zu testen, während SK Telecom untersuchen könnte, ob die Zuweisung unterschiedlicher Aufgaben zu verschiedenen Chips den Betrieb von KI-Diensten kostengünstiger oder effizienter gestalten kann. Der Telekommunikationsanbieter beschrieb eine Entwicklungs- und Validierungsvereinbarung. Die Unternehmen haben die Leistungsergebnisse des Gesamtsystems noch nicht veröffentlicht.
Was die Unternehmen vereinbarten zu bauen
Die Vereinbarung wurde im Rahmen des AI Day von Nvidia in Seoul unterzeichnet. Laut Unternehmensmitteilungsoll das System die Rebel R200, eine noch in Entwicklung befindliche neuronale Verarbeitungseinheit, über NVLink Fusion mit Nvidia-Hardware verbinden. Diese Technologie ermöglicht es Chipdesignern, ihre eigenen Prozessoren in die Rack-Infrastruktur von Nvidia zu integrieren. Das geplante System nutzt Nvidias MGX-Rack-Design, um die Hardwarekomponenten zusammenzuführen.
SK Telecoms Aufgabe ist es, das System in einem KI-Rechenzentrum zu installieren und dessen Leistung und Stabilität zu evaluieren, bevor über die Eignung für kommerzielle Dienste entschieden wird. Der Plan des Betreibers sieht vor, ein komplettes Rack zu testen, in dem die Chips und die Verbindungen zwischen ihnen einwandfrei zusammenarbeiten müssen. Nvidia geht davon aus, dass die R200-Systeme von Rebellion im Jahr 2028 einsatzbereit sein werden. Dies ist jedoch ein Ziel für die Hardware und kein bestätigter Starttermin für einen Dienst von SK Telecom.
Warum eine einzige Antwort zwei Arten von Arbeit erfordert
Inferenz bezeichnet die Arbeit, die ein KI-Modell nach dem Training durchführt. Bei einem Sprachmodell besteht der erste Schritt darin, die Benutzereingabe und den zugehörigen Kontext zu verarbeiten. Dieser Schritt, bekannt als Prefill, erstellt einen Arbeitsdatensatz der Eingabe. Das Modell verwendet diesen Datensatz dann beim Dekodieren, indem es Token für Token generiert. Token können Wörter oder Wortteile sein. Die technische Dokumentation der Dynamo-Software von Nvidia beschreibt, warum diese Schritte unterschiedliche Anforderungen an die Maschine stellen.
Eine lange Eingabeaufforderung kann erhebliche Rechenleistung erfordern. Während der Dekodierung liest das Modell wiederholt aus dem Speicher, um die Antwort zu generieren. Forscher von DistServe, die die Trennung dieser Schritte auf GPU-Systemen untersuchten, stellten fest, dass die Verteilung auf verschiedene Prozessoren verhindert, dass das Lesen neuer Eingabeaufforderungen die bereits generierten Antworten unterbricht. Ihre Experimente testeten nicht den Rebellions-Chip. Das Projekt in Seoul schlägt vor, diese Trennung weiter zu optimieren, indem jede Phase einem anderen Prozessortyp zugewiesen wird.
Was ein Rechenzentrumstest feststellen könnte
Die Übergabe ist genauso wichtig wie die Geschwindigkeit der einzelnen Chips. In einem geteilten System benötigt der Teil, der die Antwort generiert, Zugriff auf den Arbeitsdatensatz, der vom Teil erstellt wurde, der die Eingabeaufforderung gelesen hat. Wie die Dokumentation von Nvidia erklärt, beeinflusst die Effizienz der Datenübertragung die Effektivität der Aufteilung. Dauert die Übertragung zu lange oder arbeiten die Software-Warteschlangen ungleichmäßig, kann der Vorteil eines separaten Prozessors abnehmen.
Ein sinnvoller Test würde die Wartezeit der Nutzer auf den ersten Teil einer Antwort, die Geschwindigkeit, mit der der Rest erscheint, und die Anzahl der Anfragen, die ein Rack unter Einhaltung dieser Antwortzeiten verarbeiten kann, vergleichen. Die DistServe-Studie maß die Verzögerung des ersten Tokens und die Zeit zwischen nachfolgenden Tokens separat, da sie unterschiedliche Aspekte der Nutzererfahrung erfassen. Ein System kann bei kurzen Fragen gut funktionieren und sich anders verhalten, wenn viele lange Anfragen gleichzeitig eingehen. Leistungsmessungen für das gesamte Rack würden zudem zeigen, ob die Einsparungen an einem Chip den zusätzlichen Aufwand für die Datenübertragung und die Auslastung beider Prozessorsätze rechtfertigen.
Warum Südkorea das Projekt unterstützt
Das südkoreanische Wissenschaftsministerium sieht in der Kooperation eine Möglichkeit für einheimische Chipentwickler, ihre Hardware auf einer international genutzten Plattform zu demonstrieren, wie Yonhap berichtete. Das Ministerium erklärte, es wolle ähnliche Projekte auch anderen südkoreanischen Entwicklern ermöglichen. SK Telecom verknüpft die Zusammenarbeit mit einem umfassenderen Vorhaben, lokal entwickelte Modelle und Chips mit den eigenen Rechenkapazitäten zu kombinieren, unter anderem für potenzielle Dienstleistungen im öffentlichen und privaten Sektor.
Das Design sieht die Integration eines koreanischen Prozessors in das System vor, während Nvidias GPUs, Anschlüsse und Rack-Design beibehalten werden. Damit wird der Deal zu einem Test dafür, wie viel Spielraum koreanische Chipdesigner innerhalb einer etablierten Plattform gewinnen können. Die nächsten Erkenntnisse werden zeigen, ob SK Telecom das geplante System zuverlässig betreiben und die gleiche Servicequalität zu geringeren Kosten oder mit weniger Stromverbrauch bieten kann. Bislang haben die Unternehmen lediglich ihre geplante Arbeitsteilung bekannt gegeben; die gemeinsame Ankündigung nennt jedoch keine konkreten Einsparungen.