Google hat am Montag zwei KI-Computing-Systeme vorgestellt und damit seine achte Generation hauseigener Prozessoren erweitert. Das eine Design schützt sensible Daten während der Verarbeitung, das andere ermöglicht einen schnelleren Datentransfer durch den Speicher. Die TPU 8tx und TPU 8i Max nutzen bereits im April vorgestellte Prozessordesigns. Laut Google Cloud unterscheiden sie sich je nach Anwendungsfall in der Verpackung, den Verbindungen und dem Schutz der Chips .
Die Ankündigung vom 9. November gibt Kunden ein klareres Bild davon, in welchem Bereich Google seine Tensor Processing Units (TPUs) positionieren will. Beide Systeme legen den Schwerpunkt auf Inferenz, also die Arbeit, die ein Modell nach dem Training leistet, wenn es eine Antwort generiert oder eine Aufgabe ausführt. Reuters . Googles Ankündigung enthielt keine Angaben zu Preisen oder konkreten Veröffentlichungsterminen für die beiden Systeme.
Schutz von Daten während einer KI-Aufgabe
Der 8tx löst ein Problem für Unternehmen und Behörden, die sensible Daten verarbeiten. Die Verschlüsselung einer Datei im Speicher oder während der Übertragung im Netzwerk schützt den Inhalt nicht automatisch, solange ein Prozessor ihn verarbeitet. Google erklärt, dass der 8tx in dieser Phase zusätzliche Hardware-Schutzmechanismen bietet. Er kombiniert den TPU-8t-Chip mit EPYC-Serverprozessoren der fünften Generation von AMD, die Aufgaben wie die Datenaufbereitung und die Koordination der Beschleuniger übernehmen.
AMD gibt an, dass das System die Identität und Sicherheitskonfiguration eines Beschleunigers überprüft, bevor es ihm Zugriff auf geschützten Speicher gewährt. Laut Unternehmen schützt die Vorgehensweise Eingabeaufforderungen, Modellgewichte und Zwischenergebnisse durch Verschlüsselung im Hostspeicher und während der Übertragung. Zusätzlich wird eine Hardware-Isolation gewährleistet, während der Beschleuniger die Arbeitslast ausführt. Network World berichtete, dass Google Organisationen im Visier hat, die Modelle auf proprietären oder regulierten Daten ausführen möchten. Kunden müssen jedoch weiterhin prüfen, welche Teile ihrer Anwendungen abgedeckt sind und ob die Schutzmaßnahmen ihren eigenen Sicherheitsanforderungen entsprechen.
Die 8tx nutzt ebenfalls das Netzwerk, das Google für den Datenaustausch zwischen den Chips der TPU 8i verwendet. Laut kann diese Änderung die Latenz im Vergleich zur 8t um bis zu die Hälfte reduzieren. Dies ist ein Vergleich zwischen verschiedenen Anbietern und einem anderen Google-System. Er gibt keine Auskunft darüber, wie schnell eine Anwendung auf den eigenen Modellen und Daten eines Kunden ausgeführt wird.
Mehr Informationen im Speicher verarbeiten
Der 8i Max löst ein anderes Problem: die schnelle Bereitstellung ausreichender Datenmengen für die Prozessoren. Ein Programmierassistent, der eine große Dateisammlung durcharbeitet, oder ein System, das stundenlanges Videomaterial analysiert, benötigt deutlich mehr Daten als ein einfacher Chatbot. Wenn mehrere Aufgaben gleichzeitig ausgeführt werden, konkurrieren sie um den Speicherplatz und die Bandbreite für die Datenübertragung. Google hat zwei TPU 8i-Chips in einem Gehäuse integriert, um dem System mehr Rechenleistung und mehr Kapazität für die Datenübertragung zu verleihen.
Laut Googles Spezifikationen vom April verfügte die ursprüngliche TPU 8i über 288 Gigabyte Arbeitsspeicher mit hoher Bandbreite und eine Speicherbandbreite von etwa 8,6 Terabyte pro Sekunde. TechTarget berichtete, dass die 8i Max bis zu 17,2 Terabyte pro Sekunde über diesen Speicher verarbeiten kann, also etwa doppelt so viel wie der vorherige Wert. Network World gab 384 Gigabyte Arbeitsspeicher mit hoher Bandbreite an, was einer Steigerung um etwa ein Drittel entspricht. Anders ausgedrückt: Das größere System kann Daten theoretisch doppelt so schnell verarbeiten, während die Speicherkapazität nur geringfügig zunimmt. Keiner der beiden Werte allein gibt jedoch Aufschluss darüber, wie viel schneller ein Modell tatsächlich reagiert.
Auch die Software beeinflusst das Ergebnis
Google veröffentlicht ein Tool namens TPU Sync, das die Verwaltung von Arbeitsdaten über Chipspeicher, Serverspeicher und gemeinsam genutzten Speicher hinweg vereinfacht. Ein Beispiel hierfür ist die Aufzeichnung früherer Gesprächs- oder Aufgabenabschnitte, die ein Modell speichert, um später darauf zurückgreifen zu können, ohne dieselben Berechnungen wiederholen zu müssen. Network World berichtete, dass die Software Arbeitsdaten vom Chip auslagern kann, wenn ein KI-System pausiert, und sie anschließend wiederherstellen kann, sobald die Aufgabe fortgesetzt wird. Dadurch wird in der Zwischenzeit Chipspeicher für andere Aufgaben freigegeben.
Diese Software ist Teil von Googles umfassenderem Argument, dass Kunden das Gesamtsystem bewerten sollten. Ein Prozessor kann Zeit mit Warten auf den Speicher, einen anderen Chip oder die nächste Anweisung einer Anwendung verbringen. Die Geschwindigkeit eines einzelnen Chips liefert Kunden nur einen Teil des Gesamtbildes. Bei einer zeitaufwändigen Aufgabe wäre ein sinnvoller Vergleich, zu messen, wie viel Arbeit jedes System erledigt, wie schnell es ein nutzbares Ergebnis liefert und welche Kosten für die Ausführung derselben Arbeitslast anfallen.
Was Kunden noch wissen müssen
Die Ankündigung erweitert das Angebot um zwei Optionen. Bisher umfasst das System ein System für das Training großer Modelle und ein weiteres für schnelle Inferenz. Wie Reuters berichtete, bietet Google Cloud damit eine weitere Möglichkeit, Unternehmen anzusprechen, die sich sonst für Systeme mit Grafikprozessoren entscheiden würden. Da die beiden neuen Systeme unterschiedliche Anforderungen erfüllen, lässt sich anhand der Modellnamen allein nicht feststellen, welches System besser geeignet ist.
TechTarget berichtete, dass Google weder konkrete Verfügbarkeitstermine noch Preise für die beiden Systeme genannt hat. Ohne diese Informationen und vergleichbare Tests unter realen Arbeitslasten können Käufer die Kosten der zusätzlichen Speicherbandbreite oder die Auswirkungen der Hardware-Isolation auf die gewünschten Modelle noch nicht beurteilen. Die Ankündigung vom Montag erläutert den Zweck der Systeme; der nächste Test wird zeigen, was Kunden damit anfangen können.