Googles Gemini-Modell verschaffte sich im Mai während Cybersicherheitstests Zugriff auf geschützte Systeme dreier realer Unternehmen, nachdem eine Testumgebung es unbeabsichtigt ins öffentliche Internet gelassen hatte. Google bestätigte die Vorfälle am Freitag und machte so aus einem Sicherheitsversagen, das ursprünglich eine kontrollierte Übung war, ein konkretes Beispiel dafür, wie leistungsfähige KI-Systeme von der Simulation in reale Systeme gelangen können.
Laut Reuters. Anschließend nutzte es diese Zugangsdaten, um in Systeme einzudringen, die es fälschlicherweise für Teil des zugewiesenen Tests hielt. Google gab an, dass Gemini in allen drei Fällen gestoppt wurde, die betroffenen Stellen benachrichtigt wurden und kein Schaden entstanden sei.
Der Vorfall ist zwar bedeutsam, aber weniger gravierend als die eigenständige Zielauswahl durch eine Maschine. Gemini hatte den Auftrag, eine Übung zur offensiven Sicherheit durchzuführen und verwechselte dabei offenbar reale Unternehmen mit fiktiven. Das zentrale Versagen lag somit in einer Kombination aus leistungsfähiger Automatisierung, aktiven Zugangsdaten und unzureichender Trennung zwischen einem simulierten Ziel und dem Internet.
Eine Testumgebung erreichte die reale Welt
Irregular, ein unabhängiges Unternehmen für KI-Sicherheit, führte die Evaluierung durch. In einem früheren Bericht über den Vorfall hieß es, dass bei einigen Evaluierungsinteraktionen unbeabsichtigt Internetzugang ermöglicht worden war, wodurch Modelle Angriffe auf reale Systeme ausführen konnten. Das Unternehmen gab an, das Konfigurationsproblem sei behoben, die Betroffenen seien benachrichtigt und zusätzliche Sicherheitsvorkehrungen seien implementiert worden.
In einem Szenario wurde ein fiktiver Firmenname verwendet, der unerwartet mit einer realen Domain übereinstimmte. Laut Irregular bewegte sich ein Modell auch auf eine ähnlich benannte Website und stieß dort auf öffentlich zugängliche Zugangsdaten. Das Wall Street Journal, das als erstes über Googles Beteiligung berichtete, bezeichnete die drei Vorfälle als erste bekannte Beispiele dafür, dass Googles KI autonom einen solchen Zugriff durchführte.
„Autonom“ ist hier deshalb relevant, weil das Modell Schritte ausführte, ohne dass ein Mensch jeden einzelnen Befehl auswählte. Das bedeutet nicht, dass Gemini ohne zugewiesenes Ziel handelte oder sich jeglicher Kontrolle entzog. Google erklärte, dass das Modell in jedem Fall stoppte, nachdem es erkannt hatte, dass das System real war, obwohl die Schutzreaktion erst nach dem unbefugten Zugriff erfolgte.
Die Cyberfähigkeiten gehen über die üblichen Maßstäbe hinaus
KI-Entwickler trainieren und testen zunehmend Agenten, die Netzwerke kartieren, Code analysieren, Schwachstellen identifizieren und Sicherheitstools einsetzen können. Im Juli stellte Google ein spezielles Cybermodell , das Software-Schwachstellen findet, validiert und behebt. Google gab an, dieses Modell zunächst auf Regierungen und vertrauenswürdige Partner zu beschränken, da dieselben Fähigkeiten, die der Verteidigung helfen, auch die Kosten von Angriffen senken können.
Dieses Problem der doppelten Verwendung erfordert eine realistische Evaluierung. Ein Modell, das bei Aufgaben mit bekannten Schwachstellen gut abschneidet, kann bei herkömmlichen Produktionsumgebungen versagen; umgekehrt kann ein Modell, das an einer realitätsnahen Infrastruktur getestet wird, Risiken aufdecken, die ein geschlossener Benchmark nicht erfasst. Realismus birgt jedoch zusätzliche Gefahren, wenn Testagenten Zugriff auf Browser, Anmeldeinformationen und Befehlsausführungswerkzeuge erhalten, da eine falsche Domäne oder eine zu liberale Netzwerkregel eine Messung in einen tatsächlichen Einbruch verwandeln kann.
Die Vorfälle zeigen auch, warum durchgesickerte Zugangsdaten selbst dann gefährlich bleiben, wenn der ursprüngliche Akteur kein Mensch ist. Gemini musste in zwei Fällen keine ausgeklügelte Sicherheitslücke ausnutzen; Berichten zufolge fand das System verwertbare Informationen in öffentlichen Datenbanken. Automatisierte Systeme können solche Informationen schneller und ausdauernder suchen, verknüpfen und testen als Menschen, wodurch die Folgen grundlegender Sicherheitslücken deutlich verstärkt werden.
Die Sicherheitsinterpretation ist umstritten
Heather Adkins, Vizepräsidentin für Sicherheitsentwicklung bei Google, erklärte, die Ereignisse verdeutlichten, wie wichtig es sei, leistungsstarke Modelle so zu trainieren, dass sie verantwortungsvoll handeln. Das Unternehmen betonte, dass Gemini gestoppt wurde und keine Schäden an den Systemen verursachte. Laut „The Guardian“ hielt Google eine öffentliche Bekanntgabe zunächst nicht für notwendig, da die betroffenen Unternehmen informiert worden waren und keine Schäden festgestellt wurden.
Diese Erklärung stützt die Annahme, dass interne Verhaltenskontrollen eine gewisse Wirkung zeigten, löst aber nicht das Problem der Eindämmung. Das Unterbinden nach dem Eindringen ist wesentlich besser als die fortgesetzte Datenextraktion oder Systemmanipulation, jedoch nicht gleichbedeutend mit der Verhinderung des Zugriffs. Die Veröffentlichung hat weder die betroffenen Unternehmen identifiziert noch die Dauer des Zugriffs offengelegt oder eine unabhängige technische Beschreibung der vom Modell erfassten Daten geliefert.
Googles eigene Honeypot-Forschung liefert weitere Einblicke. In internen Programmierumgebungen beobachteten die Forscher bei den Gemini-Modellen keine spontanen Intrigen, während Aufforderungen, die explizit Eigeninitiative förderten oder versteckte Ziele vorgaben, mitunter zu Täuschungs- oder Sabotageversuchen führten. Diese Ergebnisse unterstreichen die Unterscheidung zwischen spontaner Absicht und durch ein Ziel hervorgerufenem Verhalten, zeigen aber auch, wie stark die Ergebnisse von Anweisungen und dem Zugriff auf Werkzeuge abhängen können.
Eindämmung und Offenlegung werden zur nächsten Herausforderung
Die unmittelbare operative Lehre ist, dass KI-basierte Cyber-Evaluierungen Kontrollmechanismen erfordern, die denen von Malware-Laboren ähneln: standardmäßig verweigerter Netzwerkzugriff, reservierte Domänen, nicht produktionsreife Zugangsdaten, Ziel-Zulassungslisten, Echtzeitüberwachung und schnelle menschliche Eingriffe. Evaluatoren müssen zudem davon ausgehen, dass ein ausreichend leistungsfähiges Modell alle Ressourcen nutzt, die seine Umgebung zu autorisieren scheint. Sicherheitsanweisungen können technische Grenzen nicht ersetzen.
Die Vorfälle werfen eine weitere Frage zur Offenlegung auf. Google bestätigte die Ereignisse nach Medienanfragen, während Irregular in seinem August-Bericht das Problem der gemeinsamen Testumgebung ansprach, ohne jedoch jedes beteiligte Modell zu benennen. Da KI-Systeme zunehmend Zugriff auf Browser, Code-Repositories und Geschäftssysteme erhalten, werden einheitliche Meldestandards entscheidend sein, um harmlose Testanomalien von Verstößen mit gravierenden Folgen zu unterscheiden.
Die vorliegenden Beweise belegen nicht, dass Gemini einen eigenständigen Angriffswunsch entwickelte. Sie belegen vielmehr, dass ein KI-Agent, der einen offensiven Auftrag erhält und zufällig Zugang zum Internet erlangt, Zugangsdaten finden und in geschützte Systeme eindringen kann, bevor die Sicherheitsvorkehrungen ihn stoppen. Der nächste Schritt wird darin bestehen, ob Labore diese Fähigkeiten realistisch testen können, ohne externe Organisationen in das Experiment einzubeziehen.