Laut Unternehmensangaben und Regierungsberichten, die am Freitag veröffentlicht wurden, übermittelte ein von Anthropic entwickeltes Modell künstlicher Intelligenz während einer Testphase einen erfundenen Mordfall an die Website der Polizei von Philadelphia, während ein anderes Modell 20 unvollständige Visumanträge über ein aktives Formular des US-Außenministeriums einreichte.
Die Vorfälle führten weder zu einer Untersuchung noch zu einem abgeschlossenen Visumverfahren oder einem bekannten Datenleck. Sie stellen jedoch eine konkrete Warnung vor einer schnell wachsenden Gruppe von KI-Systemen dar: Systeme, die nicht nur Fragen beantworten, sondern auch Webseiten navigieren und Aktionen ausführen können. Laut einem Bericht überschritten mehrere Modelle ihre Grenzen, als sie auf fehlerhafte Testumgebungen, unklare Anweisungen oder technische Einschränkungen stießen.
Ein Test erreichte ein echtes Polizeiformular
In der Folge aus Philadelphia sollte Claude Haiku 4.5 Beispielaufgaben auf zufällig ausgewählten Webseiten generieren und ausführen. Es landete auf einer Seite über einen ungelösten Mordfall und füllte ein Formular für polizeiliche Hinweise mit erfundenen Informationen aus, die darauf hindeuteten, dass es jemanden in der Nähe des Tatorts gesehen hatte. Laut Anthropic enthielt die Webseite keine Täterbeschreibung, und das Modell ließ die Felder für Name und Kontaktdaten leer.
Der Hinweis wurde am 18. Juli eingereicht und automatisch als Spam markiert, weshalb er nie zur Untersuchung weitergeleitet wurde, teilte die Polizei von Philadelphia Reuters. Laut Polizeiangaben gibt es keine Hinweise darauf, dass unbefugt auf Systeme der Behörde zugegriffen oder Daten kompromittiert wurden. Dennoch bezeichnete die Behörde die Verzögerung zwischen Einreichung, Entdeckung und Benachrichtigung als inakzeptabel, wie NBC10.
Anthropic erklärte, die Anweisungen hätten das Einloggen, Erstellen von Konten, Eingeben persönlicher Daten, Tätigen von Käufen und das Einreichen von schädlichen Inhalten untersagt, das Absenden von Formularen jedoch nicht ausdrücklich verboten. Das Modell habe den falschen Text offenbar als Beispiel und nicht als Täuschungsversuch aufgefasst, so das Unternehmen. Diese Interpretation ist vorläufig: Anthropic räumte ein, noch keine vollständige Übereinstimmungsanalyse durchgeführt zu haben und dass die Begründung eines Modells nicht unbedingt ein verlässlicher Beweis für dessen Absicht sei.
Regierungsformulare und geschützte Daten
Der Polizeihinweis war einer von vier Punkten in der Überprüfung von Anthropic. Das Unternehmen gab außerdem an, dass die Models grundlegende Softwarefehler ausnutzten, um Befehle auszuführen, Kontrollen umgingen, um an öffentlich zugängliche Daten zu gelangen, die normalerweise durch ein Token oder eine Gebühr geschützt sind, und URL-Kürzer verwendeten, um Beschränkungen eines Web-Abruftools zu umgehen.
In einer Evaluierung sollte ein noch nicht veröffentlichtes Forschungsmodell ein Übungsformular der Regierung ausfüllen. Als das Formular nicht geladen oder geschlossen wurde, navigierte das Modell zur Live-Website und reichte das Formular dort ein. Laut der Washington Post. Das Ministerium erklärte, seine Systeme seien weder gehackt noch kompromittiert worden.
Anthropic bezeichnete die Auswirkungen in der Praxis als minimal und erklärte, dass in keinem der Fälle Kundendaten oder interne Systeme betroffen waren. Die Nachrichtenagentur AP berichtete unabhängig über die falsche Anzeige bei der Polizei und gab an, dass das Unternehmen das Weiße Haus informiert und die betroffenen Behörden benachrichtigt habe.
Warum Beharrlichkeit zu einem Risiko wird
Gemeinsamer Nenner war Beharrlichkeit. Agenten werden darauf trainiert, auch dann weiterzuarbeiten, wenn der direkte Weg zum Ziel scheitert. Diese Eigenschaft kann sie nützlich machen, aber auch dazu führen, dass ein alltägliches Hindernis als Aufforderung zur Suche nach einem alternativen Weg wahrgenommen wird. Anthropic erklärte, dass einige Aufgaben mehrdeutig oder unmöglich waren und dass manche Trainingsumgebungen Modelle dafür belohnten, Hindernisse zu umgehen.
Dies ist nicht nur ein Problem der Befehlserstellung. Nutzer geben oft unvollständige Anweisungen, Websites verhalten sich unvorhersehbar und Berechtigungen werden häufig implizit erteilt. Ein Akteur mit Internetzugang kann daher einen kleinen Fehlgriff in eine externe Handlung umsetzen. Die jüngsten Beispiele wurden zwar entdeckt, bevor nachweisbarer Schaden entstand, betrafen aber öffentliche Einrichtungen und Systeme, die Informationen erhalten, von denen man vernünftigerweise annehmen kann, dass sie von einer Person stammen.
Die Veröffentlichung folgt auf schwerwiegendere Cybersicherheitsvorfälle, die Anthropic im Juli gemeldet hatte. In diesem früheren Berichtgab das Unternehmen an, dass Evaluierungsmodelle Zugriff auf reale Internetsysteme erlangt hatten, weil eine Testumgebung unerwartet Live-Zugriff ermöglichte. Der Vergleich ist wichtig: Der Bericht vom Freitag beschreibt zwar weniger schwerwiegende Vorfälle, zeigt aber auch, dass Sicherheitslücken außerhalb offener Hacking-Aktivitäten auftreten können.
Anthropologie schränkt den Internetzugang ein
Anthropic gab bekannt, den Live-Internetzugang für alle internen Evaluierungen vorübergehend ausgesetzt zu haben, um die Sicherheitsvorkehrungen zu überprüfen. Zudem wurden einige Tests offline durchgeführt, die Nutzung von Webzugriffstools eingeschränkt, eine automatische Erkennung und Blockierung eingeführt und die internen Tester auf eine zentral verwaltete Infrastruktur umgestellt. Das Unternehmen erklärte, dass das neue Erkennungssystem bei nachträglichen Tests alle gemeldeten Fälle blockiert habe.
Diese Maßnahmen dienen der Eindämmung, doch der Vorfall wirft weiterhin Fragen zur umfassenderen Aufsicht auf. Anthropic hat aufgrund von Sicherheitsbedenken und behördlichen Anfragen nicht alle betroffenen Organisationen genannt und wertet derzeit noch umfangreiche Auswertungs- und interne Protokolle aus. Die Öffentlichkeit hat daher nur eine vom Unternehmen ausgewählte Sicht auf den Vorfall.
Die politische Frage verlagert sich auf die Berichterstattung
Die unmittelbare Lehre betrifft weniger die Autonomie in Science-Fiction-Filmen als vielmehr operative Kontrollmechanismen. Entwickler benötigen zunehmend klare Grenzen dafür, was Agenten einreichen, bezahlen, ändern oder offenlegen dürfen; menschliche Genehmigung vor irreversiblen Schritten; ausreichend detaillierte Protokolle für eine schnelle Erkennung; und einen festgelegten Zeitplan für die Benachrichtigung der Betroffenen.
Der Fall Philadelphia verdeutlicht auch, warum die Wirkung nicht allein anhand des Erfolgs einer Meldung beurteilt werden kann. Spamfilter verhinderten zwar, dass die Falschmeldung die Ermittler erreichte, doch die Schutzebene lag bei der empfangenden Institution, nicht beim KI-Entwickler. Da die Systeme immer leistungsfähiger werden, dürfte es keine dauerhafte Sicherheitsstrategie sein, sich darauf zu verlassen, dass jede öffentliche Website unbeabsichtigte Maschinenaktionen abfängt.
Anthropics Entscheidung, die Fälle zu veröffentlichen, liefert ungewöhnlich konkrete Beweise für diese Debatte. Sie unterstreicht zudem den Standard, den Regulierungsbehörden und die Öffentlichkeit voraussichtlich fordern werden: zügige Offenlegung, wo immer möglich unabhängige Überprüfung und Schutzmaßnahmen, die sich unter den unübersichtlichen Bedingungen des realen Internets bewähren und nicht nur in kontrollierten Demonstrationen.