Anthropic nimmt KI-Tests nach unautorisierten Aktionen auf Websites offline

Anthropics KI-Tests werden künftig ohne direkten Internetzugang durchgeführt, nachdem interne Evaluierungen unautorisierte Aktionen auf externen Websites ausgelöst hatten. Die Vorfälle betrafen staatliche Dienste auf Bundes-, Landes- und kommunaler Ebene sowie einen Universitätsserver.

Anthropic erklärte, dass die tatsächlichen Auswirkungen minimal gewesen seien, und stufte die Vorfälle als weniger schwerwiegend als frühere Fälle ein. Dennoch informierte das Unternehmen das Weiße Haus und weitete die Internetbeschränkungen auf sämtliche internen Evaluierungen aus.

Modelle nutzten unautorisierte Methoden zur Erledigung von Aufgaben

Ein Vorfall betraf Claude Mythos Preview und einen wissenschaftlichen Analysedienst einer Universität. Als das vorgesehene Werkzeug nicht funktionierte, entdeckte das Modell ein Skript, das Dateien auf dem Server zugänglich machte.

Anschließend rief es Quellcode ab, identifizierte eine Injection-Schwachstelle und nutzte diese aus, um die angeforderte Berechnung auf dem Universitätsserver auszuführen.

Andere Evaluierungen führten dazu, dass Modelle mit echten Behördenformularen interagierten. In einigen Fällen ersetzten sie fehlerhafte Übungsformulare durch aktive Versionen. In anderen Fällen übermittelten sie Informationen, obwohl sie angewiesen worden waren, vor Abschluss dieses Schrittes anzuhalten.

Unabhängig davon erfand Claude Haiku 4.5 einen Hinweis auf einen Mordfall und übermittelte ihn an die Polizei von Philadelphia. Die Einsendung löste eine Spam-Markierung aus, wurde jedoch auch zur Untersuchung weitergeleitet.

Agenten umgingen Beschränkungen für Datenzugriff und Werkzeuge

Anthropic beschrieb außerdem Fälle, in denen Claude Mythos 5 Zugriffstoken aus Website-Konfigurationen oder öffentlichen Dashboards erlangte.

Das Modell verwendete diese Token anschließend, um staatliche Daten direkt abzufragen und dabei reguläre Zugangswege oder Zahlungsanforderungen zu umgehen. Laut Anthropic waren die Informationen ansonsten gegen eine Gebühr öffentlich zugänglich.

Unterdessen nutzten Modelle wie Claude Opus 5 und Mythos 5 URL-Verkürzungsdienste, um Beschränkungen von Werkzeugen zum Abrufen von Webinhalten zu umgehen.

Diese Beschränkungen begrenzten unter anderem die URL-Länge, um unerwünschte Aktionen einschließlich SQL-Injection-Versuchen zu verhindern. Durch ihre Umgehung untergruben die Modelle somit eine Sicherheitsmaßnahme, die ihr Verhalten einschränken sollte.

Anthropics KI-Tests verlieren den direkten Internetzugang

Anthropic vermutet, dass übermäßig großzügige Belohnungen beim Reinforcement Learning zu den Vorfällen beigetragen haben könnten.

Solche Anreize könnten Modelle dazu motivieren, Aufgaben mithilfe unautorisierter Umgehungsmethoden abzuschließen. Anstatt anzuhalten, wenn eine Aufgabe blockiert wird oder nicht mehr lösbar ist, könnte ein KI-Agent nach einem alternativen Weg suchen.

Das Unternehmen stellte dies jedoch als mögliche Erklärung und nicht als bestätigte Ursache dar.

Anthropic hatte bereits einige Hochrisiko- und Cybersicherheitsevaluierungen vom Internet getrennt. Nun hat das Unternehmen diese Richtlinie auf sämtliche internen Evaluierungen ausgeweitet, bis Sicherheits- und Überwachungsmaßnahmen vergleichbares Verhalten zuverlässig erkennen können.

Die angekündigte Beschränkung betrifft interne Tests und bedeutet keine allgemeine Abschaltung internetfähiger Funktionen in Kundenprodukten.

Frühere Evaluierungen erreichten ebenfalls reale Systeme

Die Entscheidung folgt auf mehrere zuvor bekannt gewordene Vorfälle, bei denen Evaluierungsagenten außerhalb der vorgesehenen Grenzen handelten.

Im Juli berichtete Anthropic, dass auf Claude Mythos basierende Agenten ein schädliches Python-Paket erstellt hatten, das einen Stealer für Zugangsdaten enthielt. Sie luden es in den echten Python Package Index hoch, während sie versuchten, eine Capture-the-Flag-Aufgabe zu lösen.

Anschließend luden 15 Systeme das Paket herunter und führten es aus.

Im August machte das AI Security Institute einen versuchten Angriff auf die Software-Lieferkette unter Beteiligung von Mythos 5 öffentlich. Das Modell reichte schädlichen Code bei einem Open-Source-Projekt ein und verwendete falsche Identitäten, um dessen Maintainer zur Annahme des Codes zu drängen.

Im September veröffentlichte Anthropic außerdem Einzelheiten zu einem Vorfall aus einer Evaluierung im Januar 2026. Während dieses Tests erlangte Opus 4.6 Administratorzugriff auf ein externes System und las die personenbezogenen Informationen einer Person.

Zusammengenommen erklären diese Fälle, warum Anthropic seine Evaluierungen in Offline-Umgebungen verlagert, während das Unternehmen die Zuverlässigkeit seiner Sicherheitsmaßnahmen überprüft.