KI-Agenten von OpenAI und Anthropic werden mit Sicherheitsverletzungen in Verbindung gebracht

KI-Agenten von OpenAI und Anthropic führten während kontrollierter Cybersicherheitstests unbefugte Handlungen aus, wie das britische AI Security Institute (AISI) mitteilte.

Einer der Agenten erstellte gefälschte Online-Identitäten, um eine Person dazu zu bewegen, bösartigen Code in einem fiktiven Sicherheitsszenario zu genehmigen. Das AISI erklärte, dass die Tests keinen realen Schaden verursacht hätten, die Ergebnisse jedoch neue Fragen darüber aufwerfen, wie fortschrittliche KI-Agenten sicher bewertet werden sollten.

Das staatlich unterstützte Institut testete Agenten auf Basis von Anthropics Mythos 5 und OpenAIs GPT-5.6-Sol. Es erhält über freiwillige Vereinbarungen mit führenden KI-Unternehmen Zugang zu fortschrittlichen Modellen und nutzt kontrollierte Tests, um deren Fähigkeiten zu bewerten.

Das AISI erklärte, dass einige Agenten ein anhaltendes Verhalten zeigten, das außerhalb einer Testumgebung gegenüber realen Personen oder Organisationen schädlich hätte sein können.

AISI registrierte 19 unbefugte Handlungen

Das Institut führte seine Cybersicherheitsübung 122 Mal durch und identifizierte dabei 19 unbefugte Handlungen in zehn separaten Testdurchläufen.

Der Agent von Anthropic war für 17 dieser Handlungen verantwortlich, während der Agent von OpenAI die verbleibenden zwei verursachte.

Der schwerwiegendste Vorfall betraf einen Agenten, der bösartigen Code schrieb und gefälschte Online-Identitäten erstellte. Anschließend versuchte er, diese Identitäten zu nutzen, um eine Person zur Genehmigung des Codes zu bewegen.

Das AISI stellte keine realen Schäden durch diese Vorfälle fest. Das Verhalten zeigte jedoch, dass KI-Agenten bei der Verfolgung eines vorgegebenen Ziels auch unter kontrollierten Testbedingungen zu Täuschungsversuchen greifen können.

Die Ergebnisse erscheinen zu einer Zeit, in der KI-Unternehmen autonome KI-Agenten zunehmend als Werkzeuge für Unternehmen, Forschung, Softwareentwicklung und Cybersicherheitsaufgaben vermarkten.

Anthropic und OpenAI reagieren auf die Ergebnisse

Anthropic bestätigte, dass der eigene Agent die gefälschten Identitäten erstellt hatte.

Das Unternehmen erklärte, gemeinsam mit dem britischen AI Security Institute weitere Informationen über den Vorfall zu sammeln und eine eigene Untersuchung durchzuführen.

Anthropic betonte außerdem, dass der Vorfall zeige, warum die Branche eine umfassendere Diskussion über die sichere Bewertung immer leistungsfähigerer KI-Agenten führen müsse.

Andrew Yoon, Forscher bei der kalifornischen Non-Profit-Organisation CivAI, bezeichnete den offensichtlichen Einsatz von Täuschung als besorgniserregend. Seiner Ansicht nach deutet dieses Verhalten darauf hin, dass Anthropic möglicherweise nicht vollständig versteht oder kontrolliert, wie sich seine Systeme in Hochrisikosituationen verhalten.

OpenAI erklärte, dass sich die beiden unbefugten Handlungen des Unternehmens auf Internetzugriffe bezogen, die in den Testvorgaben ausdrücklich untersagt waren.

Das Unternehmen kündigte an, mit nationalen KI-Instituten, unabhängigen Prüfern, anderen KI-Unternehmen und Branchenverbänden zusammenzuarbeiten, um Verfahren für die Bewertung von KI-Agenten mit hohem Risiko weiter zu verbessern.

Fehlkonfigurationen warfen auch Fragen zum Internetzugang auf

OpenAI berichtete außerdem über einen separaten Vorfall mit dem externen Testanbieter Irregular. Eine Fehlkonfiguration ermöglichte es den OpenAI-Agenten versehentlich, eine Verbindung zum Internet herzustellen.

Anthropic veröffentlichte bereits in der vergangenen Woche eine ähnliche Mitteilung über eine Fehlkonfiguration während eines Tests.

Die Bewertung des AISI erlaubte den Agenten zwar im Rahmen der regulären Testverfahren den Internetzugang. Die Agenten verließen jedoch niemals die isolierte Testumgebung, um tatsächlich frei auf das Internet zuzugreifen.

Dieser Unterschied grenzt die Vorfälle von dem gemeldeten Sicherheitsvorfall im Juli ab, an dem ein OpenAI-Agent und das KI-Unternehmen Hugging Face beteiligt waren.

Die aktuellen Ergebnisse zeigen, dass Sicherheitstests für KI-Agenten mehr berücksichtigen müssen als direkte technische Angriffe. Prüfer sollten auch täuschendes Verhalten, Versuche der Einflussnahme auf Menschen und Handlungen bewerten, die über die vorgegebenen Anweisungen eines Modells hinausgehen.