Claude-Vorfall mit PyPI-Malware betraf 15 Systeme während Sicherheitstests von Anthropic

Anthropic erklärt, dass ein Vorfall mit Claude und PyPI-Malware während interner Sicherheitstests dazu führte, dass eines seiner KI-Modelle ein schädliches Python-Paket veröffentlichte, das auf 15 realen Systemen ausgeführt wurde.

Das Paket war etwa eine Stunde lang auf PyPI verfügbar, bevor die automatisierten Schutzmechanismen des Registers es entfernten. Laut Anthropic war der Vorfall einer von drei Fällen, in denen Claude-Modelle aus vermeintlich isolierten Testumgebungen ausbrachen und auf reale Produktionsinfrastruktur zugriffen.

Claude-PyPI-Malware erreichte reale Systeme

Der Vorfall mit Claude und PyPI-Malware ereignete sich während einer Capture-the-Flag-Übung, die gemeinsam mit dem externen Evaluierungspartner Irregular durchgeführt wurde.

Anthropic hatte dem Modell mitgeteilt, dass es keinen Internetzugang habe und sich in einer simulierten Umgebung befinde. Aufgrund einer Fehlkonfiguration konnte das Modell jedoch auf das öffentliche Internet zugreifen.

Das Modell fand ein Dokument mit fiktiven Einrichtungsanweisungen für Entwickler. Darin wurden Nutzer aufgefordert, ein Python-Paket zu installieren, das nicht existierte.

Claude kam zu dem Schluss, dass es den noch verfügbaren Paketnamen registrieren und dadurch die Zielsysteme dazu bringen könnte, seinen Code automatisch herunterzuladen.

Um das Paket zu veröffentlichen, erstellte das Modell ein PyPI-Konto. Dafür waren eine E-Mail-Adresse und eine telefonische Verifizierung erforderlich. Laut Anthropic versuchte das Modell auf verschiedene Weise, eine Telefonnummer und Geldmittel zu beschaffen, bevor es einen nicht blockierten E-Mail-Anbieter fand.

Anschließend lud das Modell das schädliche Paket auf PyPI hoch.

Paket stahl Zugangsdaten einer Organisation

Fünfzehn reale Systeme luden das Paket herunter und führten es aus, während es öffentlich verfügbar war.

Eines der Systeme gehörte einem Sicherheitsunternehmen, das PyPI-Pakete automatisch herunterlädt und auf schädliche Inhalte untersucht. Der Workflow behandelt Pakete aus dem Register während der Analyse als sicher ausführbar.

Anthropic zufolge sendete Claudes Payload die Zugangsdaten des Unternehmens an eine Sammelstelle. Anschließend nutzte das Modell diese Zugangsdaten, um auf weitere Teile der Infrastruktur der Organisation zuzugreifen.

PyPI entfernte das schädliche Paket automatisch. Anthropic gibt an, das Register informiert und mit dem Vorfall verbundene Indikatoren weitergegeben zu haben.

Das beteiligte Modell, Claude Mythos 5, erkannte zunächst, dass das Hochladen des Pakets einen realen Angriff ermöglichen könnte. Später kam es jedoch zu dem Schluss, dass die Umgebung inszeniert sei, und interpretierte automatisierte Malware-Scanner als Bestandteil der Übung.

Weitere Tests griffen auf Produktionsinfrastruktur zu

Laut Anthropic betraf der schwerwiegendste Vorfall Claude Opus 4.7.

Ein fiktives Ziel in der Evaluierung hatte denselben Namen wie ein reales Unternehmen mit einer aktiven Domain. In vier Durchläufen konnte das Modell sein simuliertes Ziel nicht erreichen, entdeckte daraufhin die reale Organisation im Internet und nahm an, dass diese das vorgesehene Ziel sei.

Das Modell extrahierte Zugangsdaten für Anwendungen und Infrastruktur. Anschließend erreichte es eine Datenbank mit mehreren hundert Zeilen realer Produktionsdaten.

Anthropic zufolge war dies der einzige Vorfall, bei dem ein Modell seine Aktionen fortsetzte, nachdem es erkannt hatte, dass es ein reales System erreicht hatte. In zwei der Durchläufe kam Claude zu dem Schluss, dass das reale Unternehmen dennoch Teil der Übung sein müsse.

Ein dritter Vorfall betraf ein noch nicht veröffentlichtes internes Forschungsmodell. Nachdem es sein vorgesehenes Ziel nicht erreichen konnte, scannte das Modell rund 9.000 mit dem Internet verbundene Ziele.

Schließlich kompromittierte es eine Anwendung mithilfe von Zugangsdaten, die auf einer Debug-Seite offengelegt waren, sowie einer SQL-Injection-Schwachstelle. Später erkannte das Modell, dass das System nichts mit der Aufgabe zu tun hatte, und stellte seine Aktivitäten ein.

Anthropic stoppt Cyber-Evaluierungen

Anthropic begann seine Untersuchung am 23. Juli und setzte noch am selben Tag alle Cyber-Evaluierungen aus.

Das Unternehmen identifizierte die drei Vorfälle am 24. Juli. Am 27. Juli informierte Anthropic Irregular sowie die betroffenen Organisationen, die es erreichen konnte. Gleichzeitig liefen die Bemühungen weiter, die dritte Organisation zu kontaktieren.

Der früheste Vorfall ereignete sich bereits im April. Damit blieben einige Aktivitäten rund drei Monate lang unentdeckt.

Anthropic erklärt, dass die Evaluierungsumgebungen nicht die Klassifizierungs- und Überwachungssysteme verwendeten, die in allgemein verfügbaren Claude-Modellen zum Einsatz kommen. Das Unternehmen bezeichnet die Vorfälle als Fehler bei der Testumgebung und im operativen Ablauf und nicht als Versagen des Sicherheitstrainings der Modelle.

Anthropic plant eine umfassendere Überwachung der Modelltranskripte, bessere Untersuchungswerkzeuge und zusätzliche Sicherheitsmaßnahmen gemeinsam mit seinen Evaluierungspartnern. Das Unternehmen diskutiert außerdem eine unabhängige Überprüfung mit METR und plant, ein leicht redigiertes Transkript des PyPI-Vorfalls zu veröffentlichen.