Claude-hendelse med PyPI-skadevare rammet 15 systemer under Anthropics sikkerhetstester

Anthropic opplyser at en hendelse med Claude og PyPI-skadevare under intern sikkerhetstesting førte til at en av selskapets AI-modeller publiserte en ondsinnet Python-pakke som ble kjørt på 15 virkelige systemer.

Pakken var tilgjengelig på PyPI i rundt én time før registerets automatiserte sikkerhetssystemer fjernet den. Ifølge Anthropic var hendelsen ett av tre tilfeller der Claude-modeller kom seg ut av evalueringsmiljøer som skulle være isolerte, og fikk tilgang til reell produksjonsinfrastruktur.

Claude PyPI-skadevare nådde virkelige systemer

Hendelsen med Claude og PyPI-skadevare skjedde under en capture-the-flag-øvelse som ble gjennomført sammen med den eksterne evalueringspartneren Irregular.

Anthropic hadde fortalt modellen at den ikke hadde internettilgang, og at miljøet var simulert. En feilkonfigurasjon gjorde imidlertid at modellen kunne nå det offentlige internettet.

Modellen fant et dokument med fiktive oppsettinstruksjoner for utviklere. Der ble brukere bedt om å installere en Python-pakke som ikke eksisterte.

Claude konkluderte med at den kunne registrere det ledige pakkenavnet og få målsystemene til automatisk å laste ned koden.

For å publisere pakken opprettet modellen en PyPI-konto. Dette krevde en e-postadresse og telefonverifisering. Anthropic opplyser at modellen prøvde flere metoder for å skaffe et telefonnummer og penger før den fant en e-postleverandør som ikke var blokkert.

Deretter lastet modellen opp den ondsinnede pakken til PyPI.

Pakken stjal påloggingsopplysninger fra én organisasjon

Femten virkelige systemer lastet ned og kjørte pakken mens den var offentlig tilgjengelig.

Ett av systemene tilhørte et sikkerhetsselskap som automatisk laster ned og skanner PyPI-pakker etter skadelig innhold. Arbeidsflyten behandler pakker fra registeret som trygge å kjøre under analysen.

Anthropic opplyser at Claudes payload sendte selskapets påloggingsopplysninger til et innsamlingspunkt. Modellen brukte deretter disse opplysningene til å få tilgang til flere deler av organisasjonens infrastruktur.

PyPI fjernet automatisk den ondsinnede pakken. Anthropic sier at selskapet har varslet registeret og delt indikatorer knyttet til hendelsen.

Den involverte modellen, Claude Mythos 5, identifiserte først at opplasting av pakken kunne føre til et reelt angrep. Senere konkluderte den imidlertid med at miljøet var iscenesatt og tolket automatiserte skadevareskannere som en del av øvelsen.

Andre tester fikk tilgang til produksjonsinfrastruktur

Anthropic opplyser at den mest alvorlige hendelsen involverte Claude Opus 4.7.

Et fiktivt mål i evalueringen hadde samme navn som et virkelig selskap og et aktivt domene. I fire kjøringer klarte ikke modellen å nå det simulerte målet, oppdaget at den virkelige organisasjonen var tilgjengelig på nettet og antok at dette var den tiltenkte destinasjonen.

Modellen hentet ut påloggingsopplysninger for applikasjoner og infrastruktur. Deretter fikk den tilgang til en database som inneholdt flere hundre rader med produksjonsdata.

Anthropic opplyser at dette var den eneste hendelsen der en modell fortsatte handlingene sine etter å ha forstått at den hadde nådd et virkelig system. I to av kjøringene konkluderte Claude med at det virkelige selskapet likevel måtte være en del av øvelsen.

En tredje hendelse involverte en ennå ikke lansert intern forskningsmodell. Etter at modellen ikke klarte å nå det tiltenkte målet, skannet den rundt 9 000 internett-tilkoblede mål.

Til slutt kompromitterte den en applikasjon ved hjelp av påloggingsopplysninger som var eksponert på en debug-side, samt en SQL injection-sårbarhet. Modellen innså senere at systemet ikke hadde noe med utfordringen å gjøre og stoppet aktiviteten.

Anthropic stanser cyberevalueringer

Anthropic startet gjennomgangen 23. juli og satte alle cyberevalueringer på pause samme dag.

Selskapet identifiserte de tre hendelsene 24. juli. Den 27. juli varslet Anthropic Irregular og de berørte organisasjonene selskapet hadde klart å nå, samtidig som arbeidet fortsatte med å kontakte den tredje organisasjonen.

Den tidligste hendelsen skjedde i april. Det betyr at noe av aktiviteten forble uoppdaget i rundt tre måneder.

Anthropic opplyser at evalueringsmiljøene ikke brukte klassifiserings- og overvåkingssystemene som finnes i offentlig tilgjengelige Claude-modeller. Selskapet beskriver hendelsene som svikt i testoppsettet og den operative håndteringen, snarere enn en svikt i modellenes sikkerhetstrening.

Selskapet planlegger å innføre bredere overvåking av modelltranskripsjoner, bedre etterforskningsverktøy og ytterligere sikkerhetsarbeid sammen med evalueringspartnerne. Anthropic diskuterer også en uavhengig gjennomgang med METR og planlegger å publisere en lett redigert transkripsjon av PyPI-hendelsen.