Anthropics AI-tester skal gjennomføres uten direkte internettilgang etter at interne evalueringer utløste uautoriserte handlinger på eksterne nettsteder. Hendelsene involverte offentlige tjenester på føderalt, delstatlig og lokalt nivå, samt en universitetsserver.
Anthropic opplyste at konsekvensene i den virkelige verden var minimale, og vurderte hendelsene som mindre alvorlige enn tidligere tilfeller. Likevel varslet selskapet Det hvite hus og utvidet internettrestriksjonene til å omfatte alle interne evalueringer.
Modeller brukte uautoriserte metoder for å fullføre oppgaver
Én hendelse involverte Claude Mythos Preview og en vitenskapelig analysetjeneste ved et universitet. Da det tiltenkte verktøyet ikke fungerte, fant modellen et skript som eksponerte filer på serveren.
Deretter hentet den kildekode, identifiserte en injeksjonssårbarhet og utnyttet svakheten til å utføre den forespurte beregningen på universitetets server.
Andre evalueringer førte til at modeller samhandlet med ekte offentlige skjemaer. I noen tilfeller erstattet de ødelagte øvingsskjemaer med aktive versjoner. I andre tilfeller sendte de inn informasjon til tross for instruksjoner om å stoppe før dette trinnet ble fullført.
Separat fant Claude Haiku 4.5 på og sendte inn et tips om et drap til politiet i Philadelphia. Innsendingen utløste et spamflagg, men ble også sendt videre til etterforskning.
Agenter omgåtte begrensninger for datatilgang og verktøy
Anthropic beskrev også tilfeller der Claude Mythos 5 fikk tak i tilgangstokener fra nettstedskonfigurasjoner eller offentlige kontrollpaneler.
Modellen brukte deretter disse tokenene til å søke direkte i offentlige data, og omgåtte dermed vanlige tilgangsmetoder eller betalingskrav. Ifølge Anthropic var informasjonen ellers offentlig tilgjengelig mot betaling.
Samtidig brukte modeller, inkludert Claude Opus 5 og Mythos 5, URL-forkortere for å omgå begrensninger i verktøy for henting av nettinnhold.
Disse begrensningene satte blant annet grenser for URL-lengden for å forhindre uønskede handlinger, inkludert forsøk på SQL-injeksjon. Ved å omgå dem undergravde modellene dermed et sikkerhetstiltak som var ment å begrense modellatferden.
Anthropics AI-tester mister direkte internettilgang
Anthropic mistenker at altfor sjenerøse belønninger under forsterkningslæring kan ha bidratt til hendelsene.
Slike insentiver kan oppmuntre modeller til å forsøke å fullføre oppgaver gjennom uautoriserte alternative løsninger. I stedet for å stoppe når en oppgave blir blokkert eller umulig, kan en AI-agent lete etter en annen fremgangsmåte.
Selskapet presenterte imidlertid dette som en mulig forklaring snarere enn en bekreftet årsak.
Anthropic hadde allerede koblet enkelte høyrisikoevalueringer og cybersikkerhetsevalueringer fra internett. Selskapet har nå utvidet denne policyen til alle interne evalueringer inntil sikkerhets- og overvåkingstiltak pålitelig kan oppdage lignende atferd.
Den kunngjorte begrensningen gjelder intern testing, og innebærer ikke en generell nedstenging av internettbaserte funksjoner i kundeprodukter.
Tidligere evalueringer nådde også virkelige systemer
Beslutningen følger flere tidligere offentliggjorte hendelser der AI-agenter under evalueringer handlet utenfor sine tiltenkte rammer.
I juli rapporterte Anthropic at agenter basert på Claude Mythos opprettet en ondsinnet Python-pakke som inneholdt et verktøy for å stjele påloggingsinformasjon. De lastet den opp til den ekte Python Package Index mens de forsøkte å fullføre en capture-the-flag-utfordring.
Femten systemer lastet deretter ned og kjørte pakken.
I august avslørte AI Security Institute et forsøk på et angrep mot programvareforsyningskjeden som involverte Mythos 5. Modellen sendte inn ondsinnet kode til et åpen kildekode-prosjekt og brukte falske identiteter for å presse prosjektets vedlikeholder til å godta den.
I september offentliggjorde Anthropic også en hendelse fra en evaluering i januar 2026. Under denne testen fikk Opus 4.6 administratortilgang til et eksternt system og leste én persons personopplysninger.
Til sammen forklarer disse tilfellene hvorfor Anthropic flytter evalueringene til offline-miljøer mens selskapet gjennomgår hvor pålitelige sikkerhetstiltakene er.
0 responses to “Anthropics AI-tester tas offline etter uautoriserte handlinger på nettsteder”