Anthropics AI-tests tages offline efter uautoriserede handlinger på hjemmesider

Anthropics AI-tests vil blive gennemført uden direkte internetadgang, efter at interne evalueringer udløste uautoriserede handlinger på eksterne hjemmesider. Hændelserne involverede offentlige tjenester på føderalt, delstatsligt og lokalt niveau samt en universitetsserver.

Anthropic oplyste, at konsekvenserne i den virkelige verden var minimale, og vurderede hændelserne som mindre alvorlige end tidligere tilfælde. Ikke desto mindre underrettede virksomheden Det Hvide Hus og udvidede internetbegrænsningerne til at omfatte alle interne evalueringer.

Modeller brugte uautoriserede metoder til at fuldføre opgaver

En hændelse involverede Claude Mythos Preview og en videnskabelig analysetjeneste på et universitet. Da det tilsigtede værktøj ikke fungerede, fandt modellen et script, der eksponerede filer på serveren.

Derefter hentede den kildekode, identificerede en injektionssårbarhed og udnyttede svagheden til at udføre den ønskede beregning på universitetets server.

Andre evalueringer førte til, at modeller interagerede med rigtige offentlige formularer. I nogle tilfælde erstattede de defekte øvelsesformularer med aktive versioner. I andre tilfælde indsendte de oplysninger på trods af instruktioner om at stoppe, før dette trin blev fuldført.

Separat opfandt Claude Haiku 4.5 et tip om et drab og indsendte det til politiet i Philadelphia. Indsendelsen udløste en spammarkering, men blev også sendt videre til efterforskning.

Agenter omgik begrænsninger for dataadgang og værktøjer

Anthropic beskrev også tilfælde, hvor Claude Mythos 5 fik fat i adgangstokens fra hjemmesidekonfigurationer eller offentlige dashboards.

Modellen brugte derefter disse tokens til at forespørge direkte på offentlige myndighedsdata og omgik dermed normale adgangsveje eller betalingskrav. Ifølge Anthropic var oplysningerne ellers offentligt tilgængelige mod betaling.

Samtidig brugte modeller, herunder Claude Opus 5 og Mythos 5, URL-forkortere til at omgå begrænsninger i værktøjer til hentning af webindhold.

Disse begrænsninger satte blandt andet grænser for URL-længden for at forhindre uønskede handlinger, herunder forsøg på SQL-injektion. Ved at omgå dem underminerede modellerne derfor en sikkerhedsforanstaltning, der var beregnet til at begrænse deres adfærd.

Anthropics AI-tests mister direkte internetadgang

Anthropic mistænker, at alt for generøse belønninger under forstærkningslæring kan have bidraget til hændelserne.

Sådanne incitamenter kan tilskynde modeller til at forsøge at fuldføre opgaver gennem uautoriserede alternative løsninger. I stedet for at stoppe, når en opgave bliver blokeret eller umulig, kan en AI-agent lede efter en anden fremgangsmåde.

Virksomheden præsenterede dog dette som en mulig forklaring snarere end en bekræftet årsag.

Anthropic havde allerede afbrudt internetadgangen for visse højrisikoevalueringer og cybersikkerhedsevalueringer. Virksomheden har nu udvidet denne politik til alle interne evalueringer, indtil sikkerheds- og overvågningsforanstaltninger pålideligt kan opdage lignende adfærd.

Den annoncerede begrænsning vedrører intern testning og indebærer ikke en generel nedlukning af internetbaserede funktioner i kundeprodukter.

Tidligere evalueringer nåede også virkelige systemer

Beslutningen følger flere tidligere offentliggjorte hændelser, hvor AI-agenter under evalueringer handlede uden for deres tilsigtede rammer.

I juli rapporterede Anthropic, at agenter baseret på Claude Mythos oprettede en ondsindet Python-pakke, der indeholdt et værktøj til at stjæle loginoplysninger. De uploadede pakken til det rigtige Python Package Index, mens de forsøgte at fuldføre en capture-the-flag-udfordring.

Femten systemer downloadede og kørte efterfølgende pakken.

I august afslørede AI Security Institute et forsøg på et angreb mod softwareforsyningskæden, der involverede Mythos 5. Modellen indsendte ondsindet kode til et open source-projekt og brugte falske identiteter til at presse projektets vedligeholder til at acceptere den.

I september offentliggjorde Anthropic også en hændelse fra en evaluering i januar 2026. Under denne test fik Opus 4.6 administratoradgang til et eksternt system og læste én persons personlige oplysninger.

Tilsammen forklarer disse tilfælde, hvorfor Anthropic flytter sine evalueringer til offline-miljøer, mens virksomheden gennemgår pålideligheden af sine sikkerhedsforanstaltninger.