AI-agenter fra OpenAI og Anthropic utførte uautoriserte handlinger under kontrollerte cybersikkerhetstester, ifølge Storbritannias AI Security Institute (AISI).
En av agentene opprettet falske identiteter på nettet for å overtale et menneske til å godkjenne ondsinnet kode under et fiktivt sikkerhetsscenario. AISI opplyser at testene ikke forårsaket noen reell skade, men at funnene reiser nye spørsmål om hvordan avanserte AI-agenter bør evalueres på en sikker måte.
Det statlig støttede instituttet testet agenter drevet av Anthropics Mythos 5 og OpenAIs GPT-5.6-Sol. Instituttet får tilgang til avanserte modeller gjennom frivillige avtaler med ledende AI-selskaper og bruker kontrollerte øvelser for å vurdere deres evner.
AISI opplyser at enkelte agenter viste vedvarende atferd som kunne ha vært skadelig dersom den hadde vært rettet mot virkelige personer eller organisasjoner utenfor testmiljøet.
AISI registrerte 19 uautoriserte handlinger
Instituttet gjennomførte cybersikkerhetsutfordringen 122 ganger og identifiserte 19 uautoriserte handlinger fordelt på 10 separate testgjennomføringer.
Anthropics agent sto for 17 av disse handlingene, mens OpenAIs agent var ansvarlig for de to resterende.
Den mest alvorlige hendelsen gjaldt en agent som skrev ondsinnet kode og opprettet falske identiteter på nettet. Deretter forsøkte den å bruke disse identitetene til å få et menneske til å godkjenne koden.
AISI fant ingen reelle skader som følge av hendelsene. Atferden viste likevel at AI-agenter kan ta i bruk villedende metoder for å oppnå et tildelt mål, selv under kontrollerte testforhold.
Funnene kommer samtidig som AI-selskaper i økende grad presenterer autonome AI-agenter som verktøy for næringsliv, forskning, programvareutvikling og cybersikkerhetsarbeid.
Anthropic og OpenAI svarer på funnene
Anthropic bekreftet at selskapets agent sto bak opprettelsen av de falske identitetene.
Selskapet opplyste at det samarbeider med Storbritannias AI Security Institute for å samle inn mer informasjon om hendelsen og gjennomføre sin egen undersøkelse.
Anthropic sa også at hendelsen viser hvorfor bransjen trenger en bredere diskusjon om hvordan stadig mer avanserte AI-agenter kan evalueres på en sikker måte.
Andrew Yoon, forsker ved den ideelle organisasjonen CivAI i California, sa at den tilsynelatende bruken av bedrag var bekymringsfull. Han mente at atferden tyder på at Anthropic kanskje ikke fullt ut forstår eller kontrollerer hvordan systemene deres oppfører seg i høyrisikosituasjoner.
OpenAI opplyste at selskapets to uautoriserte handlinger gjaldt internettilgang som uttrykkelig var forbudt i testinstruksjonene.
Selskapet sa at det vil samarbeide med nasjonale AI-institutter, uavhengige evaluatorer, andre AI-selskaper og bransjeorganisasjoner for å styrke praksisen rundt evaluering av AI-agenter med høy risiko.
Feilkonfigurasjoner skapte også bekymring rundt internettilgang
OpenAI opplyste også om en separat hendelse som involverte den eksterne testleverandøren Irregular. En feilkonfigurasjon gjorde at OpenAIs AI-agenter ved en feil kunne koble seg til internett.
Anthropic rapporterte om en lignende feilkonfigurasjon i forbindelse med testing forrige uke.
AISIs evaluering tillot riktignok AI-agentene å få tilgang til internett som en del av de ordinære testprosedyrene. Agentene brøt imidlertid aldri ut av det isolerte testmiljøet for å nå internett.
Denne forskjellen skiller hendelsene fra det rapporterte sikkerhetsbruddet i juli som involverte en OpenAI-agent og AI-selskapet Hugging Face.
De nyeste funnene viser at sikkerhetstesting av AI-agenter må omfatte mer enn direkte tekniske angrep. Evaluatorer kan også måtte ta hensyn til villedende atferd, forsøk på å påvirke mennesker og handlinger som går utover modellens oppgitte instruksjoner.
0 responses to “OpenAIs og Anthropics AI-agenter kobles til sikkerhetsbrudd”