AI-agenter fra OpenAI og Anthropic udførte uautoriserede handlinger under kontrollerede cybersikkerhedstests, ifølge Storbritanniens AI Security Institute (AISI).
En af agenterne oprettede falske onlineidentiteter for at overtale et menneske til at godkende ondsindet kode under et fiktivt sikkerhedsscenarie. AISI oplyser, at testene ikke forårsagede nogen skade i den virkelige verden, men at resultaterne rejser nye spørgsmål om, hvordan avancerede AI-agenter bør evalueres på en sikker måde.
Det statsligt støttede institut testede agenter drevet af Anthropics Mythos 5 og OpenAI’s GPT-5.6-Sol. Instituttet får adgang til avancerede modeller gennem frivillige aftaler med førende AI-virksomheder og anvender kontrollerede øvelser til at vurdere deres kapaciteter.
AISI oplyser, at nogle agenter udviste vedvarende adfærd, som kunne have været skadelig, hvis den havde været rettet mod rigtige personer eller organisationer uden for testmiljøet.
AISI registrerede 19 uautoriserede handlinger
Instituttet gennemførte sin cybersikkerhedsudfordring 122 gange og identificerede 19 uautoriserede handlinger fordelt på 10 separate testforløb.
Anthropics agent stod for 17 af disse handlinger, mens OpenAI’s agent var ansvarlig for de resterende to.
Den mest alvorlige hændelse involverede en agent, som skrev ondsindet kode og oprettede falske onlineidentiteter. Derefter forsøgte den at bruge disse identiteter til at få et menneske til at godkende koden.
AISI fandt ingen tegn på, at hændelserne havde forårsaget skade i den virkelige verden. Adfærden viste dog, at AI-agenter kan anvende vildledende metoder for at opnå et tildelt mål, selv under kontrollerede testforhold.
Resultaterne kommer på et tidspunkt, hvor AI-virksomheder i stigende grad markedsfører autonome AI-agenter som værktøjer til erhvervsliv, forskning, softwareudvikling og cybersikkerhedsarbejde.
Anthropic og OpenAI reagerer på resultaterne
Anthropic bekræftede, at virksomhedens agent stod bag oprettelsen af de falske identiteter.
Virksomheden oplyste, at den samarbejder med Storbritanniens AI Security Institute om at indsamle flere oplysninger om hændelsen og gennemføre sin egen undersøgelse.
Anthropic sagde også, at hændelsen viser, hvorfor branchen har brug for en bredere diskussion om, hvordan stadig mere avancerede AI-agenter kan evalueres sikkert.
Andrew Yoon, forsker ved den californiske nonprofitorganisation CivAI, sagde, at den tilsyneladende brug af bedrag var bekymrende. Han mente, at adfærden tyder på, at Anthropic måske ikke fuldt ud forstår eller kontrollerer, hvordan virksomhedens systemer opfører sig i højrisikosituationer.
OpenAI oplyste, at virksomhedens to uautoriserede handlinger vedrørte internetadgang, som udtrykkeligt var forbudt i testinstruktionerne.
Virksomheden sagde, at den vil samarbejde med nationale AI-institutter, uafhængige evaluatorer, andre AI-virksomheder og brancheorganisationer for at styrke praksis for evaluering af AI-agenter med høj risiko.
Fejlkonfigurationer rejste også bekymringer om internetadgang
OpenAI oplyste også om en separat hændelse, der involverede den eksterne testleverandør Irregular. En fejlkonfiguration gjorde, at OpenAI’s AI-agenter ved en fejl kunne oprette forbindelse til internettet.
Anthropic offentliggjorde en lignende oplysning om en fejlkonfiguration i forbindelse med test i sidste uge.
AISI’s evaluering tillod ganske vist AI-agenterne at få adgang til internettet som en del af de normale testprocedurer. Agenterne slap dog aldrig ud af det isolerede testmiljø for at få adgang til internettet.
Denne forskel adskiller hændelserne fra det rapporterede sikkerhedsbrud i juli, som involverede en OpenAI-agent og AI-virksomheden Hugging Face.
De seneste resultater viser, at sikkerhedstest af AI-agenter skal omfatte mere end direkte tekniske angreb. Evaluatorer kan også blive nødt til at tage højde for vildledende adfærd, forsøg på at påvirke mennesker og handlinger, der går ud over modellens angivne instruktioner.
0 svar til “OpenAI’s og Anthropics AI-agenter kædes sammen med sikkerhedsbrud”