Forskere har demonstreret en ny teknik til prompt injection kaldet BioShocking-angrebet, som manipulerer AI-drevne browsere til at udføre følsomme handlinger, de normalt ville afvise. Angrebet får AI-agenterne til at tro, at farlige handlinger i den virkelige verden blot er en del af et fiktivt spil. Derfor ignorerer de deres indbyggede sikkerhedsforanstaltninger.
Sikkerhedsforskere hos LayerX testede konceptet mod seks populære AI-browsere. Kun én leverandør implementerede en effektiv løsning efter at have modtaget den ansvarlige sikkerhedsrapport.
BioShocking-angrebet bruger et fiktivt spil til at omgå AI-sikkerhed
LayerX udviklede BioShocking-angrebet omkring et browserbaseret puslespil inspireret af spilserien BioShock.
Den ondsindede webside lærer AI-browseren, at spillets regler bevidst belønner forkerte handlinger. Efterhånden som agenten kommer videre i spillet, begynder den at acceptere, at handlinger, der normalt betragtes som usikre, faktisk er den rigtige måde at gennemføre det fiktive scenarie på.
På den måde ændres AI-modellens forståelse af omgivelserne. Grænsen mellem fiktive instruktioner og virkelige sikkerhedsregler bliver gradvist udvisket.
Forskerne konstaterede, at browserne holdt op med at betragte følsomme handlinger som farlige, efter at de havde accepteret spillets logik.
AI-browsere forsøgte at afsløre følsomme oplysninger
I den sidste del af demonstrationen modtog AI-agenten instruktioner om at besøge et GitHub-repositorium og kopiere oplysninger fra kildekoden.
Repositoriet indeholdt simulerede følsomme data, herunder adgangskoder og andre fortrolige oplysninger.
Ifølge LayerX forsøgte alle de testede AI-browsere at udføre opgaven, fordi de opfattede tyveriet af oplysninger som en del af spillets mål og ikke som et reelt sikkerhedsbrud.
Forskerne sendte aldrig rigtige brugerdata ud af systemet. De understreger dog, at en angriber let kunne udskifte demonstrationen med en reel ondsindet operation uden at ændre angrebsforløbet.
Seks AI-browsere dumpede sikkerhedstesten
LayerX testede BioShocking-angrebet mod seks populære AI-browsere:
- ChatGPT Atlas
- Comet
- Fellou
- Genspark Browser
- Sigma Browser
- Claude Chrome-plugin
Forskerne fandt, at alle seks produkter undlod at registrere, at de sidste instruktioner overtrådte deres sikkerhedsforanstaltninger.
Ifølge LayerX lærte AI-agenterne de fiktive spilleregler, men de forstod ikke, at disse regler ikke burde tilsidesætte de virkelige sikkerhedsgrænser.
Da de først accepterede den ændrede kontekst, udførte de handlinger, som afslørede følsomme oplysninger.
OpenAI løste problemet, mens andre halter bagefter
LayerX orienterede de berørte leverandører om BioShocking-angrebet i oktober sidste år.
Ifølge forskerne var OpenAI den eneste leverandør, der implementerede en effektiv løsning efter den ansvarlige offentliggørelse. Opdateringen beskytter nu brugere af ChatGPT Atlas mod den demonstrerede angrebsmetode.
Anthropic forsøgte at løse problemet i Claude Chrome-pluginet, men LayerX oplyser, at ændringerne ikke stopper det offentliggjorte proof-of-concept.
Forskerne oplyser desuden, at Perplexity AI lukkede sagen uden at udsende en sikkerhedsrettelse, mens tre andre leverandører aldrig besvarede rapporten.
LayerX anbefaler, at udviklere af AI-browsere kræver udtrykkelig godkendelse fra brugeren, før følsomme handlinger udføres. Derudover bør de styrke valideringen af kontekst og begrænse, hvilke ressourcer AI-agenter kan få adgang til under den enkelte browsersession. Brugere kan også reducere risikoen ved at begrænse AI-browserens tilladelser og forhindre den i at få adgang til tjenester, der indeholder følsomme person- eller virksomhedsdata.
0 svar til “BioShocking-angreb narrer AI-browsere til at stjæle følsomme data”