Forskere har demonstrert en ny teknikk for prompt injection kalt BioShocking-angrepet, som manipulerer AI-drevne nettlesere til å utføre sensitive handlinger de normalt ville avvist. Angrepet får AI-agentene til å tro at farlige handlinger i den virkelige verden bare er en del av et fiktivt spill. Dermed ignorerer de sine innebygde sikkerhetsmekanismer.
Sikkerhetsforskere hos LayerX testet konseptet mot seks populære AI-nettlesere. Bare én leverandør implementerte en effektiv løsning etter å ha mottatt den ansvarlige sikkerhetsrapporteringen.
BioShocking-angrepet bruker et fiktivt spill for å omgå AI-sikkerhet
LayerX utviklet BioShocking-angrepet rundt et nettleserbasert puslespill inspirert av spillserien BioShock.
Den ondsinnede nettsiden lærer AI-nettleseren at spillets regler bevisst belønner feil handlinger. Etter hvert som agenten kommer videre i spillet, begynner den å akseptere at handlinger som normalt anses som usikre, faktisk er den riktige måten å fullføre det fiktive scenariet på.
Slik endres AI-modellens forståelse av omgivelsene. Skillet mellom fiktive instruksjoner og reelle sikkerhetsgrenser blir gradvis visket ut.
Forskerne oppdaget at nettleserne sluttet å behandle sensitive operasjoner som farlige etter at de godtok spillets logikk.
AI-nettlesere forsøkte å avsløre sensitiv informasjon
I den siste delen av demonstrasjonen fikk AI-agenten beskjed om å besøke et GitHub-repositorium og kopiere informasjon fra kildekoden.
Repositoriet inneholdt simulerte sensitive data, blant annet passord og annen konfidensiell informasjon.
Ifølge LayerX forsøkte alle de testede AI-nettleserne å gjennomføre oppgaven fordi de oppfattet tyveriet av informasjon som en del av spillets mål, og ikke som et reelt sikkerhetsbrudd.
Forskerne sendte aldri ekte brukerdata ut av systemet. De understreker likevel at en angriper enkelt kunne ha erstattet demonstrasjonen med en reell ondsinnet operasjon uten å endre angrepsforløpet.
Seks AI-nettlesere besto ikke sikkerhetstesten
LayerX testet BioShocking-angrepet mot seks ledende AI-nettlesere:
- ChatGPT Atlas
- Comet
- Fellou
- Genspark Browser
- Sigma Browser
- Claude Chrome-plugin
Forskerne fant at samtlige produkter mislyktes i å oppdage at de siste instruksjonene brøt med sikkerhetsmekanismene deres.
Ifølge LayerX lærte AI-agentene de fiktive spillreglene, men de forsto ikke at disse reglene ikke skulle overstyre sikkerhetsreglene i den virkelige verden.
Da de først aksepterte den endrede konteksten, utførte de handlinger som eksponerte sensitiv informasjon.
OpenAI løste problemet mens andre henger etter
LayerX varslet de berørte leverandørene om BioShocking-angrepet i oktober i fjor.
Ifølge forskerne var OpenAI den eneste leverandøren som implementerte en effektiv løsning etter varslingen. Oppdateringen beskytter nå brukere av ChatGPT Atlas mot den demonstrerte angrepsmetoden.
Anthropic forsøkte å rette sårbarheten i Claude Chrome-pluginen, men LayerX opplyser at endringene ikke stopper det publiserte proof-of-conceptet.
Forskerne sier også at Perplexity AI avsluttet saken uten å publisere en sikkerhetsoppdatering, mens tre andre leverandører aldri svarte på rapporten.
LayerX anbefaler at utviklere av AI-nettlesere krever uttrykkelig godkjenning fra brukeren før sensitive handlinger utføres. I tillegg bør de styrke valideringen av kontekst og begrense hvilke ressurser AI-agentene får tilgang til under hver enkelt nettleserøkt. Brukere kan også redusere risikoen ved å begrense tillatelsene til AI-nettleseren og hindre den i å få tilgang til tjenester som inneholder sensitiv personlig informasjon eller virksomhetsdata.
0 responses to “BioShocking-angrep lurer AI-nettlesere til å stjele sensitiv informasjon”