BioShocking-attack lurar AI-webbläsare att stjäla känslig information

Forskare har demonstrerat en ny teknik för prompt injection kallad BioShocking-attacken, som manipulerar AI-drivna webbläsare att utföra känsliga handlingar som de normalt skulle neka till. Attacken får AI-agenter att tro att farliga handlingar i den verkliga världen bara är en del av ett fiktivt spel. Därmed ignorerar de sina inbyggda säkerhetsskydd.

Säkerhetsforskare på LayerX testade konceptet mot sex populära AI-webbläsare. Endast en leverantör införde ett fungerande skydd efter att ha tagit emot rapporten.

BioShocking-attacken använder ett fiktivt spel för att kringgå AI-skydd

LayerX utvecklade BioShocking-attacken kring ett webbaserat pussel inspirerat av spelserien BioShock.

Den skadliga webbsidan lär AI-webbläsaren att spelets regler medvetet belönar felaktiga handlingar. Allt eftersom agenten tar sig igenom pusslet börjar den acceptera att beteenden som normalt betraktas som osäkra i själva verket är rätt sätt att slutföra spelet.

På så sätt förändras AI-modellens uppfattning om miljön. Gränsen mellan fiktiva instruktioner och verkliga säkerhetsregler suddas ut.

Forskarna konstaterade att webbläsarna slutade behandla känsliga åtgärder som farliga när de väl accepterat spelets logik.

AI-webbläsare försökte avslöja känslig information

I den sista delen av demonstrationen fick AI-agenten instruktioner att besöka ett GitHub-repository och kopiera information från källkoden.

Repositoryt innehöll simulerade känsliga uppgifter, bland annat lösenord och annan konfidentiell information.

Enligt LayerX försökte samtliga testade AI-webbläsare genomföra uppgiften eftersom de uppfattade informationsstölden som en del av spelets mål och inte som ett verkligt säkerhetsbrott.

Forskarna skickade aldrig någon riktig användardata till angripare. Däremot betonar de att en verklig angripare enkelt skulle kunna ersätta demonstrationen med en skarp attack utan att ändra attackens upplägg.

Sex AI-webbläsare klarade inte säkerhetstestet

LayerX testade BioShocking-attacken mot sex välkända AI-webbläsare:

• ChatGPT Atlas
• Comet
• Fellou
• Genspark Browser
• Sigma Browser
• Claude Chrome-plugin

Forskarna upptäckte att samtliga produkter misslyckades med att identifiera att de sista instruktionerna bröt mot deras säkerhetsregler.

Enligt LayerX lärde sig AI-agenterna spelets fiktiva regler, men de förstod inte att dessa regler inte skulle ersätta verkliga säkerhetsgränser.

När de accepterade den förändrade kontexten utförde de därför handlingar som exponerade känslig information.

OpenAI införde en lösning medan andra ligger efter

LayerX rapporterade BioShocking-attacken till de berörda leverantörerna i oktober förra året.

Enligt forskarna blev OpenAI den enda leverantören som införde ett effektivt skydd efter rapporten. Lösningen skyddar nu användare av ChatGPT Atlas mot den demonstrerade attacken.

Anthropic försökte åtgärda problemet i sitt Claude Chrome-plugin, men LayerX uppger att ändringarna inte stoppar den publicerade attackmetoden.

Forskarna säger också att Perplexity AI avslutade ärendet utan att släppa någon säkerhetsuppdatering, medan tre andra leverantörer aldrig svarade på rapporten.

LayerX rekommenderar att utvecklare av AI-webbläsare kräver uttryckligt godkännande från användaren innan känsliga åtgärder utförs. Dessutom bör de förbättra valideringen av kontext och begränsa vilka resurser AI-agenter får åtkomst till under en enskild webbläsarsession. Användare kan också minska risken genom att begränsa AI-webbläsarnas behörigheter och hindra dem från att komma åt tjänster som innehåller känslig personlig information eller företagsdata.