Et nytt angrep fremhever de økende risikoene ved AI-promptinjeksjon. Forskere har funnet ut at ondsinnede instruksjoner kan skjules inne i bilder. Disse promptene forblir usynlige til bildet blir nedskalert av et AI-system. Når de først avdekkes, kan de utløse farlige handlinger, inkludert datatyveri.
Slik fungerer angrepet
AI-systemer skalerer ofte ned bilder før de behandles. Angripere utnytter dette steget. De bygger inn instruksjoner i høyoppløste bilder. Når de nedskaleres, blir subtile mønstre synlige for modellen. Disse mønstrene fungerer som skjulte prompts som AI-en tolker som kommandoer.
Trail of Bits demonstrerte hvordan dette fungerer i praksis. De brukte angrepet mot Googles Gemini CLI. Når bildet ble nedskalert, dukket skjult tekst opp og tvang modellen til å følge skadelige instruksjoner. Dette inkluderte forsøk på å stjele sensitiv informasjon.
Hvorfor det er viktig
AI-promptinjeksjon er ikke et nytt problem, men denne varianten er vanskeligere å oppdage. Den omgår tradisjonelle sikkerhetsbarrierer fordi den ondsinnede teksten ikke er synlig for menneskelige granskere. I stedet blir den synlig først når systemet skalerer ned bildet.
Dette gjør multimodale AI-systemer spesielt sårbare. Disse plattformene behandler både tekst og bilder og kan stole på visuelle data uten å innse at de inneholder skjulte kommandoer. Dermed kan angripere omgå filtre og få uautorisert tilgang.
Forsvarstiltak
Organisasjoner kan ta flere grep for å redusere risikoen:
- Unngå automatisk nedskalering av bilder der det er mulig.
- Bruk sikre algoritmer som renser uvanlige mønstre.
- Inspiser bilder etter nedskalering for skjulte instruksjoner.
- Innfør streng input-filtrering for både tekst og bilder.
- Utfør adversarial testing for å avdekke svakheter før angripere gjør det.
Konklusjon
AI-promptinjeksjon via nedskalerte bilder viser hvor kreative angripere kan være. Skjulte prompts kan tvinge AI-modeller til å utføre skadelige handlinger, inkludert lekkasje av sensitiv informasjon. Ved å styrke bildebehandlingen og forbedre sikkerhetstiltakene kan utviklere begrense eksponeringen for denne nye og vanskelig oppdagbare trusselen.
0 responses to “AI-injeksjonsangrep gjennom nedskalerte bilder”