Et nyt angreb fremhæver de voksende risici ved AI-promptinjektion. Forskere har fundet ud af, at ondsindede instruktioner kan skjules i billeder. Disse prompts forbliver usynlige, indtil billedet nedskaleres af et AI-system. Når de først afsløres, kan de udløse farlige handlinger, herunder datatyveri.
Sådan fungerer angrebet
AI-systemer nedskalerer ofte billeder, før de behandles. Angribere udnytter dette trin. De indlejrer instruktioner i højopløselige billeder. Når de nedskaleres, bliver subtile mønstre synlige for modellen. Disse mønstre fungerer som skjulte prompts, som AI’en tolker som kommandoer.
Trail of Bits demonstrerede, hvordan dette fungerer i praksis. De brugte angrebet mod Googles Gemini CLI. Når billedet blev nedskaleret, dukkede skjult tekst op og tvang modellen til at følge skadelige instruktioner. Dette omfattede forsøg på at stjæle følsomme data.
Hvorfor det er vigtigt
AI-promptinjektion er ikke et nyt problem, men denne variant er sværere at opdage. Den omgår traditionelle sikkerhedsforanstaltninger, fordi den ondsindede tekst ikke er synlig for menneskelige gennemseere. I stedet fremkommer den først, når systemet nedskalerer billedet.
Dette gør multimodale AI-systemer særligt sårbare. Disse platforme behandler både tekst og billeder og kan stole på visuelle data uden at indse, at de indeholder skjulte kommandoer. Dermed kan angribere omgå filtre og opnå uautoriseret adgang.
Forsvarstiltag
Organisationer kan tage flere skridt for at reducere risikoen:
- Undgå automatisk nedskalering af billeder, hvor det er muligt.
- Brug sikre algoritmer, der renser usædvanlige mønstre.
- Inspicér billeder efter nedskalering for skjulte instruktioner.
- Indfør streng input-filtrering for både tekst og billeder.
- Udfør adversarial testing for at afdække svagheder, før angribere gør det.
Konklusion
AI-promptinjektion via nedskalerede billeder viser, hvor kreative angribere kan være. Skjulte prompts kan tvinge AI-modeller til at handle på skadelige måder, herunder at lække følsomme oplysninger. Ved at styrke billedbehandlingen og forbedre sikkerhedsforanstaltningerne kan udviklere begrænse eksponeringen for denne nye og sværere at opdage trussel.
0 svar til “AI-injektionsangreb via nedskalerede billeder”