En sikkerhetsforsker har vist at YouTube Ask Studio AI kan manipuleres til å avsløre titler på private videoer gjennom et prompt injection-angrep som skjules i YouTube-kommentarer. Metoden gjør det mulig for angripere å påvirke AI-assistentens svar uten å kompromittere YouTubes systemer, noe som skaper ny bekymring for hvordan AI-verktøy håndterer upålitelig brukerinnhold.
Google har gjennomgått rapporten, men konkluderte med at problemet ikke utgjør en sikkerhetssårbarhet fordi angrepet avhenger av at brukeren selv samhandler med AI-assistenten.
Forsker viser hvordan YouTube Ask Studio AI følger skjulte instruksjoner
Den New York-baserte bug bounty-forskeren Javox, kjent på nettet som @javoriuski, oppdaget at YouTube Ask Studio AI behandler spesialutformede kommentarer som instruksjoner i stedet for vanlige brukerkommentarer.
AI-assistenten er integrert i YouTube Studio og hjelper innholdsskapere med å analysere kanalens ytelse, oppsummere kommentarer og svare på spørsmål om innholdet.
Javox ønsket å finne ut hva som ville skje dersom en kommentar inneholdt instruksjoner rettet mot AI-en i stedet for en vanlig melding til innholdsskaperen.
Testene hans viste at assistenten fulgte de skjulte instruksjonene.
Redigerte kommentarer skjuler angrepet
Angrepet utnytter YouTubes funksjon for redigering av kommentarer.
En angriper kan først publisere en helt vanlig kommentar. Etter at innholdsskaperen har sett den, kan kommentaren redigeres og suppleres med skjulte prompt injection-instruksjoner.
YouTube varsler ikke når kommentarer blir redigert. Derfor oppdager innholdsskaperen ofte aldri endringen.
Når innholdsskaperen senere ber YouTube Ask Studio AI oppsummere kommentarene, behandler assistenten den redigerte versjonen i stedet for originalen.
I Javox» demonstrasjon la AI-en til tekst kontrollert av angriperen, presentert som en offisiell melding fra YouTube.
Fordi svaret kommer direkte fra AI-assistenten, er det større sannsynlighet for at innholdsskaperen stoler på meldingen.
Prompt injection avslørte titler på private videoer
Etter å ha vist at AI-en fulgte instruksjoner skjult i kommentarer, undersøkte Javox om den også kunne hente informasjon som bare kanaleieren har tilgang til.
I stedet for å be AI-en vise en fast melding, instruerte han den til å generere en lenke som inneholdt tittelen på en av kanalens videoer.
Den ondsinnede prompten ba AI-en erstatte en plassholder i nettadressen med tittelen på en video fra kanalens eget innhold.
Assistenten fulgte instruksjonen.
I stedet for plassholderen satte YouTube Ask Studio AI inn tittelen på en faktisk privat video, fordi assistenten har tilgang til kanalinformasjon som vanlige brukere ikke kan se.
Angrepet ga ikke tilgang til selve videoene. Likevel kan videotitler avsløre konfidensielle prosjekter, upublisert innhold, forretningsplaner eller personlig informasjon.
Angriperen trenger ikke å kompromittere YouTubes systemer. I stedet misbruker angrepet den betrodde AI-assistenten til å avsløre informasjon som allerede er tilgjengelig for den.
Google klassifiserte ikke problemet som en sikkerhetsfeil
Javox rapporterte funnet gjennom Googles bug bounty-program.
Google svarte at selskapet ikke ville registrere saken som en sikkerhets- eller misbruksrisiko fordi angrepet krever at offeret selv samhandler med AI-assistenten.
Ifølge Google avhenger scenarioet av at en innholdsskaper velger å bruke AI-assistenten etter at en angriper har redigert en kommentar.
Javox er uenig i den vurderingen.
Han mener tradisjonell sosial manipulering handler om å få brukeren til å stole på angriperen. I dette tilfellet samhandler innholdsskaperen derimot med YouTubes egen AI-assistent – et verktøy brukeren har all grunn til å stole på.
Etter hans syn blir AI-assistenten dermed selve angrepsvektoren.
Forsker ønsker tydeligere skille mellom data og instruksjoner
Javox mener hovedproblemet er at YouTube Ask Studio AI behandler brukerkommentarer både som innhold og som potensielle instruksjoner.
Han anbefaler at YouTube håndterer kommentarer som upålitelig inndata, slik at AI-en kan oppsummere dem uten å tolke skjulte meldinger som kommandoer.
Et tydelig skille mellom brukergenerert innhold og AI-ens interne instruksjoner vil redusere risikoen for prompt injection-angrep betydelig.
Uten en slik beskyttelse kan hvem som helst som kommenterer en video påvirke hva AI-assistenten forteller kanaleieren eller få den til å avsløre informasjon som aldri var ment å forlate kontoen.
Prompt injection fortsetter å utfordre AI-sikkerheten
Funnene styrker inntrykket av at prompt injection fortsatt er en av de største sikkerhetsutfordringene for AI-drevne assistenter.
Tidligere i år demonstrerte forskere lignende angrep ved å skjule lydkommandoer i podkaster, YouTube-videoer, MP3-filer og Zoom-samtaler. Målet var å manipulere AI-baserte stemmeassistenter til å utføre uautoriserte handlinger uten at brukeren oppdaget det.
Den nyeste forskningen på YouTube Ask Studio AI viser at også tekstbaserte prompt injection-angrep kan bli en reell trussel når AI-systemer ikke klarer å skille mellom pålitelige instruksjoner og upålitelig brukerinnhold.
0 responses to “YouTube Ask Studio AI kan lures til å avsløre titler på private videoer”