YouTube Ask Studio AI kan narres til at afsløre titler på private videoer

En sikkerhedsforsker har vist, at YouTube Ask Studio AI kan manipuleres til at afsløre titler på private videoer gennem et prompt injection-angreb, der skjules i YouTube-kommentarer. Metoden gør det muligt for angribere at påvirke AI-assistentens svar uden at kompromittere YouTubes systemer, hvilket skaber ny bekymring om, hvordan AI-værktøjer håndterer upålideligt brugerindhold.

Google har gennemgået rapporten, men konkluderede, at problemet ikke udgør en sikkerhedssårbarhed, fordi angrebet afhænger af, at brugeren selv interagerer med AI-assistenten.

Forsker viser, hvordan YouTube Ask Studio AI følger skjulte instruktioner

Den New York-baserede bug bounty-forsker Javox, kendt online som @javoriuski, opdagede, at YouTube Ask Studio AI behandler særligt udformede kommentarer som instruktioner i stedet for almindelige brugerkommentarer.

AI-assistenten er integreret i YouTube Studio og hjælper indholdsskabere med at analysere kanalens resultater, opsummere kommentarer og besvare spørgsmål om deres indhold.

Javox ville finde ud af, hvad der ville ske, hvis en kommentar indeholdt instruktioner rettet mod AI’en i stedet for en almindelig besked til indholdsskaberen.

Hans test viste, at assistenten fulgte de skjulte instruktioner.

Redigerede kommentarer skjuler angrebet

Angrebet udnytter YouTubes funktion til redigering af kommentarer.

En angriber kan først offentliggøre en helt uskyldig kommentar. Når indholdsskaberen har set den, kan kommentaren redigeres og suppleres med skjulte prompt injection-instruktioner.

YouTube giver ikke besked, når kommentarer bliver redigeret. Derfor opdager indholdsskaberen ofte aldrig ændringen.

Når indholdsskaberen senere beder YouTube Ask Studio AI om at opsummere kommentarerne, behandler assistenten den redigerede version i stedet for den oprindelige.

I Javox’ demonstration tilføjede AI’en tekst, som angriberen kontrollerede, og som fremstod som en officiel meddelelse fra YouTube.

Fordi svaret kommer direkte fra AI-assistenten, er der større sandsynlighed for, at indholdsskaberen stoler på budskabet.

Prompt injection afslørede titler på private videoer

Efter at have vist, at AI’en fulgte instruktioner skjult i kommentarer, undersøgte Javox, om den også kunne få adgang til oplysninger, som kun kanalens ejer har adgang til.

I stedet for at bede AI’en om at vise en fast besked instruerede han den til at generere et link med titlen på en af kanalens videoer.

Den ondsindede prompt bad AI’en om at erstatte en pladsholder i webadressen med titlen på en video fra kanalens eget indhold.

Assistenten fulgte instruktionen.

I stedet for pladsholderen indsatte YouTube Ask Studio AI titlen på en faktisk privat video, fordi assistenten har adgang til kanaloplysninger, som almindelige brugere ikke kan se.

Angrebet gav ikke adgang til selve videoerne. Titlerne kan dog afsløre fortrolige projekter, ikke-offentliggjort indhold, forretningsplaner eller personlige oplysninger.

Angriberen behøver ikke at kompromittere YouTubes systemer. I stedet misbruger angrebet den betroede AI-assistent til at afsløre oplysninger, som allerede er tilgængelige for den.

Google betragter ikke problemet som en sikkerhedsfejl

Javox indberettede fundet gennem Googles bug bounty-program.

Google svarede, at virksomheden ikke ville registrere problemet som en sikkerheds- eller misbrugsrisiko, fordi angrebet kræver, at offeret selv interagerer med AI-assistenten.

Ifølge Google afhænger scenariet af, at en indholdsskaber vælger at bruge AI-assistenten, efter at en angriber har redigeret en kommentar.

Javox er uenig i den vurdering.

Han mener, at traditionel social engineering handler om at få brugeren til at stole på angriberen. I dette tilfælde interagerer indholdsskaberen derimod med YouTubes egen AI-assistent – et værktøj, som brugeren har al mulig grund til at stole på.

Efter hans opfattelse bliver AI-assistenten derfor selve angrebets redskab.

Forsker opfordrer til en tydeligere adskillelse mellem data og instruktioner

Javox mener, at det grundlæggende problem er, at YouTube Ask Studio AI behandler brugerkommentarer både som indhold og som mulige instruktioner.

Han anbefaler, at YouTube håndterer kommentarer som upålideligt input, så AI’en kan opsummere dem uden at fortolke skjulte prompts som kommandoer.

En klar adskillelse mellem brugergenereret indhold og AI’ens interne instruktioner vil reducere risikoen for prompt injection-angreb betydeligt.

Uden en sådan beskyttelse kan enhver, der kommenterer en video, påvirke, hvad AI-assistenten fortæller kanalens ejer, eller få den til at afsløre oplysninger, som aldrig var tiltænkt at forlade kontoen.

Prompt injection udfordrer fortsat AI-sikkerheden

Resultaterne understøtter den voksende opfattelse af, at prompt injection fortsat er en af de største sikkerhedsudfordringer for AI-drevne assistenter.

Tidligere på året demonstrerede forskere lignende angreb ved at skjule lydkommandoer i podcasts, YouTube-videoer, MP3-filer og Zoom-opkald. Formålet var at manipulere AI-baserede stemmeassistenter til at udføre uautoriserede handlinger uden brugerens viden.

Den seneste forskning om YouTube Ask Studio AI viser, at også tekstbaserede prompt injection-angreb kan udvikle sig til en reel trussel, når AI-systemer ikke kan skelne mellem betroede instruktioner og upålideligt brugerindhold.