En säkerhetsforskare har visat att YouTube Ask Studio AI kan manipuleras att avslöja titlar på privata videor genom en så kallad prompt injection-attack som göms i YouTube-kommentarer. Metoden gör det möjligt för angripare att påverka AI-assistentens svar utan att behöva kompromettera YouTubes system, vilket väcker nya frågor om hur AI-verktyg hanterar opålitligt användarinnehåll.
Google har granskat rapporten men bedömer att problemet inte utgör en säkerhetssårbarhet eftersom attacken kräver att användaren själv interagerar med AI-assistenten.
Forskare visar hur YouTube Ask Studio AI följer dolda instruktioner
Den New York-baserade bug bounty-forskaren Javox, känd på nätet som @javoriuski, upptäckte att YouTube Ask Studio AI behandlar särskilt utformade kommentarer som instruktioner i stället för vanliga användarkommentarer.
AI-assistenten är integrerad i YouTube Studio och hjälper innehållsskapare att analysera kanalens resultat, sammanfatta kommentarer och besvara frågor om innehållet.
Javox ville ta reda på vad som skulle hända om en kommentar innehöll instruktioner riktade till AI i stället för ett vanligt meddelande till skaparen.
Hans tester visade att assistenten följde de dolda instruktionerna.
Redigerade kommentarer döljer attacken
Attacken utnyttjar YouTubes funktion för att redigera kommentarer.
En angripare kan först publicera en helt vanlig kommentar. När skaparen redan har sett den kan kommentaren redigeras och kompletteras med dolda prompt injection-instruktioner.
YouTube meddelar inte när kommentarer redigeras. Därför märker skaparen ofta aldrig att innehållet har ändrats.
När skaparen senare ber YouTube Ask Studio AI att sammanfatta kommentarerna använder assistenten den redigerade versionen i stället för originalet.
I Javox test lade AI till text som angriparen kontrollerade och som såg ut att vara ett officiellt meddelande från YouTube.
Eftersom svaret kommer direkt från AI-assistenten finns det en större risk att innehållsskaparen litar på informationen.
Prompt injection avslöjade titlar på privata videor
Efter att ha visat att AI följde instruktioner i kommentarer undersökte Javox om den även kunde komma åt information som bara kanalägaren har tillgång till.
I stället för att be AI visa ett förutbestämt meddelande instruerade han den att skapa en länk som innehöll titeln på en av kanalens videor.
Den skadliga prompten uppmanade AI att ersätta en platshållare i webbadressen med titeln på en video från kanalägarens konto.
Assistenten följde instruktionen.
I stället för platshållaren infogade YouTube Ask Studio AI titeln på en verklig privat video eftersom assistenten har tillgång till kanalinformation som vanliga användare inte kan se.
Attacken gav inte tillgång till själva videorna. Däremot kan titlarna avslöja konfidentiella projekt, opublicerat material, affärsplaner eller annan känslig information.
Angriparen behöver inte ta sig in i YouTubes system. I stället utnyttjar attacken den betrodda AI-assistenten för att avslöja information som redan finns tillgänglig för den.
Google klassar inte problemet som en säkerhetsbrist
Javox rapporterade upptäckten via Googles bug bounty-program.
Google svarade att företaget inte kommer att behandla ärendet som en säkerhets- eller missbruksrisk eftersom attacken kräver att offret själv interagerar med AI-assistenten.
Enligt Google bygger scenariot på att en innehållsskapare använder AI-assistenten efter att en angripare har redigerat en kommentar.
Javox delar inte den bedömningen.
Han menar att traditionell social manipulation bygger på att användaren luras att lita på angriparen. I det här fallet kommunicerar skaparen däremot med YouTubes egen AI-assistent – ett verktyg som användaren har all anledning att lita på.
Enligt Javox blir AI-assistenten därmed själva verktyget för attacken.
Forskare vill se tydligare separation mellan data och instruktioner
Javox anser att grundproblemet är att YouTube Ask Studio AI behandlar användarkommentarer både som innehåll och som möjliga instruktioner.
Han rekommenderar att YouTube hanterar kommentarer som opålitlig indata så att AI kan sammanfatta innehållet utan att tolka inbäddade instruktioner som kommandon.
En tydligare separation mellan användargenererat innehåll och AI interna instruktioner skulle kraftigt minska risken för prompt injection-attacker.
Utan ett sådant skydd kan vem som helst som kommenterar en video påverka vad AI-assistenten berättar för kanalägaren eller få den att avslöja information som aldrig var avsedd att lämna kontot.
Prompt injection fortsätter att utmana AI-säkerheten
Resultaten stärker bilden av att prompt injection fortfarande är en av de största säkerhetsutmaningarna för AI-drivna assistenter.
Tidigare i år visade forskare liknande attacker där dolda ljudkommandon bäddades in i poddar, YouTube-videor, MP3-filer och Zoom-samtal. Syftet var att manipulera AI-baserade röstassistenter att utföra obehöriga åtgärder utan användarens vetskap.
Den senaste forskningen kring YouTube Ask Studio AI visar att även textbaserade prompt injection-attacker kan utgöra ett praktiskt hot när AI-system inte skiljer mellan betrodda instruktioner och opålitligt användarinnehåll.
0 svar till ”YouTube Ask Studio AI kan luras att avslöja titlar på privata videor”