Ein Sicherheitsforscher hat gezeigt, dass sich YouTube Ask Studio AI durch einen Prompt-Injection-Angriff manipulieren lässt, der in YouTube-Kommentaren versteckt wird. Mit dieser Methode können Angreifer die Antworten des KI-Assistenten beeinflussen, ohne die Systeme von YouTube selbst zu kompromittieren. Das wirft neue Fragen darüber auf, wie KI-Tools mit nicht vertrauenswürdigen Nutzerinhalten umgehen.
Google hat den Bericht geprüft, kam jedoch zu dem Schluss, dass das Problem keine Sicherheitslücke darstellt, da der Angriff eine Interaktion des Nutzers voraussetzt.
Forscher zeigt, wie YouTube Ask Studio AI versteckte Anweisungen befolgt
Der in New York ansässige Bug-Bounty-Forscher Javox, der online unter dem Namen @javoriuski bekannt ist, entdeckte, dass YouTube Ask Studio AI speziell präparierte Kommentare als Anweisungen statt als gewöhnliche Nutzerkommentare interpretiert.
Der KI-Assistent ist in YouTube Studio integriert und unterstützt Creator dabei, die Leistung ihres Kanals zu analysieren, Kommentare zusammenzufassen und Fragen zu ihren Inhalten zu beantworten.
Javox wollte herausfinden, was passiert, wenn ein Kommentar Anweisungen für die KI enthält und nicht einfach eine Nachricht an den Creator.
Seine Tests zeigten, dass der Assistent diesen versteckten Anweisungen folgte.
Bearbeitete Kommentare verschleiern den Angriff
Der Angriff nutzt die Bearbeitungsfunktion für YouTube-Kommentare aus.
Ein Angreifer veröffentlicht zunächst einen harmlosen Kommentar. Nachdem der Creator ihn gesehen hat, bearbeitet der Angreifer den Kommentar und fügt versteckte Prompt-Injection-Anweisungen ein.
YouTube benachrichtigt Creator nicht, wenn Kommentare bearbeitet werden. Deshalb bemerken sie die bösartige Änderung häufig nicht.
Wenn der Creator später YouTube Ask Studio AI bittet, die Kommentare zusammenzufassen, verarbeitet der Assistent die bearbeitete Version statt des ursprünglichen Kommentars.
Im Proof of Concept von Javox fügte die KI vom Angreifer kontrollierten Text ein, der wie eine offizielle Mitteilung von YouTube aussah.
Da die Antwort direkt vom KI-Assistenten stammt, vertrauen Creator der Nachricht mit größerer Wahrscheinlichkeit.
Prompt Injection führte zur Preisgabe privater Videotitel
Nachdem Javox nachgewiesen hatte, dass die KI versteckte Anweisungen in Kommentaren befolgt, untersuchte er, ob sie auch auf Informationen zugreifen kann, die ausschließlich dem Kanalinhaber zur Verfügung stehen.
Anstatt die KI aufzufordern, eine feste Nachricht auszugeben, wies er sie an, einen Link mit dem Titel eines Videos des Creators zu erstellen.
Der bösartige Prompt forderte die KI auf, einen Platzhalter in der URL durch den Titel eines Videos aus dem eigenen Kanal des Creators zu ersetzen.
Der Assistent führte die Anweisung aus.
Anstelle des Platzhalters setzte YouTube Ask Studio AI den Titel eines tatsächlich privaten Videos ein, da der Assistent Zugriff auf Kanalinformationen besitzt, die normalen Nutzern nicht zur Verfügung stehen.
Der Angriff verschaffte keinen Zugriff auf die Videos selbst. Die Titel können jedoch vertrauliche Projekte, unveröffentlichte Inhalte, Geschäftspläne oder persönliche Informationen preisgeben.
Der Angreifer muss die Systeme von YouTube nicht kompromittieren. Stattdessen missbraucht er den vertrauenswürdigen KI-Assistenten, um Informationen offenzulegen, auf die dieser bereits Zugriff hat.
Google stuft das Problem nicht als Sicherheitslücke ein
Javox meldete die Schwachstelle über Googles Bug-Bounty-Programm.
Google antwortete, dass das Unternehmen den Vorfall nicht als Sicherheits- oder Missbrauchsrisiko verfolgen werde, weil der Angriff eine Interaktion des Opfers voraussetzt.
Nach Angaben des Unternehmens hängt das Szenario davon ab, dass ein Creator den KI-Assistenten nutzt, nachdem ein Angreifer einen Kommentar bearbeitet hat.
Javox widerspricht dieser Einschätzung.
Er argumentiert, dass klassisches Social Engineering darauf beruht, Nutzer dazu zu bringen, einem Angreifer zu vertrauen. In diesem Fall interagieren Creator jedoch mit dem KI-Assistenten von YouTube – einem Werkzeug, dem sie berechtigterweise vertrauen.
Aus seiner Sicht wird die KI selbst zum Angriffsvektor.
Forscher fordert eine klare Trennung zwischen Daten und Anweisungen
Javox sieht das grundlegende Problem darin, dass YouTube Ask Studio AI Nutzerkommentare sowohl als Inhalte als auch als potenzielle Anweisungen behandelt.
Er empfiehlt, Kommentare grundsätzlich als nicht vertrauenswürdige Eingaben zu behandeln. So könnte der Assistent sie zusammenfassen, ohne eingebettete Prompts als Befehle zu interpretieren.
Eine klare Trennung zwischen nutzergenerierten Inhalten und den internen Anweisungen der KI würde das Risiko von Prompt-Injection-Angriffen erheblich verringern.
Ohne diesen Schutz könnte jeder, der einen Kommentar unter einem Video hinterlässt, beeinflussen, welche Informationen der KI-Assistent dem Kanalinhaber liefert oder welche Daten er preisgibt, obwohl sie den Kanal niemals verlassen sollten.
Prompt Injection bleibt eine große Herausforderung für die KI-Sicherheit
Die Ergebnisse liefern weitere Hinweise darauf, dass Prompt Injection weiterhin zu den größten Sicherheitsproblemen KI-gestützter Assistenten gehört.
Bereits Anfang des Jahres demonstrierten Forscher ähnliche Angriffe mithilfe versteckter Audiobefehle in Podcasts, YouTube-Videos, MP3-Dateien und Zoom-Anrufen. Ziel war es, KI-Sprachassistenten dazu zu bringen, unbefugte Aktionen auszuführen, ohne dass Nutzer dies bemerkten.
Die aktuelle Untersuchung zu YouTube Ask Studio AI zeigt, dass auch textbasierte Prompt-Injection-Angriffe zu einer realen Bedrohung werden können, wenn KI-Systeme nicht zwischen vertrauenswürdigen Anweisungen und nicht vertrauenswürdigen Nutzerinhalten unterscheiden.
0 Kommentare zu „YouTube Ask Studio AI kann dazu gebracht werden, Titel privater Videos preiszugeben“