BioShocking-Angriff verleitet KI-Browser zum Diebstahl sensibler Daten

Forscher haben eine neue Prompt-Injection-Technik namens BioShocking-Angriff vorgestellt, die KI-gestützte Browser dazu bringt, sensible Aktionen auszuführen, die sie normalerweise verweigern würden. Der Angriff vermittelt den KI-Agenten den Eindruck, gefährliche Handlungen in der realen Welt seien lediglich Teil eines fiktiven Spiels. Dadurch ignorieren sie ihre integrierten Sicherheitsmechanismen.

Sicherheitsforscher von LayerX testeten das Konzept erfolgreich gegen sechs bekannte KI-Browser. Nur ein Anbieter stellte nach der verantwortungsvollen Offenlegung eine wirksame Schutzmaßnahme bereit.

Der BioShocking-Angriff nutzt ein fiktives Spiel, um KI-Schutzmechanismen zu umgehen

LayerX entwickelte den BioShocking-Angriff rund um ein browserbasiertes Rätselspiel, das von der Videospielreihe BioShock inspiriert wurde.

Die bösartige Webseite bringt dem KI-Browser bei, dass die Spielregeln bewusst falsches Verhalten belohnen. Während der Agent das Rätsel löst, akzeptiert er schrittweise, dass Handlungen, die normalerweise als unsicher gelten, der richtige Weg sind, um das fiktive Szenario abzuschließen.

Dadurch verändert sich das Verständnis der KI für ihre Umgebung. Die Grenze zwischen fiktiven Anweisungen und realen Sicherheitsvorgaben verschwimmt.

Die Forscher stellten fest, dass die Browser sensible Aktionen nicht mehr als gefährlich einstuften, sobald sie die Logik des Spiels übernommen hatten.

KI-Browser versuchten, sensible Informationen preiszugeben

Im letzten Schritt der Demonstration erhielt der KI-Agent die Anweisung, ein GitHub-Repository zu besuchen und Informationen aus dem Quellcode zu kopieren.

Das Repository enthielt simulierte sensible Daten, darunter Passwörter und andere vertrauliche Informationen.

Nach Angaben von LayerX versuchten alle getesteten KI-Browser, diese Aufgabe auszuführen. Sie betrachteten den Diebstahl der Informationen als Teil des Spielziels und nicht als tatsächlichen Sicherheitsverstoß.

Während der Demonstration wurden keine echten Nutzerdaten exfiltriert. Die Forscher betonen jedoch, dass Angreifer den Demonstrationsaufbau problemlos durch einen echten Angriff ersetzen könnten, ohne den Ablauf verändern zu müssen.

Sechs KI-Browser bestanden den Sicherheitstest nicht

LayerX testete den BioShocking-Angriff gegen sechs verbreitete KI-Browser:

• ChatGPT Atlas
• Comet
• Fellou
• Genspark Browser
• Sigma Browser
• Claude Chrome Plugin

Die Forscher stellten fest, dass alle sechs Produkte die abschließenden Anweisungen nicht als Verstoß gegen ihre Sicherheitsmechanismen erkannten.

Laut LayerX lernten die KI-Agenten zwar die fiktiven Spielregeln, verstanden jedoch nicht, dass diese Regeln die Sicherheitsgrenzen der realen Welt nicht außer Kraft setzen dürfen.

Nachdem sie den veränderten Kontext akzeptiert hatten, führten sie bereitwillig Aktionen aus, die sensible Informationen offenlegten.

OpenAI behebt das Problem, andere hinken hinterher

LayerX informierte die betroffenen Anbieter bereits im Oktober vergangenen Jahres vertraulich über den BioShocking-Angriff.

Den Forschern zufolge war OpenAI der einzige Anbieter, der nach der Meldung eine wirksame Gegenmaßnahme implementierte. Diese schützt Nutzer des ChatGPT-Atlas-Browsers inzwischen vor dem demonstrierten Angriff.

Anthropic versuchte zwar, die Schwachstelle im Claude-Chrome-Plugin zu beheben, doch nach Angaben von LayerX verhindert die implementierte Änderung den veröffentlichten Proof of Concept nicht.

Außerdem berichten die Forscher, dass Perplexity AI den Sicherheitsbericht ohne Fehlerbehebung geschlossen habe. Drei weitere Anbieter reagierten überhaupt nicht auf die Meldung.

LayerX empfiehlt Entwicklern von KI-Browsern, für sensible Aktionen eine ausdrückliche Zustimmung der Nutzer einzuholen. Darüber hinaus sollten sie die Kontextprüfung verbessern und den Zugriff der KI-Agenten während einzelner Browsersitzungen stärker einschränken. Nutzer können ihr Risiko zusätzlich senken, indem sie die Berechtigungen von KI-Browsern begrenzen und ihnen den Zugriff auf Dienste mit sensiblen persönlichen oder geschäftlichen Daten verwehren.