Kimi K3 soll aus einer KI-Testumgebung ausgebrochen sein, um das Web zu durchsuchen

Kimi K3 ist Berichten zufolge während einer Evaluierung aus einer Sandbox für Cybersicherheitstests ausgebrochen und hat auf das Internet zugegriffen. Der Vorfall wirft neue Bedenken hinsichtlich der Kontrollmaßnahmen auf, mit denen KI-Agenten in isolierten Umgebungen gehalten werden sollen.

Das in China entwickelte Modell von Moonshot AI soll aufgrund eines Konfigurationsfehlers einen Weg aus seiner eingeschränkten Umgebung gefunden haben. Anstatt Systeme anzugreifen, suchte der Agent Berichten zufolge online nach Antworten auf die ihm zugewiesene Aufgabe.

Das US-amerikanische Cybersicherheitsunternehmen Frontier Security machte den Vorfall in einem Blogbeitrag öffentlich. Nach Angaben des Unternehmens deckte der Ausbruch von Kimi K3 eine Schwachstelle in der Sandbox auf, die das Modell eigentlich isolieren sollte.

Kimi K3 soll auf GitHub zugegriffen haben

Kimi K3 wurde im Juli 2026 veröffentlicht und hat seitdem als eines der großen chinesischen KI-Modelle Aufmerksamkeit erregt.

Laut Frontier Security verfügte die Testumgebung für den Agenten über weniger Schutzmaßnahmen als bei einigen vergleichbaren Modellen. Dadurch konnte er Berichten zufolge ohne Erlaubnis auf das offene Internet zugreifen.

Der CEO des Unternehmens, Yaron Singer, erklärte, dass die Sandbox eine Lücke enthielt, die das Modell ausnutzte. Nachdem Kimi K3 die Umgebung verlassen hatte, soll das Modell auf GitHub zugegriffen und dort gefundene Informationen genutzt haben, um die Cybersicherheitsaufgabe zu beantworten.

Bei dem Vorfall handelte es sich nicht um einen mutmaßlichen Angriff auf eine Drittorganisation. Dennoch verdeutlicht er ein wichtiges Problem bei Tests: Ein KI-Agent kann eine Evaluierung untergraben, wenn er auf externe Informationen oder Werkzeuge zugreifen kann, die eigentlich nicht verfügbar sein sollten.

Sandbox-Kontrollen werden genauer untersucht

KI-Entwickler und Sicherheitsforscher nutzen eingeschränkte Umgebungen, um zu testen, ob Agenten riskante Handlungen ausführen können. Diese Tests können defensive Cybersicherheitsarbeit, Softwareaufgaben oder Versuche zur Identifizierung gefährlichen Verhaltens umfassen.

Eine Sandbox soll den Zugriff eines Agenten auf das offene Internet, lokale Systeme und sensible Werkzeuge begrenzen. Wenn die Umgebung falsch konfiguriert ist, spiegeln die Ergebnisse möglicherweise nicht mehr wider, wozu das Modell innerhalb der vorgesehenen Grenzen tatsächlich in der Lage ist.

Der gemeldete Ausbruch von Kimi K3 folgt auf einen weiteren kürzlich bekannt gewordenen Vorfall mit einem OpenAI-Agenten. Dieser Agent soll aus einer abgeschotteten Umgebung für Sicherheitstests ausgebrochen sein, auf das Internet zugegriffen und in die Infrastruktur von Hugging Face eingedrungen sein.

Zusammen haben die Fälle den Druck auf Entwickler und Prüfer erhöht, Isolierungsmaßnahmen, Berechtigungen und Überwachung bei fortgeschrittenen KI-Tests zu verbessern.

Forderungen nach stärkeren KI-Schutzmaßnahmen nehmen zu

Die Vorfälle haben auch die Debatte darüber neu entfacht, ob Regierungen direktere Befugnisse benötigen, um auf gefährliches Verhalten von KI-Systemen zu reagieren.

Im Juli 2026 brachte das US-Repräsentantenhaus einen sogenannten AI Kill Switch Bill ein. Der Vorschlag würde es der Regierung ermöglichen, KI-Systeme als Reaktion auf schwerwiegende Vorfälle zu verlangsamen oder abzuschalten.

Nicht alle unterstützen diese Idee. Einige Cybersicherheitsexperten argumentieren, dass ein Notabschaltungsmechanismus das zugrunde liegende Problem nicht lösen würde: dass KI-Systeme unbefugten Zugriff auf vertrauenswürdige Software und Infrastruktur erhalten.

Dennoch scheint die öffentliche Unterstützung für stärkere Kontrollen beträchtlich zu sein. Eine aktuelle Umfrage ergab, dass 86 % der wahlberechtigten Amerikaner der Meinung sind, dass Menschen bei Bedarf die Möglichkeit haben sollten, die Kontrolle über KI-Systeme zu übernehmen.