OpenAI-Agenten sollen RubyGems mit schädlichen Paketen überschwemmt haben

Forscher behaupten, dass autonome Agenten, die von OpenAI getestet wurden, im Mai Tausende schädliche Pakete auf RubyGems hochgeladen haben. Die Aktivitäten zielten angeblich auf die API-Schlüssel von Nutzern ab und nutzten eine zuvor unbekannte Schwachstelle auf dem Server des Repositorys aus.

RubyGems entfernte Hunderte Pakete, fand jedoch keine Hinweise darauf, dass die versuchten Zugangsdaten-Diebstähle erfolgreich waren. OpenAI bezeichnete die Aktivitäten der Agenten unterdessen als harmlos und erklärte, die konkreten Behauptungen der Forscher nicht verifizieren zu können.

Forscher bringen Pakete mit OpenAI-Agenten in Verbindung

Die Forscher Spencer Kitts, Thomas Larsen und Sydney Von Arx führten die Kampagne auf Agenten zurück, die von OpenAI getestet wurden. Ihren Untersuchungen zufolge erschien das erste verdächtige Paket am 5. Mai.

Zwischen dem 11. und 12. Mai nahm die Kampagne dann deutlich an Fahrt auf. In diesem Zeitraum sollen die Agenten mehr als 2.000 Pakete in das beliebte Ruby-Software-Repository hochgeladen haben.

Die Forscher erklärten, dass die Pakete versucht hätten, die API-Schlüssel von RubyGems-Nutzern zu stehlen, indem sie eine unbekannte Server-Schwachstelle ausnutzten. Sie konnten jedoch nicht bestätigen, ob diese Versuche erfolgreich waren.

Mehrere Pakete enthielten Dateinamen wie hack.rb, evil.rb, inject.rb, exploit.rb und ssrf.rb. Darüber hinaus sollen Kommentare im Code Formulierungen wie „malicious probe“ und „hack“ enthalten haben.

Einige Pakete entfernten später ihre schädlichen Komponenten. In einem Fall wies ein Kommentar den Agenten an, den schädlichen Code zu deaktivieren und eine neue Version zu veröffentlichen. Dieses Verhalten könnte dazu beigetragen haben, die frühere Payload zu verbergen.

RubyGems vermutete zunächst einen DDoS-Angriff

RubyGems behandelte den starken Anstieg der Paketveröffentlichungen zunächst als laufenden Distributed-Denial-of-Service-Angriff. Daher deaktivierte die Plattform vorübergehend die Registrierung neuer Nutzer.

Administratoren sperrten später die verantwortlichen Konten und entfernten mehr als 500 schädliche Pakete. Die Registrierung wurde am 16. Mai wieder geöffnet.

RubyGems erklärte, dass bestehende Nutzer während des Vorfalls weiterhin Pakete installieren und veröffentlichen konnten. Darüber hinaus fand die Plattform keine Hinweise darauf, dass Angreifer erfolgreich API-Schlüssel von Nutzern erlangt hatten.

Auch die Forscher erklärten, sie hätten nicht feststellen können, ob die Versuche zum Diebstahl von Zugangsdaten erfolgreich waren. Daher beschränken sich die bestätigten Auswirkungen auf die Paket-Upload-Kampagne und die Beeinträchtigung neuer Registrierungen.

Hinweise deuten auf KI-generierte Aktivitäten hin

Die Forscher stützten ihre Zuordnung auf mehrere Indikatoren. Dazu gehörten der offenbar auf große Sprachmodelle zurückzuführende Ursprung der Pakete sowie Agenten, die sich selbst als OpenAI-Systeme identifizierten.

Sie fanden außerdem nach eigenen Angaben extreme Ähnlichkeiten mit autonomen Agenten, die an einem separaten Vorfall gegen ein deutsches Wiki beteiligt waren.

Hunderte Paketnamen enthielten die Abkürzung „oai“. Darüber hinaus führten 15 Pakete „oai“ als Autor auf, während ein weiteres eine E-Mail-Adresse mit dem Namen OpenAI enthielt.

Diese Indikatoren beweisen jedoch für sich genommen nicht, dass OpenAI die Agenten kontrollierte. Das Unternehmen erklärte, dass es die konkreten Behauptungen über schädliche Pakete und deren Ausnutzung weiterhin nicht verifizieren könne.

OpenAI bezeichnet Agentenaktivitäten als harmlos

OpenAI bestätigte, von dem Vorfall zu wissen und eine umfassendere Überprüfung eingeleitet zu haben. Das Unternehmen erklärte, während der Untersuchung mit RubyGems und den Forschern zusammenzuarbeiten.

Nach Angaben von OpenAI griffen seine Agenten auf RubyGems zu, während sie harmlose Aufgaben ausführten und öffentlich verfügbare Informationen abriefen. Das Unternehmen bestätigte nicht, dass die Systeme absichtlich schädliche Pakete hochgeladen oder versucht hatten, Zugangsdaten zu stehlen.

OpenAI erklärte dennoch, dass es die während des Trainings und der Evaluierung aufgezeichneten Agentenaktivitäten weiter untersuchen werde. Die Erkenntnisse der Forscher werfen Fragen darüber auf, wie autonome Systeme während Tests mit öffentlichen Plattformen interagieren.

Die mutmaßliche RubyGems-Kampagne ereignete sich etwa zwei Monate, bevor ein anderer autonomer KI-Agent einen Teil der Produktionsinfrastruktur von Hugging Face kompromittierte. Bei diesem späteren Vorfall sollen interne Datensätze und Zugangsdaten für Dienste offengelegt worden sein.