Schwachstellen im OpenAI-Forum legten ChatGPT-Konten offen

Sicherheitsforscher berichten, dass zwei Schwachstellen im OpenAI-Forum es ihnen ermöglichten, Code auf dem Server der Plattform auszuführen. Anschließend konnten sie über das Single-Sign-on-System von OpenAI verknüpfte ChatGPT- und Codex-Konten übernehmen.

Forscher kompromittieren OpenAIs Community-Forum

Die Hacktron-AI-Forscher Harsh Jaiswal, Mohan Pedhapati und Rahul Maini entdeckten die Sicherheitslücken.

Sie nahmen das Community-Forum von OpenAI ins Visier, das die Open-Source-Plattform Discourse verwendet. Das Forum ermöglicht es Nutzern und Mitarbeitern außerdem, sich mit ihren OpenAI-Konten anzumelden.

Das Team erklärte, dass weniger als 72 Stunden zwischen der ersten Entdeckung und dem Nachweis des Zugriffs auf ein internes Code-Repository von OpenAI lagen.

Die Forscher betonten jedoch, dass sie ihren Zugriff nicht nutzten, um sensible Informationen zu sammeln. Später meldeten sie die Schwachstellen an OpenAI und Discourse.

Schädliches Bild ermöglicht Codeausführung

Die erste Schwachstelle betraf den Prozess zum Hochladen von Bildern im Forum. Die Forscher konzentrierten sich dabei insbesondere auf Bilddateien in den Formaten HEIC und HEIF.

Discourse verwendet normalerweise die FastImage-Bibliothek, um hochgeladene Bilder zu überprüfen. FastImage unterstützte jedoch keine HEIF-Dateien.

Daher leitete die Plattform diese Dateien zur Konvertierung an ImageMagick weiter. Dieser Prozess setzte den zugrunde liegenden libheif-Bildparser schädlichen Uploads aus.

Die Forscher entdeckten einen Heap-Buffer-Overflow in der libheif-Version, die im Docker-Image von Discourse enthalten war. Ihren Angaben zufolge ermöglichte die Schwachstelle den erforderlichen Speicherzugriff, um einen Exploit für die Remote-Codeausführung zu entwickeln.

Dadurch konnte ein speziell präpariertes Bild einem Angreifer ermöglichen, Befehle auf dem Forum-Server auszuführen.

Claude hilft Forschern bei der Entwicklung des Exploits

Das Hacktron-AI-Team nutzte die Claude-Modelle von Anthropic, um den Exploit zu entwickeln.

Am 24. Juli baten die Forscher Claude Opus 4.8, einen funktionierenden Angriff zu erstellen. Dieser Versuch scheiterte jedoch.

Nach der Veröffentlichung von Claude Opus 5 durch Anthropic versuchten sie es erneut. Den Forschern zufolge entwickelte das neuere Modell innerhalb von drei Stunden einen funktionierenden ARM64-Exploit für einen lokalen Mac.

Anschließend baten sie Claude, den Exploit an die von Discourse verwendete x86-64-Umgebung und jemalloc-Konfiguration anzupassen.

Am 25. Juli bestätigten die Forscher die Remote-Codeausführung über einen Bild-Upload. Zunächst testeten sie die Technik in ihrer eigenen Discourse-Cloud-Umgebung. Anschließend setzten sie sie gegen das Community-Forum von OpenAI ein.

Nach Angaben der Forscher halfen KI-Modelle auch bei der Rechteausweitung, der lateralen Bewegung und der Umgehung von Sicherheitsmaßnahmen in eingeschränkten Umgebungen.

Sie betonten jedoch, dass das Projekt kein vollständig autonomes Hacking umfasste. Fachkundige menschliche Anleitung blieb während der gesamten Untersuchung unerlässlich.

Das gesamte Projekt kostete Berichten zufolge weniger als 3.000 US-Dollar an KI-Tokens.

Single Sign-on legte ChatGPT und Codex offen

Nachdem die Forscher das Forum kompromittiert hatten, untersuchten sie die Single-Sign-on-Konfiguration von OpenAI.

Sie entdeckten einen separaten Weg, über den sie die ChatGPT- und Codex-Konten aktiver Forumsmitglieder übernehmen konnten. Dieses Risiko galt auch für OpenAI-Mitarbeiter, die sich im Forum angemeldet hatten.

Die Schwachstellen im OpenAI-Forum führten daher zu Risiken, die über die Community-Plattform selbst hinausgingen.

Ein betroffenes Codex-Konto konnte außerdem Zugriff auf verbundene Drittanbieterdienste ermöglichen. Das potenzielle Ausmaß hing davon ab, welche Dienste der jeweilige Nutzer verknüpft hatte.

Zu diesen Diensten konnten GitHub, Slack und E-Mail-Konten gehören. Dadurch könnte ein Angreifer Zugriff auf private Nachrichten, Quellcode und sensible Dateien erhalten.

Forscher erreichen internes Code-Repository

Die Forscher demonstrierten die möglichen Auswirkungen anhand eines kompromittierten Kontos eines OpenAI-Mitarbeiters.

Das Codex-Konto des Mitarbeiters war mit der GitHub-Umgebung von OpenAI verbunden. Anschließend wies das Team Codex an, einen Pull Request im internen Monorepo des Unternehmens zu erstellen.

Ein Monorepo speichert Quellcode aus mehreren Projekten in einem zentralen Repository. Daher könnte unbefugter Zugriff wertvolle interne Systeme und Entwicklungsarbeiten offenlegen.

Die Forscher erklärten jedoch, dass sie über diesen Zugriff keine sensiblen Informationen abgerufen hätten. Ihre Demonstration sollte das Ausmaß der Kette zur Kontoübernahme verdeutlichen.

OpenAI behebt Problem innerhalb von 14 Stunden

Hacktron AI meldete die Ergebnisse sowohl OpenAI als auch Discourse.

Den Forschern zufolge behob OpenAI seinen Teil der Schwachstellenkette innerhalb von etwa 14 Stunden. Später zahlte das Unternehmen dem Team eine Bug-Bounty-Prämie von 6.500 US-Dollar.

Discourse entwickelte unterdessen innerhalb weniger Tage eine eigene Fehlerbehebung. Die Plattform führte außerdem eine stärkere Sandbox-Isolierung für die Bildverarbeitung ein, um die Auswirkungen zukünftiger Schwachstellen zu begrenzen.

Die zusätzliche Isolierung kann verhindern, dass eine Schwachstelle in der Bildverarbeitung Zugriff auf die weitere Forum-Umgebung ermöglicht.

Forschung zeigt wachsende Rolle von KI in der Cybersicherheit

Der Fall zeigt, wie KI-Modelle für die Programmierung komplexe Sicherheitsforschung beschleunigen können. Ein kleines Team nutzte Claude, um einen Exploit für unterschiedliche Prozessorarchitekturen und technische Umgebungen zu entwickeln und anzupassen.

Dennoch benötigten die Forscher weiterhin Fachwissen, um das Modell anzuleiten, seine Ergebnisse zu testen und die einzelnen Angriffsphasen miteinander zu verbinden.

Die Ergebnisse verdeutlichen außerdem die Risiken, die entstehen, wenn mehrere Dienste über ein gemeinsames Identitätssystem miteinander verbunden sind. Eine Schwachstelle in einem Community-Forum kann erheblich schwerwiegender werden, wenn dieselbe Anmeldung mit Entwicklungswerkzeugen, Quellcode-Repositories und Kommunikationsplattformen verknüpft ist.