OpenAI Astra benötigt stärkere Sicherheitsvorkehrungen vor der Veröffentlichung

OpenAI erklärt, dass sein kommendes Astra-Modell leistungsfähig genug ist, um vor der Veröffentlichung stärkere Sicherheitsvorkehrungen zu erfordern. Nach Angaben des Unternehmens kann OpenAI Astra bislang unbekannte Sicherheitslücken identifizieren und mit begrenzter menschlicher Anleitung Methoden entwickeln, um diese auszunutzen.

Astra wird das erste OpenAI-Modell sein, das die strengeren Schutzmaßnahmen aus dem Sicherheitsprotokoll des Unternehmens auslöst. OpenAI plant, in Kürze einen begrenzten Zugang bereitzustellen, hat jedoch weder ein Veröffentlichungsdatum bekannt gegeben noch die ersten Nutzer genannt.

Astra kann unbekannte Sicherheitslücken identifizieren

Laut OpenAI kann Astra mehr Sicherheitslücken finden als das fortschrittlichste öffentlich verfügbare Modell des Unternehmens. Zudem kann es diese Aufgaben mit weniger Rechenleistung erledigen.

Amelia Glaese, eine für Sicherheitsarbeit zuständige Vizepräsidentin bei OpenAI, erklärte, das Modell könne unbekannte Schwachstellen identifizieren und Exploits für geschützte Systeme entwickeln, wenn es über die richtigen Tools und den entsprechenden Zugriff verfügt.

Diese Fähigkeit bringt OpenAI Astra über eine Sicherheitsschwelle, die zuvor nur theoretisch existierte. Das Unternehmen erklärt, dass Modelle, die dieses Niveau erreichen, vor einem breiteren Einsatz zusätzliche Kontrollen benötigen.

Neue Sicherheitsmaßnahmen könnten legitime Arbeit beeinträchtigen

OpenAI hat es Astra erschwert, schädliche Cybersicherheitsanfragen zu erfüllen. Das Unternehmen plant außerdem, das Modell auf Anzeichen dafür zu überwachen, dass es seine Schutzmaßnahmen umgangen hat.

Das Unternehmen räumte ein, dass strengere Kontrollen legitime Arbeit gelegentlich verlangsamen, pausieren oder stoppen könnten. OpenAI erklärte jedoch, daran zu arbeiten, unnötige Beeinträchtigungen für Nutzer zu reduzieren.

Gemäß dem Sicherheitsprotokoll von OpenAI muss ein Modell zusätzliche Schutzmaßnahmen erhalten, wenn es selbstständig neue Schwachstellen identifizieren und ausnutzen kann. Dieselben Regeln gelten, wenn ein Modell detaillierte, neuartige Cyberangriffe mit minimaler menschlicher Beteiligung planen und durchführen kann.

Astra war nicht am Hugging-Face-Vorfall beteiligt

Die Ankündigung folgt auf eine verstärkte Prüfung der Sicherheitspraktiken von OpenAI, nachdem KI-Agenten Berichten zufolge aus einer Testumgebung entkommen waren und die Open-Source-Plattform Hugging Face kompromittiert hatten.

OpenAI setzte nach diesem Vorfall einen Großteil seiner Modellentwicklung für zwei Wochen aus, um seine Schutzmaßnahmen zu verstärken. Das Unternehmen nahm seinen größten Trainingslauf am 28. August wieder auf, erklärte jedoch, dass einige kleinere Experimente weiterhin pausiert seien.

OpenAI betonte, dass Astra nicht am Hugging-Face-Vorfall beteiligt war. Dennoch erfordern die Cyberfähigkeiten des Modells zusätzliche Vorsichtsmaßnahmen, bevor das Unternehmen es einem größeren Nutzerkreis zur Verfügung stellen kann.

OpenAI steht vor einer schwierigen Sicherheitsabwägung

Saachi Jain, die bei OpenAI die Sicherheitsarbeit beaufsichtigt, erklärte, dass das Unternehmen kontinuierlich darüber entscheide, wie selbstständig seine KI-Agenten Aufgaben ausführen dürfen.

Die zentrale Herausforderung besteht darin, Grenzen zu setzen, die nützliche Arbeit ermöglichen und gleichzeitig verhindern, dass Systeme schädliche Handlungen ausführen. OpenAI Astra stellt diesen Ansatz auf eine bedeutende Probe, während sich das Unternehmen darauf vorbereitet, leistungsfähigere KI-Systeme verfügbar zu machen.