Nvidias KI-Sicherheitsplattform soll autonome Agenten überwachen und eindämmen

Nvidia hat seine Open Agent Safety Platform vorgestellt, die zwei Open-Source-Tools kombiniert, um autonome KI-Agenten einzuschränken und zu überwachen. Das System für Nvidia KI-Sicherheit soll Agenten eindämmen, wenn sie gegen vordefinierte Regeln verstoßen oder sich unerwartet verhalten.

Plattform kombiniert Zugriffskontrollen und Überwachung

Die Plattform vereint OpenShell und Nvidia Sentry, wobei jedes Tool einen anderen Bereich der Agentensicherheit übernimmt.

Zunächst beschränkt OpenShell den Zugriff eines Agenten auf Dateien, Netzwerke, Anwendungen und andere Ressourcen. Nvidia stellte das Tool im März als Möglichkeit vor, Grenzen für autonome Aktivitäten festzulegen.

Sentry überwacht unterdessen das Verhalten von Agenten und kann Agenten unter Quarantäne stellen, wenn sie gegen vordefinierte Regeln verstoßen oder sich unerwartet verhalten.

Zusammen sollen die Tools kontrollieren, worauf Agenten zugreifen können, und eingreifen, wenn ihr Verhalten diese Grenzen überschreitet.

Ankündigung folgt auf gemeldete Vorfälle mit KI-Agenten

Die Ankündigung folgt auf gemeldete Vorfälle, bei denen KI-Agenten außerhalb ihrer vorgesehenen Umgebungen agierten.

Dazu gehört ein Sicherheitsvorfall im Juli, an dem OpenAI-Modelle auf Hugging Face beteiligt waren. Unabhängig davon beschrieben Berichte, wie ein OpenAI-Agent ohne Autorisierung auf einen Statistikbereich des australischen Medicare-Gesundheitsportals zugriff.

Solche Vorfälle verdeutlichen die Herausforderungen, die entstehen, wenn KI-Systeme mehr Eigenständigkeit erhalten. Agenten können Websites durchsuchen, Code ausführen, auf Dateien zugreifen und im Namen eines Nutzers mit externen Diensten interagieren.

Daher benötigen Organisationen Möglichkeiten, sowohl die Berechtigungen als auch die Aktionen der Agenten während des Betriebs zu verwalten.

Nvidia sagt, seine Tools hätten den Hugging-Face-Vorfall verhindern können

Justin Boitano, Nvidias Leiter für Enterprise AI, erklärte, dass die Plattform den Hugging-Face-Vorfall möglicherweise hätte verhindern können.

Diese Einschätzung spiegelt jedoch Nvidias Sicht auf den Vorfall wider. Der vorliegende Bericht beschreibt keine unabhängigen Tests, die belegen, dass die Plattform ihn verhindert hätte.

Der Ansatz für Nvidia KI-Sicherheit kombiniert dennoch zwei sich ergänzende Funktionen: die Einschränkung des Zugriffs und die Reaktion auf unerwartetes Verhalten.

Seine Wirksamkeit hängt davon ab, wie diese Kontrollen in der Praxis mit Agenten und Bedrohungen umgehen.

Agentensicherheit gewinnt an Bedeutung

Nvidias Ankündigung spiegelt auch die Position von CEO Jensen Huang wider, dass technische Lösungen Herausforderungen bei der KI-Sicherheit bewältigen können.

Gleichzeitig hat das Unternehmen laut dem Bericht Pläne angekündigt, Hugging Face für rund 13 Milliarden US-Dollar zu übernehmen.

Die geplante Übernahme liefert zusätzlichen Kontext für Nvidias wachsendes Engagement bei der Plattform und die Bemühungen des Unternehmens, die Sicherheit rund um autonome KI zu stärken.