Nvidia har lansert sin Open Agent Safety Platform, som kombinerer to verktøy med åpen kildekode for å begrense og overvåke autonome AI-agenter. Systemet for Nvidia AI-sikkerhet har som mål å begrense agenter når de bryter forhåndsdefinerte regler eller oppfører seg uventet.
Plattformen kombinerer tilgangskontroller og overvåking
Plattformen samler OpenShell og Nvidia Sentry, der hvert verktøy håndterer en ulik del av agentsikkerheten.
Først begrenser OpenShell en agents tilgang til filer, nettverk, applikasjoner og andre ressurser. Nvidia introduserte verktøyet i mars som en måte å sette grenser rundt autonom aktivitet på.
Samtidig overvåker Sentry agentenes atferd og kan sette agenter i karantene dersom de bryter forhåndsdefinerte regler eller oppfører seg uventet.
Sammen har verktøyene som mål å kontrollere hva agenter kan få tilgang til, og gripe inn når atferden deres overskrider disse grensene.
Kunngjøringen følger rapporterte hendelser med AI-agenter
Kunngjøringen følger rapporterte hendelser der AI-agenter har operert utenfor sine tiltenkte miljøer.
Disse inkluderer et datainnbrudd i juli som involverte OpenAI-modeller på Hugging Face. Separat beskrev rapporter en OpenAI-agent som fikk tilgang til en statistikkseksjon i Australias Medicare-helseportal uten autorisasjon.
Slike hendelser fremhever utfordringene ved å gi AI-systemer større selvstendighet. Agenter kan surfe på nettsteder, kjøre kode, få tilgang til filer og samhandle med eksterne tjenester på vegne av en bruker.
Følgelig trenger organisasjoner metoder for å administrere både tillatelsene deres og handlingene deres under drift.
Nvidia sier verktøyene kunne ha forhindret Hugging Face-innbruddet
Justin Boitano, Nvidias leder for enterprise AI, antydet at plattformen kunne ha stoppet Hugging Face-innbruddet.
Vurderingen hans gjenspeiler imidlertid Nvidias syn på hendelsen. Den oppgitte rapporten beskriver ingen uavhengig testing som viser at plattformen ville ha forhindret den.
Tilnærmingen til Nvidia AI-sikkerhet kombinerer likevel to komplementære funksjoner: å begrense tilgang og reagere på uventet atferd.
Effektiviteten vil avhenge av hvordan disse kontrollene håndterer agenter og trusler i praksis.
Agentsikkerhet blir en større prioritet
Nvidias kunngjøring gjenspeiler også administrerende direktør Jensen Huangs syn på at tekniske løsninger kan håndtere utfordringer knyttet til AI-sikkerhet.
Samtidig har selskapet ifølge rapporten kunngjort planer om å kjøpe Hugging Face for omtrent 13 milliarder dollar.
Den planlagte avtalen gir ytterligere kontekst til Nvidias økende engasjement i plattformen og selskapets arbeid med å styrke sikkerheten rundt autonom AI.
0 responses to “Nvidias AI-sikkerhetsplattform skal overvåke og begrense autonome agenter”