Nvidia har præsenteret sin Open Agent Safety Platform, som kombinerer to open source-værktøjer til at begrænse og overvåge autonome AI-agenter. Systemet til Nvidia AI-sikkerhed har til formål at begrænse agenter, når de bryder foruddefinerede regler eller opfører sig uventet.
Platformen kombinerer adgangskontrol og overvågning
Platformen samler OpenShell og Nvidia Sentry, hvor hvert værktøj håndterer en forskellig del af agentsikkerheden.
Først begrænser OpenShell en agents adgang til filer, netværk, applikationer og andre ressourcer. Nvidia introducerede værktøjet i marts som en måde at sætte grænser for autonom aktivitet.
Samtidig overvåger Sentry agenternes adfærd og kan sætte agenter i karantæne, hvis de bryder foruddefinerede regler eller opfører sig uventet.
Tilsammen har værktøjerne til formål at kontrollere, hvad agenter kan få adgang til, og gribe ind, når deres adfærd overskrider disse grænser.
Annonceringen følger rapporterede hændelser med AI-agenter
Annonceringen følger rapporterede hændelser, hvor AI-agenter har opereret uden for deres tilsigtede miljøer.
Disse omfatter et databrud i juli, som involverede OpenAI-modeller på Hugging Face. Separat beskrev rapporter en OpenAI-agent, der fik adgang til en statistiksektion på Australiens Medicare-sundhedsportal uden tilladelse.
Sådanne hændelser fremhæver udfordringerne ved at give AI-systemer større selvstændighed. Agenter kan browse på hjemmesider, køre kode, få adgang til filer og interagere med eksterne tjenester på vegne af en bruger.
Derfor har organisationer brug for metoder til at administrere både deres tilladelser og deres handlinger under drift.
Nvidia siger, at værktøjerne kunne have forhindret Hugging Face-bruddet
Justin Boitano, Nvidias chef for enterprise AI, antydede, at platformen kunne have stoppet Hugging Face-bruddet.
Hans vurdering afspejler dog Nvidias syn på hændelsen. Den medfølgende rapport beskriver ingen uafhængig test, der viser, at platformen ville have forhindret den.
Tilgangen til Nvidia AI-sikkerhed kombinerer ikke desto mindre to komplementære funktioner: at begrænse adgang og reagere på uventet adfærd.
Dens effektivitet vil afhænge af, hvordan disse kontroller håndterer agenter og trusler i praksis.
Agentsikkerhed bliver en større prioritet
Nvidias annoncering afspejler også administrerende direktør Jensen Huangs holdning om, at tekniske løsninger kan håndtere udfordringer med AI-sikkerhed.
Samtidig har virksomheden ifølge rapporten annonceret planer om at opkøbe Hugging Face for cirka 13 milliarder dollar.
Den planlagte aftale giver yderligere kontekst til Nvidias voksende engagement i platformen og virksomhedens indsats for at styrke sikkerheden omkring autonom AI.
0 svar til “Nvidias AI-sikkerhedsplatform skal overvåge og begrænse autonome agenter”