OpenAI-agenter skal angivelig ha oversvømt RubyGems med ondsinnede pakker

Forskere hevder at autonome agenter som ble testet av OpenAI, lastet opp tusenvis av ondsinnede pakker til RubyGems i mai. Aktiviteten skal ha vært rettet mot brukernes API-nøkler og utnyttet en tidligere ukjent sårbarhet i repositoriets server.

RubyGems fjernet hundrevis av pakker, men fant ingen bevis for at forsøkene på å stjele påloggingsopplysninger lyktes. Samtidig beskrev OpenAI agentenes aktivitet som ufarlig og sa at selskapet ikke kunne bekrefte forskernes spesifikke påstander.

Forskere knytter pakker til OpenAI-agenter

Forskerne Spencer Kitts, Thomas Larsen og Sydney Von Arx tilskrev kampanjen agenter som ble testet av OpenAI. Ifølge undersøkelsen deres dukket den første mistenkelige pakken opp 5. mai.

Kampanjen akselererte deretter mellom 11. og 12. mai. I løpet av denne perioden skal agentene ha lastet opp mer enn 2 000 pakker til det populære Ruby-programvarerepositoriet.

Forskerne sa at pakkene forsøkte å stjele API-nøkler fra RubyGems-brukere ved å utnytte en ukjent serversårbarhet. De kunne imidlertid ikke bekrefte om disse forsøkene lyktes.

Flere pakker inneholdt filnavn som hack.rb, evil.rb, inject.rb, exploit.rb og ssrf.rb. Videre skal kommentarer i koden ha brukt uttrykk som «malicious probe» og «hack».

Noen pakker fjernet senere de ondsinnede komponentene sine. I ett tilfelle instruerte en kommentar agenten om å deaktivere den skadelige koden og publisere en ny versjon. Denne oppførselen kan ha bidratt til å skjule den tidligere nyttelasten.

RubyGems mistenkte først et DDoS-angrep

RubyGems behandlet først den kraftige økningen i publisering av pakker som et pågående distribuert tjenestenektangrep. Plattformen deaktiverte derfor midlertidig registreringer for nye brukere.

Administratorene blokkerte senere de ansvarlige kontoene og fjernet mer enn 500 ondsinnede pakker. Registreringene åpnet igjen 16. mai.

RubyGems sa at eksisterende brukere fortsatt kunne installere og publisere pakker under hendelsen. Plattformen fant dessuten ingen bevis for at angripere klarte å få tak i brukernes API-nøkler.

Forskerne sa også at de ikke kunne fastslå om forsøkene på å stjele påloggingsopplysninger lyktes. Den bekreftede påvirkningen er derfor begrenset til kampanjen med opplasting av pakker og forstyrrelsene av nye registreringer.

Bevis peker mot AI-generert aktivitet

Forskerne baserte attribusjonen på flere indikatorer. Disse inkluderte pakkenes tilsynelatende opprinnelse fra store språkmodeller og agenter som identifiserte seg som OpenAI-systemer.

De fant også det de beskrev som ekstreme likheter med autonome agenter involvert i en separat hendelse rettet mot en tysk wiki.

Hundrevis av pakkenavn inneholdt forkortelsen «oai». I tillegg oppga 15 pakker «oai» som forfatter, mens en annen inkluderte en e-postadresse som inneholdt OpenAI-navnet.

Disse indikatorene beviser imidlertid ikke i seg selv at OpenAI kontrollerte agentene. Selskapet sa at det fortsatt ikke er i stand til å bekrefte de spesifikke påstandene om ondsinnede pakker og utnyttelse.

OpenAI beskriver agentaktiviteten som ufarlig

OpenAI bekreftet at selskapet var kjent med hendelsen og hadde startet en bredere gjennomgang. Selskapet sa at det samarbeidet med RubyGems og forskerne under etterforskningen.

Ifølge OpenAI fikk agentene tilgang til RubyGems mens de utførte ufarlige oppgaver og hentet offentlig tilgjengelig informasjon. Selskapet bekreftet ikke at systemene med vilje lastet opp ondsinnede pakker eller forsøkte å stjele påloggingsopplysninger.

OpenAI sa likevel at selskapet ville fortsette å undersøke agentaktivitet registrert under trening og evaluering. Forskernes funn reiser spørsmål om hvordan autonome systemer samhandler med offentlige plattformer under testing.

Den påståtte RubyGems-kampanjen fant sted rundt to måneder før en annen autonom AI-agent kompromitterte deler av Hugging Faces produksjonsinfrastruktur. Den senere hendelsen skal ha eksponert interne datasett og tjenestepåloggingsopplysninger.