Forskere tok kontroll over Hugging Face-kontoen bak AI-modellen Kokoro, som har nesten 13 millioner nedlastinger i måneden på plattformen. I en separat lokal test viste de at Kokoro kunne uttale andre ord enn dem som sto i den oppgitte teksten. Forskerteamet publiserte ikke den endrede modellen i det offentlige modellarkivet.

Kokoro fortsetter å tiltrekke seg millioner av nedlastinger

Kokoro omdanner skrevet tekst til tale på flere språk og tilbyr mer enn 50 forhåndsinnstilte stemmer. Utviklerverktøy fra Google, NVIDIA og Intel støtter modellen for bruksområder som spenner fra stemmeassistenter til talegenerering direkte på en enhet. AMD og Amazon Web Services har også publisert veiledninger som viser utviklere hvordan de kan bruke Kokoro i AI-prosjekter.

Interessen fortsatte lenge etter at utvikleren Hexgrad sist oppdaterte modellen i april 2025. Aktiviteten i prosjektets GitHub-kodelager og Python-pakke stilnet også omtrent på samme tid. Samtidig kunne utviklere fortsatt laste ned Kokoro fra den samme utgiverkontoen og hadde liten grunn til å mistenke at noen andre kunne kontrollere den neste versjonen.

Lokal test endrer hva lytterne hører

Sikkerhetsforskeren Alon Hertz opplyste at teamet hans fikk tilgang til utgiverkontoen etter at den opprinnelige eieren mistet kontrollen over et domene knyttet til kontogjenoppretting. Etter å ha fått tilgang kunne forskerne ha publisert en ny versjon under Hexgrads eksisterende identitet. For å undersøke hva en slik oppdatering kunne bety for lytterne, testet de en modifisert kopi av AI-modellen Kokoro lokalt.

Forskerne endret modellens vekter, de numeriske verdiene den bruker til å omdanne tekst til tale. Deretter oppga de den samme teksten, valgte den samme stemmen og kjørte den samme programkoden. Denne gangen uttalte stemmen andre ord. Ifølge Hertz ville en tradisjonell skanning etter skadevare ha hatt lite å reagere på, ettersom endringen ikke innebar noen skadelig programkode.

En endret versjon kan nå brukere lenger ned i distribusjonskjeden

For utviklere som automatisk henter den nyeste modellversjonen, begynner risikoen med en tilsynelatende vanlig oppdatering. Nedlastingen kunne komme fra den velkjente utgiveren, bli levert gjennom den vanlige kanalen og bruke det forventede filformatet. En lytter kunne dermed høre noe annet enn det applikasjonen viste på skjermen.

Hertz pekte også på hvordan modellfiler spres etter publisering. Speilservere, konverterte kopier og pakkeregistre kan føre én enkelt versjon videre utover det opprinnelige modellarkivet. Han rapporterte problemet med eierskapet til kontoen til Hugging Face og opplyste at han ikke hadde mottatt noe svar innen 17. november.


0 responses to “Kontokapring av Kokoro AI-modellen avdekker risiko ved oppdateringer”