Forskere overtog kontrollen over Hugging Face-kontoen bag AI-modellen Kokoro, som har næsten 13 millioner downloads om måneden på platformen. I en separat lokal test viste de, at Kokoro kunne udtale andre ord end dem, der stod i den angivne tekst. Forskerholdet offentliggjorde ikke den ændrede model i det offentlige modellager.

Kokoro tiltrækker fortsat millioner af downloads

Kokoro omdanner skrevet tekst til tale på flere sprog og tilbyder mere end 50 forudindstillede stemmer. Udviklerværktøjer fra Google, NVIDIA og Intel understøtter modellen til anvendelser, der spænder fra stemmeassistenter til talegenerering direkte på en enhed. AMD og Amazon Web Services har også offentliggjort vejledninger, der viser udviklere, hvordan de kan bruge Kokoro i AI-projekter.

Interessen fortsatte længe efter, at udvikleren Hexgrad sidst opdaterede modellen i april 2025. Aktiviteten i projektets GitHub-kodelager og Python-pakke gik også i stå omkring samme tidspunkt. Samtidig kunne udviklere stadig downloade Kokoro fra den samme udgiverkonto og havde kun ringe grund til at forvente, at en anden kunne kontrollere den næste udgivelse.

Lokal test ændrer, hvad lytterne hører

Sikkerhedsforskeren Alon Hertz oplyste, at hans team fik adgang til udgiverkontoen, efter at den oprindelige ejer mistede kontrollen over et domæne, der var knyttet til kontogendannelse. Efter at have fået adgang kunne forskerne have offentliggjort en ny version under Hexgrads eksisterende identitet. For at undersøge, hvad en sådan opdatering kunne betyde for lytterne, testede de en modificeret kopi af AI-modellen Kokoro lokalt.

Forskerne ændrede modellens vægte, de numeriske værdier, som den bruger til at omdanne tekst til tale. Derefter indtastede de den samme tekst, valgte den samme stemme og kørte den samme programkode. Denne gang udtalte stemmen andre ord. Ifølge Hertz ville en traditionel scanning efter malware have meget lidt at reagere på, fordi ændringen ikke omfattede nogen skadelig programkode.

En ændret version kan nå brugere længere nede i distributionskæden

For udviklere, der automatisk henter den nyeste modelversion, begynder risikoen med en tilsyneladende almindelig opdatering. Downloaden kunne komme fra den velkendte udgiver, blive leveret gennem den sædvanlige kanal og bruge det forventede filformat. En lytter kunne derefter høre noget andet end det, applikationen viste på skærmen.

Hertz pegede også på, hvordan modelfiler spredes efter offentliggørelse. Spejlservere, konverterede kopier og pakkeregistre kan sprede en enkelt version ud over det oprindelige modellager. Han rapporterede problemet med ejerskabet af kontoen til Hugging Face og oplyste, at han ikke havde modtaget noget svar inden den 17. november.


0 svar til “Kontoovertagelse af Kokoro AI-modellen afslører risici ved opdateringer”