Forskare tog kontroll över Hugging Face-kontot bakom AI-modellen Kokoro, som har nästan 13 miljoner nedladdningar i månaden på plattformen. I ett separat lokalt test visade de att Kokoro kunde uttala andra ord än dem som fanns i den angivna texten. Forskargruppen publicerade inte den modifierade modellen i det offentliga kodförrådet.
Kokoro fortsätter att locka miljontals nedladdningar
Kokoro omvandlar skriven text till tal på flera språk och erbjuder över 50 förinställda röster. Utvecklarverktyg från Google, NVIDIA och Intel stöder modellen för användningsområden som sträcker sig från röstassistenter till talgenerering direkt på en enhet. AMD och Amazon Web Services har också publicerat guider som visar utvecklare hur de kan använda Kokoro i AI-projekt.
Intresset fortsatte långt efter att utvecklaren Hexgrad senast uppdaterade modellen i april 2025. Aktiviteten i projektets GitHub-kodförråd och dess Python-paket avtog också ungefär samtidigt. Samtidigt kunde utvecklare fortfarande ladda ner Kokoro från samma utgivarkonto och hade liten anledning att misstänka att någon annan kunde kontrollera nästa version.
Lokalt test förändrar vad lyssnarna hör
Säkerhetsforskaren Alon Hertz uppgav att hans team fick tillgång till utgivarkontot efter att den ursprungliga ägaren förlorat kontrollen över en domän som var kopplad till kontoåterställning. Väl inne på kontot hade forskarna kunnat publicera en ny version under Hexgrads befintliga identitet. För att undersöka vad en sådan uppdatering skulle kunna innebära för lyssnarna testade de en modifierad kopia av AI-modellen Kokoro lokalt.
Forskarna ändrade modellens vikter, de numeriska värden som den använder för att omvandla text till tal. Därefter matade de in samma text, valde samma röst och körde samma programkod. Den här gången uttalade rösten andra ord. Enligt Hertz skulle en traditionell skanning efter skadlig programvara ha svårt att upptäcka något misstänkt eftersom förändringen inte innehöll någon skadlig programkod.
En modifierad version kan nå användare längre ned i distributionskedjan
För utvecklare som automatiskt hämtar den senaste modellversionen börjar risken med en till synes vanlig uppdatering. Nedladdningen skulle kunna komma från den välbekanta utgivaren, levereras via den vanliga kanalen och använda det förväntade filformatet. En lyssnare skulle då kunna höra något annat än det som applikationen visar på skärmen.
Hertz pekade också på hur modellfiler sprids efter publicering. Spegelservrar, konverterade kopior och paketregister kan föra en enskild version vidare utanför det ursprungliga kodförrådet. Han rapporterade problemet med kontoägarskapet till Hugging Face och uppgav att han inte hade fått något svar fram till den 17 november.


0 svar till ”Kontokapning av Kokoro AI-modellen avslöjar risker med uppdateringar”