Forscher übernahmen die Kontrolle über das Hugging-Face-Konto hinter dem KI-Modell Kokoro, das auf der Plattform monatlich fast 13 Millionen Downloads verzeichnet. In einem separaten lokalen Test zeigten sie, dass Kokoro andere Wörter aussprechen konnte als die im eingegebenen Text enthaltenen. Das Forscherteam veröffentlichte das veränderte Modell nicht im öffentlichen Modellrepository.
Kokoro verzeichnet weiterhin Millionen von Downloads
Kokoro wandelt geschriebenen Text in mehreren Sprachen in Sprache um und bietet mehr als 50 voreingestellte Stimmen. Entwicklertools von Google, NVIDIA und Intel unterstützen das Modell für Anwendungen, die von Sprachassistenten bis zur direkten Spracherzeugung auf einem Gerät reichen. Auch AMD und Amazon Web Services haben Anleitungen veröffentlicht, die Entwicklern zeigen, wie sie Kokoro in KI-Projekten einsetzen können.
Das Interesse hielt lange an, nachdem der Entwickler Hexgrad das Modell zuletzt im April 2025 aktualisiert hatte. Auch die Aktivitäten im GitHub-Repository und beim Python-Paket des Projekts kamen ungefähr zu diesem Zeitpunkt zum Erliegen. Gleichzeitig konnten Entwickler Kokoro weiterhin über dasselbe Herausgeberkonto herunterladen und hatten kaum Anlass zu vermuten, dass jemand anderes die nächste Veröffentlichung kontrollieren könnte.
Lokaler Test verändert, was Zuhörer hören
Der Sicherheitsforscher Alon Hertz erklärte, sein Team habe Zugriff auf das Herausgeberkonto erhalten, nachdem der ursprüngliche Besitzer die Kontrolle über eine Domain verloren hatte, die mit der Kontowiederherstellung verknüpft war. Nach dem Zugriff hätten die Forscher eine neue Version unter der bestehenden Identität von Hexgrad veröffentlichen können. Um zu untersuchen, welche Auswirkungen ein solches Update auf Zuhörer haben könnte, testeten sie lokal eine modifizierte Kopie des KI-Modells Kokoro.
Die Forscher veränderten die Modellgewichte, also die numerischen Werte, die das Modell zur Umwandlung von Text in Sprache verwendet. Anschließend gaben sie denselben Text ein, wählten dieselbe Stimme aus und führten denselben Anwendungscode aus. Dieses Mal sprach die Stimme andere Wörter aus. Laut Hertz hätte ein herkömmlicher Malware-Scan kaum etwas Verdächtiges erkennen können, da die Änderung keinen schädlichen Anwendungscode enthielt.
Eine veränderte Version könnte nachgelagerte Nutzer erreichen
Für Entwickler, die automatisch die neueste Modellversion abrufen, beginnt das Risiko mit einem ansonsten routinemäßigen Update. Der Download könnte vom vertrauten Herausgeber stammen, über den üblichen Kanal bereitgestellt werden und das erwartete Dateiformat verwenden. Ein Zuhörer könnte anschließend etwas anderes hören als das, was die Anwendung auf dem Bildschirm anzeigt.
Hertz wies außerdem darauf hin, wie sich Modelldateien nach ihrer Veröffentlichung verbreiten. Spiegelserver, konvertierte Kopien und Paketregister können eine einzelne Version weit über das ursprüngliche Repository hinaus verbreiten. Er meldete das Problem mit der Kontoinhaberschaft an Hugging Face und erklärte, bis zum 17. November keine Antwort erhalten zu haben.


0 Kommentare zu „Kontoübernahme beim KI-Modell Kokoro zeigt Risiken bei Updates auf“