ByteDance trainiert Berichten zufolge KI-Modell mit 10 Billionen Parametern

ByteDance trainiert Berichten zufolge ein riesiges neues System für künstliche Intelligenz mit bis zu 10 Billionen Parametern vor.

Das Projekt könnte das KI-Modell von ByteDance zu einem der größten Systeme machen, die bislang von einem chinesischen Technologieunternehmen entwickelt wurden. Die Financial Times berichtete unter Berufung auf mit der Angelegenheit vertraute Personen, dass das Unternehmen bereits mit dem Vortraining begonnen habe.

ByteDance hat den Bericht nicht öffentlich bestätigt. Reuters erklärte, die Angaben nicht unabhängig überprüfen zu können. Das Unternehmen reagierte zudem nicht umgehend auf eine Bitte um Stellungnahme.

Ein Modell von enormem Ausmaß

Parameter sind die numerischen Einstellungen, die ein KI-Modell während des Trainings erlernt. Sie helfen dem System dabei, Muster zu erkennen, Antworten zu generieren und Aufgaben auszuführen.

Ein Modell mit 10 Billionen Parametern wäre mehr als dreimal so groß wie Kimi K3, ein System mit 2,8 Billionen Parametern des chinesischen Start-ups Moonshot AI.

Chinas heimischer KI-Sektor hat bereits mehrere Modelle mit Billionen von Parametern hervorgebracht. Bevor Kimi K3 auf den Markt kam, führten Berichten zufolge Meituans LongCat-2.0 und DeepSeeks V4-Pro mit jeweils 1,6 Billionen Parametern den Markt an.

Die Anzahl der Parameter liefert jedoch nur einen groben Hinweis auf die Größe eines Modells. Sie zeigt nicht automatisch, wie leistungsfähig, effizient oder kommerziell nutzbar ein System sein wird.

ByteDance könnte sich führenden US-Systemen annähern

Die berichtete Größe des KI-Modells von ByteDance hat zu Vergleichen mit fortschrittlichen Systemen geführt, die in den USA entwickelt wurden.

Unternehmen wie Anthropic und OpenAI legen die Parameterzahlen ihrer fortschrittlichsten Modelle nicht offen. Das erschwert direkte Vergleiche.

Die Financial Times berief sich jedoch auf Branchenschätzungen, denen zufolge Anthropics Mythos 5 über rund 8 Billionen Parameter verfügen könnte. Fable 5 wird auf etwa 5 Billionen Parameter geschätzt.

Sollten diese Schätzungen zutreffen, könnte das Modell von ByteDance hinsichtlich seiner reinen Größe nahe an Mythos 5 herankommen. Der Vergleich bestätigt jedoch nicht, dass die Modelle eine ähnliche Leistung bieten werden.

Vortraining könnte bis zu sechs Monate dauern

Das System befindet sich Berichten zufolge in der Vortrainingsphase, der ersten wichtigen Entwicklungsstufe. In dieser Phase wird ein Modell mit großen Datensätzen trainiert, damit es Sprache, Denkmuster und andere allgemeine Fähigkeiten erlernen kann.

Dem Bericht zufolge könnte dieser Prozess zwischen drei und sechs Monaten dauern. Anschließend müsste ByteDance das System feinabstimmen, bevor es in Produkten oder für eine breitere Nutzung verfügbar gemacht werden kann.

Das Projekt verdeutlicht den wachsenden Druck auf chinesische und US-amerikanische Technologieunternehmen, leistungsfähigere KI-Modelle zu entwickeln und gleichzeitig die hohen Kosten für deren Training und Betrieb unter Kontrolle zu halten.