ByteDance skal angivelig forhåndstrene et enormt nytt system for kunstig intelligens med så mange som 10 billioner parametere.
Prosjektet kan gjøre ByteDance AI-modellen til et av de største systemene som hittil er utviklet av et kinesisk teknologiselskap. Financial Times rapporterer at selskapet allerede har startet forhåndstreningen, med henvisning til personer med kjennskap til saken.
ByteDance har ikke offentlig bekreftet opplysningene. Reuters opplyser at nyhetsbyrået ikke uavhengig har kunnet bekrefte detaljene, og selskapet svarte ikke umiddelbart på en forespørsel om kommentar.
En modell bygget i enorm skala
Parametere er de numeriske innstillingene en AI-modell lærer under treningen. De hjelper systemet med å identifisere mønstre, generere svar og utføre oppgaver.
En modell med 10 billioner parametere ville være mer enn tre ganger større enn Kimi K3, et system med 2,8 billioner parametere fra den kinesiske oppstartsbedriften Moonshot AI.
Kinas innenlandske AI-sektor har allerede utviklet flere modeller med billioner av parametere. Før Kimi K3 kom, skal Meituans LongCat-2.0 og DeepSeeks V4-Pro ha ledet markedet med 1,6 billioner parametere hver.
Antallet parametere gir imidlertid bare en grov indikasjon på størrelsen til en modell. Det viser ikke automatisk hvor kapabelt, effektivt eller kommersielt nyttig et system vil være.
ByteDance kan nærme seg ledende amerikanske systemer
Den rapporterte størrelsen på ByteDance AI-modellen har ført til sammenligninger med avanserte systemer utviklet i USA.
Selskaper som Anthropic og OpenAI offentliggjør ikke antallet parametere i sine mest avanserte modeller. Det gjør direkte sammenligninger vanskelige.
Financial Times viser likevel til bransjeestimater som antyder at Anthropics Mythos 5 kan ha rundt 8 billioner parametere. Fable 5 anslås å ha omtrent 5 billioner parametere.
Hvis disse estimatene stemmer, kan ByteDances modell være nær Mythos 5 når det gjelder ren størrelse. Sammenligningen bekrefter imidlertid ikke at modellene vil tilby tilsvarende ytelse.
Forhåndstreningen kan ta opptil seks måneder
Systemet skal være i forhåndstreningsfasen, den første store fasen i utviklingen. I denne fasen eksponerer utviklerne en modell for store datasett slik at den kan lære språk, resonneringsmønstre og andre generelle egenskaper.
Ifølge rapporten kan denne prosessen ta mellom tre og seks måneder. ByteDance vil deretter måtte finjustere systemet før det kan gjøres tilgjengelig i produkter eller for bredere bruk.
Prosjektet fremhever det økende presset på kinesiske og amerikanske teknologiselskaper om å utvikle kraftigere AI-modeller samtidig som de forsøker å kontrollere de høye kostnadene ved å trene og drifte dem.
0 responses to “ByteDance skal angivelig trene AI-modell med 10 billioner parametere”