ByteDance traint gigantisch AI-model om Anthropic bij te benen

ByteDance bevindt zich in een vroege fase van de training van een nieuw AI-model. Volgens drie bronnen die bekend zijn met de zaak kan het model uiteindelijk tot 10 biljoen parameters bevatten. Parameters zijn de instelbare rekenwaarden waarmee een large language model kennis opslaat en patronen herkent: hoe meer parameters, hoe groter het geheugen en de potentiële capaciteit van het model. Ter vergelijking: Kimi K3 van het Chinese Moonshot AI, tot nu toe het grootste Chinese model, blijft daar ruim onder met naar schatting een derde van die omvang.

Voortraining kan maanden duren

Het model doorloopt nu de zogeheten voortraining, de fase waarin een AI-systeem op enorme hoeveelheden tekst en data leert. Die stap duurt doorgaans drie tot zes maanden. Pas daarna volgt fine-tuning, waarbij het model wordt bijgeschaafd voor specifieke taken, voordat het eventueel wordt vrijgegeven. Het uiteindelijke aantal parameters staat dus nog niet vast. Anthropic maakt nooit bekend hoe groot zijn modellen precies zijn, maar branchekenners schatten dat het meest geavanceerde model van het bedrijf, Mythos 5, ongeveer 8 biljoen parameters telt. Het iets kleinere Fable 5 zou rond de 5 biljoen parameters zitten. Mythos 5 is overigens alleen beschikbaar voor goedgekeurde organisaties, nadat het model in juni tijdelijk werd geblokkeerd vanwege veiligheidszorgen.

Geen kopieergedrag, maar eigen koers

Waar veel concurrenten sneller vooruitgang boeken door gebruik te maken van modeldistillatie – het kopiëren van kennis uit bestaande, grotere modellen van andere bedrijven – kiest ByteDance al meer dan een jaar bewust voor een onafhankelijke aanpak. Dat proces gaat trager, maar de directie van ByteDance, onder leiding van oprichter Zhang Yiming, is ervan overtuigd dat alleen zelfstandige ontwikkeling uiteindelijk tot een model kan leiden dat de concurrentie overtreft. In een intern overleg twee weken geleden riep Zhang zijn onderzoeksteam op om te blijven mikken op wereldwijd toonaangevende prestaties, zonder zich blind te staren op een tijdelijke achterstand.

Dat onderzoeksteam heet Seed en staat onder leiding van Wu Yonghui, voormalig wetenschapper bij Google DeepMind. Seed telt ongeveer tweeduizend medewerkers in binnen- en buitenland, van infrastructuurtechnici tot dataclassificeerders en vertalers. ByteDance investeert al drie jaar zwaarder in AI dan andere Chinese techreuzen: het bedrijf bouwt datacenters uit, werkt aan eigen AI-chips en breidt zijn clouddivisie Volcano Engine uit, die AI-diensten aan bedrijven verkoopt.

Onderdeel van bredere Chinese inhaalslag

Het project past in een bredere trend: Chinese AI-bedrijven als Moonshot en Alibaba scoorden de afgelopen weken sterk op benchmarks, vlak achter Anthropic's Fable 5. Meerdere Chinese labs werken naar verluidt aan modellen van vergelijkbare omvang als Fable 5, maar ByteDance zet nu het meest ambitieuze koers naar de allergrootste modellen. Het bedrijf houdt zijn AI-ontwikkeling doorgaans laag geprofileerd en houdt de meeste modellen gesloten, in tegenstelling tot veel Chinese branchegenoten. Toch is het al zichtbaar succesvol: videomodel SeeDance geldt als een van de beste ter wereld, en chatbot Doubao is met 324 miljoen actieve gebruikers per maand het populairste AI-product van China.