Nvidia maakt AI-wereldmodel Cosmos 3 open source voor robots en zelfrijdende auto's

Wat is een wereldmodel?

Een wereldmodel voorspelt niet alleen hoe iets eruitziet, maar ook wat er vervolgens gebeurt. Het leert bijvoorbeeld dat een bal die van een tafel rolt op de grond valt, of dat een voetganger die oversteekt eerst de stoep verlaat. Voor fysieke AI — kunstmatige intelligentie die in de echte wereld moet handelen, zoals in robots en auto's — is dat soort voorspelvermogen essentieel. Data over zeldzame of gevaarlijke situaties, zoals een plotseling overstekend kind, is duur en moeilijk te verzamelen. Wereldmodellen kunnen dat soort scenario's simuleren, zodat ontwikkelaars systemen veilig kunnen testen voordat ze de praktijk ingaan.

Cosmos 3 combineert drie taken in één model: het begrijpen van beelden, het genereren van nieuwe, natuurkundig kloppende omgevingen en het voorspellen van acties. Nvidia noemt dit een omni-model, gebouwd op een zogeheten mixture-of-transformers-architectuur. Bedrijven kunnen het model gebruiken om synthetische trainingsdata te maken, robotgedrag te simuleren of als basis voor een vision-language-action-model, dat camerabeelden direct omzet in besturingscommando's.

Drie maten voor verschillende toepassingen

Het model komt in drie groottes. Cosmos 3 Super, met 64 miljard parameters, is bedoeld voor gedetailleerde wereldsimulaties. De kleinere Nano-versie (16 miljard parameters) is geschikt voor training op eigen data, en Cosmos 3 Edge (4 miljard parameters) is licht genoeg om op een losse grafische kaart of chip in een robot te draaien. Volgens Nvidia scoort Cosmos 3 op meerdere onafhankelijke benchmarks bovenaan, onder meer voor het genereren van beeld en video en voor robotbesturing.

Belangrijk is dat Nvidia de modellen uitbrengt als open-weightmodel: de onderliggende gewichten zijn openbaar en mogen onder de OpenMDW 1.1-licentie worden aangepast. Daardoor kunnen bedrijven het algemene model verder trainen op hun eigen robot, sensoropstelling of rijomgeving, iets wat met een gesloten model niet mogelijk is. Voor het bouwen van de simulatieomgevingen zelf leunt Nvidia op zijn Omniverse-platform en de open 3D-standaard OpenUSD, die onder meer wordt gebruikt voor digital twins van fabrieken en steden.

Brede industrie omarmt het model

Grote namen zetten al stappen met Cosmos 3. In de robotica werken Doosan Robotics, LG Electronics, Samsung Electronics en Skild AI ermee, in de auto-industrie doen Li Auto en Xiaomi mee, en voor visuele AI-toepassingen in fabrieken en publieke ruimtes zijn onder meer Milestone Systems en Linker Vision aangesloten. Nvidia bundelt deze samenwerkingen in de Cosmos Coalition, die onlangs is uitgebreid naar Japan, waar robotica- en productiebedrijven meewerken aan wereldmodellen voor fabrieken, logistiek en landbouw.

De release past in een bredere trend waarbij Amerikaanse techbedrijven pleiten voor open AI-modellen als tegenwicht tegen gesloten systemen. Nvidia ondertekende deze zomer samen met ruim tweehonderd andere partijen een open brief die stelt dat AI-leiderschap niet wordt bepaald door één toonaangevend model, maar door de vraag of open technologie in elke sector doordringt.