Neurale rendering: hoe kunstmatige intelligentie 3D-werelden leert natekenen
Stel je voor: je loopt met je telefoon een paar keer om een fiets heen en filmt hem vanuit allerlei hoeken. Een paar minuten later kun je die fiets op je scherm laten draaien, inzoomen op het zadel of hem vanuit een hoek bekijken die je nooit hebt gefilmd — en toch ziet alles er scherp en realistisch uit, met correcte schaduwen en reflecties. Dat is in essentie wat neurale rendering doet: een computer leert, op basis van gewone foto's of video, hoe een object of ruimte er vanuit elke denkbare hoek uitziet.
De term combineert twee werelden. “Rendering” is het proces waarmee een computer een 3D-scène omzet in een plat beeld, zoals bij games en animatiefilms. “Neuraal” verwijst naar neurale netwerken, het type kunstmatige-intelligentiesysteem dat ook achter chatbots en beeldherkenning zit. Bij traditionele computeranimatie bouwt een 3D-artiest handmatig vormen, materialen en lichtbronnen na in software. Bij neurale rendering laat je een AI-model juist zelf uit foto's afleiden hoe een scène eruitziet, zonder dat iemand die vormen expliciet hoeft te modelleren. Dat maakt het proces sneller en toegankelijker, maar ook lastiger te doorgronden — het model “weet” niet in mensentaal wat het ziet, het heeft alleen wiskundige patronen geleerd.
Wat is het precies?
Het uitgangspunt is simpel: je verzamelt tientallen tot honderden foto's van een object of ruimte, elk vanuit een net iets andere positie, samen met de informatie vanuit welke hoek elke foto genomen is. Die foto's vormen de trainingsdata voor een klein neuraal netwerk, vaak een zogeheten MLP (multilayer perceptron): een AI-model dat bestaat uit lagen kunstmatige “neuronen” die getallen doorgeven en bewerken.
Bij de invloedrijkste variant, NeRF (Neural Radiance Fields, letterlijk “neurale stralingsvelden”), leert dit netwerk voor elk denkbaar punt in de ruimte en elke kijkrichting te voorspellen welke kleur en dichtheid daar “aanwezig” is. Om een nieuw aanzicht te genereren, stuurt de computer voor elke pixel een denkbeeldige lichtstraal de scène in — een techniek die al uit klassieke 3D-graphics bekend is als ray casting — en vraagt het netwerk op honderden punten langs die straal wat de kleur en dichtheid is. Die waarden worden vervolgens opgeteld tot één pixelkleur, een methode die volumetric rendering heet omdat er door een heel volume aan lucht, mist of vaste materie heen gerekend wordt in plaats van alleen langs een harde oppervlakte.
Het probleem van het oorspronkelijke NeRF was snelheid: voor elke pixel moest het netwerk honderden keren geraadpleegd worden, wat een enkele foto minuten tot uren aan rekenwerk kostte. Latere technieken pakten dit aan. NVIDIA's Instant-NGP (2022) versnelde de training via een zogeheten hash-grid, een soort compacte opzoektabel die het netwerk veel minder werk geeft. Nog een stap verder ging 3D Gaussian Splatting (2023): in plaats van een netwerk te blijven bevragen, wordt de scène opgeslagen als miljoenen kleine, doorschijnende “wolkjes” (Gaussians genoemd, naar de klokvormige verdeling uit de statistiek) met een positie, kleur en vorm. Die wolkjes kunnen direct en razendsnel op een grafische kaart getekend worden, wat live, interactief bekijken mogelijk maakt in plaats van minutenlang wachten op elk beeld.
Wat wil men ermee bereiken?
Het maken van realistische 3D-content is traditioneel duur en tijdrovend: 3D-artiesten moeten elk object, elke textuur en elke lichtval met de hand opbouwen in gespecialiseerde software. Voor een enkel personage in een film of game kan dat weken tot maanden werk zijn. Neurale rendering belooft dat proces om te draaien: in plaats van iets na te bouwen, leg je de werkelijkheid simpelweg vast met een camera en laat je een algoritme de rest doen.
Dat opent de deur naar toepassingen als virtuele producties voor film en tv, waarbij echte locaties digitaal nagebouwd worden; e-commerce, waar klanten een product van alle kanten kunnen bekijken voordat ze het kopen; cultureel erfgoed, waarbij musea en archeologen kwetsbare objecten of monumenten digitaal vastleggen voor toekomstige generaties; en zogeheten digital twins — digitale kopieën van bestaande fabrieken, steden of landschappen die gebruikt worden voor planning, training of simulatie. Ook in virtual reality en gaming is de belofte groot: omgevingen die net zo gedetailleerd aanvoelen als foto's, maar die je vrij kunt rondlopen.
Een minder zichtbare maar snel groeiende toepassing is simulatie voor zelfrijdende auto's: door bestaande rituelijke ritten neuraal te reconstrueren, kunnen bedrijven virtuele testomgevingen bouwen die dicht bij de werkelijkheid liggen, zonder dat elke situatie fysiek nagereden hoeft te worden.
Voorbeelden uit de praktijk
Het veld is relatief jong, maar de mijlpalen zijn duidelijk te volgen. In 2020 publiceerden onderzoekers van UC Berkeley, UC San Diego en Google Research het NeRF-paper op de conferentie ECCV, met auteurs als Ben Mildenhall en Jonathan Barron. Dit werk geldt als het startpunt van het moderne neurale-renderingveld en werd binnen enkele jaren tienduizenden keren geciteerd en op talloze manieren uitgebreid.
In 2022 bracht NVIDIA Instant-NGP uit, waarmee het trainen van een NeRF terugliep van uren naar seconden op een gewone grafische kaart — een sprong die de techniek voor het eerst praktisch bruikbaar maakte buiten onderzoekslabs.
In 2023 introduceerde een onderzoeksteam van het Franse instituut INRIA (Institut national de recherche en sciences et technologies du numérique) 3D Gaussian Splatting op de grafiekconferentie SIGGRAPH. Deze methode maakt het mogelijk om vastgelegde scènes in real time, dus vloeiend en interactief, te bekijken, en werd binnen een jaar overgenomen door talloze andere onderzoeksgroepen en bedrijven.
Consumentenapps zoals Luma AI lieten gewone gebruikers vanaf ongeveer 2022 met alleen een smartphone objecten en ruimtes scannen en er 3D-opnames van maken, zonder enige kennis van 3D-modellering. Vergelijkbare apps als Polycam volgden snel met eigen implementaties.
In de autobranche gebruikt het Britse bedrijf Wayve neurale scenereconstructie om uit camerabeelden van echte ritten realistische simulatieomgevingen te bouwen, waarin zelfrijdende systemen virtueel getest kunnen worden. Ook Meta's Reality Labs onderzoekt met het zogeheten Codec Avatars-project fotorealistische digitale mensen voor virtual reality, deels gebaseerd op vergelijkbare neurale technieken.
Hoe ver is de techniek?
Het tempo van vooruitgang is sinds 2020 opvallend hoog geweest: van een NeRF die uren nodig had voor één scène, naar training in seconden, naar volledig interactieve weergave binnen drie jaar tijd. Gaussian Splatting wordt inmiddels experimenteel ondersteund in gangbare gamesoftware zoals Unreal Engine en Unity, en consumentenapps maken het maken van een 3D-opname bijna net zo simpel als het maken van een foto.
Toch zijn er duidelijke grenzen. De techniek heeft nog altijd veel foto's uit veel hoeken nodig voor een goed resultaat; bewegende objecten, spiegelende oppervlakken en doorzichtig materiaal (glas, water) blijven lastig. De opgeslagen 3D-representaties zijn bovendien moeilijker te bewerken dan traditionele 3D-modellen: een animator kan een klassiek 3D-personage eenvoudig een andere pose geven, maar het aanpassen van een neuraal veld of een wolk Gaussians is technisch veel ingewikkelder en is nog volop onderwerp van onderzoek. Ook het opnieuw belichten van een vastgelegde scène — bijvoorbeeld om het van dag naar nacht te veranderen — werkt in de meeste systemen nog niet betrouwbaar. Bestandsgroottes van Gaussian-scènes kunnen daarnaast fors zijn, wat opslag en overdracht lastig maakt.
Voor eenmalige opnames van objecten en kleinere ruimtes is de techniek inmiddels praktijkrijp. Voor grootschalige, volledig bewerkbare en herbelichtbare scènes zoals in een grote filmproductie is neurale rendering nog geen vervanging van traditionele workflows, maar eerder een aanvullend gereedschap.
Wie werken eraan?
NVIDIA investeert zwaar in het veld, zowel met onderzoek (Instant-NGP) als met tools voor ontwikkelaars. Google Research, waar mede-auteurs van het oorspronkelijke NeRF-paper werken, blijft actief publiceren over vervolgtechnieken. Meta's Reality Labs richt zich vooral op de toepassing voor virtual en augmented reality, met projecten als Codec Avatars. Adobe onderzoekt hoe neurale scèneweergaven ingebouwd kunnen worden in bestaande creatieve software. Daarnaast zijn er gespecialiseerde start-ups zoals Luma AI die de techniek direct naar consumenten en bedrijven brengen, en spelers als Wayve die de techniek toepassen op simulatie voor autonoom rijden.
Op onderzoeksgebied zijn Amerikaanse universiteiten toonaangevend, met UC Berkeley en UC San Diego als bakermat van NeRF, aangevuld door instituten als Stanford en MIT. In Europa is het Franse INRIA, met de doorbraak van 3D Gaussian Splatting, een van de meest invloedrijke spelers, naast Duitse instituten zoals het Max-Planck-Institut für Informatik en de Technische Universität München. Veel van dit werk wordt gepresenteerd op internationale vakconferenties zoals SIGGRAPH, CVPR en ECCV, waar onderzoekers uit de hele wereld — inclusief een groeiend aantal Chinese universiteiten en techbedrijven — hun resultaten delen.