Ray tracing: hoe computers licht na-apen om echte beelden te maken
Stel je voor dat je in een donkere kamer een zaklamp aanknipt. Het licht schiet in stralen naar buiten, kaatst af op de muren, gaat gedeeltelijk door een glas water heen en werpt schaduwen achter voorwerpen. Ray tracing is een techniek waarmee computers precies dat gedrag van licht nabootsen, maar dan in omgekeerde volgorde: in plaats van al het licht van een lamp te volgen, rekent de computer per beeldpuntje op je scherm terug welke lichtstraal daar terecht had moeten komen. Zo ontstaan afbeeldingen met realistische schaduwen, spiegelingen en doorschijnende materialen, zoals je die kent uit speelfilms en steeds vaker ook uit games.
Het bijzondere is dat deze rekenmethode al decennia bestaat en al jarenlang wordt gebruikt om filmbeelden te maken die uren de tijd kregen om te renderen (het omzetten van een 3D-scene naar een plat beeld). Wat de afgelopen jaren is veranderd, is dat computers snel genoeg zijn geworden om ditzelfde principe toe te passen terwijl je een game speelt, tientallen keren per seconde. Die stap, van "uren wachten op één perfect filmbeeld" naar "direct meespelen met realistisch licht", is de reden dat ray tracing de laatste jaren veel aandacht krijgt.
Wat is het precies?
Een 3D-scene in een computer bestaat uit wiskundige beschrijvingen van vormen, materialen en lichtbronnen. Om daar een plat beeld van te maken, moet de computer bepalen welke kleur elk pixel op je scherm krijgt. Bij ray tracing gebeurt dat door voor elke pixel een denkbeeldige lichtstraal (de 'ray') vanuit de virtuele camera de scene in te sturen.
Die straal wordt gevolgd totdat hij een object raakt. Op dat raakpunt kijkt de computer naar het materiaal: is het mat, glimmend, doorzichtig? Vervolgens worden er nieuwe, secundaire stralen afgevuurd om te bepalen wat er in een spiegeling te zien zou zijn, of er een schaduw valt (door te checken of het pad naar een lichtbron ergens wordt geblokkeerd), en hoe licht door een doorzichtig materiaal breekt. Dit proces kan zich meerdere keren herhalen, waardoor je realistische effecten krijgt zoals een spiegeling in een spiegeling, of licht dat via een glimmende vloer een schaduw subtiel oplicht.
Een geavanceerdere variant heet path tracing. Hierbij stuurt de computer niet één, maar heel veel willekeurige stralen per pixel de scene in en middelt de uitkomsten. Dat simuleert zogeheten globale verlichting: licht dat via meerdere omwegen en kaatsen een ruimte binnenkomt, zoals zonlicht dat via een witte muur een kamer indirect verlicht. Path tracing is nauwkeuriger maar ook rekenkundig veel zwaarder, omdat er duizenden stralen per pixel nodig zijn om een scherp, ruisvrij beeld te krijgen.
Dit staat tegenover de traditionele techniek in games, rasterization, waarbij de computer 3D-vormen direct naar 2D-driehoeken op het scherm projecteert zonder het pad van licht echt te simuleren. Rasterization is veel sneller, maar effecten als realistische spiegelingen moeten daarbij worden nagebootst met trucjes. Om ray tracing snel genoeg te maken, gebruiken moderne videokaarten speciale rekenkernen (bij Nvidia 'RT-cores' genoemd) die gespecialiseerd zijn in het razendsnel berekenen of een lichtstraal een object raakt, geholpen door een datastructuur genaamd een bounding volume hierarchy, die de scene opdeelt in steeds kleinere denkbeeldige dozen zodat de computer niet elk object apart hoeft te controleren.
Omdat zelfs met deze hulpmiddelen niet genoeg stralen per pixel kunnen worden berekend voor een vloeiend beeld op 60 beelden per seconde, wordt het resultaat vaak "opgeschoond" met denoising: een algoritme, tegenwoordig meestal gebaseerd op kunstmatige intelligentie, dat een ruizig, half-af beeld herkent en gladstrijkt tot iets dat er scherp uitziet.
Wat wil men ermee bereiken?
Het uiteindelijke doel is fotorealisme: beelden die niet meer te onderscheiden zijn van een foto of filmopname. Licht gedraagt zich in de echte wereld ontzettend complex, en het menselijk oog is extreem gevoelig voor kleine fouten daarin. Rasterization-trucjes werken vaak goed genoeg, maar vallen door de mand zodra er bijvoorbeeld twee spiegels tegenover elkaar staan of licht door een glas wijn moet schijnen.
Voor filmstudio's speelt vooral consistentie en artistieke controle een rol: met een fysisch correcte lichtsimulatie hoeven kunstenaars niet voor elk shot losse trucjes te verzinnen, omdat licht zich overal in de scene op dezelfde, natuurkundig kloppende manier gedraagt. Voor gamestudio's is de belofte dat werelden er geloofwaardiger uitzien zonder dat kunstenaars talloze workarounds moeten bouwen voor reflecties, schaduwen en lichtinval.
Buiten entertainment is er ook praktisch nut: architecten en productontwerpers gebruiken ray tracing om vooraf te zien hoe daglicht door een gebouw zal vallen of hoe een nieuw autolak eruitziet onder verschillende lichtomstandigheden, nog voordat er iets fysiek gebouwd is.
Voorbeelden uit de praktijk
Ray tracing wordt inmiddels breed toegepast, van filmstudio's tot videogames:
- Pixar's RenderMan stapte rond 2013 over op een architectuur die op path tracing leunt, en wordt sindsdien gebruikt voor animatiefilms van Pixar en Disney.
- Battlefield V (2018, DICE/EA) was een van de eerste grote games met real-time ray traced spiegelingen, gebouwd op Microsofts nieuwe DirectX Raytracing-standaard (DXR) en Nvidia's eerste RTX-videokaarten.
- Quake II RTX (2019), een gratis herwerking van Nvidia's eigen studio, verving de volledige verlichting van de klassieke game door path tracing, als technische demonstratie.
- Cyberpunk 2077 kreeg in 2023 een 'Overdrive'-modus die volledige path tracing gebruikt in plaats van gedeeltelijke ray tracing, wat toont hoe zwaar zo'n volledige simulatie nog is: zelfs de snelste consumentenvideokaarten hebben hulptechnieken als beeldopschaling nodig om dit speelbaar te houden.
- Weta FX (het visuele-effectenbedrijf achter onder meer de Avatar-films) ontwikkelde de eigen path-tracing-renderer Manuka, gebruikt voor de complexe, sterk verlichte onderwaterscènes van Avatar: The Way of Water (2022).
Hoe ver is de techniek?
Offline ray en path tracing, zoals in films, is een volwassen techniek die al sinds de jaren tachtig en negentig wordt gebruikt en verfijnd, simpelweg omdat renderfarms daar uren tot dagen per beeld de tijd voor krijgen. De grote doorbraak voor real-time gebruik kwam in 2018, toen Nvidia met de GeForce RTX 20-serie de eerste consumentenvideokaarten met speciale RT-cores uitbracht, gecombineerd met de nieuwe DXR-standaard van Microsoft.
Sindsdien volgden concurrenten: AMD introduceerde in 2020 eigen 'ray accelerators' in zijn RDNA 2-architectuur (Radeon RX 6000-serie), en zowel de PlayStation 5 als de Xbox Series X/S (beide eind 2020) kregen hardwarematige ray-tracingondersteuning, al is die minder krachtig dan in high-end pc-videokaarten.
In de praktijk gebruiken de meeste games nog een hybride aanpak: rasterization voor het basisbeeld, aangevuld met ray tracing voor specifieke effecten zoals schaduwen, spiegelingen of indirecte verlichting (zoals bij Epic Games' Lumen-systeem in Unreal Engine 5, uitgebracht in 2022). Volledige path tracing, zonder rasterization-trucjes, blijft zwaar: zelfs met de nieuwste hardware is kunstmatige-intelligentie-opschaling (zoals Nvidia's DLSS Ray Reconstruction, geïntroduceerd in 2023) vaak nodig om een vloeiend beeld te houden.
De belangrijkste obstakels zijn dus niet zozeer wetenschappelijk als wel praktisch: rekenkracht, energieverbruik, en de tijd die ontwikkelaars nodig hebben om hun productiepijplijnen aan te passen. Op laptops, mobiele telefoons en goedkopere videokaarten is real-time ray tracing vaak nog te zwaar of alleen in afgeslankte vorm beschikbaar.
Wie werken eraan?
De wiskundige basis werd gelegd door onderzoekers als Arthur Appel (1968, ray casting) en vooral Turner Whitted, wiens paper uit 1979 het recursieve ray-tracingalgoritme beschreef dat spiegelingen, breking en schaduwen combineerde. James Kajiya voegde in 1986 met de 'rendering equation' de wiskundige basis toe die later tot path tracing leidde.
Op hardwaregebied loopt Nvidia voorop met zijn RTX-lijn videokaarten en bijbehorende software (OptiX, DLSS), gevolgd door AMD (RDNA-architectuur, FSR) en Intel, dat met zijn Arc-videokaarten eveneens ray-tracingondersteuning biedt. Microsoft beheert met DirectX Raytracing (DXR) een belangrijke industriestandaard voor Windows en Xbox, terwijl de Khronos Group verantwoordelijk is voor de open Vulkan-ray-tracingextensies die op meerdere platforms werken.
In de filmindustrie zijn Pixar (RenderMan) en Weta FX (Manuka) toonaangevend, en in de game-engine-wereld werken Epic Games (Unreal Engine) en Unity aan ray-tracingondersteuning voor ontwikkelaars. Ook open-sourceprojecten spelen mee: de gratis 3D-software Blender bevat met Cycles een volwaardige path-tracing-renderer die door hobbyisten en professionals wereldwijd wordt gebruikt.