Mixed reality: wanneer digitale objecten echt in je kamer lijken te staan
Stel je voor: je zet een virtuele bank in je woonkamer via een bril op je hoofd. Loop je eromheen, dan zie je ook de zijkant en achterkant, precies zoals bij een echt meubel. Zet je er een kussen van jezelf voor, dan verdwijnt een stukje van de virtuele bank erachter, alsof het er echt staat. Dat is mixed reality (MR), of gemengde realiteit: een technologie die digitale objecten zo in de echte wereld plaatst dat ze zich gedragen als fysieke dingen, en die op hun beurt weer op de echte omgeving reageren.
Mixed reality zit tussen twee bekendere technieken in. Bij augmented reality (AR, verrijkte realiteit) plak je simpelweg informatie over je zicht heen, zoals pijlen in een navigatie-app op je telefoonscherm. Bij virtual reality (VR) verdwijnt de echte wereld helemaal en zit je in een volledig nagebouwde digitale omgeving. Mixed reality combineert beide: je blijft in de echte ruimte, maar digitale objecten worden er ruimtelijk correct en interactief in verwerkt. Dat onderscheid klinkt subtiel, maar is technisch een flinke stap complexer, en daarmee ook lastiger om goed te laten werken.
Wat is het precies?
De term is niet nieuw: onderzoekers Paul Milgram en Fumio Kishino beschreven in 1994 het zogeheten 'reality-virtuality continuum', een schaal die loopt van volledig echt tot volledig virtueel. Mixed reality plaatsten zij ergens in het midden: een mix waarbij digitale en fysieke elementen elkaar in real time beïnvloeden.
Om dat voor elkaar te krijgen, moet een MR-bril eerst je omgeving in kaart brengen. Dat gebeurt met dieptecamera's en een techniek die SLAM heet (simultaneous localization and mapping): het apparaat bepaalt tegelijkertijd waar het zichzelf bevindt én bouwt een 3D-model van de ruimte op, inclusief afstanden tot muren, tafels en andere objecten. Op basis van dat model weet het systeem waar een virtueel object moet 'staan', hoe groot het moet lijken vanuit jouw positie, en wanneer het gedeeltelijk achter een echt voorwerp moet verdwijnen. Dat laatste heet occlusie: het correct verbergen van digitale content achter fysieke objecten, wat essentieel is voor een geloofwaardige illusie.
Er zijn twee manieren waarop brillen dit beeld tonen. Bij optische doorkijkbrillen, zoals de Microsoft HoloLens, kijk je door transparante glazen (waveguides genoemd) die licht van digitale beelden in je oog projecteren, terwijl je de echte wereld gewoon direct blijft zien. Bij video-doorkijksystemen, zoals de Apple Vision Pro of Meta Quest 3, is het scherm ondoorzichtig: camera's filmen continu de omgeving en die video wordt met een kleine vertraging vermengd met digitale beelden, voordat het geheel op het scherm vlak voor je ogen verschijnt. Dit heet passthrough. Beide aanpakken hebben voor- en nadelen op het gebied van beeldkwaliteit, vertraging en veiligheid.
Wat wil men ermee bereiken?
De belofte van mixed reality is dat digitale informatie nuttig wordt op de plek waar je die nodig hebt, zonder dat je een scherm hoeft vast te houden. Een monteur die met beide handen aan een motor werkt, kan reparatie-instructies als hologram naast het onderdeel zien in plaats van op een tablet ernaast te moeten kijken. Een chirurg kan scan-data van een patiënt over het daadwerkelijke lichaam heen geprojecteerd krijgen.
Een tweede doel is samenwerking op afstand: iemand elders ter wereld kan meekijken door jouw bril en pijlen of aantekeningen in jouw fysieke ruimte plaatsen, alsof die persoon erbij is. Ook training en simulatie zijn belangrijke drijfveren, denk aan het oefenen van riskante of dure handelingen (chirurgie, onderhoud aan vliegtuigen, militaire scenario's) zonder de risico's en kosten van het echte werk.
Op de lange termijn spreken techbedrijven graag over spatial computing, ruimtelijk computergebruik: het idee dat beeldschermen overbodig worden omdat interfaces straks gewoon in de ruimte om je heen zweven. Dat is vooralsnog vooral een visie, geen realiteit voor de meeste mensen.
Voorbeelden uit de praktijk
Een aantal concrete toepassingen laat zien waar mixed reality nu al verschil maakt:
- NASA JPL – Project OnSight (2015-2016): wetenschappers van het Jet Propulsion Laboratory gebruikten een HoloLens om met foto- en dieptedata van de Curiosity-rover virtueel over het oppervlak van Mars te 'lopen', als hulpmiddel bij het plannen van de rover-route.
- Case Western Reserve University en Cleveland Clinic – HoloAnatomy (vanaf 2016): medische studenten bestuderen hologrammen van het menselijk lichaam laag voor laag, als aanvulling op (en gedeeltelijk vervanging van) traditionele lijkontleding.
- Boeing – montage-instructies (rond 2018): technici die vliegtuigbedrading aanleggen, kregen instructies als overlay via een bril in plaats van op papier; het bedrijf rapporteerde een merkbare afname van fouten en tijdswinst in gepubliceerde studies.
- Philips – beeldgestuurde chirurgie (vanaf 2019): in samenwerking met Microsoft ontwikkelde Philips systemen waarbij scanbeelden tijdens ruggenmergoperaties als hologram over het lichaam van de patiënt worden geprojecteerd, zodat chirurgen minder vaak naar een apart scherm hoeven te kijken.
- Amerikaanse leger – IVAS (vanaf 2018): het Integrated Visual Augmentation System, gebaseerd op HoloLens-technologie, moest soldaten nachtzicht, navigatie en tactische informatie in één bril geven. Het project kampte met problemen zoals misselijkheid bij gebruikers en werd in 2024 herzien onder de naam IVAS Next.
Hoe ver is de techniek?
Hoewel het concept al uit 1994 stamt, kwam bruikbare hardware pas vanaf 2016 beschikbaar, met de eerste ontwikkelaarsversie van de HoloLens. Sindsdien is er duidelijke vooruitgang, maar de techniek kent nog stevige beperkingen.
Het gezichtsveld van optische brillen is beperkt: bij de HoloLens 2 is dat ongeveer 52 graden diagonaal, veel smaller dan het menselijk zicht, waardoor hologrammen soms letterlijk aan de randen van je blikveld 'afgesneden' worden. Gewicht en beperkte batterijduur (doorgaans twee tot drie uur) maken langdurig gebruik onprettig. Vertraging tussen bewegen en het bijwerken van het beeld kan bewegingsziekte veroorzaken, vergelijkbaar met wagenziekte. En de prijzen zijn hoog: een HoloLens 2 kost circa 3.500 dollar, een Apple Vision Pro ongeveer hetzelfde bedrag, wat consumentengebruik in de weg staat.
Mede daardoor is de zakelijke markt (industrie, zorg, training) tot nu toe succesvoller dan de consumentenmarkt. Microsoft heeft de afgelopen jaren de nadruk verlegd van nieuwe HoloLens-hardware naar software zoals het samenwerkingsplatform Mesh, en volgens berichtgeving in 2024 ligt actieve ontwikkeling van een HoloLens 3 stil. Apple bracht in 2024 met de Vision Pro juist nieuwe aandacht voor de sector, al blijft ook dat apparaat een nicheproduct vanwege de prijs. Meta's Quest 3 (2023) maakte MR-achtige functies met kleurenpassthrough voor het eerst betaalbaar voor een breder publiek, al is de beeldkwaliteit van die camera's minder scherp dan direct zicht. Verdere vooruitgang hangt af van kleinere, lichtere optiek en van gedeelde technische standaarden, zoals OpenXR, die het makkelijker moeten maken om apps voor verschillende brillen tegelijk te bouwen.
Wie werken eraan?
Microsoft blijft met de HoloLens en het Mesh-platform een belangrijke speler, vooral in de zakelijke en militaire markt. Apple mengde zich in 2024 met de Vision Pro en het bijbehorende besturingssysteem visionOS nadrukkelijk in het veld. Meta investeert via zijn Reality Labs-divisie fors, met de Quest-lijn als speerpunt. Magic Leap, ooit een veelbesproken start-up, richt zich inmiddels vooral op zakelijke en medische toepassingen met de Magic Leap 2.
Buiten de Verenigde Staten is Varjo uit Finland bekend om zeer hoogwaardige, dure MR-headsets voor training in de lucht- en autobranche en bij defensie. PICO, in handen van het Chinese ByteDance, richt zich op consumentenhardware. Op onderzoeksgebied leveren Duitse Fraunhofer-instituten en universiteiten als Case Western Reserve University bijdragen aan zowel de technologie als de toepassingen ervan. De Khronos Group, een samenwerkingsverband van techbedrijven, beheert de open standaard OpenXR om uiteenlopende MR- en VR-systemen onderling compatibel te maken. Op militair vlak blijft het Amerikaanse ministerie van Defensie, samen met wisselende industriepartners, een grote (en soms worstelende) opdrachtgever voor MR-toepassingen.