Neurale decodering: hoe machines leren lezen wat je brein bedoelt
Neurale decodering is het proces waarbij computers elektrische signalen uit de hersenen omzetten in iets bruikbaars: een woord, een muisbeweging, een commando. Het werkt een beetje zoals een tolk die een onbekende taal leert verstaan. De hersenen 'spreken' voortdurend in patronen van elektrische pulsjes tussen zenuwcellen, en een decodeeralgoritme leert, na veel oefening met dezelfde persoon, welk patroon bij welke bedoeling hoort. Net zoals een tolk niet ieders dialect zonder training verstaat, moet zo'n systeem meestal per gebruiker apart worden ingesteld.
Een concreet voorbeeld: een patiënt die door een dwarslaesie of ALS zijn armen niet meer kan bewegen, denkt aan het verplaatsen van een muisaanwijzer naar rechts. Elektroden in of op de hersenschors vangen het bijbehorende signaalpatroon op, een algoritme herkent dat patroon en stuurt de cursor daadwerkelijk naar rechts. Op dezelfde manier kunnen sommige systemen tegenwoordig al pogingen tot spreken omzetten in gesproken tekst, zodat mensen die niet meer kunnen praten toch weer een stem krijgen.
Wat is het precies?
De techniek begint met het meten van hersenactiviteit. Dat kan op verschillende manieren. Bij invasieve methoden wordt er geopereerd: kleine elektrodenarrays worden op of in de hersenschors geplaatst. Dit heet een BCI, kort voor brain-computer interface (hersen-computerkoppeling). Een veelgebruikte variant is ECoG (elektrocorticografie), waarbij een dun elektrodenrooster op het hersenoppervlak ligt, onder de schedel maar boven het hersenweefsel zelf.
Bij non-invasieve methoden is geen operatie nodig. EEG (elektro-encefalografie) meet elektrische activiteit met elektroden op de hoofdhuid, wat pijnloos is maar een vaag, ruizig signaal oplevert omdat schedel en huid de signalen dempen. fMRI (functionele MRI) meet indirect hersenactiviteit door veranderingen in bloedtoevoer in een scanner te volgen; dit geeft een preciezer beeld van welk hersengebied actief is, maar reageert traag en vereist een grote, dure scanner.
De ruwe signalen zijn op zichzelf niet leesbaar voor mensen. Daarom worden ze gevoed aan modellen die zijn getraind met machine learning, een vorm van kunstmatige intelligentie waarbij een computer patronen leert herkennen uit veel voorbeelden in plaats van dat een programmeur alle regels vooraf vastlegt. Een proefpersoon denkt honderden keren aan hetzelfde woord of dezelfde beweging, en het model leert stap voor stap welk hersenpatroon bij welke intentie hoort. Pas na die training kan het systeem nieuwe, nooit eerder geziene signalen redelijk betrouwbaar vertalen.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is medisch: mensen met verlammingen, ALS, een dwarslaesie of het zogeheten locked-in-syndroom (volledig bij bewustzijn maar nauwelijks tot niet in staat om te bewegen of te spreken) weer een manier geven om te communiceren en apparaten te bedienen. Voor hen kan het verschil maken tussen volledige afhankelijkheid en een zekere mate van zelfstandigheid: zelf een rolstoel besturen, een tekst typen, of met dierbaren praten via een kunstmatige stem.
Daarnaast hopen onderzoekers meer te leren over hoe taal, beweging en waarneming in de hersenen zijn georganiseerd. Decodering dwingt wetenschappers om preciezer te worden over welke signalen waar vandaan komen en wat ze betekenen, wat ook de neurowetenschap in bredere zin vooruit helpt. Een kleiner, meer speculatief doel bij sommige bedrijven is het versnellen van mens-computerinteractie in het algemeen, ook bij mensen zonder beperking, al staat dat toepassingsgebied nog veel verder van de praktijk.
Voorbeelden uit de praktijk
BrainGate is een onderzoeksconsortium van onder meer Brown University, Massachusetts General Hospital en Stanford University, actief sinds het midden van de jaren 2000. Met een implanteerbaar elektrodenrooster (het zogeheten Utah-array) lieten zij verlamde deelnemers al vroeg een cursor besturen en later ook een robotarm, puur met hun gedachten.
Bij UCSF (University of California, San Francisco) leidt neurochirurg Edward Chang het BRAVO-onderzoek. In 2021 slaagde zijn team erin om bij een ernstig spraakgehandicapte deelnemer pogingen tot spreken te decoderen naar woorden op een scherm. In 2023 volgde een studie waarbij hersensignalen van deelnemer 'Ann', verlamd na een beroerte, via een implantaat werden omgezet in gesproken tekst en in de gezichtsuitdrukkingen van een digitale avatar, met een spreeksnelheid die dichter bij normaal spreektempo kwam dan eerdere systemen.
Aan Stanford University ontwikkelde onderzoeker Frank Willett een systeem dat pogingen tot handschrijven decodeerde: een deelnemer 'schreef' letters in gedachten en het systeem zette dat om in tekst, met een publicatie hierover in 2021. Een vervolgstudie richtte zich op spraak in plaats van handschrift en haalde nog hogere decodeersnelheden.
In Nederland loopt aan het UMC Utrecht het Utrecht NeuroProthesis-project onder leiding van hoogleraar Nick Ramsey. Hier kreeg een vrouw met vergevorderde ALS een volledig onderhuids implantaat waarmee ze, zonder kabels naar buiten, letters kon selecteren op basis van hersensignalen; de eerste resultaten werden rond 2016 gepubliceerd.
Non-invasief onderzoek gebeurt onder meer bij de University of Texas at Austin, waar onderzoekers Jerry Tang en Alexander Huth in 2023 een decoder presenteerden die met fMRI-scans de globale betekenis van verhalen die iemand hoort of bedenkt, kan reconstrueren tot lopende tekst, zonder operatie. Dit werkt alleen na uren training per individueel brein en levert een globale interpretatie op, geen letterlijke gedachtelezing.
Hoe ver is de techniek?
Neurale decodering is de afgelopen tien jaar duidelijk sneller en nauwkeuriger geworden, vooral dankzij verbeterde machine-learning-technieken. Invasieve systemen halen inmiddels spreeksnelheden en tekstsnelheden die dichter bij normale communicatie komen, en de eerste patiënten gebruiken deze systemen buiten het laboratorium, soms al enkele jaren.
Toch blijven de beperkingen groot. Elk systeem moet nog altijd per gebruiker afzonderlijk worden getraind en herkalibreerd, omdat hersenpatronen van persoon tot persoon en zelfs van dag tot dag verschillen. Invasieve implantaten vereisen hersenchirurgie met de bijbehorende risico's, en de lange-termijnstabiliteit van elektroden in levend hersenweefsel is nog een openstaand vraagstuk: signalen kunnen na verloop van tijd verzwakken. Non-invasieve methoden zijn veiliger maar leveren vooralsnog een veel grover signaal op, wat de nauwkeurigheid beperkt.
Belangrijk om te benadrukken: geen van deze systemen leest 'gedachten' in algemene zin of privé-overpeinzingen zonder medewerking van de gebruiker. Ze decoderen specifieke, actief geprobeerde intenties zoals een poging tot spreken of bewegen, binnen een taak waarvoor het systeem getraind is. Berichtgeving die suggereert dat machines nu al vrijelijk gedachten kunnen aflezen, is voorbarig.
Wie werken eraan?
Naast de academische groepen genoemd hierboven, zoals BrainGate, UCSF, Stanford en UMC Utrecht, zijn er ook commerciële partijen actief. Neuralink, opgericht door Elon Musk, plaatste begin 2024 zijn eerste implantaat bij een mens, waarna de patiënt een computercursor kon besturen. Het bedrijf Synchron ontwikkelt de Stentrode, een implantaat dat via de bloedvaten wordt ingebracht zonder open hersenoperatie, en test dit sinds enkele jaren bij patiënten. Techbedrijven zoals Meta onderzoeken non-invasieve decodering, bijvoorbeeld om te bepalen welk beeld iemand ziet op basis van MEG- of EEG-signalen (MEG meet, net als EEG niet-invasief, magnetische in plaats van elektrische hersensignalen).
Financiering komt voor een groot deel van medische onderzoeksfondsen en overheidsprogramma's, zoals de Amerikaanse BRAIN Initiative van de National Institutes of Health en onderzoeksgelden van DARPA, het defensie-onderzoeksagentschap van de Verenigde Staten. In Nederland dragen universitair medische centra en de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO) bij aan dit soort onderzoek. Toezichthouders zoals de Amerikaanse FDA volgen de ontwikkelingen nauwlettend en moeten implantaten goedkeuren voordat ze breder ingezet mogen worden.