Poincarébol: de gekromde ruimte die computers helpt hiërarchieën te begrijpen
Een Poincarébol is een wiskundig model waarmee je een oneindig grote, gekromde ruimte kunt tekenen binnen een gewone, begrensde cirkel of bol. Het klinkt abstract, maar de Nederlandse kunstenaar M.C. Escher maakte het beroemd zonder het zelf te beseffen: zijn houtsneden "Circle Limit", vol steeds kleiner wordende engelen en duivels die naar de rand van een cirkel toe krimpen, zijn een directe visualisatie van dit model. In de wiskunde heet dit soort ruimte hyperbolisch: hoe dichter je bij de rand komt, hoe meer ruimte er eigenlijk "in past", ook al lijkt de cirkel zelf even groot te blijven.
In de kunstmatige intelligentie is de Poincarébol de laatste jaren een handig gereedschap geworden. Onderzoekers gebruiken hem niet om kunst te maken, maar om data met een boomstructuur op te slaan en te doorzoeken, denk aan een biologische soortenboom, een organigram of de "is-een-soort-van"-relaties tussen woorden. Gewone, platte (Euclidische) ruimte, zoals de ruimte waarin de meeste AI-modellen werken, is daar eigenlijk slecht geschikt voor: bomen groeien exponentieel, met steeds meer takken per niveau, terwijl platte ruimte alleen lineair groeit. De Poincarébol groeit óók exponentieel naarmate je van het midden naar de rand beweegt, en past daardoor van nature bij boomstructuren.
Wat is het precies?
Om te snappen wat een Poincarébol is, moet je eerst weten wat "kromming" betekent. De ruimte waarin wij leven, en waarin de meeste computerberekeningen plaatsvinden, is vlak: als je twee evenwijdige lijnen tekent, blijven ze voor altijd even ver van elkaar. Dat noemen wiskundigen Euclidische meetkunde. Er bestaan echter ook ruimtes met kromming. Op een bol (zoals de aarde) buigen lijnen naar elkaar toe, dat is positieve kromming. Het tegenovergestelde bestaat ook: ruimtes met negatieve kromming, waarin lijnen juist steeds verder uit elkaar buigen. Dat heet hyperbolische meetkunde.
Een Poincarébol is een manier om zo'n oneindige, negatief gekromde ruimte te tekenen binnen een gewone, eindige bol (in twee dimensies: een schijf). De truc zit in de manier waarop afstand wordt gemeten: in het midden van de bol lijkt een centimeter op de tekening op een normale centimeter, maar hoe dichter je bij de rand komt, hoe meer "echte" afstand diezelfde centimeter op de tekening voorstelt. De rand van de bol zelf stelt oneindig ver weg voor en wordt daardoor nooit bereikt.
In machine learning gebruik je dit door elk gegeven, bijvoorbeeld een woord, een persoon in een organisatie, of een gen, een plek te geven ergens in die bol. Algemene, overkoepelende begrippen (zoals "dier") plaats je dicht bij het midden; specifieke begrippen (zoals "golden retriever") komen verder naar de rand. De afstand tussen twee punten in de bol geeft dan weer hoe nauw verwant ze zijn. Een computer leert deze posities door tijdens het trainen steeds de punten een klein beetje te verschuiven, zodat verwante begrippen dichter bij elkaar komen te liggen en onverwante begrippen verder uit elkaar. Omdat de ruimte gekromd is, gebruikt men hiervoor aangepaste wiskundige technieken, zogeheten Riemannse optimalisatie, die net iets ingewikkelder zijn dan de standaardmethodes die bij platte ruimtes worden gebruikt.
Wat wil men ermee bereiken?
Het hoofddoel is efficiëntie. Wil je een boomstructuur met duizenden vertakkingen nauwkeurig weergeven in gewone, platte ruimte, dan heb je al snel honderden dimensies nodig, extra "richtingen" waarin een computer punten kan plaatsen. Dat kost rekenkracht en geheugen. In een Poincarébol lukt hetzelfde vaak al met een tiental dimensies, soms zelfs met twee, omdat de ruimte zelf al exponentieel groeit en dus van nature bij bomen past.
Een tweede doel is dat de resulterende representatie niet alleen compact is, maar ook betekenisvol: de positie van een punt vertelt meteen iets over de plek in de hiërarchie (dicht bij het midden is algemeen, dicht bij de rand is specifiek), en de afstand tussen twee punten vertelt iets over hun verwantschap. Dat maakt het bijvoorbeeld makkelijker om automatisch nieuwe items in een bestaande boomstructuur in te passen, om te zoeken naar "soortgelijke" items, of om onvolledige hiërarchieën aan te vullen.
Tot slot hopen onderzoekers dat modellen die zulke onderliggende structuur beter respecteren, ook beter generaliseren: ze maken minder rare fouten bij nieuwe, nog niet geziene gevallen, omdat de geometrie van het model al een stuk van de "logica" van de data (namelijk de hiërarchie) inbakt.
Voorbeelden uit de praktijk
De techniek werd breed bekend door het paper "Poincaré Embeddings for Learning Hierarchical Representations" van Maximilian Nickel en Douwe Kiela, onderzoekers bij Facebook AI Research, gepresenteerd op de NeurIPS-conferentie in 2017. Zij lieten zien dat ze de begrippenhiërarchie van WordNet, een grote Engelstalige woordenboomstructuur, met veel minder dimensies even goed of beter konden weergeven dan met klassieke, platte embeddings.
Een jaar later, in 2018, publiceerden dezelfde onderzoekers een vervolg waarin ze een verwant model gebruikten, het zogeheten Lorentz- of hyperboloïdemodel, dat rekenkundig stabieler bleek te trainen dan de oorspronkelijke Poincarébol.
Ook in 2018 breidden Octavian Ganea, Gary Bécigneul en Thomas Hofmann van de ETH Zürich het idee uit naar volledige neurale netwerken, met hun werk over "hyperbolische neurale netwerken": niet alleen de uiteindelijke representatie, maar ook de rekenlagen daartussen werden aangepast aan de gekromde ruimte.
Een toepassing buiten de taalkunde vond plaats in de biologie: onderzoekers gebruikten Poincaré-gebaseerde technieken om ontwikkelingsbomen van individuele cellen in kaart te brengen, bijvoorbeeld hoe een stamcel zich vertakt tot verschillende gespecialiseerde celtypen. Zulke "Poincaré-kaarten" van cellulaire differentiatie werden gepubliceerd in het tijdschrift Nature Communications, en boden onderzoekers een compacte manier om complexe biologische stambomen te visualiseren.
Daarnaast experimenteren onderzoeksgroepen met hyperbolische versies van grafneurale netwerken (graph neural networks), waarbij kennisgrafen, netwerken van feiten en hun onderlinge relaties, in hyperbolische ruimte worden ingebed om beter met hiërarchische verbanden om te gaan, bijvoorbeeld bij aanbevelingssystemen die rekening houden met categorieën binnen categorieën.
Hoe ver is de techniek?
De Poincarébol en verwante hyperbolische technieken zijn inmiddels een gevestigd, actief onderzoeksveld binnen machine learning, met regelmatig nieuwe publicaties op grote AI-conferenties zoals NeurIPS, ICML en ICLR. Er bestaan ook kant-en-klare softwarebibliotheken, zoals een implementatie in het populaire Python-pakket gensim en gespecialiseerde bibliotheken voor Riemannse optimalisatie, waarmee ontwikkelaars zelf hyperbolische embeddings kunnen trainen.
Toch is de techniek geen mainstream standaard geworden in commerciële AI-producten. De belangrijkste obstakels zijn praktisch van aard. Berekeningen dicht bij de rand van de bol zijn numeriek instabiel: computers werken met een beperkte precisie, en juist daar waar de "oneindige" ruimte samengedrukt wordt, kunnen kleine afrondingsfouten grote gevolgen hebben. Daarnaast is trainen ingewikkelder en trager dan bij gewone, platte modellen, en missen veel gangbare deep-learning-frameworks ingebouwde, geoptimaliseerde ondersteuning voor hyperbolische bewerkingen, waardoor onderzoekers vaak zelf extra code moeten schrijven.
Een tussenoplossing die de laatste jaren aan populariteit wint, is het combineren van platte en gekromde ruimtes in één model, zogeheten mixed-curvature embeddings, waarbij verschillende delen van de data in de ruimte terechtkomen die het beste bij hun structuur past. Dit blijft echter vooral onderzoek: grote, algemene taalmodellen zoals de bekende chatbots gebruiken vandaag de dag nog steeds overwegend gewone, platte representaties, en hyperbolische technieken worden vooral ingezet in gespecialiseerde toepassingen met duidelijk hiërarchische data.
Wie werken eraan?
Facebook AI Research (tegenwoordig onderdeel van Meta AI) geldt als een van de pioniers, via het werk van Maximilian Nickel en Douwe Kiela. Aan Europese kant is de groep van Thomas Hofmann aan de ETH Zürich een belangrijke bijdrager geweest aan hyperbolische neurale netwerken. In de Verenigde Staten doen onder meer onderzoeksgroepen aan Stanford University onderzoek naar hyperbolische grafneurale netwerken voor toepassingen als kennisgrafen en aanbevelingssystemen.
Verder is dit vooral een academisch onderzoeksveld: universiteiten en onderzoeksinstituten over de hele wereld publiceren op conferenties als NeurIPS, ICML en ICLR over nieuwe varianten en toepassingen, van computationele biologie tot informatiezoeksystemen. Er is geen dominant land of instantie die het veld domineert; het is verspreid over academische groepen in onder meer de Verenigde Staten, Zwitserland, Duitsland en het Verenigd Koninkrijk, vaak in samenwerking met techbedrijven die grote hoeveelheden hiërarchische data verwerken.