Stanford-robot ruimt zelf de keuken op, zonder trainingsdata vooraf

Een team van Stanford University en Caltech presenteert HomeBody, een besturingssysteem voor humanoïde robots dat taken als 'ruim de keuken op' zelfstandig kan uitvoeren in een ruimte die de robot nog nooit eerder heeft gezien. De onderzoekers zetten het systeem op een humanoïde robot van het Chinese bedrijf Unitree, het model G1, en lieten die koffiezakjes verzamelen, verlopen zuivel weggooien en op verzoek een la openen om medicijnen te pakken.

Een tussenlaag verdwijnt

Robots die complexe taken uitvoeren, leunen doorgaans op drie lagen software. Bovenaan zit een groot taalmodel dat afbeeldingen en opdrachten begrijpt, ook wel een vision-language-actionmodel genoemd wanneer beeld, taal en actie worden gecombineerd. Daaronder zit meestal een apart, specifiek getraind model dat die begrippen omzet in bewegingscommando's, en onderaan een controller die de motoren daadwerkelijk aanstuurt. HomeBody slaat de middelste laag over. Het grote taalmodel, in dit geval Astra van OpenAI, kiest direct uit een bibliotheek van herbruikbare vaardigheden zoals pakken, neerzetten, navigeren en een la openen. Dat scheelt de tijdrovende en dure stap van extra training per omgeving of taak.

Eerst verkennen, dan een digitale kopie bouwen

Voordat de robot aan de slag kan, verkent hij eerst zelfstandig de ruimte. Daarbij verzamelt hij camerabeelden, dieptemetingen en 3D-reconstructies van de omgeving via laserscans. Die data gebruikt het systeem om een digitale tweeling van de keuken te bouwen in de simulatiesoftware Isaac Sim, een aanpak die de onderzoekers Real2Sim noemen. Daarmee kan het taalmodel plannen maken zonder dat de robot fysiek overal hoeft te kijken: het onthoudt bijvoorbeeld waar een la met medicijnen zit, ook als die niet meer in beeld is.

Wat de robot al kan

In demonstraties ruimt de G1-robot een aanrecht op door koffiezakjes op een aanrechteiland te verzamelen en bedorven pakken melk en sinaasappelsap weg te gooien, waarbij hij tussen verschillende plekken in de ruimte heen en weer loopt. In een tweede test haalt de robot op verzoek een medicijndoosje uit een gesloten la: hij opent de la met zijn rechterhand, pakt het doosje, overhandigt het aan een persoon en gooit vervolgens met zijn linkerhand een pak weg. Bij fouten, zoals een mislukte greep, probeert het systeem de handeling zelf opnieuw op basis van visuele feedback. De onderzoekers benadrukken dat dit vroeg onderzoek is: het systeem is getest in één keuken en de robotposes in de presentatie zijn illustratief, niet altijd exacte weergaven van de werkelijke uitvoering.