Galbot leert humanoïde robots gebaren die passen bij wat ze zeggen

Humanoïde robots kunnen inmiddels aardig praten, maar hun bewegingen ogen vaak houterig: dezelfde armzwaai, ongeacht wat er wordt gezegd. Het Chinese bedrijf Galbot wil dat probleem oplossen met RoboGesture, een nieuw framework dat humanoïde robots realtime gebaren laat maken die aansluiten bij de betekenis, het ritme en de toon van gesproken taal. Het systeem is ontwikkeld samen met onderzoekers van Tsinghua University, Peking University, het Beijing Institute of Technology, het Harbin Institute of Technology en het Shanghai Qi Zhi Institute.

Luisteren naar meer dan alleen woorden

De kern van RoboGesture is een module die rechtstreeks naar spraak luistert, in plaats van alleen naar de tekst die daaruit is afgeleid. Dat is belangrijk, want intonatie, nadruk en spreeksnelheid vertellen vaak meer dan de woorden zelf. Binnenkomende spraak wordt eerst omgezet in audiotokens met de Mimi-audiocodec, waarna het systeem zowel snelle klankveranderingen als de bredere betekenis van een zin analyseert. De onderzoekers trainden dit onderdeel met driehonderd verschillende gebaartypes, zodat de robot een breed repertoire aan bewegingen tot zijn beschikking heeft.

Die signalen gaan vervolgens naar een bewegingsmodel op basis van een diffusion transformer. In plaats van vaste bewegingscommando's af te vuren, genereert dit model beweging in een continue ruimte, rekening houdend met zowel de binnenkomende spraak als de voorgaande beweging van de robot. Zo vloeien gebaren natuurlijk in elkaar over, in plaats van dat de robot van houding naar houding springt.

Wanneer een robot in herhaling valt

Tijdens het onderzoek stuitte het team op een probleem dat ze 'modality eclipse' noemen: het bewegingsmodel leunt dan te sterk op de vorige beweging en blijft dezelfde actie herhalen, ook als de spraak allang is veranderd. Om dat te voorkomen gebruikt RoboGesture een techniek genaamd Anti-Inertia classifier-free guidance masking, die het model dwingt opnieuw goed te luisteren naar de actuele audio in plaats van op de automatische piloot te blijven bewegen.

Een veiligheidsfilter tegen zelfbotsingen

Bewegingen die een AI-model bedenkt, garanderen niet automatisch dat een fysieke robot geen ledematen tegen zichzelf aan botst of buiten zijn bewegingsgrenzen schiet. Daarom stuurt RoboGesture elke gegenereerde beweging eerst door een veiligheidsfilter gebaseerd op model predictive control (MPC), die de beweging toetst aan de fysieke grenzen van de robot en zo nodig bijstuurt. In tests daalde het percentage beeldframes met een zelfbotsing daardoor van 4,16 naar 0,13 procent.

Het systeem is getest op een Unitree G1, een humanoïde robot uitgerust met behendige handen van BrainCo. De volledige keten combineert automatische spraakherkenning, een taalmodel, tekst-naar-spraak-technologie, audioverwerking, gebaargeneratie en het veiligheidsfilter. Daardoor kan de robot luisteren, een antwoord bedenken, dat uitspreken én tegelijk met passende gebaren ondersteunen — de hele cyclus van luisteren tot bewegen duurt ongeveer twee seconden.