Onderzoekers laten G1 gebaren maken bij spraak en tekst

CFGComposer combineert gesproken woorden met een beschrijving van het gewenste gebaar. De fysieke demonstratie gebruikt BrainCo-handen en een externe computer.

Pengyang Shi en medeonderzoekers beschrijven CFGComposer in een preprint. Het systeem combineert spraak met een tekstuele aanwijzing, zoals een telgebaar, en maakt daar bewegingsfragmenten van vijf seconden van. De onderzoekers tonen de uitvoering op een Unitree G1 met extra BrainCo-handen. Een externe computer met RTX 4090 berekent de bewegingen; het eerste fragment kost ongeveer 1,5 seconde. De armen en vingers volgen de gegenereerde reeks, terwijl bestaande G1-besturing de balans verzorgt. De fysieke demonstratie is kwalitatief. De scores en voorkeurpercentages uit de studie komen uit afzonderlijke gegevens- en beoordelingstests, niet uit een gemeten succespercentage van de echte robot.

Wat betekent dit?

Dit kan een robot helpen zijn verhaal met gebaren te ondersteunen. Vertraging, veiligheid en begrijpelijkheid vragen daarna nog een proef met echte bezoekers.

Bron: Pengyang Shi en medeonderzoekers, CFGComposer ↗. Samengevat door YourWally op basis van de publicatie van de onderzoekers.

← Alle berichten