FAB vertaalt videobewegingen naar een gesimuleerde G1
Een nieuwe preprint combineert lichaamsherkenning met het voorbereiden van robotbewegingen. De auteur heeft de aanpak nog niet op een fysieke robot getest.
Jinkun Cao presenteert FAB in een preprint van 19 november. De aanpak schat lichaamsbewegingen uit camerabeelden en zet die om naar bewegingsvoorbeelden voor een Unitree G1. Een bestaande robotbesturing volgt de voorbeelden vervolgens in MuJoCo-simulatie. De auteur vergelijkt meerdere vertaalmethoden met dezelfde besturing en proefopstelling. In die vergelijking volgt FAB de menselijke bewegingen nauwkeuriger. De lichaamsherkenning wordt daarnaast getest op een RTX 4070 Ti SUPER-grafische kaart. Dat is geen meting van een zelfstandig werkende robot. De paper vermeldt expliciet dat fysieke robotproeven ontbreken. Ook blijven moeilijke houdingen, camerafouten en verschuivingen in lange opnamen beperkingen. De getoonde dansende en lopende G1-robots zijn simulaties, geen praktijkdemonstraties.
Wat betekent dit?
Video kan een bron van trainingsmateriaal worden. Eerst moet blijken of de voorbereide bewegingen ook op een echte robot bruikbaar en stabiel zijn.
Bron: Jinkun Cao, FAB ↗. Samengevat door YourWally op basis van de publicatie van de onderzoekers.