KinoGen gebruikt gegenereerde video om G1-bewegingen voor te bereiden

De methode zet videovoorbeelden om in bewegingen die rekening houden met het robotlichaam en het voorwerp.

Qi Wu en collega’s presenteren in de preprint KinoGen een trainingsmethode die begint met gegenereerde video. Modellen van de robot en het voorwerp helpen daaruit uitvoerbare bewegingen te reconstrueren. Het team toont vier fysieke G1-demonstraties, waaronder een stoel en een basketbal optillen en op een kruk gaan zitten. De robot heeft grijphanden en gebruikt bij zichtbare voorwerpen één eerste RGB-D-camerabeeld voor de beginpositie. Voor de kruk, die dan buiten beeld staat, wordt de beginpositie uit simulatie overgenomen. Het gaat dus om voorbereide bewegingen met een bekende startsituatie. Een willekeurige video bekijken en daarna zelfstandig een onbekende taak uitvoeren is hiermee niet aangetoond.

Wat betekent dit?

Gegenereerde voorbeelden kunnen het verzamelen van trainingsmateriaal aanvullen. De nauwkeurigheid van robotmodel, objectpositie en contact blijft bepalend voor wat er fysiek lukt.

Bron: Qi Wu en collega’s, KinoGen ↗. Samengevat door YourWally op basis van de publicatie van de onderzoekers.

← Alle berichten