HITCH laat een taalmodel de bewegingen van G1 plannen
In fysieke proeven lukte dozen verplaatsen 13 van 20 keer en naar een doel lopen 6 van 10 keer.
Qingzhou Lu en collega’s presenteren in een preprint HITCH, een softwarelaag tussen een beeld-taalmodel en robotbesturing. Het model kan punten in camerabeelden laten omzetten naar 3D-posities en opdrachten geven voor lopen, romp en handen. Op een fysieke Unitree G1 lukte dozen verplaatsen 13 van 20 keer en navigeren naar een doel 6 van 10 keer. De robot gebruikt een beweegbare extra camera, dieptebeelden en een model op een server via wifi. Zijn rubberen handen hebben geen actieve vingers. De geclaimde 95 procent op SIMPLE betreft simulatie, na extra taakvoorbeelden. Elke bewegingsopdracht loopt volledig af voordat het model opnieuw kijkt. Tussentijds op veranderingen reageren is daardoor beperkt.
Wat betekent dit?
Een taalopdracht verbinden aan lichaamsbewegingen werkt hier voor twee beperkte taken. Voor een werkvloer zijn sneller bijsturen, betere foutafhandeling en meer herhaalde praktijktests nodig.
Bron: Qingzhou Lu en collega’s, HITCH ↗. Samengevat door YourWally op basis van de publicatie van de onderzoekers.