G1 onthoudt verdwenen aanwijzingen in zes kleine taakproeven
WholeBodyMem bewaart relevante camerabeelden, zodat de robot kan handelen op iets dat eerder gebeurde.
Chenyuan Chen en collega’s onderzoeken met WholeBodyMem hoe een G1 onthoudt wat buiten beeld raakt. In de op 5 november bijgewerkte preprint beschrijven ze zes fysieke taken, zoals een beker neerzetten waar eerder een tas lag. Het team rapporteert 53 geslaagde uitvoeringen uit zestig, tegenover 22 voor de vergeleken besturing zonder geheugen. Per taak zijn vijftien menselijke demonstraties gebruikt om de besturing te trainen. De opstelling heeft Dex3-handen, een RealSense D435-camera en een RTX 5090 voor de berekeningen. Dit resultaat geldt voor deze zes gecontroleerde taken. Een aanwijzing die de objectherkenning mist, kan ook niet in het geheugen belanden.
Wat betekent dit?
Onthouden wat iemand net aanwees is nuttig bij samenwerken. De vervolgvraag is of dat ook lukt met onbekende mensen, spullen en opdrachten.
Bron: Chenyuan Chen en collega’s, WholeBodyMem ↗. Samengevat door YourWally op basis van de publicatie van de onderzoekers.