उपकरण समीक्षाएँ

रिफ्लेक्स मानवीय एजेंटों के लिए दृश्य रूप से जमीनीकृत प्रतिक्रियाशील नियंत्रण सक्षम करता है.

रिफ्लेक्स ह्यूमनॉइड बॉक्स कैचिंग को राज्य नियंत्रण, गतिशीलता अनुमान और दृष्टि में विभाजित करता है, सिमुलेशन में 85.7 प्रतिशत और robots पर 65 प्रतिशत तक पहुंच जाता है।

रिफ्लेक्स मानवीय एजेंटों के लिए दृश्य रूप से जमीनीकृत प्रतिक्रियाशील नियंत्रण सक्षम करता है.

मुख्य जानकारी

  • रिफ्लेक्स humanoid robot को केवल अहंकारी आरजीबी-डी दृष्टि का उपयोग करके फेंके गए बक्से को पकड़ने में सक्षम बनाता है, सिमुलेशन में 85.7% सफलता प्राप्त करना और 65% वास्तविक Unitree G1 पर 2.5 मीटर।
  • फ्रेमवर्क तीन प्रशिक्षित चरणों का उपयोग करता हैः पूरे शरीर आरएल नियंत्रण, विलंबित टिप्पणियों से ऑब्जेक्ट-डायनामिक्स अनुमान और आरजीबी-डी इनपुट से एक ही गतिशीलता प्रतिनिधित्व की दृश्य पुनर्प्राप्ति।
  • अस्थायी दृश्य इतिहास महत्वपूर्ण हैः इसे हटाने से प्रदर्शन में बड़ी गिरावट आती है, यह दर्शाता है कि कैचिंग को एक एकल छवि पर प्रतिक्रिया करने के बजाय कई फ्रेमों पर गति ट्रैक करने की आवश्यकता होती है।
  • विधि भौतिक hardware में स्थानांतरित होती है लेकिन लंबी दूरी पर कमजोर रहती है, वास्तविक robot पर 5 मीटर की सफलता तक पहुंचती है।
  • मुख्य योगदान एक मॉड्यूलर श्रृंखला है जो दृष्टि से लेकर गतिशीलता पूर्वानुमान तक पूरे-शरीर नियंत्रण के लिए, दृश्य रूप से जमीनीकृत प्रतिक्रियाशील ह्यूमनॉइड व्यवहार की ओर एक स्केलेबल मार्ग प्रदान करता है।

ह्यूमनॉइड रोबोटिक्स का अनुसरण करने वाले पाठकों के लिए, प्रमुख परिणाम रिफ्लेक्स है, एक ऐसा ढांचा जो केवल अहंकारवादी आरजीबी-डी दृष्टि का उपयोग करके एक humanoid को फेंके गए बॉक्स को पकड़ने देता है, सिमुलेशन में सफलता और वास्तविक पर सफलता प्राप्त करना Unitree G1 2.5 मीटर। काम मानव प्रतिबिंबों और robot नियंत्रण के बीच की खाई को लक्षित करता हैः लोग टेनिस शॉट वापस कर सकते हैं, गिरते हुए कप को पकड़े, पासिंग कार्ट से दूर कदम रखें, या ट्रक अनलोडिंग के दौरान फेंक दिया गया बॉक्स प्राप्त करें गति की भविष्यवाणी करके और लगभग एक सेकंड में पूरे शरीर के साथ प्रतिक्रिया करते हुए।

Reflex enables visually grounded reactive control for humanoid agents.

बॉक्स को पकड़ना एक उपयोगी परीक्षा क्यों है

फेंके गए बक्से को पकड़ना प्रतिनिधि के रूप में चुना जाता है क्योंकि यह तीन क्षमताओं को एक साथ मजबूर करता हैः पूरे शरीर का समन्वय, ऑब्जेक्ट गतिशीलता के लिए वास्तविक समय की प्रतिक्रिया और अहंकारवादी दृष्टि पर आधारित धारणा। मौजूदा सिस्टम इस स्टैक के केवल हिस्से को कवर करते हैं, अक्सर एंड-इफेक्टरों, मोशन कैप्चर या चिह्नित वस्तुओं पर भरोसा करते हैं। robot को देखने, भविष्यवाणी करने और एक कार्य के तौर पर स्थानांतरित करने की आवश्यकता होने से, बॉक्स कैचिंग उन दृष्टिकोणों की कमजोरी को उजागर करती है जो अलग-अलग ऐड-ऑन जैसे धारणा और नियंत्रण का इलाज करते हैं.

कैसे रिफ्लेक्स एक कठिन समस्या को तीन सीखने योग्य चरणों में बदल देता है

रिफ्लेक्स एक तीन-चरण ढांचे का उपयोग करता है। सबसे पहले, एक राज्य आधारित नीति reinforcement learning के साथ पूरे शरीर को पकड़ना सीखती है। इस चरण में, नियंत्रक को प्रत्यक्ष राज्य की जानकारी से प्रशिक्षित किया जाता है, इसलिए सिस्टम यह पता लगा सकता है कि केवल हाथ या अंत-प्रभावकार के बजाय संपूर्ण ह्यूमनॉइड शरीर को कैसे स्थानांतरित किया जाए।

दूसरा, नीति विलंबित और अपूर्ण टिप्पणियों से एक चलती बॉक्स की गतिशीलता का अनुमान लगाना सीखती है। यह चरण मॉडल को ऑब्जेक्ट मोशन का पुनर्निर्माण करने के लिए सिखाता है भले ही संवेदी डेटा स्वच्छ, पूर्ण अनुक्रम में न पहुंचे।

तीसरा, एक अहंकारवादी आरजीबी-डी एन्कोडर पूरे शरीर के नियंत्रक को स्थिर रखते हुए दृश्य अवलोकनों से सीधे उसी गतिशीलता प्रतिनिधित्व को पुनर्प्राप्त करना सीखता है। परिणाम ऑब्जेक्ट की गतिशीलताओं का एक कॉम्पैक्ट प्रतिनिधित्व है जो चरणों को जोड़ता हैः दृश्य इनपुट, गति भविष्यवाणी और संपूर्ण शरीर नियंत्रण को अलग से प्रशिक्षित किया जा सकता है, फिर नियंत्रक के पुनः प्रशिक्षण के बिना कनेक्टेड हो सकता है।

Reflex enables visually grounded reactive control for humanoid agents.

सिमुलेशन संख्या क्या दिखाती है

सिमुलेशन में, Reflex egocentric RGB-D इनपुट का उपयोग करते समय 85.7% कैच सफलता प्राप्त करता है। तुलना के लिए, सिस्टम विशेषाधिकार प्राप्त बॉक्स अवलोकनों को दिए जाने पर 87.9% तक पहुंचता है, जिसका अर्थ है ऑब्जेक्ट स्टेट तक पहुंच जो एक वास्तविक robot सामान्य रूप से नहीं होगा। और 87.9% के बीच की खाई इंगित करती है कि दृश्य पाइपलाइन प्रत्यक्ष वस्तु राज्य से उपलब्ध प्रदर्शन छत के करीब है, कम से कम सिम्युलेशन में।

अस्थायी दृश्य इतिहास मायने रखता है। इसे हटाने से केंद्रित फेंक पर 35.6 अंक और पार्श्व ऑफसेट फेंके जाने पर 39.8 अंक की सफलता कम हो जाती है। यह गिरावट बड़ी है क्योंकि एक चलती बॉक्स को एकल फ्रेम से संभाला नहीं जा सकता; robot को ट्रैक करने की आवश्यकता होती है कि समय के साथ ऑब्जेक्ट की स्थिति और गति कैसे बदलती है।

Real Unitree G1 परिणाम कम हैं लेकिन फिर भी ठोस

एक वास्तविक Unitree G1 पर, रिफ्लेक्स मानव द्वारा फेंके गए बक्से को 65% सफलता के साथ पकड़ता है 2.5 m और 40% 5 मीटर में सफलता। फ्रेमवर्क मानव कैचरों की सफलता 76% तक पहुंच जाता है 2.5 मी और 59% मानव कैचर्स 5 मीटर पर सफलता इन संख्याओं से पता चलता है कि विधि सिमुलेशन से भौतिक hardware में स्थानांतरित होती है , जबकि लंबी दूरी पर स्पष्ट प्रदर्शन अंतर भी चिह्नित करती है।

Reflex enables visually grounded reactive control for humanoid agents.

क्यों यह humanoid डेवलपर्स के लिए मायने रखता है

व्यावहारिक मूल्य प्रशिक्षण संरचना में है। पूरे-शरीर नियंत्रण, गतिशीलता अनुमान और दृश्य वसूली को अलग करके, रिफ्लेक्स प्रत्येक क्षमता को एक प्रत्यक्ष प्रशिक्षण संकेत देता है और विजुअल लर्निंग को काफी अधिक स्केलेबल बनाता है। ह्यूमनॉइड सिस्टम के डेवलपर्स के लिए, सबक यह है कि प्रतिक्रियाशील पूरे शरीर का नियंत्रण एक मोनोलिथिक मॉडल पर कम निर्भर हो सकता है और एक श्रृंखला पर अधिक जो egocentric RGB-D टिप्पणियों को साझा ऑब्जेक्ट-डायनामिक्स प्रतिनिधित्व में परिवर्तित करता है। खुला सवाल यह है की 5 मीटर पर 65% और 2.5 के बीच अंतर कितना बंद किया जा सकता है।

मेटा विवरण
रिफ्लेक्स इगोसेंट्रिक आरजीबी-डी दृष्टि का उपयोग करते हुए ह्यूमनॉइड्स को फेंके गए बक्से पकड़ने देता है, जो सिमुलेशन में 85.7 प्रतिशत और एक Unitree G1 पर 65% तक पहुंचता है।

टैग
रिफ्लेक्स, humanoid robots , दृश्य नियंत्रण, reinforcement learning , आरजीबी-डी

विशेष रुप से प्रदर्शित छवि
humanoid robot एक फेंके गए बॉक्स को पकड़ रहा है, अमूर्त दोस्ताना चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.