उपकरण समीक्षाएँ

रोबोकोलोसियम वास्तविक दुनिया के वातावरण में पैमाने पर भौतिक बुद्धि का मूल्यांकन करता है।

रोबोकोलोसियम परीक्षण robot AI चार अवतारों में, सामान्यीकरण अंतराल और कमजोर क्रॉस- robot रैंकिंग को उजागर कर रहा है।

रोबोकोलोसियम वास्तविक दुनिया के वातावरण में पैमाने पर भौतिक बुद्धि का मूल्यांकन करता है।

मुख्य बिंदु

  • रोबोकोलोसियम साझा सेवा और तुलना प्रोटोकॉल का उपयोग करते हुए कई वास्तविक दुनिया के रोबोट निकायों, कार्यों और साइटों में सामान्य-उद्देश्य वाली रोबोट नीतियों का मूल्यांकन करने के लिए एक वितरित ढांचा है।
  • Open Track में, सीमावर्ती एजेंट विशेष दृष्टि-भाषा-कार्रवाई नीतियों के साथ घनिष्ठ रूप से प्रतिस्पर्धा करते हैं, लेकिन सभी प्रणालियां अभी भी कार्य-विशिष्ट अनुकूलन के बिना खुले विश्व कार्यों को भरोसेमंद ढंग से पूरा करने के लिए संघर्ष करती हैं।
  • फाइन-ट्यून ट्रैक में, रोबोट अवतारों के बीच प्रदर्शन रैंकिंग तेजी से बदलती है, यह दर्शाता है कि एक प्लेटफॉर्म पर मजबूत ठीक ट्यूनिंग नीतियां दूसरों को समान रूप से स्थानांतरित नहीं करती हैं।
  • आंशिक कार्य प्रगति को मापने से सार्थक मतभेदों का पता चलता है जो द्विआधारी सफलता या विफलता छिपाए जाते हैं, जिससे डेवलपर्स उन प्रणालियों की तुलना करने में मदद करते हैं जो अंतिम कार्य में असफल होते हैं लेकिन अलग-अलग मात्रा में प्रगति करते हैं।
  • अध्ययन से पता चलता है कि मजबूत रोबोट मूल्यांकन के लिए कई साइटों, मिलान की गई स्थितियों, समान फाइन-ट्यूनिंग बजट और समृद्ध मीट्रिक की आवश्यकता होती है।

मेटा विवरण: रोबोकोलोसियम चार रोबोटों में पांच वीएलए नीतियों और तीन AI एजेंटों का परीक्षण करता है, जो नए वितरित परीक्षण को सामान्यीकरण अंतराल प्रकट कर सकता है।

RoboColosseum evaluates physical intelligence at scale in real-world environments.

टैगः रोबोकोलोसियम, रोबोट नीतियां, विजन लैंग्वेज एक्शन, एम्बेडेड AI, भौतिक मूल्यांकन

चार रोबोट बाहों और रंगीन सलाखों और चेकमार्क के चारों ओर एक ह्यूमनॉइड रोबोट का सार चित्रण

रोबोकोलोसियम सामान्य-उद्देश्य वाले रोबोट नीतियों के लिए एक वितरित मूल्यांकन ढांचा है। प्रारंभिक अध्ययन में, यह चार रोबोट निकायों या अवतारों पर पांच दृष्टि-भाषा-क्रिया (वीएलए) नीतियों और तीन सीमांत AI एजेंटों की तुलना करता हैः एसओ -101, फ्रेंका, बिमानुअल-वाईएएम, और G1 Humanoid. पाठकों को ट्रैक करने के लिए शामिल किया गया AI, मुख्य सवाल यह नहीं है कि कौन सा मॉडल एक डेमो जीतता है, लेकिन क्या कोई नीति तब काम कर सकती है जब रोबोट, कार्य और परीक्षण स्थल बदलते हैं। रोबोकॉलिसियम कई स्थानीय रूप से संचालित रोबोटों को साझा और सेवा तुलना नियमों के तहत रखकर इसका जवाब देने का प्रयास करता है।

शारीरिक परीक्षण के लिए साझा नियम क्यों महत्वपूर्ण हैं

रोबोट सीखने में एक व्यावहारिक समस्या है। एक प्रयोगशाला में अच्छी तरह से प्रदर्शन करने वाली नीति कहीं और विफल हो सकती है क्योंकि रोबोट का शरीर, कार्य सेटअप या स्थानीय नियंत्रण स्टैक अलग है। यही भिन्नता भौतिक परीक्षणों को मूल्यवान बनाती हैः यह जांचती है कि क्या कोई प्रणाली मजबूत है। लेकिन यह प्रजनन भी मुश्किल बनाता है, क्योंकि दो टीमें सूक्ष्म रूप से विभिन्न परिस्थितियों का उपयोग करते हुए समान परीक्षण चलाने का दावा कर सकती हैं।

RoboColosseum विभिन्न वातावरणों में स्थानीय रूप से संचालित रोबोट के नेटवर्क पर एकीकृत नीति सेवा और मानकीकृत प्रोटोकॉल का संयोजन करके प्रतिक्रिया करता है। फ्रेमवर्क भौतिक दुनिया की गंदगी को मिटा नहीं देता है। इसके बजाय, यह उस गड़बड़ी को तुलनीय बनाने की कोशिश करता है. एक साइट पर निर्भर बेंचमार्क मॉडल की मजबूती को बढ़ा-चढ़ाकर दिखा सकता है, जबकि कोई साझा प्रोटोकाल वाला बेंच मार्क उन चरम सीमाओं के बीच बैठता है।

RoboColosseum evaluates physical intelligence at scale in real-world environments.

Open Track परीक्षण कच्चा सामान्यीकरण

अध्ययन का पहला मूल्यांकन पथ Open Track है। यह कार्य-विशिष्ट अनुकूलन के बिना मॉडलों की तुलना करता है, इसलिए सवाल यह है कि प्रत्येक प्रणाली बॉक्स से बाहर कितनी अच्छी तरह सामान्यीकृत होती है। परीक्षण अंधेरे और जोड़े में होते हैं, साथ ही स्थानीय परिस्थितियों से मेल खाते हैं, इसलिए प्रत्येक तुलना एक मॉडल के लिए बनाए गए शोकेस के बजाय निष्पक्ष होना चाहिए।

124 साइटों पर 5,699 Open Track तुलनाओं में, तीन फ्रंटियर AI एजेंट पांच विशेषीकृत वीएलए नीतियों का मुकाबला करते हैं। यह एक महत्वपूर्ण संकेत हैः सामान्य-उद्देश्य AI सिस्टम अब भौतिक मूल्यांकन में प्रतिस्पर्धा करने के लिए विशिष्ट रोबोट नीतियों के काफी करीब हैं। साथ ही, परिणाम एक साफ जीत नहीं है। सभी प्रणालियां विश्वसनीय रूप से खुली दुनिया के कार्यों को पूरा करने की कोशिश करती हैं, जो वास्तविक तैनाती के लिए बार उच्च रखती है।

यह सेटअप उपयोगी है क्योंकि यह अतिरिक्त प्रशिक्षण प्रयास से कच्चे मॉडल क्षमता को अलग करता है। यदि किसी नीति को प्रतिस्पर्धा करने से पहले अनुकूलित ट्यूनिंग की आवश्यकता होती है, तो वह एक ऐसी प्रणाली से भिन्न परिणाम है जो सीधे अच्छा प्रदर्शन करती है।

फाइन-ट्यूनिंग लीडरबोर्ड में फेरबदल करता है

दूसरा पथ फाइन-ट्यून ट्रैक है। यह मापता है कि वीएलए नीतियां 20 कार्यों के लिए कितनी अच्छी तरह से अनुकूलित होती हैं जब प्रत्येक नीति को प्रति कार्य समान 100 प्रदर्शन प्राप्त होते हैं। बराबर प्रदर्शन बजट यहां केंद्रीय हैंः अध्ययन अनुकूली क्षमता का परीक्षण कर रहा है, न कि कौन सबसे अधिक डेटा एकत्र कर सकता है। एक ही बजट भी एक सामान्य परीक्षण देता है कि एक नीति पर्यवेक्षित भौतिक डेटा की निश्चित मात्रा से कितना सीख सकती है।

फाइन-ट्यूनिंग के बाद, GR00T N1.7 SO-101 पर लीड करता है और π0.5 Franka और Bimanual-YAM पर ले जाता है। ये दो नेता दिखाते हैं कि ठीक से ट्यून की गई VLA नीतियां विशिष्ट रोबोट निकायों पर मजबूत हो सकती हैं।

अधिक सतर्कता परिणाम यह है कि रैंकिंग को embodiments भर में अच्छी तरह से पंक्तिबद्ध नहीं किया जाता है। नीति रैंक केंडल के डब्ल्यू = 0.24 के साथ विशिष्ट कार्य सूटों पर कमजोर समझौता दिखाते हैं। केंडेल का डब्ल्यू रैंक समझौते का एक उपाय है, इसलिए एक कम मूल्य का मतलब है कि एक रोबोट सेटअप पर नेता दूसरे पर नेता नहीं हो सकता है। Open Track रैंकिग भी ठीक-ट्यूनिंग के बाद सापेक्ष प्रदर्शन की खराब भविष्यवाणी करती है, जिसमें ट्रैकः एसओ -101, फ्रेंका और बाइमैनुअल-वाईएएम के बीच साझा किए गए सभी तीन अवतारों पर पर्याप्त रैंक रिवर्सल्स होते हैं।

RoboColosseum evaluates physical intelligence at scale in real-world environments.

आंशिक प्रगति से छिपी खामियां सामने आती हैं

G1 Humanoid पर, कोई भी नीति पांच कार्यों में से किसी को पूरा नहीं करती है। फिर भी नीतियों के बीच औसत प्रगति 13.3% से 23.2% तक होती है। यहां तक कि जब हर प्रणाली अंतिम कार्य में विफल हो जाती है, तो कुछ सिस्टम दूसरों की तुलना में लक्ष्य के करीब पहुंच जाते हैं।

यह महत्वपूर्ण है क्योंकि कई रोबोट कार्यों में चरण होते हैं। एक नीति जो किसी ऑब्जेक्ट तक पहुंचती है, इसे आंशिक रूप से स्थानांतरित करती है या टक्कर से बचती है वह बाइनरी स्कोरिंग के सुझावों की तुलना में अधिक उपयोगी हो सकती है। डेवलपर्स के लिए, आंशिक प्रगति डिबगिंग का मार्गदर्शन कर सकती है. औसत पर 23.2% तक पहुंचने वाली प्रणाली 13.3% तक पहुंचने वाले सिस्टम की अपेक्षा कार्यशील नीति के करीब हो सकता है, भले ही दोनों अंतिम कार्य को विफल करते हों।

मूल्यांकन प्रक्रिया स्वयं भी अधिक कुशल हो सकती है। Open Track रैंकिंग परीक्षणों को जमा करने के रूप में स्थिर होती हैं। सक्रिय मिलान एक समान नमूनाकरण की तुलना में काफी कम भौतिक परीक्षणों के साथ तुलनीय रैंक समझौते प्राप्त करता है। सादे शब्दों में, ढांचा हर संभव तुलना का बराबर परीक्षण करने के बजाय अपने सीमित रोबोट समय को अधिक बुद्धिमानी से खर्च कर सकता है।

पाठकों को क्या सीखना चाहिए

रोबोकोलोसियम दिखाता है कि वितरित भौतिक मूल्यांकन कैसे प्रकट कर सकता है जहां रोबोट नीतियां सामान्यीकृत होती हैं, वे नए कार्यों के लिए कितनी अच्छी तरह से अनुकूलित होते हैं, और वे उन कार्यों पर कितना प्रगति करते हैं जिन्हें पूरा करने में विफल रहते हैं। व्यावहारिक सबक यह है कि एकल-साइट रोबोट लीडरबोर्ड पर्याप्त नहीं हैं। एक मजबूत मूल्यांकन को कई साइटों की आवश्यकता होती है, जो स्थानीय परिस्थितियों, समान फाइन-ट्यूनिंग बजट और आंशिक सफलता को पकड़ने वाले मैट्रिक्स से मेल खाते हों।

रोबोटिक्स शोधकर्ताओं के लिए, परिणाम अधिक तुलनीय भौतिक बेंचमार्किंग के लिए एक टेम्पलेट है। AI पाठकों के लिए यह एक अनुस्मारक है कि सीमांत एजेंटों और विशेष वीएलए नीतियों को वास्तविक रोबोट सेटिंग्स में अलग करना मुश्किल हो रहा है। सामान्य उद्देश्य वाले रोबोट तैनात करने की उम्मीद करने वाले किसी भी व्यक्ति के लिए प्रतिस्पर्धी परीक्षणों और विश्वसनीय कार्य पूरा होने के बीच का अंतर हल करने की समस्या बनी हुई है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.