अवतारित एजेंट एरेना के साथ एक अनुभवजन्य अध्ययन पूछता है कि क्या फ्रंटियर विजन-भाषा मॉडल एजेंट सामान्यवादी बनने के लिए तैयार हैं robot
एम्बोडेड Agent Arena दस विजन-लैंग्वेज मॉडल एजेंटों का परीक्षण करता है, जो दर्शाता है कि जियोप्रोब स्थानिक नियोजन, नियंत्रण और पूरा करने में विफलताओं को उजागर करता है।
मुख्य जानकारी
- अंतर्निहित Agent Arena ज्यामिति, स्थानिक तर्क, सामर्थ्य, कार्य योजना और हेरफेर में 1,000 मामलों में दस सीमांत दृष्टि-भाषा मॉडल एजेंटों का मूल्यांकन करता है।
- केवल स्थानिक दक्षता योजना सफलता की गारंटी नहीं देती है: मॉडल ज्यामिति, प्लेसमेंट या स्केल को समझ सकते हैं लेकिन फिर भी सुसंगत क्रियाएं बनाने में विफल रहते हैं।
- प्रारंभिक उप-लक्ष्य पूर्णता अंत-से-अंत की सफलता नहीं हैः मॉडल शुरुआती चरणों को पारित कर सकते हैं लेकिन बाद में ऑब्जेक्ट नियंत्रण, ग्राउंडिंग या पुनर्प्राप्ति विफल हो सकता है।
- जियोप्रोब 168 कैमरा, गति, गहराई और पैमाने के मामलों को जोड़ता है ताकि यह परीक्षण किया जा सके कि क्या स्थानिक निर्णय वास्तव में मूर्त निष्पादन का समर्थन करते हैं।
- अध्ययन का मुख्य मूल्य नैदानिक है, न कि एक साधारण रैंकिंगः यह दिखाता है कि स्थानिक समझ कहां मदद करती है और जहां robot सामान्य एजेंटों में टूट जाती है।
एम्बेडेड एजेंट एरिना दस विजुअल लैंग्वेज मॉडल एजेंटों का परीक्षण करता है
इम्बोडेड Agent Arena ने ज्यामिति, Spatial Reasoning, अफोर्डेंस, Task Planning और मैनिपुलेशन में 1,000 मामलों पर दस फ्रंटियर विजुअल लैंग्वेज मॉडल एजेंटों का मूल्यांकन किया। यह 32 स्थापित स्रोतों को जियोप्रोब के साथ जोड़ता है, एक नया 168-केस कैमरा, मोशन, गहराई और स्केल बेंचमार्क। मूल्य एक साधारण रैंकिंग नहीं है, लेकिन जहां स्थानिक समझ मदद करती है और अवतार कार्यों में रुकती है।
स्थानिक स्कोर योजना सफलता की गारंटी नहीं देते हैं
समान स्थानिक स्कोर अलग-अलग नियोजन सफलता के साथ हो सकते हैंः मॉडल ज्यामिति, प्लेसमेंट या पैमाने का अनुमान लगा सकते हैं फिर भी सुसंगत कार्रवाई करने में विफल रहते हैं; योजना बनाने के लिए स्थानिक दक्षता पर्याप्त नहीं है।
प्रारंभिक उप-लक्ष्य लक्ष्य नहीं हैं
प्रारंभिक उप-लक्ष्य पूर्णता की गारंटी नहीं देते हैं। मॉडल शुरुआती भागों को पारित कर सकते हैं, फिर ऑब्जेक्ट नियंत्रण, ग्राउंडिंग या वसूली में विफल हो सकते हैं। छोटी सफलता अंत से अंत तक पूरा नहीं होती है।
जियोप्रोब कैमरा, गति, गहराई और पैमाने की जांच जोड़ता है
जियोप्रोब 32 स्रोतों के लिए 168 कैमरा, गति, गहराई और स्केल मामलों को जोड़ता है। यह जांचता है कि क्या स्थानिक निर्णय निष्पादन का समर्थन करते हैं, उन्हें पूरक बनाते हैं।
मिलान निशान जहां नियंत्रण और ग्राउंडिंग टूट दिखाते हैं
मिलान किए गए निशान दिखाते हैं कि ऑब्जेक्ट कंट्रोल, एक्शन ग्राउंडिंग और रिकवरी पास / फेल से परे विफल हो जाते हैं; स्थानिक सटीकता व्यवहार नहीं बन सकती है।
वीडियो पाठकों के लिए क्या जोड़ता है
एक वीडियो पांच डोमेन में दस मॉडलों की तुलना करता है, अनुक्रम व्यवहार दिखा रहा है, न कि केवल संख्याएँ। स्थानिक क्षमता, योजना और पूर्णता संबंधित हैं लेकिन अलग-अलग; निशान नियंत्रण, ग्राउंडिंग और पुनर्प्राप्ति विफलताओं को दिखाते हैं।

Comments (0)