उपकरण समीक्षाएँ

यह बेंचमार्क आत्म-विकसित अवतारित एजेंटों के लिए निरंतर सीखने का मूल्यांकन करता है।

एक नया अंतर्निहित बेंचमार्क एजेंटों को अदृश्य उन्नत कार्यों के लिए बुनियादी कौशल का पुनर्मूल्यांकन करने की आवश्यकता करके निरंतर सीखने का परीक्षण करता है, जो सीमित स्केलिंग प्रकट करता है।

यह बेंचमार्क आत्म-विकसित अवतारित एजेंटों के लिए निरंतर सीखने का मूल्यांकन करता है।

मुख्य जानकारी

  • Embodied CL Bench अवशोषित सिमुलेशन के भीतर आत्म-विकसित एजेंटों में निरंतर सीखने का मूल्यांकन करने के लिए पहला बेंचमार्क है।
  • यह रचनात्मक सामान्यीकरण का परीक्षण करता है: एजेंटों को बुनियादी कौशल सीखना चाहिए और उन्हें अदृश्य, अधिक जटिल उन्नत कार्यों को हल करने के लिए पुनः संयोजित करना होगा।
  • बुनियादी कार्यों से पूर्व अनुभव लगातार उन्नत कार्यों पर प्रदर्शन में सुधार करता है, भले ही कार्य जटिलता बढ़ जाए।
  • वर्तमान एजेंट अधिक सीखने के नमूनों के साथ इस लाभ को स्केल करने में विफल रहते हैं, यह सुझाव देते हुए कि बाधा अनुभव को पुनः प्रयोज्य कौशल में परिवर्तित कर रही है।
  • बेंचमार्क एजेंट विकास में दो प्रमुख प्रश्नों को अलग करता हैः क्या पहले सीखने से मदद मिलती है, और क्या अधिक सीखना अधिक मदद करता है।

मेटा विवरणः Embodied CL Bench परीक्षण करता है कि क्या स्व-विकसित एजेंट बुनियादी कार्यों से सीख सकते हैं और जटिल, अदृश्य उन्नत कार्यों को हल करने के लिए अधिग्रहित कौशल का पुनर्मूल्यांकन कर सकते हैं।

This benchmark evaluates continual learning for self-evolving embodied agents.

टैगः Embodied CL Bench, निरंतर सीखना, स्व-विकसित एजेंटों, अवशोषित सिमुलेशन, रचनात्मक सामान्यीकरण

विशेष रुप से प्रदर्शित छवि: मूल कार्य कौशल को उन्नत कार्य अनुक्रमों में जोड़ने वाले एक सीखने वाले एजेंट का अमूर्त, मैत्रीपूर्ण चित्रण, बिना वास्तविक लोगों के, बिना लोगो और बिना पाठ के।

Embodied CL Bench अवशोषित सिमुलेशन में निरंतर सीखने के लिए एक नया बेंचमार्क है। लेखक इसे आत्म-विकासशील एजेंटों की सतत सीखने की क्षमता का मूल्यांकन करने के लिए अवशोशित सिमुलेशन में पहले बेंच मार्क के रूप में पेश करते हैं। इसके परिणाम एक व्यावहारिक समस्या की ओर इशारा करते हैंः एजेंट पूर्व अनुभव से लाभान्वित हो सकते हैं, लेकिन वे विश्वसनीय रूप से अधिक लाभ नहीं उठाते क्योंकि अनुभव बढ़ता है।

क्यों अवतारित सेटिंग्स को एक नए परीक्षण की आवश्यकता है

निरंतर सीखने के लिए मॉडल की आवश्यकता होती है कि वे पिछले अनुभव को संचित करें और इसे नए कार्यों में स्थानांतरित कर दें। इस क्षेत्र में अधिकांश शोध गैर-अंकित सेटिंग्स पर केंद्रित हैं, जहां सीखना कार्य अनुक्रमों, भविष्यवाणियों या dataset आधारित मूल्यांकन के माध्यम से मापा जाता है। यह एक अंतर छोड़ता हैः जब कोई एजेंट सिमुलेटेड वातावरण के अंदर काम करता है, तो उसे बाद के लक्ष्यों, टिप्पणियों और कार्रवाई आवश्यकताओं के साथ पहले की बातचीत को जोड़ना होगा।

Embodied CL Bench इस अंतर को दूर करने के लिए डिज़ाइन किया गया है। केवल यह पूछने के बजाय कि क्या कोई एजेंट एक परिचित कार्य पूरा कर सकता है, बेंचमार्क पूछता है कि क्या पहले की शिक्षा का बाद में अधिक कठिन कार्यों के लिए अवशोषित वातावरण में पुनः उपयोग किया जा सकता है। इससे इसे आत्म-विकासशील एजेंटों के लिए प्रासंगिक बना दिया जाता है, जो इनपुट के निश्चित सेट पर प्रतिक्रिया देने के बजाय समय के साथ अपने व्यवहार को अपडेट करने की उम्मीद करते हैं।

This benchmark evaluates continual learning for self-evolving embodied agents.

क्या रचनात्मक सामान्यीकरण जाँच करता है

बेंचमार्क अपने मूल मूल्यांकन सिद्धांत के रूप में रचनात्मक सामान्यीकरण का उपयोग करता है। सरल शब्दों में, इसका मतलब है कि एजेंटों को बुनियादी कार्यों से कौशल सीखना चाहिए और फिर जटिल, अदृश्य उन्नत कार्यों को हल करने के लिए उन कौशलों को पुनः संयोजित करना चाहिए।

Embodied CL Bench इसलिए दो-चरण की प्रक्रिया का मूल्यांकन करता हैः पहला, एजेंट बुनियादी कार्यों से सीखते हैं; दूसरा, वे प्राप्त कौशल को उन्नत कार्यों पर लागू करते हैं जिन्हें नए संयोजनों की आवश्यकता होती है।

जहां मौजूदा एजेंट अभी भी कम हैं

Using Embodied CL Bench, शोधकर्ता कई एजेंट हार्नेस और सीखने के तरीकों पर व्यापक प्रयोग चलाते हैं। निष्कर्ष लगातार सीमाएं और विशिष्ट व्यवहार दिखाते हैं।

शून्य-शॉट सेटिंग के तहत, उन्नत कार्यों को मुश्किल से हल किया जा सकता है। जब एजेंट को बुनियादी कार्यों से उपयोगी अनुभव के बिना सीधे उन्नत कार्य दिया जाता है, तो यह संघर्ष करता है। पूर्व अनुभव प्रदर्शन में सुधार करता हैः मूल कार्यों का अनुभव बाद के उन्नत कार्यों पर लगातार सुधार करने में सक्षम बनाता है।

This benchmark evaluates continual learning for self-evolving embodied agents.

बेंचमार्क से यह भी पता चलता है कि जब कार्य की जटिलता बढ़ती है तब भी यह लाभ स्थिर रहता है। दूसरे शब्दों में, कठिन उन्नत कार्य स्वचालित रूप से पहले के सीखने से प्राप्त लाभ को समाप्त नहीं करते हैं।

मुख्य विफलता स्केलिंग में दिखाई देती है। सुधार सीखने के नमूनों की संख्या के साथ तदनुसार नहीं बढ़ता है। वर्तमान एजेंट अतिरिक्त अनुभव से सार्थक जानकारी प्राप्त नहीं कर सकते हैं। इससे पता चलता है कि बोतल का गला बस एजेंटों को अधिक उदाहरण देना नहीं है; कठिन समस्या अनुभव को पुनः प्रयोज्य कौशल में बदल रही है।

एजेंट विकास के लिए बेंचमार्क क्यों मायने रखता है

परिणाम निरंतर सीखने को आत्म-विकासशील एजेंटों के लिए एक मौलिक अभी तक अधूरी क्षमता के रूप में उजागर करते हैं। डेवलपर्स के लिए, Embodied CL Bench दो सवालों को अलग करने का एक तरीका प्रदान करता है जो अक्सर एक साथ मिश्रित होते हैंः क्या पहले सीखना बिल्कुल मदद करता है, और क्या अधिक सीखने से अधिक मदद मिलती है।

एजेंट अनुसंधान के बाद पाठकों के लिए, बेंचमार्क का सुझाव है कि आत्म-विकास को ऐसे तरीकों की आवश्यकता होती है जो अनुभव को हस्तांतरणीय कौशल में पुनर्गठित कर सकें। रचनात्मक सामान्यीकरण के आसपास निर्मित एक परीक्षण यह पता लगाने में मदद कर सकता है कि क्या नए हार्नेस या सीखने की विधियां उस पुनर्गठन में सुधार करती हैं, न कि केवल अलग-अलग कार्यों पर प्रदर्शन में सुधार करना।

शोधकर्ताओं ने बेंचमार्क कोड और https://pku-value-lab.github.io/Embodied-CL-Bench-homepage पर dataset प्रदान करते हैं। यह एक ठोस चुनौती से बंधे परीक्षण को रखते हुए, अवशोषित सिमुलेशन के भीतर निरंतर सीखने का मूल्यांकन करने के लिए एक साझा प्रारंभिक बिंदु देता हैः क्या कोई एजेंट बुनियादी कार्यों से सीख सकता है और फिर जो कुछ भी उसने अनदेखा उन्नत कार्यों को हल करने में सीखा है उसे पुनः संयोजित कर सकता है?

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.