शुरुआती मूल बातें

यह अध्ययन दीर्घ क्षितिज एजेंटों में अभिनेता, न्यायाधीश और शिक्षक निर्णय मॉडल की व्याख्या करता है

एक अध्ययन से पता चलता है कि कमजोर LLM अभिनेता एजेंटों को चरण-स्तरीय न्यायाधीश पुरस्कार के माध्यम से सिखा सकते हैं, जिससे दीर्घ क्षितिज कार्यों में ALFWorld और WebShop प्रदर्शन में सुधार होता है।

यह अध्ययन दीर्घ क्षितिज एजेंटों में अभिनेता, न्यायाधीश और शिक्षक निर्णय मॉडल की व्याख्या करता है

मुख्य जानकारी

  • एक एकल निर्णय मॉडल उम्मीदवार के कार्यों पर संभावनाओं जैसे टाइप किए गए फैसलों को आउटपुट करके अभिनेता, न्यायाधीश या शिक्षक के रूप में कार्य कर सकता है।
  • ऐसे मॉडल जो अभिनेताओं के रूप में खराब प्रदर्शन करते हैं वे अभी भी मजबूत न्यायाधीश हो सकते हैं, क्योंकि पूर्ण प्रक्षेपवक्र को देखते हुए पता चलता है कि कौन से कदम महत्वपूर्ण थे।
  • चरण-स्तरीय निर्णय अंतिम सफलता संकेतों की तुलना में बेहतर क्रेडिट असाइनमेंट प्रदान करता है, जो इसे सुदृढीकरण सीखने के लिए उपयोगी बनाता है।
  • Using JEV Qwen2.5-1.5B नीति को प्रशिक्षित करने के लिए चरण-स्तरीय संकेतों ने ALFWorld और WebShop पर प्रदर्शन में सुधार किया।
  • निर्णय मॉडल का मूल्यांकन केवल कच्चे कार्य चयन द्वारा नहीं किया जाना चाहिए, क्योंकि आकलन क्षमता एक मूल्यवान शिक्षण संकेत बन सकती है।

मेटा विवरणः ZJU-REAL निर्णय मॉडल से पता चलता है कि कमजोर अभिनेता मॉडल अभी भी JEV चरण स्तर के संकेतों के साथ Qwen2.5-1.5B नीति सिखा सकते हैं, ALFWorld और WebShop प्रदर्शन में सुधार करते हैं।

टैगः निर्णय मॉडल, सुदृढीकरण सीखना, Qwen2.5-1.5B, ALFWorld, वेबशॉप

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> कार्रवाई के कदम और इनाम संकेत, कोई लोग, लोगो या पाठ.

लीडः एक मॉडल, तीन नौकरियां

निर्णय मॉडल आउटपुट टाइप किए गए फैसले, जैसे उम्मीदवारों के कार्यों पर एक संभावना, इसलिए एक मॉडल एक अभिनेता, न्यायाधीश या शिक्षक हो सकता है जो सुदृढीकरण-सीखने की नीति चरण-स्तरीय पुरस्कार देता है। सामग्री पूछती हैः यदि कोई मॉडल कार्रवाई चुनते समय खराब प्रदर्शन करता है, तो क्या यह अभी भी दूसरे मॉडल को सिखा सकता है कि कौन से कार्य मायने रखते हैं?

उत्तर में 3 निर्णय मॉडल और 3 सामान्य एलएलएम की तुलना की गई है, साथ ही JEV, Qwen2.5-1.5B, ALFWorld और WebShop के साथ नीति प्रशिक्षण भी दिया गया है।

सभी छह मॉडल अभिनेता के समान ही असफल रहे

This Study Explains Actor, Judge, and Teacher Decision Models in Long-Horizon Agents

एएलएफवर्ल्ड में, अभिनेताओं के रूप में उपयोग किए जाने वाले सभी छह मॉडल एक ही तरह से विफल हो गएः प्रत्येक को आसान उप-लक्ष्य की ओर खींचा गया और एक आवश्यक कदम छोड़ दिया।

यह पैटर्न उप-लक्ष्य चयन के बारे में है, कार्य ज्ञान की कमी नहीं। यदि एक मॉडल खराब काम करता है लेकिन अच्छी तरह से निर्णय लेता है, तो इसका ज्ञान अभी भी उपयोगी हो सकता है।

निर्णय से लापता पूर्व शर्त का पता चला

न्यायाधीशों के रूप में, पूर्ण प्रक्षेपवक्र को देखते हुए, समान मॉडल ने सही ढंग से उन चरणों का श्रेय दिया जो छोड़ दिए गए पूर्व शर्त को आगे बढ़ाए।

सामग्री पूरे कार्य की सफलता का अनुमान लगाने से अलग है कि क्या प्रत्येक चरण ने मदद की। उपयोगी संकेत कदम-स्तरीय निर्णय से आया था।

सुदृढीकरण सीखने के लिए, एक अंतिम परिणाम बहुत मोटा हैः यह कहता है कि क्या कार्य सफल हुआ, लेकिन कौन सी कार्रवाई ने इसे संभव बनाया। चरण-स्तरीय निर्णय उस लापता क्रेडिट को पुनर्प्राप्त करता है।

एक कमजोर अभिनेता अभी भी एक मजबूत शिक्षक हो सकता है क्योंकि एक अभिनेता को परिणामों का अनुमान लगाना चाहिए, जबकि एक न्यायाधीश एक पूर्ण एपिसोड की जांच कर सकता है।

This Study Explains Actor, Judge, and Teacher Decision Models in Long-Horizon Agents

जेईवी ने चरण निर्णयों को प्रशिक्षण लाभ में बदल दिया

शिक्षक विधि JEV है। यह GRPO के साथ प्रशिक्षित Qwen2.5-1.5B नीति को चरण-स्तरीय संकेतों की आपूर्ति करता है।

ALFWorld को 72.8% से 82.9% में स्थानांतरित कर दिया गया। वेबशॉप 56.8% से 71.4% में ले जाया गया।

लाभ कार्रवाई के स्तर पर मार्गदर्शन से आते हैं, न कि केवल एक अंतिम सफलता संकेत, कदमों को स्पष्ट करना यहां तक कि जब अभिनेता विकल्प अविश्वसनीय थे।

निर्णय मॉडल का मूल्यांकन केवल कच्चे कार्रवाई चयन द्वारा नहीं किया जाना चाहिए। एक कमजोर अभिनेता मूल्यवान न्यायाधीश हो सकता है, जो आकलन क्षमता को सुदृढीकरण-शिक्षण शिक्षण संकेत में बदल देता है।

अब कहाँ देखना है

परियोजना पृष्ठ: https://zjureal.com/decision-agents/; कोडः https://github.com/ZJU-REAL/decision-agents। खुला प्रश्न यह है कि क्या यह पैटर्न ALFWorld और WebShop से परे रहता है, और क्या चरण-स्तरीय निर्णय लेने में मदद मिलती है जहां अंतिम परिणाम व्यक्तिगत कार्यों के लिए दुर्लभ या कठिन होते हैं।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.