विश्व मॉडल के साथ कार्य करना सीखना भविष्य के परिणामों को महत्व देना शामिल है
डब्ल्यूएम-पीपीओ कल्पनाशील उत्तराधिकारी राज्यों को महत्व देने के लिए एक विश्व मॉडल को प्रशिक्षित करता है, जो ओवरहेड के बिना एएलएफवर्ल्ड पर दुर्लभ पुरस्कार क्रेडिट असाइनमेंट और सफलता में सुधार करता है।
मुख्य जानकारी
- डब्ल्यूएम-पीपीओ पीपीओ के लिए एक सीखी हुई दुनिया मॉडल जोड़ता है ताकि दुर्लभ टर्मिनल पुरस्कारों के तहत लंबी क्षितिज सुदृढीकरण सीखने में सुधार किया जा सके।
- यह उत्तराधिकारी राज्यों की भविष्यवाणी करके और उन्हें नीतिगत लाभों तथा महत्वपूर्ण लक्ष्यों दोनों के लिए उपयोग करते हुए निष्पादित न किए गए नमूने कार्यों से प्रशिक्षण संकेत निकालता है।
- परिकल्पित परिणामों को वास्तविक परिवेश के संक्रमण से जुड़े एक विश्वसनीयता गेट द्वारा भारित किया जाता है, इसलिए मॉडल पर अंधाधुंध भरोसा नहीं किया जाता।
- निष्कर्ष समय पर, केवल नीति तैनात की जाती है; विश्व मॉडल का उपयोग प्रशिक्षण के दौरान किया जाता है और इसमें रनटाइम निर्भरता नहीं होती।
- परीक्षण किए गए वातावरणों में, डब्ल्यूएम-पीपीओ पीपीओ पर सफलता दर में सुधार करता है, जिसमें एएलएफवर्ल्ड, साइंसवर्ल्ड और टेक्स्ट सोकोबन शामिल हैं, और अधिक आदेशित पूर्व शर्त व्यवहार को प्रोत्साहित करते हैं।
मेटा विवरणः डब्ल्यूएम-पीपीओ एक विश्व मॉडल और पीपीओ आलोचक का उपयोग करता है ताकि अल्फवर्ल्ड पर 63.5% से 87.5% तक तथा साइंसवर्ल्ड में 39.3% से 52.9% तक की सफलता को बेहतर बनाया जा सके।
टैगः सुदृढीकरण सीखना, विश्व मॉडल, पीपीओ, विरल पुरस्कार, एजेंट प्रशिक्षण
विशेष रुप से प्रदर्शित छवि: किसी विलंबित लक्ष्य के आसपास शाखाओं वाले रास्तों का एक अमूर्त, मैत्रीपूर्ण चित्रण, जिसमें कोई वास्तविक व्यक्ति, लोगो या पाठ नहीं है।
मूल परिवर्तन
WM-PPO एक सुदृढीकरण सीखने की विधि है जो पीपीओ के लिए एक सीखा घटक जोड़ता हैः वास्तविक राज्य संक्रमण पर प्रशिक्षित एक विश्व मॉडल। इस पद्धति का वर्णन 2611.12200 के तहत arXiv में सूचीबद्ध एक कागज में किया गया है, जिसमें कोड और चेकपॉइंट्स गिटहब और Hugging Face पर nuskonghou नाम से जारी किए गए हैं। इसका उद्देश्य लंबे क्षितिज कार्यों में एक सामान्य विफलता मोड को संबोधित करना है, जहां एक विरल टर्मिनल इनाम व्यक्तिगत चरणों के बारे में बहुत कम कहता है।
एक पुरस्कार जो केवल अंत में आता है, वह किसी एजेंट को बता सकता है कि क्या कोई एपिसोड सफल रहा है, लेकिन कौन सी पिछली कार्रवाइयां मायने रखती हैं। पेपर का आधार यह है कि प्रत्येक राज्य संक्रमण सफलता की संभावनाओं को बदल सकता है इससे पहले कि इनाम आ जाए। डब्ल्यूएम-पीपीओ उस अंतर का उपयोग करता है। विश्व मॉडल भविष्यवाणी करता है कि हर नमूना कार्रवाई क्या बदलेगी। पीपीओ के अपने आलोचक तब वर्तमान नीति की सफलता की सम्भावना से पूर्वानुमानित उत्तराधिकारी का मूल्यांकन करते हैं।
क्यों दुर्लभ पुरस्कार कठिन हैं
कई पाठ-आधारित एजेंट कार्यों में, पर्यावरण प्रत्येक कार्रवाई के बाद कोई उपयोगी स्कोर नहीं देता है। इनाम केवल तब दिखाई दे सकता है जब एजेंट एक आइटम रखता है, उत्तर देता है या एपिसोड समाप्त करता है। यह क्रेडिट असाइनमेंट समस्या छोड़ता हैः एजेंट को अनुमान लगाना चाहिए कि कौन से शुरुआती चालें बाद की सफलता की संभावना को बदलती हैं।
डब्ल्यूएम-पीपीओ उस समस्या को संक्रमणों के एक मॉडल का उपयोग करके लक्षित करता है, न कि केवल अंतिम परिणामों का रिकॉर्ड। विश्व मॉडल को वास्तविक संक्रमणों पर प्रशिक्षित किया जाता है, इसलिए यह सीखता है कि किसी कार्रवाई के बाद पर्यावरण कैसे बदलता है। जब नीति नमूने एक कार्रवाई करती है, तो मॉडल अगली स्थिति की भविष्यवाणी करता है जो परिणामस्वरूप होगी। वह पूर्वानुमानित राज्य उत्तराधिकारी होता है।
बिना किए गए कामों से सीखना
मुख्य विवरण यह है कि विधि न केवल निष्पादित की गई क्रियाओं से सीखती है. प्रत्येक कार्रवाई के लिए नीति नमूने, इसके पूर्वानुमानित उत्तराधिकारी का मूल्य दो बार प्रशिक्षण में प्रवेश करता है।
नीति चैनल में, नमूने उम्मीदवारों के बीच तुलना नीति सहायक लाभ देता है। सरल शब्दों में, एजेंट को अतिरिक्त प्रशिक्षण संकेत मिलता है कि कौन सी कार्रवाई दूसरों की तुलना में बेहतर दिखती है, भले ही उन कार्यों में से केवल एक वास्तव में लिया गया हो।
मूल्य चैनल में, उन पूर्वानुमानित मूल्यों का औसत आलोचक को एक-चरण लक्ष्य देता है। यह समीक्षक को अंतिम इनाम की प्रतीक्षा करने के बजाय अधिक तात्कालिक संकेत प्रदान करता है। इसलिए विधि कल्पनाशील अगले राज्यों को प्रशिक्षण जानकारी में बदल देती है, न कि निष्पादित कार्यों को व्यर्थ नमूनों के रूप में मानते हुए।
वास्तविक परिणामों से जुड़ा एक द्वार
काल्पनिक मूल्यों पर अंधाधुंध भरोसा नहीं किया जाता है। एक साझा गेट दोनों चैनलों को वजन देता है कि प्रशिक्षण में पहले समान मूल्य मार्जिन के साथ तुलनात्मक वास्तविक शाखा परिणामों की कितनी विश्वसनीयता से भविष्यवाणी की गई थी। यदि किसी विशेष शैली की तुलना ऐतिहासिक रूप से सही शाखा की ओर इशारा करती है, तो इसका सिग्नल अधिक भार प्राप्त करता है। अगर ऐसा नहीं हुआ है, विधि उस पर कम झुक सकती है।
यह अद्यतन वास्तविक परिणामों पर आधारित बनाता है। विश्व मॉडल एक उत्तराधिकारी का प्रस्ताव करता है, लेकिन प्रशिक्षण वजन अभी भी वास्तविक वातावरण में पहले के संक्रमण से साक्ष्य से जुड़ा हुआ है। गेट एकल चैनल नहीं चुनता है; समान विश्वसनीयता संकेत नीति चैनल और मूल्य चैनल दोनों को भारित करता है।
निष्कर्ष में एक मामूली जोड़
विश्व मॉडल एकमात्र सीखा घटक जोड़ा गया है। विधि कोई शिक्षक मॉडल और किसी विशेषाधिकार प्राप्त जानकारी का उपयोग नहीं करती है। यह तैनाती के लिए मायने रखता हैः केवल नीति निष्कर्षण पर चलती है। अतिरिक्त मशीनरी का उपयोग प्रशिक्षण के दौरान किया जाता है, न कि रनटाइम निर्भरता के रूप में।
चूंकि विश्व मॉडल का उपयोग केवल प्रशिक्षण के दौरान किया जाता है, इसलिए अतिरिक्त जटिलता को नीति के साथ नहीं भेजना पड़ता। एजेंटों के साथ काम करने वाली टीमों के लिए जिन्हें उसी वातावरण में कार्य करना चाहिए जिससे उन्होंने सीखा था, यह अंतिम प्रणाली को सामान्य पीपीओ तैनाती के करीब रखता है।
परीक्षण किए गए कार्यों में परिणाम
वास्तविक पर्यावरण चरणों की तुलनात्मक संख्या के साथ, ALFWorld पर पीपीओ की 63.5% से सफलता बढ़कर 87.5% हो जाती है। साइंसवर्ल्ड पर, रिपोर्ट की गई सफलता 39.3% से 52.9% तक बढ़ती है। पेपर में परीक्षण किए गए PPO परिष्कृतियों में, WM-PPO एएलएफ वर्ल्ड पर सबसे मजबूत मेल खाता है। विज्ञानविश्व पर, यह उन परिष्करणों में से सर्वश्रेष्ठ को 6.5 अंकों से अधिक करता है। यह शिक्षक आधारित तरीकों को भी पार कर जाता है।
पाठ सोकोबन पर, विधि प्रोएक्ट के एमसी-पीपीओ के लिए 77.3% की तुलना में 87.0% तक पहुंचती है। लाभों को कागज की परीक्षण स्थितियों के तहत रिपोर्ट किया जाता है, इसलिए व्यावहारिक मूल्य पर्यावरण, इनाम संरचना और प्रशिक्षण बजट पर निर्भर करता है।
व्यवहार में परिवर्तन का संकेत
रिपोर्ट किया गया व्यवहार केवल उच्च स्कोर नहीं है। प्रशिक्षित नीति अधिक बार आवश्यक चरणों को पूरा करती है, जैसे किसी वस्तु को गर्म करना, ठंडा करना या साफ करना, इसे रखने से पहले या उत्तर देने के लिए प्रतिबद्ध होना।
यह कम पुरस्कार वाले कार्यों में एक सार्थक संकेत है। भाग्यशाली रोलआउट से उच्चतम टर्मिनल सफलता दर आ सकती है, लेकिन पूर्व-आवश्यक चरणों की ओर बदलाव से पता चलता है कि नीति अधिक सुव्यवस्थित प्रक्रिया सीख रही है। यह अंतिम इनाम के लिए प्रतीक्षा करने वाली प्रणाली की तरह काम नहीं करता है और इसके जैसे ही समझता है कि कौन सी प्रारंभिक चालें बाद की चाल को संभव बनाती हैं।
पाठकों के लिए इसका क्या अर्थ है
एजेंटों के साथ काम करने वाले पाठकों के लिए जो अंत तक कम प्रतिक्रिया प्राप्त करते हैं, योगदान सरल हैः डब्ल्यूएम-पीपीओ पीपीओ की मूल तैनाती को बदले बिना प्रत्येक नमूना कार्रवाई से अधिक सीखने के संकेत निकालने का प्रयास करता है। इसे शिक्षक मॉडल की आवश्यकता नहीं होती है, और यह अनुमान पर एक मॉडल चलाने की जरूरत नहीं है।
परिणाम परीक्षण किए गए वातावरण और विधियों तक सीमित हैं, इसलिए व्यावहारिक मूल्य कार्य पर निर्भर करता है। लेकिन तंत्र एक उपयोगी दिशा की ओर इशारा करता हैः यदि वास्तविक संक्रमण महंगे होते हैं और टर्मिनल पुरस्कार दुर्लभ होते हैं, तो एक सीखी हुई दुनिया का मॉडल प्लस एक गेटेड क्रिटिकल सिग्नल एजेंट को उन कार्यों से अधिक सीखने में मदद कर सकता है जिनकी वह केवल कल्पना करती है।
Comments (0)