प्रसार-आधारित इनाम मॉडल
डीआरएम पुरस्कार को एक सशर्त वितरण के रूप में मानता है, multimodal मानव वरीयताओं का संरक्षण करता है और RLHF में निश्चित पैरामीटर मान्यताओं से बचा जाता है।
मुख्य जानकारी
- Diffusion Reward Model (डीआरएम) एक एकल स्केलर इनाम की भविष्यवाणी करने के बजाय, पी पर सशर्त घनत्व अनुमान के रूप में पुरस्कार मॉडलिंग को रीफ्रेम करता है।
- यह दृष्टिकोण मानव वरीयता की multimodal प्रकृति से प्रेरित है, जहां एक ही शीघ्र-प्रतिक्रिया जोड़ी के लिए कई इनाम मूल्य उचित हो सकते हैं।
- डीआरएम एक निश्चित पैरामेट्रिक इनाम वितरण के लिए प्रतिबद्ध होने से बचता है, जिससे जटिल पुरस्कार पैटर्न जैसे कि कई चोटियों का अधिक लचीला प्रतिनिधित्व होता है।
- सार्वजनिक भंडार एक नया फ्रेमिंग और कार्यान्वयन प्रारंभिक बिंदु प्रदान करता है, लेकिन अंश में बेंचमार्क स्कोर, dataset विवरण या पूर्ण मूल्यांकन परिणाम शामिल नहीं हैं।
- अगला महत्वपूर्ण प्रश्न यह है कि RLHF में इनाम वितरण का उपयोग कैसे किया जाए, जैसे पुरस्कारों के नमूने लेना, पूर्ण वितरण की तुलना करना या निर्णय नियमों को लागू करना जो बहुआयामीता को संरक्षित करते हैं।
मेटा विवरण: Diffusion Reward Model एक निश्चित इनाम वितरण परिवार से बचने के लिए, p{\displaystyle \rho } x, y पर सशर्त घनत्व अनुमान के रूप में मानव वरीयता को पुनः फ्रेम करता है।
टैगः Diffusion Reward Model, पुरस्कार मॉडलिंग, सशर्त घनत्व अनुमान, मानव वरीयता, RLHF
विशेष रुप से प्रदर्शित छवि: शीघ्र-प्रतिक्रिया जोड़ी पर एक चिकनी वितरण के रूप में कई इनाम चोटी का अमूर्त अनुकूल चित्रण; कोई वास्तविक लोग, कोई लोगो, कोई पाठ नहीं।
यदि आप मानव प्रतिक्रिया ( RLHF ), इनाम मॉडलिंग, या मॉडल संरेखण से reinforcement learning पर काम करते हैं, तो सार्वजनिक Diffusion Reward Model रिपॉजिटरी एक ठोस नई फ्रेमिंग प्रदान करती हैः यह मानव वरीयता की multimodal संरचना का अध्ययन करता है और p{\displaystyle r} x, y के ऊपर सशर्त घनत्व अनुमान के रूप में पुरस्कार मॉडलिंग को पुनः पेश करता है। इसके बजाय पूछने के लिए कि क्या कोई उत्तर एक निश्चित स्कोर योग्य है, यह स्कोर को प्रॉम्प्ट और एक प्रतिक्रिया पर निर्भर संभावना वितरण के तौर पर देखता है। कोड https://github.com/thunlp/DRM पर उपलब्ध है।
रिपॉजिटरी क्या प्रस्तावित करती है
Diffusion Reward Model, जिसे डीआरएम भी कहा जाता है, वरीयता सीखने के लक्ष्य को बदल देता है. कई इनाम-मॉडल सेटअप में, एक मॉडल प्रॉम्प्ट x और प्रतिक्रिया y लेता है और एक सिंगल रिवार्ड r लौटाता है। DRM उन चरों को रखता है लेकिन एकल आउटपुट की जगह p{\displaystyle \mathrm {p} } x,y डालता है) । यह संकेतन प्रोम्प्ट एक्स और प्रतिक्रिया वाई दिए गए पुरस्कार आर की संभावना घनत्व के रूप में पढ़ा जाता है।
महत्वपूर्ण बदलाव एक बिंदु अनुमान से वितरण तक है। वितरण एक ही इनपुट-आउटपुट जोड़ी के लिए कई प्रशंसनीय इनाम मूल्यों का वर्णन कर सकता है। प्रस्ताव में यह भी कहा गया है कि इस वितरण को किसी भी पैरामीटर परिवार के प्रति प्रतिबद्धता के बिना दर्शाया जाता है। एक पैरामीट्रिक परिवार एक निश्चित कार्यात्मक रूप है, जैसे सामान्य वितरण, जिसे एक मॉडल मेल खाना चाहिए। उस धारणा से बचकर, विधि उन पुरस्कार पैटर्न को व्यक्त कर सकती है जो एक सरल वक्र पर फिट नहीं होते हैं।
multimodal मानव वरीयता क्यों मायने रखती है
मानव वरीयता अक्सर एक आयामी नहीं होती है। दो समीक्षकों को अलग-अलग कारणों से एक ही उत्तर पसंद हो सकता है, और विभिन्न उपयोगकर्ता समूह इस बारे में असहमत हो सकते हैं कि बेहतर प्रतिक्रिया के रूप में क्या मायने रखता है। RLHF में, यह multimodal प्राथमिकता की तरह दिखाई दे सकता हैः कई इनाम मूल्य समान संकेत और प्रतिक्रिया के लिए उचित हो सकते हैंः
एक एकल स्केलर इनाम शिखरों को औसत करके, असहमति को शोर के रूप में मानकर या उस आम सहमति पर जोर दे सकता है जो डेटा में कभी मौजूद नहीं थी। विवरण कहता है कि अध्ययन इस multimodal संरचना से प्रेरित है, यही कारण है कि पुरस्कार मूल्यों पर वितरण एक संख्या की तुलना में बेहतर फिट है। पाठकों के लिए प्राथमिकता का निर्माण datasets , फ्रेमिंग सुझाव देता है कि लेबल को उन्हें एक स्कोर में ढहने के बजाय कई वैध दृष्टिकोणों को संरक्षित करने की आवश्यकता हो सकती है।
कैसे सशर्त घनत्व अनुमान समस्या को बदलता है
सशर्त घनत्व अनुमान एक सांख्यिकीय कार्य है जहां मॉडल अन्य चर दिए गए लक्ष्य चर की संभावना को सीखता है। यहां, लक्ष्य इनाम आर है, और कंडीशनिंग चर संकेत x और प्रतिक्रिया y हैं।
यह बदलता है कि इनाम मॉडल को क्या आउटपुट करना चाहिए। एक स्केलर मॉडल एक संख्या का उत्पादन करता है; घनत्व मॉडल एक आकार का वर्णन करता है। आकार में एक चोटी, कई चोटियां, भारी पूंछ या विषमताएं हो सकती हैं। प्रस्तावित Diffusion Reward Model को किसी भी पैरामीटर परिवार के लिए प्रतिबद्ध किए बिना इस वितरण का प्रतिनिधित्व करने के रूप में वर्णित किया गया है।
फैलाव मॉडल जनरेटिव मॉडल हैं जो शोर को जोड़कर और उलट कर वितरण सीखते हैं, इसलिए वे एक सरल वक्र मानने के बिना जटिल आकार व्यक्त कर सकते हैं। इसलिए नाम पुरस्कार वितरण के लिए प्रसार-आधारित प्रतिनिधित्व का सुझाव देता है, जबकि मुख्य विचार सशर्त घनत्व p{\displaystyle r} x, y रहता है।
पाठकों को आगे क्या देखना चाहिए
रिपॉजिटरी लिंक पाठकों को कार्यान्वयन का निरीक्षण करने के लिए एक जगह देता है, लेकिन स्रोत अंश बेंचमार्क स्कोर, dataset विवरण, प्रशिक्षण हाइपरपैरामीटर या मूल्यांकन परिणाम प्रदान नहीं करता है। जब तक कि कोड या पेपर में ये विवरण उपलब्ध नहीं होते हैं, तब तक योगदान को रीफ्रेमिंग और कार्यान्वयन के लिए शुरुआती बिंदु के रूप में पढ़ा जाना चाहिए।
फिर भी, फ्रेमिंग संरेखण प्रणाली बनाने वाले किसी व्यक्ति के लिए उपयोगी है। यदि इनाम मॉडल का उपयोग प्रतिक्रियाओं की तुलना करने, नीतियों को अनुकूलित करने या वरीयता अनिश्चितता का अनुमान लगाने के लिए किया जाता है, तो सशर्त वितरण के रूप में उपचार से मनुष्यों के बीच असहमति को अलग करना आसान हो सकता है। अगला व्यावहारिक सवाल यह है कि RLHF के अंदर p ((r x , y) का उपयोग कैसे करेंः चाहे पुरस्कारों का नमूना लेना, पूर्ण वितरणों की तुलना करना, या उन्हें निर्णय नियमों के साथ सारांश देना जो बहुआयामीता को संरक्षित करते हैं।

Comments (0)