क्या घने पुरस्कार समूह सापेक्ष नीति अनुकूलन में उनकी token लागत को सही ठहराते हैं?
एक अध्ययन से पता चलता है कि जब गणना मेल खाती है तो घने पुरस्कार समूह-सापेक्ष नीति अनुकूलन को खो देते हैं; विफलता सीमा के पास शीघ्र चयन मदद करता है।
मुख्य जानकारी
- Dense Monte-कार्लो प्रक्रिया पुरस्कार प्रति अद्यतन बेहतर दिख सकते हैं लेकिन जीआरपीओ के लिए खो देते हैं जब समान उत्पन्न tokens और GPU -घंटे की तुलना में।
- घने पुरस्कारों के लिए नमूनाकरण निरंतरता अधिकांश प्रशिक्षण tokens का उपभोग करती है, तुलनाओं को अनुचित बनाती है; एकल-बैच ढाल जांच केवल दिशात्मक हैं और लाभ को अधिक महत्व दे सकते हैं।
- सफलता की सीमा के निकट संकेतों का चयन, विशेष रूप से उन लोगों को मॉडल अक्सर विफल होने की भविष्यवाणी करता है, मिलान किए गए कंप्यूटिंग के तहत छोटे लेकिन दोहराए जाने वाले सटीकता लाभ देता है।
- निष्पक्ष गणना मूल्यांकन आवश्यक है: कुछ स्पष्ट सुधार अतिरिक्त गणना से आते हैं, और सरल अनुकूलक परिवर्तन समान लाभ प्राप्त कर सकते हैं।
मेटा विवरण: समान गणना 1,668 रन में प्रक्रिया इनाम लाभ को उलट देती हैः मोंटे-कार्लो पुरस्कार समूह के सापेक्ष नीति अनुकूलन से हार सकते हैं, और त्वरित चयन मदद करता है।
टैगः मिलान किए गए कंप्यूटिंग, भाषा मॉडल तर्क, प्रक्रिया पुरस्कार, समूह-सापेक्ष नीति अनुकूलन, शीघ्र चयन
विशेष रुप से प्रदर्शित छवि: एक समान बजट पैमाने पर मिलने वाले दो प्रशिक्षण मार्गों का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक व्यक्ति नहीं, कोई लोगो नहीं, न ही पाठ।
भाषा-मॉडल तर्क प्रशिक्षण के एक अध्ययन से पता चलता है कि मिलान किए गए कंप्यूटिंग पर इनाम विधियों की तुलना स्पष्ट विजेताओं को उलट सकती है। शोधकर्ताओं ने छह मॉडलों में 1,668 प्रयोग चलाए और पाया कि मोंटे कार्लो नमूनाकरण पर आधारित घनी प्रक्रिया पुरस्कार केवल प्रति अद्यतन न्याय करते समय समूह-सापेक्ष नीति अनुकूलन से बेहतर दिख सकता है, लेकिन जब प्रत्येक विधि उत्पन्न tokens की समान संख्या प्राप्त करती है और उसी प्रशिक्षण GPU -घंटे प्राप्त करता है तो पीछे रह जाती है। परिणाम उन पाठकों के लिए मायने रखता है जो तर्क प्रणाली का निर्माण, ट्यून या मूल्यांकन करते हैं, क्योंकि यह सुझाव देता है कि कुछ स्पष्ट लाभ बेहतर सीखने के बजाय अतिरिक्त गणना को दर्शा सकते हैं।
क्यों प्रक्रिया पुरस्कार मजबूत लग रहा था
प्रशिक्षण विधियां जो सही अंतिम उत्तरों को पुरस्कृत करती हैं, भाषा मॉडल को तर्क सिखाती हैं, लेकिन वे समाधान के प्रत्येक token को एक ही क्रेडिट देते हैं। उस सीमा को संबोधित करने के लिए, शोधकर्ताओं ने घनी प्रक्रिया पुरस्कार का प्रस्ताव दिया है जो मध्यवर्ती चरणों को श्रेय देने की कोशिश करते हैं। एक उदाहरण मोंटे-कार्लो इनाम है जो इसके निरंतरता से नमूने लेकर हर कदम को स्कोर करता है।
समस्या यह है कि इस तरह से प्रत्येक चरण की जांच करना महंगा हो सकता है। अध्ययन में उल्लेख किया गया है कि प्रति प्रशिक्षण अद्यतन समूह-सापेक्ष नीति अनुकूलन के साथ ऐसे इनाम की तुलना करना, या इसे एक एकल बैच पर token ग्रेडिएंट चेक के साथ परीक्षण करना, इसकी लागत को छोड़ देता है. अध्ययन की गई सेटिंग में, नमूने किए गए निरंतरताओं ने अकेले सभी उत्पन्न tokens में से 91% लिया। इसका मतलब है कि विधि अपडेट के अनुसार अधिक सटीक दिखाई दे सकती है क्योंकि यह प्रशिक्षण के दौरान बहुत अधिक उत्पन्न आउटपुट का उपयोग करती है।
tokens और GPU -घंटे के मिलान से रैंकिंग बदल जाती है
तुलना को अधिक निष्पक्ष बनाने के लिए, शोधकर्ताओं ने एक मिलान-कंप्यूटर प्रोटोकॉल पेश किया। यह प्रोटोकोल प्रत्येक प्रशिक्षण हस्तक्षेप को समान बजट देता है, जो उत्पन्न tokens और प्रशिक्षण में GPU -घंटे दोनों में मापा जाता है, और इसे पूर्व पंजीकृत अध्ययनों में साइड इफेक्ट्स के लिए नियंत्रण के साथ परीक्षण करता है।
Qwen2.5-1.5B पर, मोंटे कार्लो इनाम ने प्रति अद्यतन मानक समूह-सापेक्ष नीति अनुकूलन का नेतृत्व किया। फिर भी यह tokens के बराबर 14.3 प्रतिशत अंक कम और समान प्रशिक्षण समय में 7.8 अंकों से नीचे समाप्त हुआ। चार घने पुरस्कार वाले किसी भी संस्करण ने उतना ही प्रशिक्षण समय दिए जाने पर भी समूह-संबंधी नीति ऑप्टिमाइज़ेशन को पीछे नहीं छोड़ा।
अध्ययन ने एक सस्ता नैदानिक की भी जांच की: प्रति- token ग्रेडिएंट टेस्ट। उस परीक्षण ने इन पुरस्कारों को उसी तरह से क्रमबद्ध किया जैसे प्रशिक्षण करता था, लेकिन इसने प्रत्येक को एक या दो अंकों द्वारा अधिक महत्व दिया। यह अंतर उतना ही बड़ा है जितना कि परीक्षण का पता लगाने के लिए लाभ होता है, इसलिए यह तय करने के लिए पर्याप्त नहीं हो सकता है कि क्या कोई नया इनाम अपनाने लायक है।
जो अभी भी काम करता है: सफलता की सीमा के पास संकेत
सभी हस्तक्षेप समान बजट के तहत गायब नहीं हुए। अध्ययन में पाया गया कि उन संकेतों पर प्रशिक्षण जिनकी भविष्यवाणी की गई सफलता 1/2 से अधिक है, मिलान किए गए गणना में सटीकता में सुधार हुआ। Qwen3-0.6B पर लाभ 1.7 अंक और Qwen2.5-1.5B पर 0.8 अंक था।
उन लाभों को ताजा बीज और अनदेखी समस्याओं पर दोहराया गया। शोधकर्ताओं ने एक सरल नियम का भी परीक्षण कियाः उम्मीदवार संकेत अधिक बार विफल होने की भविष्यवाणी करनी चाहिए। उस नियम ने अनुमान लगाया कि छह पूर्व-पंजीकृत परीक्षणों में से पांच में मिलान किए गए कंप्यूटिंग लाभ कहां दिखाई दिए।
पाठकों के लिए, व्यावहारिक पठन यह है कि शीघ्र चयन मदद कर सकता है, लेकिन प्रभाव विशिष्ट है और इसे एक उचित कंप्यूटिंग बजट से जांचना चाहिए। अध्ययन उन संकेतों की ओर इशारा करता है जहां मॉडल को अक्सर विफल होने की भविष्यवाणी की जाती है, बजाय इसके कि मॉडल पहले से ही हल करने की संभावना है।
कितना लाभ के लायक है
मिलान-गणना प्रोटोकॉल रैंक विधियों से अधिक करता है। यह भी मापता है कि लाभ की लागत क्या है। अध्ययन में बताया गया है कि सफलता सीमा के पास संकेतों का चयन करने से सटीक लाभ प्रशिक्षण में जल्दी आते हैं। इसमें यह भी पाया जाता है कि प्रारंभिक सीखने की दर दोगुनी होने वाली मानक समूह-सापेक्ष नीति अनुकूलन उन लाभों के आधे बिंदु के भीतर आता है।
यह तुलना महत्वपूर्ण है। यदि कोई विधि 0.8 या 1.7 अंकों से सटीकता में सुधार करती है, तो मौजूदा ऑप्टिमाइज़र सेटिंग्स के लिए एक सरल परिवर्तन उसी लाभ को पकड़ सकता है। पेपर नहीं कहता है कि प्रॉम्प्ट-चयन परिणाम बेकार है; इसका व्यावहारिक मूल्य वैकल्पिक विकल्पों के खिलाफ आंका जाना चाहिए जो समान गणना का उपयोग करते हैं।
पाठकों को क्या सीखना चाहिए
अध्ययन में तर्क दिया गया है कि प्रशिक्षण हस्तक्षेपों को मिलान किए गए कंप्यूटिंग पर मान्य किया जाना चाहिए। वह मानक कुछ स्पष्ट लाभों को उलट देता है और दूसरों की पुष्टि करता है। यह पाठकों को एक स्पष्ट परीक्षण प्रदान करता हैः केवल यह न पूछें कि क्या कोई इनाम प्रत्येक चरण को अधिक बारीकी से स्कोर करता है या यदि ग्रेडिएंट जांच आशाजनक लगती है। दोनों विधियों के बाद विधि जीतता है, तो tokens उत्पन्न करने और समान GPU -घंटे की अनुमति दी जाती है।
तर्क मॉडल विकसित करने वाली टीमों के लिए, परिणाम तीन जांच का सुझाव देता है। सबसे पहले, tokens उत्पन्न की गिनती करें, न कि JUST अपडेट, जब इनाम की तुलना करते हैं जो नमूना निरंतरता देते हैं। दूसरा, सिंगल-बैच ग्रेडिएंट परीक्षण को दिशात्मक संकेतों के रूप में व्यवहार करें, अंतिम प्रमाण नहीं। तीसरा, जब एक प्रॉम्प्ट-सिलेक्शन ट्रिक मदद करता है, तो यह जांचें कि क्या प्रारंभिक सीखने की दर को दोगुना करना जैसे सरल परिवर्तन उसी परिणाम के करीब हो जाता है या नहीं।
व्यापक संदेश यह है कि कंप्यूटिंग निष्पक्षता निष्कर्ष को बदल सकती है। एक विधि जो बेहतर दिखती है क्योंकि वह प्रशिक्षण के दौरान अधिक आउटपुट tokens खर्च करती है, जब उन लागतों की गिनती होती है तो वे खो सकते हैं। समान- token और बराबर समय परीक्षणों से बचने वाली पद्धति में मजबूत सबूत होते हैं कि यह वास्तव में सीखने में सुधार करता है।

Comments (0)