प्रत्येक token को अनुकूली बहु-शिक्षक नीति पर आत्म-निष्कर्षण के माध्यम से अपने स्वयं के शिक्षक की आवश्यकता होती है
बहु-शिक्षक अनुकूली नीति पर आत्म-निष्कासन प्रत्येक LLM token को एक शिक्षक चुनने की अनुमति देता है, Qwen3 गणित तर्क में आधार मॉडल से अधिक 5.9 तक सुधार करता है।
मुख्य जानकारी
- एमटीए-ओपीएसडी token स्तर के अनुकूलनशील नीति पर स्व-निष्कासन की शुरुआत करता है, जिससे प्रत्येक उत्पन्न token, एक निश्चित शिक्षक या प्रतिक्रिया-स्तर पर्यवेक्षण पर भरोसा करने के बजाय शिक्षक पूल से अपने पसंदीदा शिक्षक का चयन कर सकता है।
- यह विधि इस बात के प्रमाण से प्रेरित है कि शिक्षक वरीयता एक ही प्रतिक्रिया में भिन्न हो सकती है, जिसमें बहुसंख्यक मतदान और KL विचलन के माध्यम से पसंदीदा शिक्षकों की पहचान करने वाले पायलट अध्ययन शामिल हैं।
- क्यूवेन3 गणितीय तर्क प्रयोगों में, एमटीए-ओपीएसडी लगातार मौजूदा नीतिगत स्व-निष्कासन दृष्टिकोण से बेहतर प्रदर्शन करता है, जो आधार मॉडल पर +5.9 तक के औसत लाभ की रिपोर्ट करता है।
- कागज का सुझाव है कि प्रशिक्षण के बाद पर्यवेक्षण अधिक प्रभावी हो सकता है जब token स्तर पर अनुकूलित किया जाता है न कि केवल प्रतिक्रिया स्तर पर।
मेटा विवरण: एमटीए-ओपीएसडी एक token -स्तरीय स्व-निष्कासन विधि है जो क्यूवेन 3 मॉडल को गणित तर्क प्रशिक्षण में प्रत्येक token के लिए एक शिक्षक चुनने की अनुमति देती है, जिसमें रिपोर्ट किए गए लाभ होते हैं।
टैगः AI प्रशिक्षण, स्व-निष्कर्षण, large language models, Qwen3, गणित तर्क
विशेष रुप से प्रदर्शित छवि: गणित प्रशिक्षण के दौरान प्रत्येक token के लिए एक शिक्षक चुनने वाले मॉडल का अमूर्त मैत्रीपूर्ण चित्रण, बिना किसी वास्तविक व्यक्ति, कोई लोगो और कोई पाठ।
एमटीए-ओपीएसडी, मल्टी टीचर एडाप्टिव ऑन पॉलिसी सेल्फ डिस्टिलेशन के लिए संक्षिप्त है, large language models के लिए एक पोस्ट ट्रेनिंग विधि है जो बदलती है कि प्रत्येक उत्पन्न token का पर्यवेक्षण कौन करता है। पूरे प्रशिक्षण रन के लिए किसी शिक्षक को तय रखने या केवल प्रतिक्रिया स्तर पर शिक्षक एक्सपोजर बदलने के बजाय, यह हर token को पूल से अपना पसंदीदा शिक्षक चुनने देता है। गणितीय तर्क कार्यों पर Qwen3 मॉडल के साथ प्रयोगों में, लेखकों ने आधार मॉडल पर +5.9 तक की औसत लाभ की रिपोर्ट दी।
एक शिक्षक क्यों पर्याप्त नहीं है?
अन-पॉलिसी सेल्फ डिस्टिलेशन ने large language models प्रशिक्षण के बाद एक शिक्षक का निर्माण करके विशेषाधिकार प्राप्त संदर्भों पर सशर्त रूप से प्रभावी साबित किया है। सरल शब्दों में, छात्र मॉडल को विशेषताओं वाले संदर्भों के आसपास बनाए गए एक शिक्षक द्वारा निर्देशित किया जाता है। पहले की विधियां आमतौर पर उस शिक्षक को पूरे प्रशिक्षण के दौरान स्थिर रखती हैं जो इसे लगातार पूर्ण संदर्भ के लिए उजागर करती हैं, या वे प्रतिक्रियाओं में आंशिक संदर्भ जोखिम बदलते हैं लेकिन प्रत्येक उत्तर के भीतर पर्यवेक्षण को समान रखते हैं।
पेपर का तर्क है कि न तो सेटअप पर्याप्त है। यदि शिक्षक पूरे प्रशिक्षण रन के लिए तय किया जाता है, तो यह प्रतिबिंबित नहीं कर सकता है कि विभिन्न tokens को अलग-अलग मार्गदर्शन की आवश्यकता हो सकती है। अगर शिक्षक केवल प्रतिक्रिया से प्रतिक्रिया में बदलता है, तब भी यह मानता है कि एक शिक्षक वरीयता प्रत्येक token को एक ही उत्तर में कवर कर सकती है. लेखकों का कहना है कि उसी प्रतिक्रिया के भीतर शिक्षकों की प्राथमिकताएं भिन्न हो सकती हैं।
पायलट अध्ययन से साक्ष्य
एक शिक्षक-हस्तक्षेप पायलट अध्ययन इस दावे का समर्थन करता है। यह मान्य करता है कि tokens में शिक्षक वरीयता भिन्न होती है, और इससे पता चलता है कि कुलबैक-लीबलर विचलन के आधार पर बहुमत मतदान और चयन के माध्यम से प्रत्येक token के लिए पसंदीदा शिक्षक की पहचान की जा सकती है, जो संभावना वितरण की तुलना करने वाला उपाय है। ये साक्ष्य प्रतिक्रिया स्तर अनुकूलन की तुलना में बारीक दाने वाले पर्यवेक्षण नियम को इंगित करते हैं।
MTA-OPSD Chooses एक शिक्षक कैसे
पायलट अध्ययन से प्रेरित होकर, लेखकों ने बहु-शिक्षक अनुकूली ऑन-पॉलिसी स्व-निष्कासन का प्रस्ताव दिया है, जिसे पहले token -स्तरीय अनुकूलन योग्य नीति पर आत्म-निस्कासन विधि के रूप में वर्णित किया गया है। यह विधि उम्मीदवार शिक्षकों से मिलकर एक बहु-गुरु पूल बनाती है। प्रशिक्षण के दौरान, प्रत्येक token उस पूल से अपने पसंदीदा शिक्षक को अनुकूलित रूप से चुन सकता है। कोड https://github.com/xingzhejun/MTA-OPSD पर उपलब्ध है।
क्यूवेन3 परिणाम क्या सुझाव देते हैं
गणितीय तर्क कार्यों पर Qwen3 मॉडल के साथ प्रयोगों से पता चलता है कि एमटीए-ओपीएसडी लगातार +5.9 तक आधार मॉडल की तुलना में औसत लाभ के साथ मौजूदा नीतिगत स्व-निष्कासन दृष्टिकोण को बेहतर बनाता है। रिपोर्ट किए गए साक्ष्य token स्तर पर शिक्षक पर्यवेक्षण को अनुकूलित करने के महत्व पर प्रकाश डालते हैं।

Comments (0)