embedding - LLM के लिए एंकर किए गए शोर के साथ अंतरिक्ष दिशात्मक अन्वेषण
EDEN एक LLM गणित पोस्ट-ट्रेनिंग विधि है जो RLVR रोलआउट के दौरान embeddings को प्रेरित करने के लिए एंकर किए गए गॉसियन शोर जोड़ती है। यह दोहराए जाने वाले लगभग समान नमूनों के बजाय दिशात्मक भिन्नता पैदा करता है, जिससे समूह-सापेक्ष सीखने में अधिक इनाम विपरीत होता है. यह प्रशिक्षण से पहले शोरदार रोलऑउट्स को फ़िल्टर और पुनः भारित करता है। Qwen2.5-Math-1.5B और 7B पर, यह AIME '25 पर रिपोर्ट की गई लाभ के साथ GRPO पर औसत पास @ 256 में सुधार करता है ।
मुख्य जानकारी
- EDEN LLM गणित पोस्ट-प्रशिक्षण को रोलआउट के दौरान embedding -स्पेस इनपुट में एंकर किए गए गॉसियन शोर का इंजेक्शन देकर सुधार करता है, जो मानक नीति नमूने से परे दिशात्मक अन्वेषण सक्षम बनाता है।
- यह एक प्रमुख आरएलवीआर बाधा को लक्षित करता है: एक ही संकेत के लिए बार-बार रोलआउट अक्सर समान प्रक्षेपवक्र में ढह जाते हैं, समूह-सापेक्ष सीखने के संकेतों को कमजोर करते हैं।
- EDEN केवल शोर नहीं जोड़ता है; यह एक साझा लंगर embedding का उपयोग करता है प्लस लाभ-गेटेड फ़िल्टरिंग और शोर-जागरूक रीवेटिंग परेशान रोलआउट को उपयोगी प्रशिक्षण संकेत में बदलने के लिए।
- Qwen2.5-मैथ मॉडल पर, EDEN अंग्रेजी और चीनी गणित बेंचमार्क में GRPO से बेहतर प्रदर्शन करता है, जिसमें औसत पास @ 256 6.67 अंकों का लाभ होता है और AIME 25. 25 पर 13.33 अंक तक।
- परिणाम बताते हैं कि रोलआउट विविधता को embedding इनपुट स्तर पर आकार दिया जा सकता है, हालांकि सबूत वर्तमान में सभी मॉडलों या आरएल सेटिंग्स के बजाय क्यूवेन 2.5-मैथ और जीआरपीओ-शैली सेटअप से बंधे हुए हैं।
मेटा विवरण: EDEN LLM गणित पोस्ट-प्रशिक्षण रोलआउट के लिए एंकर किए गए शोर को जोड़ता है, जो गणितीय तर्क में पास @ 256 पर जीआरपीओ की तुलना में अन्वेषण और Qwen2.5-मैथ परिणामों में सुधार करता है।
Tags: EDEN, LLM पोस्ट-ट्रेनिंग, गणित तर्क, आरएलवीआर, जीआरपीओ
विशेष रुप से प्रदर्शित छवि: embedding अंतरिक्ष में LLM गणित अन्वेषण का मार्गदर्शन करने वाले एंकर किए गए गॉसियन शोर के अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
क्यों बार-बार रोलआउट गणित के बाद प्रशिक्षण को रोक सकता है
गणित के लिए large language models का निर्माण या शोध करने वाली टीमों के लिए, EDEN एक पोस्ट-प्रशिक्षण विधि है जो embedding अंतरिक्ष में रोलआउट इनपुट में एंकर किए गए शोर को इंजेक्ट करती है। यह मॉडल जांच समाधान देता है कि इसका सामान्य नमूना छूट जाएगा। इसका उद्देश्य आरएलवीआर सेटअप पर है जहां एक संकेत कई बार नमूने लिया जाता है ताकि आउटपुट की तुलना समूह के भीतर की जा सके।
आरएलवीआर में, एक ही संकेत के लिए बार-बार रोलआउट अक्सर बहुत समान प्रक्षेपवक्रों में गिर जाते हैं। यदि समूह भिन्न नहीं होता है, तो इनाम अंतर समूह-सापेक्ष सीखने के लिए बहुत छोटा हो जाता है, भले ही मॉडल पहले से ही कई आउटपुट का नमूना ले चुका हो।
एंकर किया गया शोर इनपुट को बदलता है, नमूनाकरण सतह नहीं
EDEN उस समस्या को संबोधित करता है इससे पहले कि मॉडल उत्तर उत्पन्न करे. एक संकेत के लिए, यह पहले मानक रोलआउट एकत्र करता है। फिर यह उन इनपुट से एक और रोल आउट बैच बनाता है जिनके embeddings को स्थानांतरित कर दिया गया है. गौसियन शोर शिफ्ट की आपूर्ति करता है. एक साझा एंकर embedding पूरे बैच को एक सामान्य कंडीशनिंग दिशा देता है.
लंगर मनमानी शोर से महत्वपूर्ण अंतर है। परेशान रोलआउट अभी भी बदलते हैं, लेकिन वे एक संदर्भ बिंदु के बिना बिखरे नहीं होते हैं। स्रोत अन्वेषण को यादृच्छिक के बजाय दिशात्मक के रूप में वर्णित करता है।
फ़िल्टरिंग और रीवेटिंग परेशान रोलआउट को प्रशिक्षण संकेत में बदल देता है
एक उपयोगी अद्यतन के लिए अकेले भिन्नता पर्याप्त नहीं है। ईडीईएन परेशान रोलआउट का चयन करता है जो सबसे उपयोगी संकेत ले जाते हैं और उन्हें लाभ-गेटेड फ़िल्टर के माध्यम से प्रशिक्षण में लाते हैं। यह शोर-जागरूक फायदा पुनः भारित करने का भी उपयोग करता है ताकि अपडेट इस तथ्य को ध्यान में रखे कि कुछ रोलऑट शोर वाले इनपुट से आए थे।
यह विधि एक प्रशिक्षण फ़िल्टर के रूप में ज्यादा नमूना चाल बनाता है। मॉडल व्यापक अन्वेषण, लेकिन प्रशिक्षण अद्यतन अभी भी द्वारा शासित किया जाता है जो शोर नमूने सूचनात्मक हैं.
Qwen2.5-मैथ मॉडल पर रिपोर्ट किए गए लाभ
जब Qwen2.5-Math-1.5B और 7B पर परीक्षण किया जाता है, तो स्रोत रिपोर्ट करता है कि EDEN ग्रेड-स्कूल से ओलंपियाड स्तर तक अंग्रेजी और चीनी गणित बेंचमार्क में औसतन GRPO को हराता है। औसत पास @ 256 6.67 अंकों द्वारा बढ़ जाता है। AIME'25 पर7B पैमाने पर, रिपोर्ट किए गए लाभ 13.33 अंक हैं।
विश्लेषण में यह भी कहा गया है कि EDEN अधिक त्वरित समूहों को एक गैर-शून्य सीखने का संकेत देता है। यह शोर और लंगर को पूरक के रूप में वर्णित करता हैः शोर विविधता पैदा करता है, जबकि लंगार उस भिन्नता को साझा दिशा के साथ संरेखित रखता है।
इस परिणाम को कैसे पढ़ें
गणित पोस्ट-प्रशिक्षण प्रयोग चलाने वाले पाठकों के लिए, व्यावहारिक निहितार्थ यह है कि रोलआउट विविधता को embedding इनपुट स्तर पर आकार दिया जा सकता है। यदि कई प्रॉम्प्ट समूह लगभग समान प्रक्षेपवक्र उत्पन्न करते हैं, तो सीखने का संकेत कमजोर हो सकता है भले ही मॉडल अक्सर नमूने लेता हो। EDEN इनपुट चरण में उपयोगी भिन्नता बनाने का एक तरीका सुझाता है।
साक्ष्य Qwen2.5-मैथ मॉडल और स्रोत में वर्णित GRPO तुलना से जुड़ा हुआ है। यह एक विशिष्ट पोस्ट-प्रशिक्षण तंत्र और रिपोर्ट किए गए गणित बेंचमार्क लाभ के सेट की ओर इशारा करता है, न कि प्रत्येक मॉडल आकार, बेंच मार्क या reinforcement learning सेटअप के लिए एक सार्वभौमिक फिक्स।

Comments (0)