large language models में प्रशिक्षित वेक्टर आरएलवीआर की ज्यामितीय संरचना का खुलासा करते हैंः स्टीयरिंग सीखना, देखने के लिए स्टेयरिंग
आरएलवीआर लाभ कम आयामी उप-स्थानों में रहते हैं; अल्फा-स्टेबलर 5 LLMs और 6 कार्यों पर 2,000-चरण प्रशिक्षण को स्थिर करते हुए, घुसपैठिए ढाल को हटा देता है।
मुख्य जानकारी
- अल्फा-स्टेबलर एक प्लग एंड प्ले फ्रेमवर्क है जो उपयोगी कम विचलन नियंत्रण दिशाओं को संरक्षित करते हुए सक्रियण ढाल से घुसपैठ मुख्य उपस्थान घटकों को हटाकर आरएलवीआर प्रशिक्षण को स्थिर करता है।
- अध्ययन 5 LLMs और 6 सत्यापित-पुरस्कार कार्यों पर ढांचे का परीक्षण करता है, 2,000 चरणों के माध्यम से स्थिर प्रशिक्षण की रिपोर्टिंग और बेहतर आरएलवीआर लाभ।
- वेक्टर स्टीयरिंग से पता चलता है कि आरएलवीआर सुधार अक्सर व्यापक उच्च-आयामी परिवर्तनों के बजाय एक कॉम्पैक्ट कम आयामी सक्रियण जनरेटर द्वारा किए जाते हैं।
- प्रभावी नियंत्रण दिशाएँ सक्रियण के प्रमुख विचलन पैटर्न से बाहर हैं, और उनका ज्यामितीय संरेखण कार्यों में क्षमता हस्तांतरण की भविष्यवाणी करने में मदद कर सकता है।
मेटा विवरण: अल्फा-स्टेबलर घुसपैठिए सक्रियण ढाल को हटाकर आरएलवीआर प्रशिक्षण को स्थिर करता है; 5 LLMs और 6 कार्यों पर परीक्षण 2,000 चरणों के माध्यम से लाभ दिखाते हैं।
टैगः आरएलवीआर, वेक्टर स्टीयरिंग, अल्फा-स्टेबलर, large language models , reinforcement learning
विशेष रुप से प्रदर्शित छवि: कम आयामी सक्रियण जनरेटर और ग्रेडिएंट स्टीयरिंग का अमूर्त, मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं, कोई लोगो नहीं, न ही पाठ।
शोधकर्ताओं और इंजीनियरों के लिए large language models को reinforcement learning के साथ ट्यूनिंग करने वाले सत्यापन योग्य पुरस्कार (आरएलवीआर), अल्फा-स्टेबलर एक प्लग-एंड-प्ले फ्रेमवर्क है जिसका उद्देश्य आधार इनाम डिजाइन को बदले बिना प्रशिक्षण को अधिक स्थिर बनाना है। एक नए अध्ययन में 5 LLMs और 6 सत्यापित-पुरस्कार कार्यों पर RLVR अपडेट का विश्लेषण करने के बाद ढांचे की रिपोर्ट दी गई है, और यह कहा गया है कि यह आरएलव्हीआर से प्राप्त लाभों में सुधार करते हुए 2,000 चरणों के प्रशिक्षण को स्थिर कर सकता है। कोड https://github.com/caiyuchen-ustc/On_Policy_Vector_Training पर उपलब्ध है।
आरएलवीआर large language models में तर्क को बेहतर बनाने का एक सामान्य तरीका है क्योंकि पुरस्कार व्यक्तिपरक प्रतिक्रिया के बजाय स्वचालित रूप से चेक करने योग्य संकेतों से आ सकते हैं। कठिनाई यह है कि अद्यतन बड़े पैमाने पर पैरामीटर और सक्रियण स्थानों में फैलते हैं, जिससे यह पहचानना मुश्किल हो जाता है कि कौन से आंतरिक परिवर्तन वास्तव में बेहतर तर्क पैदा करते हैं। यह अध्ययन ज्यामितीय रूप से समस्या का इलाज करता है। केवल कितना नुकसान गिरता है पूछने के बजाय, यह पूछता है कि आरएलव्हीआर प्रशिक्षण के दौरान मॉडल के आंतरिक सक्रियण कहां जाते हैं।
आरएलवीआर ज्यामिति के बारे में अध्ययन ने क्या पाया
वेक्टर स्टीयरिंग का उपयोग करते हुए, शोधकर्ता छोटे सक्रियण-अंतरिक्ष दिशाओं को परीक्षण करने के लिए इंजेक्ट करते हैं कि क्या ये दिशाएं आरएलवीआर लाभों को पुनः उत्पन्न कर सकती हैं। वेक्टर स्टेयरिंग कारणता की जांच करने का एक सरल तरीका हैः कुछ दिशाएँ बदलें और देखें कि व्यवहार में परिवर्तन होता है या नहीं। उन्हें एक प्रभावी मल्टीप्लेयर मिलता है, जो दिशानिर्देशों का एक कम आयामी सेट है जो बहुत अधिक लाभ प्रदान करता है। लाभ को पुनरुत्पादित करने की क्षमता बहुत छोटी हो सकती है, लेकिन मनमाने ढंग से छोटी नहीं होती है। बेहद कम क्षमता पर, इंजेक्टेड दिशाओं की संख्या और कैसे उन निर्देश इनपुट पर निर्भर होते हैं सीमित कारक बन जाते हैं। आवश्यक क्षमता भी उस परत की गहराई के साथ बदलती है जहां सक्रियण संशोधित किया जाता है।
एक अन्य खोज अलगाव है। नियंत्रण के लिए जो दिशाएं मायने रखती हैं, वे मुख्य रूप से सक्रियण की प्रमुख विचलन दिशाओं में नहीं बैठती हैं। वे सक्रियण प्रधान उपक्षेत्र के कम-भिन्नता पूरक में स्थित होते हैं। मुख्य उपक्षेत्र को सक्रियण अंतरिक्ष में सबसे आम पैटर्न माना जा सकता है; पूरक कम सामान्य दिशाएँ शामिल करता है। सीखी गई ज्यामिति समान कार्य और आधार मॉडल के लिए प्रशिक्षण विन्यासों में काफी हद तक सुसंगत होती है। विभिन्न कार्यों में इन ज्यामितीयताओं का संरेखण क्षमता हस्तांतरण के साथ सहसंबद्ध होता है।
व्यावहारिक अर्थ यह है कि आरएलवीआर लाभ हमेशा व्यापक, उच्च-आयामी परिवर्तनों के कारण नहीं होते हैं। वे एक कॉम्पैक्ट सबस्पेस में रह सकते हैं, लेकिन उस उपस्थान की सीमाएं हैं। यदि संपीड़न या स्टीयरिंग विधि बहुत अधिक दिशाओं को हटा देती है, तो वह मूल सुधार को पुनः पेश करने के लिए आवश्यक इनपुट-निर्भर विवरण खो सकती है। इंजेक्शन गहराई मायने रखती है क्योंकि एक ही ज्यामितीय विचार विभिन्न परतों पर अलग तरह से व्यवहार कर सकता है।
अल्फा-स्टेबलर इस अंतर्दृष्टि का उपयोग कैसे करता है
अल्फा-स्टेबलर के दो भाग होते हैं। प्रेडिक्टर मुख्य उपक्षेत्र घुसपैठ की निगरानी करता है, जो तब होता है जब प्रशिक्षण सक्रियण अद्यतनों को प्रमुख उपक्षेत्र में धकेलता है, एक प्रारंभिक चेतावनी के रूप में कि पतन आ सकता है। नियंत्रक बैकप्रोपेगेशन के दौरान कार्य करता है। यह ऑर्थोगोनल पूरक को संरक्षित करते हुए सक्रियण ढांचे के मुख्य उपखंड घटक को हटा देता है। व्यवहार में, इसका मतलब है कि फ्रेमवर्क अस्थिरता से जुड़े दिशाओं में आंदोलन को अवरुद्ध करते हुए उपयोगी कम विचलन नियंत्रण संकेत रखने का प्रयास करता है.
रिपोर्ट किए गए प्रयोगों में, दृष्टिकोण 2,000 चरणों के लिए प्रशिक्षण को स्थिर करता है और लगातार आरएलवीआर लाभ में सुधार करता है। अध्ययन विधि को प्लग-एंड-प्ले के रूप में वर्णित करता है, इसलिए इसे मौजूदा आरएलव्हीआर पाइपलाइनों में एक प्रशिक्षण-समय नियंत्रण तंत्र के तौर पर जोड़ा जा सकता है। यह खुद को एक नया इनाम मॉडल या स्वयं आरएलभीआर का प्रतिस्थापन नहीं दिखाता है।
मॉडल बिल्डरों के लिए यह क्यों महत्वपूर्ण है
पहले से ही आरएलवीआर का उपयोग करने वाली टीमों के लिए, मुख्य मूल्य नैदानिक है। यदि प्रशिक्षण ध्वस्त हो जाता है, तो यह निष्कर्ष न केवल इनाम स्पाइक्स या हानि वक्र को देखने का सुझाव देता है, बल्कि इस बात पर भी विचार करता है कि क्या अद्यतन प्रमुख सक्रियण दिशाओं में घुसपैठ कर रहे हैं। कार्यों की तुलना करने वाली टीमें, ज्यामितीय संरेखण भविष्यवाणी करने में मदद कर सकती हैं जब एक कार्य का प्रशिक्षण दूसरे में स्थानांतरित किया जा सकता है।
पोस्ट-ट्रेनिंग सिस्टम बनाने वाली टीमों के लिए, परिणाम एक अधिक ठोस डिजाइन नियम की ओर इशारा करता हैः स्थिर आरएलवीआर को उच्च विचलन दिशाओं में आंदोलन को सीमित करते हुए कम भिन्नता सक्रियण दिशाओं की रक्षा करने की आवश्यकता हो सकती है। यह केवल ढाल मानदंड को कम करने या अधिक नियमितकरण जोड़ने से एक संकीर्ण लक्ष्य है।
अध्ययन 5 LLMs और 6 सत्यापन योग्य-पुरस्कार कार्यों पर निष्कर्षों का समर्थन करता है। यह बेंचमार्क स्कोर या सार्वभौमिक सेटिंग्स प्रदान नहीं करता है, इसलिए टीमों को अल्फा-स्टेबलर को अपने स्वयं के इनाम पाइपलाइनों पर मान्य करने के लिए एक ढांचे के रूप में व्यवहार करना चाहिए। जारी कोड शोधकर्ताओं को सीधे प्रेडिक्टर और नियंत्रक घटकों का परीक्षण करने की अनुमति देता है।

Comments (0)