बहुभाषी तर्क के लिए Use Amazon SageMaker HyperPod को GPT-OSS -20B पर ठीक करें।

GPT-OSS-20B, एक ओपन वेट रीजनिंग मॉडल, अंग्रेजी में सोचने के लिए डिफ़ॉल्ट करता है जब स्पष्ट रूप से फ्रेंच, जर्मन, स्पेनिश या इतालवी में तर्क करने का निर्देश दिया जाता है। 50-उदाहरण बहुभाषी तर्क परीक्षण पर, बेस मॉडल ने सही लक्ष्य भाषा में केवल 22 प्रतिशत समय तक सोचा था और वह 22 प्रतिशत लगभग पूरी तरह से अंग्रेजी उदाहरण थे (अंग्रेजी 100 प्रतिशत, फ्रांसीसी 0 प्रतिशत, जर्मन 10 प्रतिशत, स्पैनिश 0 फीसदी, इटालियन 0 प्रतिशत) । Amazon SageMaker HyperPod पर इस मॉडल को ठीक करने वाली टीम ने उस अंतर की तुलना करना शुरू कर दिया, एसएफटी के खिलाफ अकेले पर्यवेक्षित फाइन ट्यूनिंग (एसएफटी) के बाद Group Relative Policy Optimization (जीआरपीओ) के साथ सुदृढीकरण सीखने की तुलना की गई। उनके परिणाम गैर-अंगरेजी उपयोगकर्ताओं के लिए किसी भी टीम द्वारा खुले वजन वाले तर्क मॉडलों को अनुकूलित करने के लिए एक व्यावहारिक ढांचा प्रदान करते हैं।

अंग्रेजी प्राथमिकता क्यों महत्वपूर्ण है

गैर-अंग्रेजी उपयोगकर्ताओं के लिए तर्क मॉडल को तैनात करने वाली टीमों के लिए, एक ऐसा मॉडल जो अंग्रेजी मध्य-विचार पर स्विच करता है, एक दृश्य विफलता पैदा करता है। फ्रांसीसी बोलने वाला उपयोगकर्ता जो फ्रेंच में प्रश्न पूछता है वह मॉडल को कारण और उत्तर देने की उम्मीद करता है फ़्रांसिसी आधार जीपीटी-ओएसएस -20B निर्देश को स्वीकार करता है लेकिन फिर अपनी श्रृंखला का उत्पादन करता है विचार वैसे भी अंग्रेजी में distribution इसके प्रशिक्षण वितरण में निहित व्यवहार

मूल्यांकन में 50 परीक्षण मामलों का उपयोग किया गया था: पांच भाषाओं (अंग्रेजी, फ्रेंच, जर्मन, स्पेनिश, इतालवी) में 10 गणित और तर्क की समस्याएं। दो मीट्रिक मायने रखते थेः क्या विचार-श्रृंखला अनुरोधित भाषा में थी, और क्या अंतिम उत्तर मांगी गई भाषा में था। आधार मॉडल ने तर्क-भाषा सटीकता पर 22 प्रतिशत (11 से 50), अंग्रेजी के बाहर लगभग कुल विफलता के साथ स्कोर किया।

एसएफटी बनाम जीआरपीओ: एक सरल मानसिक मॉडल

दो तकनीकों के बीच का अंतर इस प्रयोग में लगभग हर परिणाम की व्याख्या करता है। एसएफटी एक ऐसा व्यवहार सिखाता है जो मॉडल के पास नहीं है। जीआरपीओ एक ऐसे व्यवहार को अनुकूलित करता है जिसे मॉडल पहले से ही कभी-कभी उत्पन्न कर सकता है। GRPO प्रति संकेत पर प्रतिक्रियाओं के समूह का नमूना लेकर और नीति को ऊपर की ओर धकेलकर काम करता है औसत. यदि वांछित व्यवहार में आधार वितरण में शून्य संभावना होती है, तो GRPO को सुदृढ़ करने के लिए बहुत कम होता है।

इस रूपरेखा ने पूरे दृष्टिकोण को निर्देशित कियाः पहले बहुभाषी तर्क स्थापित करने के लिए एसएफटी का उपयोग करें जहां कोई मौजूद नहीं था, फिर जीआरपीओ केवल वहां लागू करें जहां एस एफ टी मापने योग्य हेडरूम छोड़ता है।

प्रशिक्षण स्टैक

सभी फाइन-ट्यूनिंग Amazon Elastic Kubernetes Service (Amazon EKS) ऑर्केस्ट्रेशन के साथ Amazon SageMaker HyperPod पर चलाया गया। प्रारंभिक एसएफटी और जीआरपीओ GPT-OSS-20B पर चलता है, जिसमें PyTorch TRL लाइब्रेरी का उपयोग किया जाता था। Qwen2.5-7B पर एक अलग नियंत्रण प्रयोग प्रशिक्षक के रूप में veRL पर स्विच हुआ, जिसमें वितरित ऑरकेस्टरेशन और तेजी से रोलआउट पीढ़ी के लिए वीएलएलएम के लिए रे और कुबेरे थे। चेकपॉइंट्स और डेटासेट लुस्टर के लिए Amazon FSx पर रहते थे, और इंटर-नोड संचार ने Elastic Fabric Adapter (ईएफए) का इस्तेमाल किया। सभी ठीक ट्यूनिंग लो-Rank Adaptation (लोरा), जो पैरामीटर-कुशल है और दोनों SFT और GRPO के साथ संगत है।

डेटा पथ निम्नानुसार काम कियाः SageMaker HyperPod क्लस्टर के Amazon EKS नियंत्रण विमान पर उपयोगकर्ता से एक सबमिशन उतरा। Amazon EKS ने वेआरएल ट्रेनर और वीएलएलएम रोलआउट श्रमिकों को चलाने वाले रे हेड पॉड प्लस वर्कर पॉड्स निर्धारित किए। दोनों सेट पोड बेस मॉडल, प्रशिक्षण डेटा और चेकपॉइंट्स के लिए लुस्ट्रे के लिए Amazon FSx माउंट किए गए थे। इंटर-नोड सामूहिक ईएफए का उपयोग करते थे। रोलओट्स वीएलएम से वापस वेरल ट्रेनर तक प्रवाहित होते हैं, जो ल्यूस्ट्र के लिए एफएसएक्स में वापस चेकप्वाइंट लिखते हैं।

GPT-OSS SFT रन में 4 × ml.g6e.12xlarge उदाहरण (16 × L40S 48GB GPUs) का उपयोग किया गया था। Qwen नियंत्रण ने 2 × g 6 e.48 xlarge (16× L 40 S) का इस्तेमाल किया था। डेटासेट HuggingFaceH4 / बहुभाषी-सोचना 50 एक श्रृंखला-विचार तर्क डेटासेट फ्रेंच, स्पेनिश, जर्मन और अंग्रेजी के साथ इतालवी में अनुवादित था, जिसमें लगभग 949 प्रशिक्षण और 50 सत्यापन उदाहरण थे।

एसएफटी परिणामः तर्क भाषा तय, उत्तर भाषा पिछड़ रही

SFT कॉन्फ़िगरेशन ने Fully Sharded Data Parallel (FSDP) फुल-शार्ड, bf16 परिशुद्धता और ग्रेडिएंट चेकपॉइंटिंग के साथ 1,000 चरणों के लिए प्रशिक्षित LoRA r = 8, α = 16 का उपयोग किया। यह नौकरी Kueue द्वारा प्रबंधित एक लोचदार HyperPodPyTorchJob के रूप में चली।

एसएफटी के बाद, मॉडल ने सभी पांच भाषाओं में 100 प्रतिशत समय (50 में से 50) सही भाषा में तर्क दिया - 22 प्रतिशत की छलांग। सीखने दो चरणों में हुआः 200 कदम के आसपास, मॉडल को लक्ष्य भाषा में कारण देना सिखाया गया; लगभग 1000 कदम, यह अतिरिक्त रूप से लक्षित भाषा में उत्तर देने के लिए सीखा।

लेकिन अंतिम एसएफटी मूल्यांकन ने एक विभाजित परिणाम का खुलासा किया। तर्क-भाषा सही: 100 प्रतिशत (50/50). उत्तर भाषा सहीः 62 प्रतिशत (31/50). दोनों सही: 62 प्रतिशत. प्रति भाषा जवाब सटीकताः फ्रांसीसी 60 प्रतिशत, जर्मन 60 फीसदी, स्पेनिश 30 प्रतिशत, इतालवी 60 प्रतिशत और अंग्रेजी 100 प्रतिशत।

टेकअवे: एसएफटी वैकल्पिक नहीं था। बेस मॉडल तर्क-भाषा निर्देश का बिल्कुल भी पालन नहीं कर सका, और एसएफसी ने उस मीट्रिक को 22 प्रतिशत से 100 प्रतिशत तक ले लिया। शेष अंतराल 62 प्रतिशत पर उत्तर-भाषा थी - कठिन आधा, क्योंकि अंतिम उत्तर छोटा है और अंग्रेजी पूर्व सबसे मजबूत है।

जीआरपीओ ने उत्तर भाषा पर 8 अंक जोड़े

उत्तर-भाषा जीआरपीओ के लिए स्पष्ट लक्ष्य था। एसएफटी पहले से ही 100 प्रतिशत समय सही तर्क का उत्पादन करता है, और मॉडल कभी-कभी सही भाषा में जवाब देता है, इसलिए सुदृढीकरण करने के लिए एक संकेत था।

GRPO रन ने SFT चेकपॉइंट से शुरू होने वाले TRL के GRPOTrainer का उपयोग किया। सेटअप ने एसएफटी LoRA को लोड किया, जिसे merge_and_unload कहा जाता है, और एक नया LoRA जोड़ा (r = 8, α = 16, 0.068 प्रतिशत ट्रेनेबल पैरामीटर 13.6M of 20B) । प्रशिक्षण में K=8 पीढ़ियों प्रति प्रॉम्प्ट, device_map = ऑटो, लर्निंग रेट 1e-6, और 10 युगों का इस्तेमाल किया गया था। इनाम फ़ंक्शन ने उत्तर-भाषा (±5.0), तर्क भाषा (± 1.5) और संक्षिप्तता (+0.5 या −1.0) को संयुक्त रूप से -7.5 से +7.0 तक स्कोर किया।

परिणाम: तर्क-भाषा सही 100 प्रतिशत पर रखी गई जीआरपीओ ने एसएफटी द्वारा सिखाए गए को नहीं तोड़ा। उत्तर-भाषा की सटीकता 62 से बढ़कर 70 प्रतिशत (+8 अंक, 35/50) हो गयी। दोनों ही सहीः 70 प्रतिशत। प्रति भाषा उत्तर सटीकताः फ्रांसीसी 70% जर्मन 80% स्पेनिश 60% इतालवी 40% अंग्रेजी 100%

लाभ वहां आया जहां लाभ की गुंजाइश थी। उत्तर-भाषा कभी-कभी सही व्यवहार था जो एसएफटी पूरी तरह से अभिसरित नहीं हुआ था, और जीआरपीओ ने इसे सुदृढ़ किया।

टीमों के लिए इसका क्या मतलब है - परिष्कृत तर्क मॉडल

प्रयोग एक निर्णय नियम की ओर इशारा करता है। Use SFT पहले मॉडल में पूरी तरह से कमी वाले व्यवहार को स्थापित करने के लिए - इस मामले में, लक्षित भाषा में तर्क करना। फिर मूल्यांकन करें कि क्या शेष अंतराल कभी-कभी सही ढंग से उत्पन्न होने वाले व्यवहार का प्रतिनिधित्व करता है या नहीं। यदि हां, तो GRPO शीर्ष पर मापने योग्य मूल्य जोड़ सकता है। अगर आधार वितरण में व्यवहार की संभावना लगभग शून्य है, तो जीआरपीओ के पास सुदृढीकरण के लिए बहुत कम है।

टीम ने इस नियम को अधिक व्यापक रूप से परीक्षण करने के लिए दो कार्यों में अलग-अलग क्षमता अंतराल के साथ एक नियंत्रित Qwen2.5-7B प्रयोग भी चलाया। पैटर्न आयोजित किया गयाः एसएफटी अधिकांश काम करता है, जीआरपीओ परिष्कृत करता है जब सुधारने के लिए हेडरूम होता है, और क्षमता अंतर के लिए तकनीक का मिलान परिणाम तय करता है।

गैर-अंग्रेजी उपयोगकर्ताओं को तर्क मॉडल तैनात करने वाली टीमों के लिए, व्यावहारिक निहितार्थ यह है कि बहुभाषी तर्क एक सुलझाने योग्य ठीक ट्यूनिंग समस्या है लेकिन समाधान चरणबद्ध है। एसएफटी अकेले 22 से 100 प्रतिशत तक तर्क भाषा ले गया। जीआरपीओ ने उत्तर-भाषा पर 8 अंक जोड़े। न तो तकनीक अकेले दोनों परिणाम दिए होंगे।

कुबेरनेट्स मेनिफेस्ट, प्रशिक्षण स्क्रिप्ट और मूल्यांकन कोड सहित पूर्ण सेटअप GPT-OSS लोरा GRPO परीक्षण मामले के तहत AWsome वितरित एआई GitHub रिपॉजिटरी में उपलब्ध है। टीमें SageMaker HyperPod पर ईकेएस ऑर्केस्ट्रेशन, FSx के लिए चमक भंडारण और EFA सक्षम नेटवर्किंग के साथ पाइपलाइन को पुनः उत्पन्न कर सकती हैं।