शुरुआती मूल बातें

पोस्ट-ट्रेनिंग स्टेज और वरीयता डेटा के लिए, जनरेट करने की तुलना में निर्णय लेना बहुत आसान है

LLM प्रशिक्षण के बाद पर्यवेक्षित fine-tuning , वरीयता डेटा और सत्यापित पुरस्कारों के माध्यम से व्यवहार को आकार देता है, जिससे उत्पन्न करने की तुलना में निर्णय लेना आसान हो जाता है।

पोस्ट-ट्रेनिंग स्टेज और वरीयता डेटा के लिए, जनरेट करने की तुलना में निर्णय लेना बहुत आसान है

मुख्य जानकारी

  • पूर्व-प्रशिक्षण की तुलना में पोस्ट-ट्रेनिंग बहुत कम कंप्यूटिंग का उपयोग करता है लेकिन यह दृढ़ता से आकार देता है कि एक मॉडल निर्देशों का कितनी अच्छी तरह पालन करता है, सुरक्षित रहता है और कारण।
  • एसएफटी आदर्श उत्तरों की नकल करके प्रारूप और स्वर सिखाता है, जबकि वरीयता ट्यूनिंग रैंकिंग से सीखती है और उदाहरणों की गुणवत्ता को आगे बढ़ा सकती है।
  • डीपीओ सरल और अधिक स्थिर है क्योंकि यह वरीयता जोड़े पर ऑफ़लाइन प्रशिक्षित करता है, लेकिन पीपीओ जैसे ऑनलाइन आरएल विधियां अधिक अन्वेषण कर सकती हैं और अक्सर उच्च लागत पर उच्च प्रदर्शन प्राप्त करती हैं।
  • आरएलवीआर गणित और कोड जैसे सत्यापित कार्यों के लिए उद्देश्य प्रोग्रामेटिक चेकर्स का उपयोग करता है, जिससे सीखने वाले इनाम मॉडल का उपयोग करने की तुलना में निर्णय लेना आसान और कठिन हो जाता है।
  • आधुनिक पाइपलाइनें अक्सर पहले डोमेन विशेषज्ञों को प्रशिक्षित करती हैं, फिर उन्हें एक सामान्य मॉडल में परिष्कृत कर देती हैं, जिसमें मानव अनुभाग और विशेषज्ञ प्रतिक्रिया अभी भी महत्वपूर्ण भूमिका निभाती है।

डेवलपर्स, शोधकर्ताओं और उत्पाद टीमों को LLM पोस्ट-प्रशिक्षण के एक व्यावहारिक नक्शे की तलाश में अब लैम्बर्ट और टिमबर्स द्वारा 2026 सारांश से चरण-दर-चरण विवरण है। यह कहते हैं कि नुस्खा - एक प्रयोगशाला का पालन करने वाले पोस्ट-ट्रेनिंग चरणों का अनुक्रम, कैननिकल रेसिपी अपने समय का मानक संस्करण होने के साथ पिछले वर्ष में तीन साल पहले की तुलना में अधिक बदल गया है। Developers Digest (एनडी) नोट करता है कि पूर्व प्रशिक्षण के मुकाबले पोस्ट ट्रेनिंग बहुत कम कंप्यूटिंग का उपयोग करती है लेकिन काफी हद तक यह तय करती है कि मॉडल निर्देशों का कितनी अच्छी तरह अनुसरण करता है, यह कितना सुरक्षित है और यह कैसे तर्क देता है।

For Post-Training Stages and Preference Data, Judging Is Much Easier Than Generating

ज्ञान से व्यवहार तक

पूर्व-प्रशिक्षण अरबों यादृच्छिक वजन मूल्यों को व्याकरण, तथ्यों और तर्क पैटर्न में बदल देता है ताकि मॉडल अगले टोकन की भविष्यवाणी कर सके। पोस्ट-ट्रेनिंग तब व्यवहार को आकार देने के लिए अपेक्षाकृत छोटे समायोजन करता है। मॉडल के माध्यम से बहने वाला डेटा भार नहीं हैः एक टोकन एक निश्चित आईडी के साथ पाठ का टुकड़ा होता है और इसका अपना कोई अर्थ नहीं होता; एक वेक्टर संख्याओं की एक सूची होती है जो अर्थ का प्रतिनिधित्व करती हैं; एम्बेडिंग तालिका प्रत्येक टोकन आईडी को शुरुआती वैक्टर पर मैप करती है। केवल एम्बेड करने वाली तालिका और वे परतें जो वेक्टर को परिवर्तित करती हैं वे वजन होते हैं।

प्रशिक्षण के बाद पहला चरण एसएफटी या पर्यवेक्षित फाइन-ट्यूनिंग है। यह आदर्श उत्तरों के साथ जोड़े गए उदाहरण संकेतों पर प्रशिक्षित करता है। पूर्व-प्रशिक्षण के विपरीत, जो कच्चे पाठ को जारी रखता है, SFT जवाब देना सीखता है। इसे प्रारूप और स्वर जल्दी से सिखाया जाता है, लेकिन मॉडल केवल वही नकल कर सकता है जो उसे दिखाया गया है।

स्रोत अंतर को ग्रैंडमास्टर खेलों का अध्ययन करने के रूप में फ्रेम करता है बनाम कई गेम खेलने और केवल यह जानने के लिए कि क्या आपने जीता हैः एसएफटी अपने उदाहरणों की गुणवत्ता के पास कैप किया गया है, जबकि आरएल उनसे परे जा सकता है।

Preference Tuning, आरएलवीआर और जाँच

दूसरा चरण वरीयता ट्यूनिंग है। यह सुदृढीकरण सीखने, या आरएल का उपयोग करता है, जहां मॉडल अपने स्वयं के प्रयासों पर स्कोर से सीखता है। आरएलएचएफ मानव प्रतिक्रिया से आरएल है, जहाँ अंक एक न्यायाधीश से आते हैं जो मानवीय प्राथमिकताओं पर प्रशिक्षित होते हैं। पीपीओ, निकटवर्ती नीति अनुकूलन, एक आरएल एल्गोरिथ्म है जो प्रत्येक अद्यतन को छोटा रखता है। डीपीओ (DPO), प्रत्यक्ष प्राथमिकता ऑप्टिमाइज़ेशन, राफेलोव एट अल. (2023) के अनुसार बेहतर और बदतर चिह्नित उत्तरों के जोड़ों पर सीधे ट्रेन करता है।

प्राथमिकता ट्यूनिंग एसएफटी से अलग है क्योंकि यह कई उत्तरों की रैंकिंग से सीखता है, न कि एक आदर्श जवाब। रेटिंग्स एक इनाम मॉडल, एक अलग जज मॉडल को प्रशिक्षित करती हैं, और मुख्य मॉडल उच्च स्कोर अर्जित करने के लिए समायोजित करता है। कमजोरी इनाम हैकिंग हैः मॉडल सही होने के बजाय न्यायाधीश को खुश करना सीखती है। डीपीओ पुरस्कार मॉडल और आरएल लूप को छोड़ देता है।

डीपीओ सरल, अधिक स्थिर और तेजी से पुनरावृत्ति करने के लिए है क्योंकि यह एक निश्चित डेटासेट पर ऑफ़लाइन ट्रेन करता है, लेकिन यह उस डेटासेट की कवरेज द्वारा सीमित है और इसमें थोड़ा कम प्रदर्शन छत है। LLM जैसे कि पीपीओ ताजा पूर्णता उत्पन्न करता है और नए क्षेत्रों का पता लगा सकता है, अक्सर उच्चतम चोटी के प्रदर्शन तक पहुंचता है, जो इविसन एट अल (2026), तजवार एट एल (Developers Digest) और ज़ू एट एल् (Preference Tuning) के अनुसार अधिक कंप्यूटिंग और अधिक चलती भागों की कीमत पर होता है। डीपी ओ को फीडबैक डेटा की आवश्यकता होती है, जरूरी नहीं कि मानव प्रतिक्रिया हो। अल्ट्राफीडबॅक पहला प्रमुख खुला सिंथेटिक वरीयता डेटासेट था और डीपीए युग शुरू करने में मदद की, कुई एट अल् 2023 कहते हैं, और टूलु 3 ने बड़े पैमाने पर संश्लेषित-फ़ीड बैक व्यंजनों का पालन किया, लैम्बर्ट एट आल 2024 नोट करें। अस्वीकार करना, स्रोत में उल्लिखित एक अन्य नमूनाकरण दृष्टिकोण, आलोचक के लिए केवल दस सर्वोत्तम अभ्यास संस्करण रखता है।

तीसरा चरण आरएलवीआर है, सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण सीखना। एआई 2, Allen Institute for AI, ने RLVR शब्द का परिचय दिया, लैम्बर्ट एट अल. (2024) कहते हैं। एक कार्यक्रम जांचता है कि क्या उत्तर सही है, उदाहरण के लिए गणित में, कोड परीक्षण या संख्यात्मक सीमाएं। एक सीखे हुए न्यायाधीश के विपरीत, एक चेकर सस्ता, उद्देश्यपूर्ण और कठिन खेल है, लेकिन यह केवल तभी काम करता है जब कोई जवाब चेक किया जा सकता है। जीआरपीओ, समूह सापेक्ष नीति अनुकूलन, उत्तरों के एक समूह को स्कोर करता है और औसत से ऊपर वाले लोगों को मजबूत करता है। स्रोत कहता है कि यह भी मॉडल सोचने के लिए कैसे सीखते हैंः सावधान प्रयास अधिक बार जीतते हैं, इसलिए उन्हें प्रबलित किया जाता है।

विशेषज्ञ, आसवन और मानव अनुभाग

चौथा चरण पहले विशेषज्ञों को अलग करता है, फिर उन्हें आसुत बनाता है। प्रत्येक डोमेन पर चलना महंगा और संघर्ष-प्रवण हो गया, क्योंकि गणित, कोड और एजेंटिक आरएल का मिश्रण एक दूसरे के खिलाफ क्षमताओं का व्यापार कर सकता है। विशेषज्ञ सस्ते और समानांतर होते हैं, और नीतिगत आसवन परिपक्व होता है। एक सामान्य पैटर्न प्रति डोमेन में एक विशेषज्ञ को प्रशिक्षित करता है और फिर एक सामान्य छात्र को अपने स्वयं के उत्तर लिखने देता है जबकि प्रासंगिक शिक्षक इसे टोकन द्वारा चिह्नित करते हैं, लैम्बर्ट और टिमबर्स (2026) और लू और Thinking Machines Lab (2025) के अनुसार।

For Post-Training Stages and Preference Data, Judging Is Much Easier Than Generating

Distillation का मतलब है कि एक छात्र शिक्षक के आउटपुट से सीखता है, Hinton et al. (2015) वर्णन करते हैं। ऑन-पॉलिसी का अर्थ है कि छात्र अपनी गलतियों सहित अपने स्वयं के प्रयासों से सीखते हैं, अग्रवाल एट अल. (2024) जोड़ें। MOPD, मल्टी-टीचर ऑन-पोलिसिस डिस्टिलेशन, कई विशेषज्ञ शिक्षकों को छात्रों के अपने उत्तरों पर एक छात्र को प्रशिक्षित करने देता है। KL, Kullback-Leibler विचलन, स्कोर करता है कि दो मॉडल Reverse KL अगली शब्द की संभावनाएं कितनी अलग हैं। Reverse KL उन चीजों को कहने के लिए छात्र को दंडित करता है जो शिक्षक कभी नहीं कहेंगे, गु और अन्य (2024). व्याख्या करें। स्रोत कहता है कि शिक्षक अंकन एक सुनहरा जवाब या अंतिम इनाम-मॉडल स्कोर नहीं हैः छात्र अपना खुद का जवाब लिखता है और शिक्षक प्रत्येक प्रासंगिक टोकन पर राय देते हैं।

स्रोत का कहना है कि छात्र में परस्पर विरोधी कौशल एक मिश्रित आरएल रन की तुलना में बहुत कम हैं, क्योंकि प्रत्येक प्रश्न को केवल एक शिक्षक से प्रतिक्रिया मिलती है, लेकिन संघर्ष गायब नहीं होता है क्योंकि छात्र की सीमित क्षमता होती है और प्रश्नों के मिश्रण को अभी भी ट्यून किया जाना चाहिए।

मानव विशेषज्ञ अभी भी अलग-अलग बिंदुओं पर मायने रखते हैं। एसएफटी विशेषज्ञ द्वारा लिखित उत्तरों का उपयोग कर सकता है। वरीयता ट्यूनिंग विशेषज्ञ रैंकिंग का इस्तेमाल कर सकती है। आरएलवीआर उदाहरण के लिए वित्त और कानून में रूब्रीक्स का प्रयोग कर सकते हैं। एक रुबरीक हां या नहीं आइटम की एक चेकलिस्ट है जो कोई भी न्यायाधीश किसी भी जवाब पर चला सकता है. 1 से 10 तक, रूबल वेट सेट करता है कि प्रत्येक आइटم कितने अंक के लायक है; वे मॉडल वजन नहीं हैं, लेकिन भारित स्कोर वह इनाम बन जाता है जो मॉडल के वजन को समायोजित करता है। एक अच्छा रूब्रिक एक से अधिक वैध विधि स्वीकार करता है, और एमओपीडी पाइपलाइन में शिक्षक वित्त केवल इसके पीछे कार्यों और रूब्रिक्स के रूप में उतना ही अच्छा होता है। गुंजल एट अल (2025) कहते हैं कि रूब्रिक्स पहले से ही सत्यापन योग्य डोमेन से परे लाभ पहुंचा रहे हैं।

स्रोत वर्णन करता है कि लामा 2 दो इनाम मॉडल, सहायकता और सुरक्षा का उपयोग कर रहा है जो एक दूसरे के खिलाफ खींच सकते हैं; जोखिम भरे संकेतों के लिए, सुरक्षा स्कोर को प्राथमिकता दी जाती है।

डीपसेक-वी4 रिपोर्ट में एक जनरेटिव रिवार्ड मॉडल द्वारा स्कोर किए गए रूब्रिक-गाइडेड आरएल डेटा का वर्णन किया गया है, जो केवल विविध मानव एनोटेशन के एक छोटे से सेट के साथ काम करता है। स्रोत ने R1-Zero और R1 को भी विरोधाभास दिया हैः आर 1-जीरो शुद्ध आरएल, मजबूत तर्क लेकिन गन्दा आउटपुट के साथ एक प्रयोग था, जबकि आर 1 उत्पाद था। एक ठंडी शुरुआत मॉडल को एक छोटा एसएफटी वार्म-अप देती है इसलिए यह पहले से ही स्वच्छ, सुसंगत प्रारूप में लिखता है, और आरएल फिर पठनीयता के बजाय सटीकता पर अपना प्रयास खर्च करता है.

MAI-Thinking-1 में ट्रेस डिस्टिलेशन SFT के लिए, स्रोत का कहना है कि तीन विशेषज्ञोंSWE और एजेंटिक; STEM; मददगारता और सुरक्षा से निशान एकत्र किए जाते हैं, और एक मॉडल उन पर ठीक किया जाता है। अंतिम चढ़ाई, एक शब्द Microsoft AI लंबे आरएल रन के लिए उपयोग करता है जो स्कोर को बेहतर बनाता रहता है, उस समेकित मॉडल पर एक और आरएल चल रहा है। स्रोत कहता है कि यह V4 की तुलना में R1 के करीब है, हालांकि इसका एट्रिब्यूशन नोट Micros पर टूट जाता है, इसलिए वहां कोई अतिरिक्त विवरण प्रदान नहीं किया गया है।

वरीयता डेटा और अनऑडिट गैप

वरीयताएं वह हैं जो लोग तब तक पहुंचते हैं जब कोई एकल सही उत्तर नहीं होता है। लैंबर्ट (एनडी) का कहना है कि यह काम करता है क्योंकि न्याय करना उत्पन्न करने की तुलना में बहुत आसान हैः लोग बता सकते हैं कि कौन सा जवाब बेहतर है, भले ही वे इसे स्वयं लिख न सकें।

लैम्बर्ट एट अल. (2023) आरएलएचएफ को तीन शाखाओं में ट्रैक करते हैं, उनके आंकड़े में मूल श्रेय बनाए रखते हुएः इष्टतम नियंत्रण, जो गतिशील प्रोग्रामिंग और गणितीय नींव की आपूर्ति करता है जिससे सुदृढीकरण सीखने और फिर गहरे आरएल का नेतृत्व किया जाता है; गहरी सीखना, जिसने एलएलएम में तंत्रिका नेटवर्क, डेटा और समस्या जटिलता को बढ़ाया; और अर्थशास्त्र और निर्णय सिद्धांत, जिन्होंने व्यक्तिगत वरीयताओं और उनकी तुलना करने के तरीकों का अध्ययन किया।

For Post-Training Stages and Preference Data, Judging Is Much Easier Than Generating

उपयोगिता के पीछे पुराना विचार पोर्ट-Royal Logic में दिखाई देता है, जो इस दृष्टिकोण का समर्थन करता है कि निर्णय की गुणवत्ता इसकी संभावना से भारित एक परिणाम है, अर्नाउल्ड (1662) लिखते हैं। सिंह एट अल. (2009) मूल्य कार्यों के माध्यम से पुरस्कारों का वर्णन करते हैंः एक मान फ़ंक्शन पसंदीदा व्यवहार की ओर दिशा देता है और निर्णय उच्च-मूल्य वाले राज्यों में संक्रमण होता है।

वरीयता डेटा कई इंटरफेस के माध्यम से एकत्र किया जा सकता है। एक लाइकर्ट स्कोर रेटर को एक निश्चित पैमाने पर उत्तर देने की अनुमति देता है, जैसे कि क्लाउड के शुरुआती प्राथमिकता इंटरफ़ेस में, बाई एट अल (2022) नोट। एक ए / बी परीक्षण रेटर से दो प्रतिक्रियाओं के बीच चयन करने के लिए कहता है। जोड़ीबद्ध संबंधों के साथ, जैसा कि Chatbot Arena सार्वजनिक मूल्यांकन में उपयोग किया जाता है, रेटर दो प्रतिक्रियाएं चुनने या टाई चिह्नित करने की अनुमति देते हैं, चियांग एट एल. (2024) कहते हैं। एक एकल बिट थंब्स अप का उपयोग करता है या एक प्रतिक्रिया पर नीचे अंगूठे हाथों का प्रयोग करता है। कई लोगों से चुनें रेटिंगर को कई प्रतिक्रियाओं से सर्वश्रेष्ठ चुनने के लिए कहती है, छवि मॉडल में डिफ़ॉल्ट, लैम्बर्ट (एनडी) नोट्स।

रेटिंग और रैंकिंग अलग-अलग होते हैं। एक रेटिंग अलगाव में एक पूर्णता के लिए एक स्कोर होता है। एक रैंक अक्सर लाइकर्ट पैमाने पर प्रतिक्रियाओं के बीच सापेक्ष तुलना होती है, बाई एट अल (2022) कहते हैं।

चेन स्पेक है, फिर डेटा, फिर व्यवहार। स्पेक प्रलेखित इरादा व्यवहार है, उदाहरण के लिए Model Spec , ओपनएआई (2024) नोट्स। लैम्बर्ट (एनडी) अनऑडिट अंतराल की पहचान करता हैः डेटा से व्यवहार तक का कदम चेक नहीं किया जाता है, जिसका अर्थ है कि कोई भी यह सत्यापित नहीं करता है कि एनोटेटर्स द्वारा लिखे गए मान वास्तव में अंतिम मॉडल में परिलक्षित होते हैं या नहीं।

पाठकों के लिए, व्यावहारिक टेकअवे यह है कि LLM पोस्ट-प्रशिक्षण प्रशिक्षण सिग्नल को कार्य से मेल खाने पर निर्भर करता है। एसएफटी आकार सिखाता है, वरीयता ट्यूनिंग सीखता है कि लोग क्या पसंद करते हैं, आरएलवीआर सीखते हैं कि क्या जांच की जा सकती है, और विशेषज्ञ आसवन कौशल को टकराव से रखने का प्रयास करता है । अगली बात यह देखने की है कि क्या रूब्रिक-निर्देशित और जनरेटिव-पुरस्कार विधियां प्रमाणीकृत इरादे और अवलोकन व्यवहार के बीच की खाई को बंद करते हुए सत्यापित सीखने को कठिन डोमेन में विस्तारित कर सकती हैं।

मेटा विवरणः LLM एसएफटी, आरएलएचएफ, डीपीओ और आरएलवीआर, वरीयता डेटा के साथ समझाया गया पोस्ट-प्रशिक्षण, विशेषज्ञ आसवन, मानव रूब्रिज, इनाम मॉडल और मॉडल व्यवहार व्यापार-ऑफ।

टैगः LLM प्रशिक्षण के बाद, वरीयता डेटा, आरएलएचएफ, डीपीओ, RLVR

विशेष रुप से प्रदर्शित छवि: चार ट्यूनिंग चरणों का अमूर्त मैत्रीपूर्ण चित्रण रंगीन लेन के रूप में एक मॉडल में विलय हो रहा है, जिसमें कोई वास्तविक लोग नहीं हैं, कोई लोगो और कोई पाठ नहीं है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.