शुरुआती मूल बातें

यह तर्क मॉडल का अवलोकन है।

सत्यापित पुरस्कारों ने reinforcement learning को तर्क मॉडल के लिए केंद्रीय बना दिया। प्रशिक्षण और अनुमान में गणना पैमाने, आधुनिक सीमांत व्यंजनों को आकार देना।

यह तर्क मॉडल का अवलोकन है।

मुख्य जानकारी

  • reinforcement learning एक अंतिम पॉलिश से मूल प्रशिक्षण चरण में स्थानांतरित हो गया, जिससे large language models को लंबी तर्क श्रृंखलाएं सीखने की अनुमति मिली।
  • RLVR, reinforcement learning सत्यापित पुरस्कारों के साथ, गणित और कोड जैसे कार्यों के लिए स्वचालित चेकर्स के साथ महंगे इनाम मॉडल को बदल दिया, तर्क प्रशिक्षण स्केलेबल बना रहा है।
  • रीजनिंग मॉडल प्रशिक्षण-समय स्केलिंग और निष्कर्ष-समय स्कैलिंग दोनों के माध्यम से प्रदर्शन में सुधार करते हैं, अक्सर पहले कवरेज बढ़ाते हैं और बाद में विश्वसनीयता।
  • Key RL algorithms में PPO, GRPO, DAPO और CISPO शामिल हैं, प्रत्येक अलग-अलग है कि वे कैसे तुलना करते हैं, क्लिप या वजन मॉडल अपडेट।
  • 2026 तर्क-मॉडल परिदृश्य प्रमुख बदलावों को दर्शाता हैः बड़े पैमाने पर आरएल, खुले वजन की प्रगति, एजेंटिक टूल का उपयोग और बहु-शिक्षक प्रशिक्षण डिजाइन।

large language models ने उत्तर देने से पहले "सोचना" कैसे सीखा, इसका अनुसरण करने की कोशिश करने वाले किसी भी व्यक्ति के लिए पिछले दो वर्षों का सबसे महत्वपूर्ण बदलाव यह हैः reinforcement learning (आरएल) एक अंतिम पॉलिश होना बंद कर दिया और मुख्य प्रशिक्षण चरण बन गया। इस लेख में उन पाठकों के लिए परिवर्तन समझाया गया है जो बुनियादी machine learning जानते हैं लेकिन शोध साहित्य को ट्रैक नहीं किया है पता लगाते हुए कि सत्यापन योग्य पुरस्कारों के साथ आरएलवीआर तर्क मॉडल क्यों अनलॉक करते हैं, प्रशिक्षण-समय और अनुमानित समय कंप्यूटिंग स्केलिंग कैसे भिन्न होते हैं, और कौन से डिजाइन विकल्प अब सीमांत प्रशिक्षण व्यंजनों को परिभाषित करते हैं।

This Is an Overview of Reasoning Models.

केक पर चेरी से लोड-बेयरिंग दीवार तक

पुराना मानसिक मॉडल Yann LeCun के 2016 "केक" सादृश्य से आया था, जैसा कि लैम्बर्ट (2026) में उद्धृत किया गया हैः अनसुपरवाइज्ड या प्रेडिक्टिव लर्निंग केक है, पर्यवेक्षित सीखना आईसिंग है, और आरएल चेरी है। तर्क सिग्नल घनत्व के बारे में था - प्रत्येक परत ऊपर मॉडल को नीचे की परत की तुलना में प्रति नमूना बहुत कम संकेत बिट्स देती है, इसलिए आरएल केवल एक अंतिम स्पर्श हो सकता है।

RLVR ने उस धारणा को तोड़ दिया। यह आरएल लूप रखता है लेकिन इनाम मॉडल वैकल्पिक बनाता है, इसे एक सत्यापन फ़ंक्शन के साथ बदल देता है जो पूर्णता स्कोर करता है (लैम्बर्ट एट अल., 2024) । एक विश्वसनीय चेकर के साथ th गणित उत्तर या कोड परीक्षण सोचें signal पुरस्कार सिग्नल सस्ता और मापनीय हो जाता है, और आरएल लंबे समय तक चल सकता है कि कोई मॉडल कैसे व्यवहार करता है, न कि JUST चीजों को कैसे कहता है। यही वह दरवाजा है जिसके माध्यम से तर्क मॉडल पहुंचे (लैम्बर्ट, 2026; लैम्बर्ट, एनडी) ।

इस फ्रेमिंग में reasoning model एक मॉडल है जिसे आरएल (विशेष रूप से आरएलवीआर) के साथ प्रशिक्षित किया जाता है ताकि उत्तर देने से पहले लंबे समय तक सोच सकें: यह एक लंबा chain of thought उत्पन्न करता है और परीक्षण समय पर अधिक कंप्यूटिंग खर्च करता है।

अधिक कंप्यूटिंग खर्च करने के दो तरीके

प्रदर्शन को दो स्थानों पर स्केल किया जा सकता है, और व्याख्यान सामग्री उन्हें पूरक के रूप में मानती है ( OpenAI , 2024, जैसा कि लैम्बर्ट, एन.डी. में उद्धृत किया गया है) । आरएल प्रशिक्षण तराजू सीखने के दौरान गणना करते हैं; अनुमान-समय स्केलिंग कंप्यूटिंग खर्च करता है जबकि मॉडल जवाब दे रहा है। स्लाइड्स, लागत पंक्तियों और अनुक्रमिक बनाम समानांतर विभाजन में समानता मापा परिणामों की बजाय एक सारांश है लेकिन व्यावहारिक बिंदु यह है कि दोनों मार्ग प्रदर्शन में सुधार करते हैं, और अब प्रयोगशालाओं ने दोनों के लिए बजट बनाया है।

This Is an Overview of Reasoning Models.

यह वह जगह भी है जहाँ pass@1 बनाम pass@K अंतर मायने रखता है। पास @ 1 एक शॉट है और विश्वसनीयता को मापता हैः क्या मॉडल पहले प्रयास में सही उत्तर प्राप्त कर सकता है?

algorithm स्टैकः पीपीओ, GRPO, DAPO, CISPO

मूल विधियों को सीधे रखने के लायक है क्योंकि नए वेरिएंट उनमें संशोधन हैं।

पीपीओ, Proximal Policy Optimization (शूलमैन एट अल., 2017), एक व्यक्तिगत कोच के साथ एक छात्र की तरह काम करता है। कोच-आलोचक भविष्यवाणी करते हैं कि प्रत्येक प्रयास कितना अच्छा होना चाहिए, और उस पूर्वानुमान के खिलाफ इनाम की तुलना की जाती है। जीआरपीओ,Group Relative Policy Optimization (शाओ एट एल., 2024), एक ही प्रश्न हल करने वाली कक्षा की तरह कार्य करता हैः कोई कोच नहीं है, और हर उत्तर समूह के औसत के खिलाफ स्कोर किया जाता है। सिग्नल के बिना समूह का मामला लैम्बर्ट (एनडी) में वर्णित शून्य ग्रेडिएंट फ़िल्टरिंग से मेल खाता है।

DAPODecoupled ClipDecoupled Clip और Dynamic sAmpling Policy Optimization relax GRPO (Yu et al., 2025, जैसा कि लैम्बर्ट में उद्धृत किया गया है) का एक आराम से क्लिपिंग संस्करण है। ध्यान दें कि व्याख्यान स्लाइड संक्षिप्त रूप को "Dynamic Advantage Policy Optimization" के रूप में विस्तारित करती है; यह लेख डीएपीओ पेपर के अपने नाम का उपयोग करता है। CISPO, Clipped Importance Sampling Policy अनुकूलन, MiniMax -M1 ( MiniMax , 2025, लैंबर्ट, n.d.) से आता है। दोनों परिवारों में महत्व नमूनाकरण (आईएस) वजन मॉडल के पुराने संस्करण द्वारा लिखे गए उत्तरों पर प्रशिक्षण के लिए सही होता है (लैम्बर्ट, एनडी) ।

2026 reasoning model लहर कैसी दिखती है

स्रोत सामग्री में रिलीज़ की तारीखें benchr (n.d.) और Interconnects AI (2026b) से आती हैं, जिसमें "Every AI Model Family That Matters"2026,Interconnects AI (2026a, 2026b] और AI Weekly 2026 के पेशेवरों और विपक्षों का सारांश दिया गया है। स्रोत 12 मॉडल प्रस्तुत करता है जिनमें एक प्रो और एक कॉन प्रत्येक एक चयन होता है, रैंकिंग नहीं और विक्रेता नाम लोगो के लिए खड़े होते हैं।

This Is an Overview of Reasoning Models.

सटीकता पर, 12 में से केवल तीन के पास Artificial Analysis Intelligence Index v5 स्कोर है। Claude Opus 5.5 58, Gemini 4 Argon 50 और GLM -5.3 32 (Artificial Analysis, 2026) पर अग्रणी है। सूचकांक एक समग्र है, शुद्ध सटीकता माप नहीं है, इसलिए आदेश को फैसले के बजाय मोटे सिग्नल के रूप में मानें।

यह परिदृश्य यहाँ कैसे आया

पांच संक्रमण क्षेत्र के वर्तमान आकार की व्याख्या करते हैं।

  • कोल्ड स्टार्ट एसएफटी से बड़े पैमाने पर आरएल। DeepSeek R1 के नुस्खा कोल्ड-स्टार्ट पर्यवेक्षित fine-tuning से शुरू हुआ और फिर बड़े पैमाने पर आरएल (गुओ एट अल, 2025) पर भरोसा किया।
  • एक खुले वजन मानक के लिए बंद भार। Kimi 1.5 ने एक विस्तृत रिपोर्ट प्रकाशित की, लेकिन कोई ओपन-वेट रिलीज़ नहीं (Kimi Team एट अल., 2025); फिर Qwen 3 ने एक नया खुला वजन मानक निर्धारित किया (लैम्बर्ट, एनडी; यांग एट एल. , 2025) ।
  • RLHF से आरएलवीआर. आरएलवीआर आरएल लूप को रखता है, इनाम मॉडल वैकल्पिक बनाता है और एक सत्यापन फ़ंक्शन में स्वैप करता है जिसने तर्क मॉडलों के लिए दरवाजा खोला (लैम्बर्ट एट अल., 2024; लैम्बर्ट, 2026; लैंबर्ट, एनडी) ।
  • एजेंटिक तर्क के लिए कारण। सीमा तर्क मॉडल से लंबी क्षितिज, उपकरण का उपयोग करने वाले एजेंटों (लैम्बर्ट, एन.डी.) में स्थानांतरित हो गई है और DeepSeek V3.2 सीधे टूल के उपयोग में सोच बनाता है ( DeepSeek -एआई, 2025) ।
  • एक शिक्षक कई के लिए। MiMo-V2-फ्लैश बड़े पैमाने पर एजेंटिक आरएल के साथ मल्टी टीचर ऑन पॉलिसी डिस्टिलेशन (एमओपीडी) को जोड़ती है, जो कई शिक्षकों को एक मॉडल में मोड़ देती है ( LLM - Core Xiaomi, 2025; लैम्बर्ट, 2026).

आरएलवीआर नुस्खा विकल्प जो वास्तव में मायने रखते हैं

यदि आप प्रशिक्षण रिपोर्ट पढ़ रहे हैं, तो ये खोज करने के लिए बटन हैं।

  • ऑनलाइन फ़िल्टरिंग और पाठ्यक्रम। उन संकेतों को छोड़ दें जो बहुत आसान या बहुत कठिन हो गए हैं, और प्रशिक्षण में बाद के लिए कठिन समस्याओं को रखें (जैसे, Kimi Team एट अल., 2025; Mistral AI, 2025) ।
  • ऊपरी कतरनी को ढीला करना। ऊपरी क्लिप बाउंड को चौड़ा करें ताकि अन्वेषणात्मक अद्यतन जीवित रहें (यू एट अल., 2025) ।
  • प्रति- token हानि। अनुक्रम के बजाय कुल tokens पर नुकसान का औसत, जो लंबाई पूर्वाग्रह को हटा देता है (लियू एट अल., 2025) ।
  • भाषा स्थिरता पुरस्कार। एक ट्रेस के भीतर भाषा स्विचिंग को दंडित करें (गुओ एट अल, 2025; Mistral AI, 2025) ।
  • लंबाई नियंत्रण। लक्ष्य लंबाई को धीरे-धीरे बढ़ाएं ताकि मॉडल पहले सीख सके कि यह छोटी लंबाई पर क्या कर सकता है (Kimi Team एट अल, 2025) ।

आगे क्या देखना है

खुले प्रश्न उपरोक्त संक्रमणों से सीधे अनुसरण करते हैंः क्या प्रमाणीकरण सस्ता रहता है क्योंकि कार्य गणित और कोड से एजेंटिक, टूल-उपयोग करने वाली सेटिंग्स में जाते हैं; क्या ओपन-वेट रिलीज़ बंद सीमा प्रशिक्षण के साथ तालमेल बिठाता है; और क्या बहु-शिक्षक आसवन प्लस एजेंटिक आरएल डिफ़ॉल्ट नुस्खा बन जाता है। पाठकों के लिए, व्यावहारिक टेकऑफ यह है कि "तर्क" अब एक प्रशिक्षण चरण की संपत्ति है, न कि एक उत्तेजक चालइसलिए जब कोई नया मॉडल बेहतर सोचने का दावा करता है, तो पहली बात यह जांचना है कि किस सिग्नल के खिलाफ इसे प्रशिक्षित किया गया था।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.