Agent Lightning संस्करण 1.0 एक हल्का 3,500-लाइन एजेंटिक reinforcement learning फ्रेमवर्क है जो वास्तविक हार्नेस का उपयोग करके एजेंटों को प्रशिक्षित करता है।

मेटा विवरणः Microsoft Research Asia ओपन-सोर्स Agent Lightning v1.0, एक 3,500 लाइन Harnessed Agentic RL फ्रेमवर्क जो Kubernetes नौकरियों के साथ वास्तविक एजेंट हार्नेस को प्रशिक्षित करता है।

टैगः एजेंट लाइटनिंग, हार्नेस्ड एजेन्टिक आरएल, Kubernetes , क्यूवेन3.5-9B, reinforcement learning

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक एजेंट हार्नेस, Kubernetes नौकरियों और प्रशिक्षण लूप को जोड़ने वाले हल्के नियंत्रण विमान का अमूर्त अनुकूल चित्रण; कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

डेवलपर्स और अनुसंधान टीमों के लिए जो large language model एजेंट को प्रशिक्षित करते हैं, Agent Lightning v1.0 उसी एजेंट हार्नेस के साथ reinforcement learning का उपयोग करने का एक सरल तरीका प्रदान करता है जिसे तैनात किया जाएगा। Microsoft Research Asia ने Harnessed Agentic RL नामक एक प्रशिक्षण प्रतिमान पेश किया है और पूरी तरह से पुनर्निर्मित Agent Lightning संस्करण 1.0 को ओपन-सोर्स किया है। मूल की तुलना में Agent Lightning, वी 1.0 हल्के रहने पर अधिक ध्यान केंद्रित करता है, वास्तविक हार्नेज़ के साथ एकीकृत होता है, और एक पूर्ण, पुनरुत्पादित एजेंट आरएल ट्रेनिंग पाइपलाइन बनाता है। इसके बजाय कि डेवलपर प्रशिक्षण ढांचे के भीतर एजेन्ट को फिर से लागू करें, परियोजना तैनात हार्नेस को सीधे सीखने में भाग लेने देती है। परिणाम एक Kubernetes -अनुकूल नियंत्रण विमान है जो अपने मौजूदा कोड को बदलने के बिना असली एजेंटों को ट्रेन कर सकता है।

reinforcement learning , या RL, एक दृष्टिकोण है जहां AI सिस्टम अपने कार्यों के लिए पुरस्कार और दंड द्वारा निर्देशित परीक्षण और त्रुटि के माध्यम से सीखते हैं। यह एजेंट व्यवहार में सुधार कर सकता है, लेकिन एजेंट आरएल को एकल-मॉडल आरएल की तुलना में लागू करना कठिन रहा है। AI एजेंटों ने मॉडल, टूल और निष्पादन वातावरण से निर्मित जटिल पूर्ण-स्टैक प्रणालियों में एकल मॉडलों से विकसित किया है। उनकी क्षमताएं तेजी से एजेंट हार्नेस पर निर्भर करती हैं, जो कि मॉडल के बाहर उन टुकड़ों का समन्वय करने वाली software परत है। यदि प्रशिक्षण उस हार्नेस की एक सरलीकृत प्रतिलिपि का उपयोग करता है जबकि तैनाती एक अलग का उपयोग करती है, तो सीखा हुआ व्यवहार वास्तविक प्रणाली से मेल नहीं खा सकता है।

क्यों तैनात और प्रशिक्षित एजेंट आमतौर पर अलग होते हैं

पारंपरिक एजेंटिक आरएल मानता है कि प्रशिक्षण फ्रेमवर्क पर्यावरण के साथ बातचीत लूप का मालिक है। एक रिएक्ट-शैली की पाश में, मॉडल एक क्रिया उत्पन्न करता है, वातावरण एक अवलोकन लौटाता है, अवलोकन को संदर्भ से जोड़ा जाता है, और मॉडल अगली कार्रवाई पैदा करता है। पूरे रोलआउट मैप एक निरंतर token प्रक्षेपवक्र पर होते हैं।Agent Lightning इस मॉडल के आसपास verl, AReaL और slime जैसे सिस्टम बनाए गए थे, इसलिए एक एजेंट को प्रशिक्षित करने के लिए RL ढांचे के भीतर अपनी पाश का पुनर्निर्माण करना आवश्यक था।

यह धारणा तनावग्रस्त हो गई क्योंकि वास्तविक हार्नेस अधिक जटिल हो गए। कोडिंग एजेंट जैसे कि मिनी-एसडब्ल्यूई-एजेंट, ओपनहैंड्स, ओपनकोड,Claude Code और कोडेक्स प्रत्येक अपने स्वयं के संदर्भ प्रबंधन, टूल प्रोटोकॉल, निष्पादन तर्क और निर्भरता लाते हैं। सामान्य प्रयोजन वाले एजेंट सिस्टम समान मुद्दों का सामना करते हैं। प्रशिक्षण के लिए एक का पुनर्निर्माण महंगा है, और फिर से बनाया गया एजेंट अब तैनात एजेंट की तरह व्यवहार नहीं कर सकता है।

Agent Lightning एक अलग मार्ग लेता है. यह एजेंट और मॉडल के बीच large language model (LLM) प्रॉक्सी रखता है। एजेंट पहले की तरह चलता रहता हैः एंडपॉइंट जो पहले से ही मॉडल API को बुलाता था, वह इंगित किया जाता है Agent Lightning, और प्रशिक्षण ढांचा अपने मॉडल कॉल का निरीक्षण और रिकॉर्ड कर सकता है। v1.0, Microsoft Research Asia में इस दृष्टिकोण को औपचारिक रूप देता है Harnessed Agentic RL । मूल नियम सरल हैः तैनाती में जिस भी एजेंट हार्नेस का उपयोग किया जा रहा है वह वह हैं जो प्रशिक्षण के दौरान सीधे reinforcement learning में भाग लेते हैं। मौजूदा हार्नेस कोड अपरिवर्तित बना हुआ है।

कठिन प्रशिक्षण समस्याओं के लिए एक हल्का नियंत्रण विमान

पुनर्निर्मित ढांचा डिफ़ॉल्ट रूप से हल्का होने के लिए डिज़ाइन किया गया है। Agent Lightning v1.0 कोड की लगभग 3,500 पंक्तियों में एक पूर्ण एजेंट आरएल नियंत्रण विमान प्रदान करता है। कोडबेस को समझने, संशोधित करने और विस्तार करने के लिए पर्याप्त छोटा है, जबकि अभी भी Harnessed Agentic RL के प्रमुख भागों को लागू करते हुए। सिस्टम Foundry Labs के माध्यम से प्रस्तुत किया जाता है, जो Microsoft सफलताओं और बिल्डरों, वैज्ञानिकों और जिज्ञासु दिमागों को जोड़ता है जो उन्हें काम कर सकते हैं।

आर्किटेक्चर में तीन मुख्य घटक होते हैं। रोलआउट, मॉडल और इवेंट्स को स्टोर करता है और OpenAI संगत LLM प्रॉक्सी के रूप में कार्य करता है, जिसका अर्थ है कि यह सामान्य OpenAI API प्रारूप में अनुरोध स्वीकार कर सकता है। यह हार्नेस से प्रत्येक मॉडल कॉल को अपने रोलऑट से जोड़ता है और प्रशिक्षण की आवश्यकता वाले संकेतों, प्रतिक्रियाओं और लॉग संभावनाओं को रिकॉर्ड करता है। Rollout Controller एजेंट निष्पादन को स्थानीय प्रक्रियाओं या मानक Kubernetes नौकरियों के तौर पर चलाता है, प्रशिक्षक से अलग रखकर एजेंट के निष्पादन का प्रबंधन करता है । Customized Trainer Verl पर बनाया गया है. यह रोलओट्स बनाता है, उनके समाप्त होने की प्रतीक्षा करता है , नमूने एकत्र करता है तथा एक नमूना एडाप्टर के माध्यम से अंतिम प्रशिक्षण नमूनों को इकट्ठा करता है. मौजूदा हार्नेस एजंट के लिए, प्रोक्सी Agent Lightning पर मॉडल एंडपॉइंट इंगित करना आमतौर पर आरएल ट्रेनिंग से जल्दी कनेक्ट करने के लिए पर्याप्त होता है।

वास्तविक हार्नेस के साथ प्रशिक्षण एक एंडपॉइंट को स्वैप करने जितना सरल नहीं है, क्योंकि पर्यावरण इंटरैक्शन लूप को ट्रेनिंग फ्रेमवर्क के बजाय हार्नेस द्वारा संभाला जाता है। प्रशिक्षण प्रणाली केवल अनुरोध और प्रतिक्रिया जोड़े की एक श्रृंखला का निरीक्षण कर सकती है, इसलिए एक एकल रोलआउट को प्रशिक्षण नमूनों की परिवर्तनीय संख्या में विभाजित किया जा सकता है। यह चार चुनौतियां पैदा करता है।

पहला रिटोकनीकरण और नमूना विलय है। हार्नेस पाठ के रूप में संदर्भ रखते हैं, लेकिन आरएल प्रशिक्षण को रोलआउट के दौरान token आईडी का नमूना लेने की आवश्यकता होती है। चैट टेम्पलेट के माध्यम से टेक्स्ट पास करना और फिर से tokenizer token सीमाओं को स्थानांतरित कर सकता है, इसलिए आसन्न कॉल हमेशा एक नमूने में विलय नहीं किए जा सकते हैं।

दूसरा लाभ गणना है। रीटोकनाइजेशन, उप-एजेंट और संदर्भ सारांश एक रोलआउट को कई नमूनों में विभाजित कर सकते हैं। बेसलाइन और फायदे की गणना सीधे नमूना स्तर पर करने से ऐसे रोलऑउट होते हैं जो अधिक नमूने उत्पन्न करते हैं जिन्हें बार-बार गिना जाता है, जिससे रोलओउट स्तर पर मूल सांख्यिकीय संबंध बदल जाते हैं।

तीसरा नुकसान सामान्यीकरण है। नमूना गणना द्वारा हानि का औसत अधिक वजन रोलआउट को देता है जो अधिक नमूने उत्पन्न करते हैं। चूंकि नमूना गणना अक्सर हार्नेस व्यवहार का एक उत्पाद होती है, इसलिए हानि सामान्यीकरण से विकृत होने से बचना चाहिए।

चौथा प्रशिक्षण बैकएंड शेड्यूलिंग है। नमूना संख्या और लंबाई केवल हार्नेस खत्म होने के बाद ही ज्ञात होती है, जबकि GPU गिनती और डेटा / टेंसर समानांतर विन्यास आमतौर पर तय होते हैं। बैकएन्ड को एक परिवर्तनीय कार्यभार को निश्चित संसाधनों में मैप करना होता है।

Kubernetes नौकरियां और तेजी से रोलआउट

पर्याप्त रोलआउट एकत्र करने का अर्थ है एक बार में कई एजेंटों को चलाना, जो काफी CPU, मेमोरी और कंप्यूटिंग संसाधनों का उपभोग करता है। फ्रेमवर्क अक्सर उन एजेन्टों को वाणिज्यिक सैंडबॉक्स सेवाओं जैसे कि Modal Sandbox या ई 2 बी पर होस्ट करते हैं, जहां लागत पैमाने के साथ तेजी से चढ़ती है।Agent Lightning v1.0 उस निर्भरता से बचते हुए सीधे मानक Kubernetes नौकरियों के रूप में एजेंट चला रहा है, बिना किसी भुगतान किए गए वाणिज्यिक रेत बॉक्स सेवाओं पर कोई निर्भरता नहीं। Kubernetes , कंटेनराइज्ड जॉब्स चलाने के लिए एक प्रणाली, ढांचे को मौजूदा स्व-प्रबंधित क्लस्टर, क्लाउड Kubernetes , या स्थानीय अवसंरचना का पुनः उपयोग करने की अनुमति देती है। यह स्केल पर रोलऑट संग्रह को सस्ता बनाता है और पाइपलाइन open source और पुनरुत्पादक रखता है।

फ्रेमवर्क निष्क्रिय समय को भी संबोधित करता है। रोलआउट का समय एजेंटों के बीच व्यापक रूप से भिन्न होता है। बैच में सबसे धीमे एजेंट की प्रतीक्षा करता है और GPUs को निष्क्रिय छोड़ देता है। पूरी तरह से अतुल्यकालिक आरएल उपयोग बढ़ाता है लेकिन रोलऑट और प्रशिक्षण के लिए अलग-अलग पूलों की आवश्यकता होती है।

एक बार जब सिस्टम पर्याप्त रोलआउट एकत्र कर लेता है, तो अपडेट शुरू हो जाता है। API Gateway नए अनुरोधों को स्वीकार करना बंद कर देता है और पहले से चल रहे अनुरोधों की प्रतीक्षा करता है. अद्यतन पूरा होने के बाद रोलऑट फिर से शुरू होता है। संपूर्ण राज्य संक्रमण बाहरी एजेंट हार्नेस के लिए पारदर्शी है। प्रयोगों में, इस दृष्टिकोण ने पारंपरिक अतुल्यकालिक आरएल की तुलना में कम GPUs का उपयोग करते हुए सिंक्रोनस आरएल पर लगभग 2x एंड-टू-एंड स्पीडअप हासिल किया।

Qwen3.5-9B कोडिंग परिणाम क्या दिखाता है

रिपोर्ट किए गए परिणाम SWE-smith, mini-SWE-agent और Qwen3.5-9B पर निर्मित एक एंड-टू-एंड कोडिंग एजेंट पाइपलाइन है। पाइप लाइन में डेटा क्लीनिंग, पर्यावरण निर्माण, इनाम-हैकिंग सुरक्षा उपायों और आरएल प्रशिक्षण शामिल हैं। प्रशिक्षण सेट open-source dataset के आधार पर लगभग 6,000 प्रशिक्षण नमूने रखता है और बड़े पैमाने पर कंप्यूटिंग की आवश्यकता नहीं होती है। अकेले RL प्रशिक्षण ने एसडब्ल्यूई-बेंच सत्यापित कोडिंग बेंचमार्क पर 14.6 प्रतिशत अंकों का पूर्ण लाभ उठाकर क्वेन ३.५--9B से 41.8% पास @ १ तक बढ़ा दिया।

प्रयोग रोलआउट-स्तर के आँकड़ों के आसपास डिजाइन विकल्पों को भी मान्य करते हैं। नमूना स्तर से निपटने की तुलना में, रोलऑट-स्तरीय लाभ गणना का उपयोग करके रोल आउट-स्तर सामान्यीकरण एक उच्च सत्यापन इनाम प्राप्त करता है और प्रशिक्षण के दौरान नीति एन्ट्रॉपी को अधिक स्थिर रखता है। एसडब्ल्यूई-स्मिथ वैधता सेट पर Qwen3.5-9B के लिए पास दर और नीति एंट्रोपी को ट्रैक किया गया था।

पाठकों के लिए, व्यावहारिक टेकअवे यह है कि Agent Lightning v1.0 एजेंट आरएल में सबसे बड़ी बाधाओं में से एक को हटाने की कोशिश करता हैः प्रशिक्षित होने वाले एजेंट और तैनात किए जा रहे एजेंट के बीच का अंतर। यदि इसका एंडपॉइंट-आधारित प्रॉक्सी, Kubernetes समर्थन और कॉम्पैक्ट कंट्रोल प्लेन वास्तविक परियोजनाओं में रहता है, तो टीमें मौजूदा हार्नेस का पुनः उपयोग करने, अपने स्वयं के बुनियादी ढांचे पर रोल आउट चलाने और बाहरी सैंडबॉक्स सेवाओं के लिए भुगतान किए बिना आरएल का पता लगाने में सक्षम हो सकती हैं। अगली बात यह देखना है कि क्या अन्य एजेंट सिस्टम अपनी अनूठी संदर्भ प्रबंधन, टूल प्रोटोकॉल और निष्पादन तर्क को संरक्षित करते हुए उसी पैटर्न के माध्यम से जुड़ सकते हैं या नहीं।