LFM2.5-24B-A2B के साथ तेजी से और निजी ऑन-डिवाइस एजेंट चलाएं.

मेटा विवरणः LFM2.5-24B-A2B 2 अरब सक्रिय मापदंडों के साथ एक स्थानीय तर्क एजेंट मॉडल है, Apple M5 Max पर 184 tokens प्रति सेकेंड और 131,000- token context window ।

टैगः LFM2.5-24B-A2B, तर्क एजेंट, स्थानीय निहितार्थ, विशेषज्ञों का मिश्रण, खुला भार

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक छोटे चिप-आकार के नेटवर्क का अमूर्त मैत्रीपूर्ण चित्रण जो बड़े मॉडल बॉडी के अंदर चार विशेषज्ञ नोड्स को सक्रिय करता है।

LFM2.5-24B-A2B एक तर्क-केवल एजेंट मॉडल है जिसे डेवलपर्स के लिए डिज़ाइन किया गया है जो चाहते हैं कि AI एप्लिकेशन जवाब देने से पहले सोचें, टूल को कॉल करें और बहुत बड़े मॉडल पर भरोसा करने के बजाय स्थानीय hardware पर चलें। यह एक मिश्रण-विशेषज्ञों का मॉडल है, जिसका अर्थ है कि इसमें कई पैरामीटर हैं लेकिन प्रत्येक token के लिए केवल उपसमूह सक्रिय करता है; यहां वह सक्रिय गणना 2 बिलियन मापदंड प्रति token है। रिलीज में कहा गया है कि मॉडल Qwen3.6-35B-A3B के लिए 38.19 बनाम LiveClaw पर 48.09 स्कोर करता है, लगभग 50 प्रतिशत अधिक कुल और सक्रिय मानकों वाला मॉडल, इसे कुशल रहते हुए एजेंटिक और टूल-उपयोग कार्यों पर प्रतिस्पर्धी बनाता है।

एजेंट बिल्डर्स के लिए यह रिलीज़ क्यों मायने रखता है

मूल्य JUST एक नया बेंचमार्क स्कोर नहीं है। एजेंट वर्कफ़्लो को अक्सर यह तय करने के लिए मॉडल की आवश्यकता होती है कि कौन सा टूल कॉल करना है, परिणाम की जांच करें, अपने उत्तर को संशोधित करें और कई चरणों में ऐसा करते रहें। इस तरह का काम महंगा हो सकता है यदि मॉडल बड़ा, धीमा या होस्ट सेवा की आवश्यकता है। LFM2.5-24B-A2B उस लागत बिंदु पर लक्ष्य रखता हैः यह अंतिम उत्तर से पहले हमेशा स्पष्ट रूप से chain of thought उत्पन्न करता है, लेकिन केवल 2 बिलियन पैरामीटर प्रति token सक्रिय होते हैं। व्यावहारिक प्रभाव, जैसा कि रिलीज द्वारा वर्णित किया गया है, प्रत्येक तर्क token , स्थानीय या किनारे की तैनाती का समर्थन करने के लिये पर्याप्त सस्ता होता है।

यह मॉडल उन टीमों के निर्माण सहायकों के लिए सबसे दिलचस्प बनाता है जिन्हें व्यापक तथ्यात्मक रिकॉल की बजाय विश्वसनीय टूल उपयोग की आवश्यकता होती है। यदि कार्य एक उपकरण परिणाम की जांच करना, उत्तर को संशोधित करना और कई चरणों के माध्यम से जारी रखना है, तो बेंचमार्क प्रोफ़ाइल बताता है कि मॉडल बड़े मिश्रण-ऑफ-विशेषज्ञ प्रणालियों के साथ प्रतिस्पर्धा कर सकता है। अगर कार्य मेमोरी से किसी विशेष प्रश्न का जवाब देना है, तब रिलीज़ स्वयं इसे पुनर्प्राप्ति या वेब खोज के साथ जोड़ने की सिफारिश करता है।

क्या LFM2.5-24B-A2B हुड के नीचे परिवर्तन

LFM2.5-24B-A2B एलएफएम 2-24B-ए 2 बी पर बनाता है और एक ही व्यापक वास्तुकला रखता हैः 40 परतें, प्रति विशेषज्ञों के मिश्रण ब्लॉक में 64 विशेषज्ञ, और शीर्ष -4 रूटिंग। उस मार्ग का अर्थ है कि प्रत्येक token के लिए चार विशेषज्ञ उपयोग किए जाते हैं। यह गेट शॉर्ट कन्वॉल्यूशंस और समूहीकृत क्वेरी ध्यान के हाइब्रिड को भी रखती है। समूहबद्ध प्रश्न ध्यान कुंजी-मूल्य जानकारी साझा करके अनुमान के दौरान स्मृति और गणना को कम करने की एक सामान्य तकनीक है.

context window 32,000 से 131,000 तक बढ़ता है, जो लंबे दस्तावेजों और बहु-चरण उपकरण इतिहास के लिए मायने रखता है। tokenizer को जगह में विस्तारित किया जाता है, बेहतर गैर-लैटिन टोकनकरण के साथ 65,000 से 128,000 tokens की शब्दावली दोगुनी हो जाती है। यह अद्यतन सुधार कर सकता है कि कैसे मॉडल स्क्रैच से tokenizer को प्रतिस्थापित किए बिना बहुभाषी पाठ को संभालता है।

प्रशिक्षण का भी विस्तार किया गया। पूर्व-प्रशिक्षण लगभग 17 ट्रिलियन tokens से बढ़कर लगभग 33 खरब tokens हो गया है। फिर मध्य प्रशिक्षण में तर्क, गणित, कोड, निर्देशों के बाद और बहुभाषी पाठ की ओर भारित 32,000 संदर्भ पर 2 ट्रिलિયન tokens , साथ ही 300 बिलियन tokens , लंबे संदर्भ डेटा की ओर वजन बढ़ाया। टूल कॉल और मल्टी-टर्न ट्रेजेक्टोरियां दोनों चरणों में दिखाई देती हैं।

पोस्ट-प्रशिक्षण पांच चरणों के माध्यम से आधार मॉडल को एक एजेंट में बदल देता हैः पर्यवेक्षित fine-tuning , शिक्षक विशेषज्ञता, गैर-एजेंटिक कार्यों के लिए नीति पर बहु-डोमेन आसवन, एजेंटिक कार्य के लिए पॉलिसी पर मल्टी-डोमिन आसवन और एजेन्टिक reinforcement learning । reinforcement learning स्टेज ओपनक्लॉ, Hermes Agent, पाई और ओपनकोड जैसे एजेंट हार्नेस के अंदर ट्रेन करता है।

यह तर्क और उपकरण के उपयोग पर कैसे तुलना करता है

रिलीज़ ने LFM2.5-24B-A2B का मूल्यांकन Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it और Nemotron-3.5-Lightning के खिलाफ 16 बेंचमार्क पर किया है जिसमें टूल उपयोग और एजेंटिक वर्कफ़्लो, ज्ञान, निर्देशों का पालन करना, गणित और कोडिंग शामिल हैं। सभी मॉडलों का मूल्यांकन vLLM के साथ प्रत्येक बेन्चमार्क की अनुशंसित पीढ़ी मापदंडों का उपयोग करके किया गया था। एलएफएम 2.5-24B-ए 2 बी उस समूह में सबसे छोटा मॉडल है, फिर भी यह मिश्रण-ऑफ-विशेषज्ञ प्रणालियों के साथ प्रतिस्पर्धी है जिनके पास लगभग 50 प्रतिशत अधिक कुल और सक्रिय पैरामीटर हैं।

सबसे स्पष्ट शक्तियां उपकरण का उपयोग और निर्देशों के बाद हैं। यह आठ टूल-उपयोग और एजेंटिक बेंचमार्क में से पांच पर प्रतिस्पर्धा का नेतृत्व करता है या मेल खाता हैः ऑटोमेशनबेंच, बीएफसीएलवी 4, टूलसैंडबॉक्स, लाइवक्लो, और τ3-Bench Banking। स्वचालित बेंच पर, यह अगले सर्वश्रेष्ठ मॉडल से तीन गुना अधिक स्कोर करता है। यह सभी तीन इंस्ट्रक्शन-फॉलोइंग बेन्चमार्कों पर भी अग्रणी है।

बड़े मॉडल अभी भी कुछ क्षेत्रों में लाभ रखते हैं। ज्ञान-भारी बेंचमार्क जैसे कि GPQA Diamond, एचएलई, और एए-ओम्निसाइंस, साथ ही एसडब्ल्यूई -Bench Verified (ओपनकोड) और साइकोड जैसे कोडिंग बेंच मार्क्स, बड़ी प्रणालियों का पक्ष लेते हैं। यह विभाजन एक व्यावहारिक पैटर्न का सुझाव देता हैः LFM2.5-24B-A2B को कुशल एजेंट परत के रूप में उपयोग करें, फिर जब कार्य को गहरी तथ्यात्मक रिकॉल या भारी कोड पीढ़ी की आवश्यकता होती है तो पुनर्प्राप्ति, वेब खोज, या एक बड़ा मॉडल लाएं।

स्थानीय रूप से और एजेंट स्टैक के अंदर मॉडल चलाना

LFM2.5-24B-A2B जहाजों में llama.cpp, MLX, vLLM , SGLang और ONNX पर एक दिन का समर्थन है। एज hardware पर, रिलीज़ की रिपोर्ट Apple M5 Max पर 184 tokens प्रति सेकंड और Ryzen AI Max + 395 पर 114 tokens . यह सबसे कम मेमोरी का उपयोग करते हुए अगली-सर्वश्रेष्ठ तुलनात्मक मॉडल से 1.7 गुना तेज है। एकल NVIDIA B300 GPU पर, यह उच्च समकालिकता पर 21,000 आउटपुट tokens प्रति सेकेंड तक पहुंचता है।

स्थानीय उपयोग के लिए, मॉडल को Transformers संगत संस्करण की आवश्यकता होती है >=5.0.0. रिलीज़ में इसे OpenAI -संगत बैकएंड के पीछे स्थानीय रूप से सेवा देने और उस एंडपॉइंट पर एक एजेंट हार्नेस को इंगित करने का भी वर्णन किया गया है। पोर्ट बैकएन्ड पर निर्भर करता हैः लामा.सीपीपी और एमएलएक्स 8080, vLLM 8000 का उपयोग करते हैं, एसजीएलंग 30000 और LM Studio 1234 का उपयोग करता है। मॉडल कार्ड कॉन्फ़िगरेशन ओपनक्लॉ और पाई के लिए उपलब्ध हैं, और रिलीज ब्लॉग में वीडियो उदाहरण शामिल हैं।

दोनों LFM2.5-24B-A2B और LFM2.5-24B-ए 2 बी-बेस खुले वजन वाले हैं और Hugging Face पर उपलब्ध हैं। रिलीज़ विशिष्ट कार्यों के लिए मॉडल को अनुकूलित करने के लिए fine-tuning ट्यूटोरियल भी जोड़ती है। यदि काम मॉडल के परिणामों पर निर्भर करता है, तो रिलीज ब्लॉग उद्धरण स्रोत है।

इसका उपयोग किसे करना चाहिए और यह कहां कम हो सकता है

LFM2.5-24B-A2B उन डेवलपर्स के लिए एक मजबूत फिट है जिन्हें टूल कॉलिंग, लंबे संदर्भ और hardware किनारे पर तेजी से token पीढ़ी के साथ स्थानीय तर्क एजेंट की आवश्यकता होती है। यह विशेष रूप से तब उपयोगी होता है जब एप्लिकेशन कई tokens तर्क खर्च करता है, उपकरण जांचता है, और कई चरणों के माध्यम से जारी रहता है, क्योंकि सक्रिय-पैरामीटर डिज़ाइन उस काम को सस्ता रखता है।

यह उन परियोजनाओं के लिए कम उपयुक्त है जिन्हें व्यापक ज्ञान प्रश्नों का उत्तर देने या पुनर्प्राप्ति के बिना कोडिंग-भारी वर्कलोड्स को संभालने के लिए एक एकल मॉडल की आवश्यकता होती है। ऐसे मामलों में, रिलीज़ का अपना मार्गदर्शन स्पष्ट हैः मॉडल को खोज, पुनः प्राप्ति, या ज्ञान-भरी और कोडिंग भारी कार्यभार के लिए अधिक से अधिक प्रणाली के साथ जोड़ा जाता है। व्यावहारिक टेकआउट यह है कि LFM2.5-24B-A2B हर बड़े मॉडल के प्रतिस्थापन के रूप में नहीं, बल्कि एक कुशल एजेंट परत के तौर पर सबसे मूल्यवान दिखता है।