विशेष multimodal मॉडल बनाने के लिए LFM3 का उपयोग करें

LFM3 Liquid Foundation Models की नवीनतम पीढ़ी है, और यह आज Hugging Face पर उपलब्ध है। रिलीज का उद्देश्य उन डेवलपर्स और टीमों के लिए है जिन्हें टेक्स्ट, विजन, ऑडियो, ओमनी इनपुट और संरचित निर्णय कार्यों के लिए छोटे, स्थानीय रूप से तैनात मॉडल की आवश्यकता होती है। एक बड़े सामान्य-उद्देश्य वाले मॉडल का उपयोग करने के बजाय, उपयोगकर्ता एलएफएम 3- 1.7B-बेस से बनाए गए छह 2B वर्ग मॉडलों में से चुन सकते हैं, चुने हुए मॉडल को एकल GPU पर ठीक कर सकते हैं और इसे चला सकते हैं जहां एप्लिकेशन संचालित होता है।

मुख्य व्यावहारिक परिवर्तन यह है कि LFM3 एक साझा रीढ़ की हड्डी पर कई विधियों को रखता है जबकि किनारे उपकरणों के लिए पर्याप्त छोटे मॉडल रखते हुए। टेक्स्ट मॉडल 4-बिट परिशुद्धता में लगभग 1 GB फिट बैठता है, और पाठ मॉडल में context window , जो लंबे समय तक चलने वाले एजेंटों का समर्थन करता है-डिवाइस.

LFM2 से क्या परिवर्तन

पिछले एलएफएम2 परिवार की तुलना में LFM3 चार परिवर्तनों को पेश करता है।

सबसे पहले, रिलीज़ में कहा गया है कि LFM3-1.7B कम पैरामीटर का उपयोग करते हुए LFM2.5-2.6B से बेहतर प्रदर्शन करता है। यह लाभ एक नई त्रि-हाइब्रिड वास्तुकला और एक नए प्रशिक्षण नुस्खा से आता है।

दूसरा, प्रत्येक मोडलिटी अब एक ही रीढ़ की हड्डी का उपयोग करती है। छह 2B-वर्ग के मॉडल को LFM3-1.7B-बेस से प्रशिक्षित किया जाता हैः पाठ, दृष्टि, ऑडियो, ओमनी और दो निर्णय मॉडल। ओमनी मॉडल परिवार में पहला है, और विजन मॉडल अब वीडियो इनपुट स्वीकार करता है।

तीसरा, लाइनअप को किनारे पर तैनात करने के लिए बनाया गया है। नए इन-हाउस विजन और ऑडियो एन्कोडर प्रसंस्करण में तेजी लाते हैं, और छोटा पाठ मॉडल एक लंबे context window के साथ डिवाइस पर चल सकता है।

चौथा, प्रत्येक मॉडल कार्य-विशिष्ट अनुकूलन के लिए डिज़ाइन किया गया है। प्रत्येक मॉडल को एक ही GPU पर ठीक से ट्यून किया जा सकता है, जिससे टीमें अपने स्वयं के डेटा, शब्दावली और तैनाती वातावरण में मॉडल को अनुकूलित कर सकती हैं।

एजेंटिक कार्यभारों के लिए निर्मित वास्तुकला

LFM2 ने गुणवत्ता का त्याग किए बिना जल्दी से ऑन-डिवाइस चलाने के लिए शॉर्ट कन्वॉल्यूशन और ध्यान का एक हाइब्रिड इस्तेमाल किया। एलएफएम3 के लिए, रिलीज़ में कहा गया है कि hardware -इन-द-लूप आर्किटेक्चर सर्च ने एजेंटिक उपयोग मामलों के लिए उस संरचना को फिर से डिज़ाइन किया, जिन्हें प्रति पैरामीटर अधिक क्षमता की आवश्यकता होती है और लंबे संदर्भों पर तेजी से अनुमान लगाते हैं।

खोज 14 डिवाइस और बैकएंड संयोजनों को कवर करती है, जिसमें फोन, एक Raspberry Pi 5, laptops , क्लाउड सीपीयू, GPUs और Qualcomm Hexagon तंत्रिका प्रसंस्करण इकाई शामिल हैं।

LFM3-1.7B-Base में 24 परतें और चार मुख्य वास्तुकला परिवर्तन हैंः

• एक त्रि-हाइब्रिड परत मिश्रण में 13 गेटेड शॉर्ट कन्वॉल्यूशन, 256- token विंडो के साथ 5 स्लाइडिंग-विंडो फोकस लेयर्स और 6 ग्लोबल फोकस लैयर शामिल हैं। कन्वोलेशन कर्नेल का आकार 7, एलएफएम 2 में 3 से ऊपर है।
• हेड-वाइज गेटेड ध्यान प्रत्येक सिर के आउटपुट को स्केल करने के लिए एक सिग्मोइड गेट का उपयोग करता है, जिससे जब यह योगदान नहीं देता है तो एक सिर बंद हो जाता है। इससे सक्रियण बहिर्वाहों को दबाने में मदद मिल सकती है जो क्वांटिज़ेशन को नुकसान पहुंचाते हैं।
• Partial Rotary Position Embedding वैश्विक ध्यान परतों में प्रत्येक सिर के केवल उच्चतम आवृत्ति वाले आधे हिस्से को घुमाता है, जबकि अन्य आधा सामग्री पर दूरी की परवाह किए बिना मेल खाता है। स्लाइडिंग-विंडो ध्यान परतें पूर्ण रहती हैं Rotary Position Embedding.
• सैंडविच मानक प्रत्येक ब्लॉक के इनपुट और आउटपुट दोनों को सामान्य करता है ताकि सक्रियण अच्छी तरह से स्केल किया जा सके।

प्रदर्शन प्रभाव लंबे संदर्भ में दिखाई देता है। पैरामीटर के अनुसार, LFM3-1.7B किनारे उपकरणों पर छोटे संकेतों पर LFM2-1.2B से मेल खाता है और 8K tokens के साथ यह लगभग 25% तेज होता है।

LFM3-1.7B-Base को पहले से ही 22T tokens पर उसी 128K शब्दावली के साथ प्रशिक्षित किया गया था जैसे कि LFM2.5-8B-A1B. अंतिम 3.5T tokens क्यूरेटेड डेटा पर एक मध्य प्रशिक्षण चरण है जिसमें एजेंटिक ट्रेस और टूल कॉल का बड़ा हिस्सा होता है। यह चरण context window को भी बढ़ाता है 256K tokens .

मॉडल लाइनअप और प्रत्येक क्या करता है

प्रत्येक LFM3 मॉडल LFM3-1.7B-Base से शाखाएं हैं। रिलीज इसे एक बड़े सामान्य उद्देश्य वाले मॉडल पर भरोसा करने के बजाय इनपुट, कस्टमाइज़ और स्थानीय रूप से चलाने के लिए उपयुक्त मॉडल चुनने का तरीका बताता है।

एलएफएम3-1.7B

LFM3-1.7B का उद्देश्य स्थानीय एजेंटों, टूल कॉलिंग, संरचित आउटपुट या डोमेन-विशिष्ट fine-tuning के लिए एक आधार के रूप में है। इसे Hermes Agent , पाई और ओपनक्लॉ जैसे एजेन्टिक हार्नेस में चलाने के लिए पोस्ट-प्रशिक्षित किया जाता है।

मॉडल कम मापदंडों के साथ LFM2.5-2.6B से बेहतर प्रदर्शन करता है, और सबसे बड़ा लाभ एजेंटिक कार्यों पर होता है। वेबएरेना-सत्यापित पर, यह पूर्ववर्ती के लिए 38.42 के खिलाफ स्कोर करता है,3.02 और यह ब्राउज़र और व्यवसाय apps में लंबे कार्यों पर Qwen3.5-9B को भी हराता है।

LFM3-1.7B चलाने के लिए, उपयोगकर्ता Transformers का नवीनतम संस्करण स्थापित करते हैं , फिर मॉडल कार्ड से मॉडल को लोड और चलाते हैं। रिलीज़ स्थानीय एजेंट सेटअप के लिए एक Agent Harnesses गाइड की ओर भी इशारा करती है।

एलएफएम3-वीएल-2B

LFM3-VL-2B ऑन-डिवाइस दृश्य समझ के लिए दृष्टि मॉडल है। यह पहला एलएफएम विजन मॉडल है जो वीडियो को इनपुट के रूप में लेता है। इसका उत्तर देने से पहले चरणबद्ध कारण, वस्तुओं का पता लगाना और ऑब्जेक्ट्स को कैसे रखा जाता है, इसके बारे में कारण हैं, जिससे इसे रोबोटिक्स की संभावित नींव बना दिया गया है।

LFM2.5-VL- 3B की तुलना में, एलएफएम3-वीएल- 2B कम मापदंडों का उपयोग करता है,1.9B 3.1B के खिलाफ, फिर भी 62 दृष्टि बेंचमार्क पर औसत को बढ़ाता है। यह औसत जेम्मा 4 12B के बराबर है, जो छह गुना से अधिक बड़ा मॉडल है।

मॉडल एक नए विजन एन्कोडर का उपयोग करता है जो संकुचन और ध्यान को जोड़ती है। रिलीज में कहा गया है कि यह पिछले LFM VL मॉडलों में SigLIP2 एनकोडर की तुलना में 3x कम कंप्यूटिंग का उपयोग करती है। 164M-पैरामीटर एंकोडर सटीकता में Qwen3.5-2B के विज़न एन्कोडर्स से मेल खाता है, जबकि उसी LFM2.5-230M भाषा रीढ़ की हड्डी के साथ मापा जाने पर 2.2 गुना कम फ्लोटिंग पॉइंट ऑपरेशन की आवश्यकता होती है।

वीडियो के लिए, एन्कोडर नमूना फ्रेम की प्रत्येक जोड़ी को एक अस्थायी स्लाइस में एम्बेड करता है।

LFM3-VL-2B चलाने के लिए, उपयोगकर्ता Transformers स्थापित करते हैं >=5.21.0 अपनी दृष्टि निर्भरता के साथ। मॉडल कार्ड उपकरण कॉल, उपकरण खोज और llama.cpp के साथ ऑन-डिवाइस अनुमान को सूचीबद्ध करता है।

एलएफएम3-ऑडियो-2B

LFM3-Audio-2B एक laptop या एज डिवाइस पर 18 भाषाओं में वॉयस चैट, speech recognition , भाषण संश्लेषण और अनुवाद के लिए डिज़ाइन किया गया है। यह इनपुट के रूप में टेक्स्ट या ऑडियो लेता है और पाठ, भाषण, या दोनों के साथ प्रतिक्रिया देता है।

LFM2.5-ऑडियो-1.5B की तुलना में, यह एक नए इन-हाउस ऑडियो एन्कोडर और स्पीच कोडेक का उपयोग करता है। रिलीज़ में कहा गया है कि इसकी भाषण गुणवत्ता अधिक है, जो UTMOSv2 के खिलाफ 3.83 स्कोर करती है 3.22. इसमें ऑडियो समझ, सामान्य प्रयोजन ऑडियो तर्क और टूल कॉलिंग भी शामिल हैं।

ऑडियो एन्कोडर स्लाइडिंग-विंडो ध्यान और छोटे घुमावदार मिश्रण करता है और पूरी तरह से कारण होता है, इसलिए मॉडल प्रीफिल कर सकता है जबकि उपयोगकर्ता बोलता है, पहले token के लिए समय 50 एमएस तक कम हो जाता है। लिक्विडकोडेक, नया ऑडियो tokenizer , एक एकल CPU धागे पर लगभग 87x वास्तविक समय में भाषण में उत्पन्न tokens को बदल देता है Apple M4 Max और स्ट्रीमिंग डिकोडिंग का समर्थन करता है।

LFM3-Audio-2B चलाने के लिए, उपयोगकर्ता Transformers स्थापित करते हैं >=5.20.2 इसके ऑडियो निर्भरता के साथ, फिर मॉडल को लोड करें और processor से Hugging Face Hub। मॉडल कार्ड लाइव speech recognition , भाषण संश्लेषण, ऑडियो समझ और टूल कॉलिंग को कवर करता है।

एलएफएम3-ओम्नी-2B

LFM3-Omni-2B परिवार में पहला ओमनी मॉडल है। यह पाठ, दृष्टि और ऑडियो इनपुट को स्वीकार करता है और पाठ और भाषण आउटपुट का उत्पादन करता है। रिलीज इसे एक एकल ऑन-डिवाइस मॉडल के रूप में स्थान देता है जो अलग speech recognition मॉडल, विजन-लैंग्वेज मॉडल, large language model , और text-to-speech मॉडल की जगह लेता है।

यह एक छवि के बारे में बोले गए सवालों का जवाब दे सकता है, दृश्य और ऑडियो इनपुट दोनों के साथ वीडियो को संसाधित कर सकता है और जो कुछ भी देखता है और सुनता है उसे टूल कॉल में बदल देता है। यह स्टैंडअलोन एलएफएम 3 मॉडल से मुख्य क्षमताओं को रखता है, जिसमें विजुअल प्रश्न उत्तर देना, speech recognition , भाषण संश्लेषण और निर्देश अनुसरण शामिल हैं।

LFM3-Audio-2B की तरह, यह लिक्विडकोडेक के माध्यम से बोलता है, जो उत्पन्न tokens को वास्तविक समय की तुलना में तेजी से भाषण में बदल देता है, जिससे बोली जाने वाली प्रतिक्रियाओं को स्ट्रीम करने की अनुमति मिलती है क्योंकि मॉडल उन्हें उत्पन्न करता है। ऑडियो-विज़ुअल वीडियो समझ पर, रिलीज का कहना है कि यह मॉडलों को 10.7B पैरामीटर तक हरा देता है जैसे Qwen2.5-Omni-7B , डेली-ओम्नी, वर्ल्डसेंस और एवी-स्पीकरबेंच पर।

LFM3-Omni-2B चलाने के लिए, उपयोगकर्ता Transformers स्थापित करते हैं >=5.20.2 अपनी दृष्टि और ऑडियो निर्भरताओं के साथ, फिर आवाज द्वारा एक फोटो के बारे में सवाल पूछ सकते हैं। मॉडल कार्ड भाषण आउटपुट, इसके साउंडट्रैक के साथ वीडियो और टूल कॉलिंग को सूचीबद्ध करता है।

d1-2B और d1-omni-2B

d1 मॉडल उत्पन्न पाठ के बजाय तेज़, संरचित निर्णयों के लिए हैं। उपयोगकर्ता एक स्थिति प्रदान करते हैं, जैसे कि समर्थन टिकट, चालान, APP स्क्रीन, फोटो या वॉयस नोट, प्रश्नों की सूची के साथ। मॉडल सभी सवालों का जवाब एक ही फॉरवर्ड पास में देता है, प्रत्येक कैलिब्रेटेड संभावना के साथ.

हाँ या नहीं उत्तरों, विकल्पों और अंकों के अलावा, मॉडल वस्तुओं को इंगित कर सकते हैं, दस्तावेजों से मान पढ़ सकते हैं एक सीमा के साथ संख्या का अनुमान लगा सकते हैं और हर लागू विकल्प चुन सकते हैं।

d1-2B पाठ, चित्र और वीडियो के लिए है. यह एक तिहाई कम मापदंडों और सभी चार निर्णय सूट पर उच्च स्कोर के साथ डी 1- 3B की जगह लेता है, उदाहरण के लिए इमेजेवबेंच पर 75.5 बनाम 64.0।

d1-omni-2B उन इनपुट के लिए है जिनमें ऑडियो शामिल हैं. यदि प्रश्न लिखित रूप में नहीं बल्कि आवाज द्वारा पूछा जाता है, तो रिलीज़ कहती है कि यह लगभग अपनी सभी सटीकता रखता है।

d1-2B चलाने के लिए, उपयोगकर्ता Transformers स्थापित करते हैं >=5.19 इसकी दृष्टि निर्भरता के साथ। मॉडल कार्ड d1-omni-2B के लिए ऑडियो क्लिप और बोले गए सवालों का वर्णन करते हैं।

fine-tuning और रोबोटिक्स उदाहरण

रिलीज़ LFM3 को छोटे मॉडलों के परिवार के रूप में फ्रेम करता है जो लघु fine-tuning के माध्यम से कार्य-विशिष्ट विशेषज्ञ बन सकते हैं। बड़े फ्रंटियर मॉडल सामान्यवादी होते हैं, लेकिन वे एक टीम के डेटा, शब्दावली या टूल के लिए अनुकूलित नहीं होते हैं। एलएफएम 3 क्षमता को छोटे, तेज़ मॉडल में पैक करता है जिन्हें उपकरणों से निजी बुनियादी ढांचे तक क्लाउड पर तैनात किया जा सकता है।

प्रत्येक मॉडल को एक ही GPU पर ठीक किया जा सकता है। नोटबुक पाठ, दृष्टि, ऑडियो और ओमनी मॉडलों के लिए डेटा तैयारी से मूल्यांकन तक पूर्ण कार्यों को कवर करते हैं।

एक उदाहरण LFM3-VL-2B को तीन पूरक रोबोटिक्स मॉडल में अनुकूलित दिखाता हैः ऑर्केस्ट्रेशन, नेविगेशन और हेरफेर।

ऑर्केस्ट्रेटर उपकरण कॉल के माध्यम से एक robot हाथ संचालित करता है। यह वस्तुओं को इंगित करके जमीन देता है, उन्हें गहराई वाले उपकरणों के साथ मापता है, गति नियोजकों का आह्वान करता है और बाद की कैमरा छवियों में परिणामों की जांच करता है.

नेविगेटर हाल ही में लाल-हरे-नीले रंग की टिप्पणियों का उपयोग करके मार्ग विवरणों का अनुसरण करता है. यह JUST पांच tokens में स्थानिक लक्ष्यों और एक वेपॉइंट प्रक्षेपवक्र की भविष्यवाणी करता है।

मैनिपुलेशन विजन-लैंग्वेज-एक्शन मॉडल एक ही फॉरवर्ड पास में छवियों, भाषा और robot राज्य को आठ चरणों की निरंतर क्रियाओं के लिए मानचित्रित करता है। संयुक्त रूप से 15 अवतारों पर प्रशिक्षित किया गया, यह चार लिबेरो सूट में औसत सफलता प्राप्त करता है और रोबोकासा-जीआर 1 टेबलटॉप कार्यों पर। यह टेंसर आरटी एफपी 16 के साथ 50 एमएस से कम समय में एक्शन ब्लॉक्स उत्पन्न करता है.

ये परिणाम एक कॉम्पैक्ट रोबोटिक्स नींव दिखाते हैं जो एम्बेडेड hardware पर वास्तविक समय में क्रियाएं उत्पन्न करते हुए उच्च-स्तरीय योजना और निम्न-स्तर नियंत्रण को कवर कर सकता है।

उपलब्धता और अगले कदम

सभी LFM3 मॉडल ओपन-वेट हैं और आज Hugging Face पर उपलब्ध हैं। एलएफएम 3 संग्रह में उन उपयोगकर्ताओं के लिए LFM3-1.7B-बेस शामिल है जो अपना स्वयं का पोस्ट-प्रशिक्षण चाहते हैं। fine-tuning नोटबुक विशिष्ट कार्यों के लिए मॉडलों को अनुकूलित करने के लिए प्रदान किए जाते हैं, और एक गाइड यह बताता है कि OpenClaw, Hermes Agent और Pi के साथ स्थानीय एजेंट कैसे चलाएं।

रिलीज़ में उपयोगकर्ताओं से यह भी कहा गया है कि यदि वे काम का उपयोग करते हैं तो रिलीज ब्लॉग को उद्धृत करें।