मेटा Muse Spark Open पेश करता है, एक ओपन-वेट फ्रंटियर multimodal मिश्रित विशेषज्ञ मॉडल।
मेटा Muse Spark Open जारी करता है, एक ओपन-वेट multimodal मॉडल जिसमें कोडिंग के लिए विशेषज्ञ रूटिंग, उपकरण, एक मिलियन संदर्भ और स्थानीय अनुमान हैं।
मुख्य बिंदुओं का सारांश
- मेटा ने Muse Spark Open पेश किया, जो एजेंटिक कोडिंग के लिए अनुकूलित एक 816B-पैरामीटर ओपन-वेट मल्टीमोडल मिश्रण-विशेषज्ञ मॉडल है।
- मॉडल छवियों, ऑडियो, वीडियो, उपकरण उपयोग और 1M-टोकन संदर्भ का समर्थन करता है, जो इसे कोड पर काम करते समय स्क्रीनशॉट, वॉयस नोट्स और स्क्रीन रिकॉर्डिंग को संसाधित करने की अनुमति देता है।
- इसके मिश्रण-विशेषज्ञ डिजाइन में 256 विशेषज्ञों का उपयोग किया जाता है जिसमें प्रति टोकन 8 सक्रिय होते हैं, जो पूर्ण 816B मॉडल के लिए मेमोरी की आवश्यकता होने पर लगभग 42B-पैरामीटर कंप्यूटिंग पर तेजी से अनुमान प्रदान करते हैं।
- मेटा ओपन-वेट चेकपॉइंट, मॉडल चलाने और ठीक करने के लिए मार्गदर्शन प्रदान करता है, और लामा.cpp, vLLM, SGLang, MLX और NVIDIA Blackwell GPUs के लिए तैनाती व्यंजनों।
मेटा विवरणः मेटा Muse Spark Open जारी करता है, जो छवियों, ऑडियो, वीडियो, टूल, 1M संदर्भ और llama.cpp समर्थन के साथ कोडिंग के लिए एक 816B ओपन-वेट्स विशेषज्ञ-रूट मॉडल है।
टैगः Muse Spark Open, मेटा, एजेंटिक कोडिंग, मल्टीमोडल इन्फरेंस, ओपन वेट्स
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> विशेषज्ञ नेटवर्क और मल्टीमोडल इनपुट के माध्यम से रूटिंग टोकन का एक खुला-वजन मॉडल का सार अनुकूल चित्रण।
Muse Spark Open डेवलपर्स और टीमों के लिए है जो स्थानीय रूप से या बड़े अनुमान स्टैक पर खुले-वजन वाले मॉडल चलाते हैं। मेटा इसे अब तक का सबसे सक्षम US ओपन-वेट मॉडल के रूप में प्रस्तुत करता है, जिसे एजेंटिक कोडिंग के लिए प्रशिक्षित किया गया हैः एक कोडबेस पढ़ना, लेखन और डिबगिंग कोड, और कॉल टूल। यह छवियों, ऑडियो और वीडियो को भी इनपुट के तौर पर लेता है, इसलिए वही मॉडल स्क्रीनशॉट पढ़ सकता है, वॉयस नोट सुन सकता है या स्क्रिन रिकॉर्डिंग देख सकता है जबकि वह कोड पर काम कर रहा है।
वास्तुकला: घनी याददाश्त वाले विरल विशेषज्ञ
Muse Spark Open उसी म्यूज श्रृंखला से एक छोटे घने मॉडल का अनुसरण करता है जिसे मेटा ने अगस्त में जारी किया था और इसे स्थानीय रूप से चलाने के लिए आदर्श बताते हैं। Muse Spark Open उस श्रृंखला में पूर्ण आकार का मॉडल है और बहुत बड़े पैमाने पर मिश्रण-ऑफ-विशेषज्ञों की वास्तुकला पेश करता है।
चेकपॉइंट रिपोजिटरी म्यूज-स्पार्क-ओपन-816B-ए 42 बी और म्यूज़ स्पार्क-ऑन -816B ए 42 बी-एनवीएफपी 4 हैं। मेटा मॉडल को कोडिंग-अनुकूलित के रूप में वर्णित करता है, जो वास्तविक डेवलपर वर्कफ़्लो जैसे मल्टी-फाइल रीफैक्टर्स और लंबे डिबगिंग सत्रों पर प्रशिक्षित होता है। यह एजेंटिक केंद्रित हैः यह योजनाओं, कार्यों, अवलोकनों और स्वयं-सुधारकों सहित लंबे समय तक कार्य करता है।
Both Muse Glimmer और Muse Spark Open एक ही टोकनाइज़र और शब्दावली का उपयोग करते हैं। चैट टेम्पलेट नए तौर-तरीकों के लिए जोड़ों के साथ, Muse Glimmer टेम्प्लेट का अनुसरण करता है। Muse Spark Open में, इनपुट एम्बेडिंग और आउटपुट परत प्रत्येक लगभग 1.66B मापदंडों के अलग मैट्रिक्स हैं।
भाषा मॉडल में 62 परतें हैं और 8192 का एक छिपा आयाम है। प्रत्येक परत में 128 क्वेरी हेड्स और 16 कुंजी-मूल्य वाले हेड्स समूहीकृत-क्वेरी ध्यान के तहत होते हैं, एक ध्यान सेटअप जो कि क्वेस्ट हेड पर प्रमुख मूल्य सिरों को साझा करता है। हर सिर में 64 आयाम होते हैं। ध्यान ब्लॉक में एक आउटपुट गेट और आउटपुट सामान्यीकरण परत होती है। यह मॉडल भी प्रश्न-कुंजी सामान्यीकरण लागू करता है. प्रत्येक ब्लॉक अपने इनपुट और आउटपुट को एक सीखे अवशिष्ट गेट के माध्यम से जोड़ता है, न कि सादे योग के जरिए।
Muse Glimmer प्रत्येक परत में एक घने फ़ीड-फॉरवर्ड नेटवर्क का उपयोग करता है। Muse Spark Open उस घने नेटवर्क को मिश्रण-विशेषज्ञ ब्लॉक के साथ बदल देता है। प्रत्येक ब्लॉक में 256 विशेषज्ञ होते हैं, और राउटर प्रत्येक टोकन के लिए 8 विशेषज्ञों का चयन करते हैं। प्रत्येक विशेषज्ञ एक फीड-फ़ोर्ड नेटवर्क होता है जो 8192 से 4096 आयामों तक प्रोजेक्ट करता है और वापस 8192, फिर अपने आउटपुट पर अपना सामान्यीकरण लागू करता है. विशेषज्ञ कुल मॉडल मापदंडों में से लगभग 97% रखते हैं।
केवल 8 विशेषज्ञ प्रति टोकन चलाते हैं, इसलिए मॉडल प्रत्येक टोकन को लगभग 42B मापदंडों के साथ गणना करता है। सभी 256 विशेषज्ञ मेमोरी में रहते हैं, तो तैनाती के लिए एक 816B-पैरामीटर मॉडल की स्मृति की आवश्यकता होती है, लेकिन यह 42B-मॉडल की बहुत तेज गति से चलता है। BF16 चेकपॉइंट सुरक्षा सेंसर प्रारूप में लगभग 1.5-TB है। NVFP4 चेकप्वाइंट सटीकता में नगण्य नुकसान के साथ 4-बिट परिशुद्धता में पैरामीटर संग्रहीत करता है, विशेष रूप से NVIDIA Blackwell GPUs के लिए।
ट्रांसफार्मर में, BF16 चेकपॉइंट टेंसर समानांतरता (TP=32) के साथ 8 H200 GPUs के 4 नोड्स पर चलता है और NVFP4 चेकप्वाइंट एक एकल B200 नोड पर चलाया जाता है। मेटा डिप्लॉयमेंट रीडर को llama.cpp, vLLM, SGLang और MLX व्यंजनों पर निर्देशित करता है।
मल्टीमोडल इनपुट और 1M टोकन संदर्भ
एक धारणा एन्कोडर Muse Glimmer की तरह भाषा मॉडल के लिए टोकन में छवियों और वीडियो फ्रेम को परिवर्तित करता है। एनकोडर में 1.8B पैरामीटर, 50 परतें, 1536, और 16 ध्यान सिरों का एक छिपा आयाम होता है। यह प्रत्येक छवि को 14 × 14 पैच में विभाजित करता है और 4096 आयामों के साथ सुविधाओं का उत्पादन करता है. स्थिति जानकारी सीखी गई पूर्ण एम्बेडमेंट और 2 डी रोटरी पोजीशन एम्बेडिंग से आती है। प्रत्येक परत में फीड-फॉरवर्ड नेटवर्क लेयर नॉर्मलाइजेशन और एक Gaussian Error Linear Unit सक्रियण का उपयोग करता है । हर चौथी परत और अंतिम परत पूरी देखभाल का उपयोग करती है, और अन्य परतें कम ध्यान देती हैं।
Muse Glimmer 30B उसी वास्तुकला के साथ एक एन्कोडर का उपयोग करता है. डिजाइन मेटा से Perception Encoder काम का अनुसरण करता है। वीडियो इनपुट छवियों के समान एनकोडर के माध्यम से जाता है।
Muse Spark Open एक ऑडियो एन्कोडर के माध्यम से भी ऑडियो स्वीकार करता है। एक ऑडिओ टोकनाइज़र ऑडियो को टोकन में परिवर्तित कर देता है, और चैट टेम्पलेट ऑडियो स्थिति को चिह्नित करता है <ऑडियो क्या है> एन्कोडर हर 80 एमएस में एक ऑडियो टोकन उत्सर्जित करता है, जो 12.5 टोकन प्रति सेकंड उत्पन्न करता है। इसलिए 10 सेकंड की ऑडियो क्लिप 125 इनपुट ऑडिओ टोकन का उत्पादन करती है।
ऑडियो एनकोडर स्वयं एक संक्षारक पिरामिड है। प्रत्येक चरण में अलग-अलग पैच आकार के साथ एक पैच एम्बेडर और स्ट्रेड 1 के साथ 7 के एक आयामी कर्नेल के दो संक्षेपण ब्लॉक होते हैं। इन चरणों को [16, 6, 5, 4] के पैच साइज के लिए दोहराया जाता है। अंतिम चरण के अंत में, आरएमएस सामान्यीकरण, रैखिक प्रक्षेपण और आरएम एस सामान्यीकरण के अंतिम ब्लॉक में अस्थायी फ्रेम खिलाए जाते हैं।
संदर्भ खिड़की 1M टोकन है। विन्यास max_position_embeddings को 1,048,576 पर सेट करता है. इसमें पाठ के रूप में एक ही विंडो में छवि, वीडियो और ऑडियो टोकन शामिल हैं.
समूहीकृत क्वेरी ध्यान कुंजी-मूल्य कैश को पूरी तरह से अलग कुंजी मूल्य हेड डिज़ाइन की अनुमति देने के मुकाबले छोटा रखता है। प्रत्येक टोकन 2 × 16 सिर × 64 आयाम × 62 परतें = 126,976 मानों को कैश में जोड़ता है। BF16 में, यह प्रति टोकन लगभग 250 KB और पूर्ण 1M-टोकन संदर्भ के लिए लगभग 266 GB है।
आनुपातिक रनटाइम के पार मॉडल चलाना
ट्रांसफार्मर कार्यान्वयन मल्टीमोडल इनपुट से टेक्स्ट जनरेशन के लिए MuseSparkForConditionalGeneration और वार्तालापों को तैयार करने के लिए म्यूज़स्पार्कप्रोसेसर प्रदान करता है। प्रोसेसर टोकनाइज़र, इमेज और वीडियो प्रोसेसर्स, ऑडियो फीचर एक्सट्रैक्टर और चैट टेम्पलेट को जोड़ती है।
एक DistributedConfig का उपयोग समानांतरता सेटिंग्स को कॉन्फ़िगर करने के लिए किया जा सकता है। tp_size सेटिंग उन उपकरणों की संख्या को नियंत्रित करती है जिन पर घने परतों को विभाजित किया जाता है, और ep_size उन डिवाइसों की संख्या नियंत्रित करता है जिनके माध्यम से विशेषज्ञ वितरित होते हैं।
प्रोसेसर का उपयोग करने के लिए, एक वार्तालाप तैयार करें और फिर संदेशों को processor.apply_chat_template में add_generation_prompt=True, tokenize = True, return_dict = True और return_tensors="pt" के साथ पास करें। प्रोसेटर आउटपुट model.generate पर पारित किया जाता है, और इनपुट उपसर्ग को छोड़कर नए उत्पन्न टोकन डिकोड किए जाते हैं।
प्रोसेसर एक तर्क प्रयास लीवर को उजागर करता है। प्रतीकात्मक स्तर कम, मध्यम, उच्च और xhigh पूर्णांक 16, 64, 256 और 512 के लिए मानचित्रित करते हैं जो मॉडल स्वीकार करते हैं। Muse Spark Open के साथ तर्क बंद करना संभव नहीं है, इसलिए उपयोगकर्ता जो आसान कार्य के लिए कम टोकन चाहते हैं वे तर्क को कम रख सकते हैं। सिस्टम प्रॉम्प्ट में रीजनिंग स्ट्रेंथः 1 जैसी लाइन शामिल करके संख्यात्मक प्रयास भी सेट किया जा सकता है।
छवियों के लिए, प्रोसेसर प्रत्येक इमेज मार्कर को संसाधित छवि द्वारा आवश्यक पैच टोकन की संख्या में विस्तारित करता है, जो छवि सीमा टोकन से घिरा हुआ होता है। यह विस्तार मॉडल पर पारित दृश्य विशेषताओं के साथ टेक्स्ट पदों को संरेखित रखता है।
वीडियो संकेतों में फ़्रेम समय के साथ-साथ दृश्य सामग्री भी शामिल है। प्रोसेसर ऑडियो के साथ वीडियो संभालता है, जो कि Muse Glimmer से एक अपग्रेड है जो ऑडियो एन्कोडर की बदौलत है। यह फ्रेम को एक साथ संरेखित करने के लिए वीडियो फ्रेम और ऑडियो को डाउनसैम्पल करता है। डिफ़ॉल्ट रूप से, वीडियो 2 एफपीएस पर सैंपल किए जाते हैं, 96 फ्रेम पर कैप किया जाता है। उपयोगकर्ता इसे वीडियो प्रोसेटर के fps सेट करके बदल सकते हैं।
ट्रेडऑफ सटीकता बनाम लागत है। अधिक डाउनसैम्पलिंग विशिष्ट घटनाओं के बीच फ्रेम खो सकते हैं, इसलिए उच्च एफपीएस मदद कर सकता है जब अधिक सटीक पीढ़ियों की आवश्यकता होती है। हालांकि, उच्च एफ़पीएस को अधिक मेमोरी और प्रीफिल्ड के लिए विलंबता में वृद्धि की आवश्यकता हो सकती है। फ़्रेम टेक्स्ट इनपुट के साथ इंटरलेव किए जाते हैं जो टाइमस्टैम्प्स जैसे Time: 3.5s कहते हैं। ऑडियो के साथ वीडियो पास करने के लिए, उपयोगकर्ता सेट कर सकते हैं load_audio_from_video=True apply_chat_template.
ऑडियो अनुमान के लिए, ऑडियो टॉवर एक कच्चे तरंग रूप का उपभोग करता है। प्रोसेसर 24 kHz पर मोनो ऑडियो की उम्मीद करता है और 1,920 नमूनों के कई बार वेवफॉर्म को पैड करता है, जो प्रति 80 मिलीसेकंड में एक ऑडियो एम्बेडिंग के अनुरूप होता है। किसी अन्य नमूना दर से आपूर्ति किए गए ऑडियो को पहले फिर से नमूने लिया जाना चाहिए। ट्रांसफार्मर में लोड_ऑडियो उपयोगिता ऐसा कर सकती है, और यह टोरचकोडेक, लिब्रोसा या टोरचाडियो बैकएंड्स का उपयोग करती है, इसलिए उनमें से एक को निष्कर्षण चलाने से पहले स्थानीय रूप से स्थापित किया जाना चाहिए. यदि उपयोगकर्ता संदेशों के साथ apply_chat_template के माध्यम से काम करते हैं, तो यह हैंडलिंग हुड के नीचे होती है। प्रसंस्करणकर्ता ऑडियो सीमा मार्करों के बीच ऑडियो टोकन की मिलान संख्या डालता है और वास्तविक नमूने की पहचान करने वाले मुखौटे को वापस लौटाता है, जिससे मॉडल पैड्ड ऑडियो एम्बैडिशन को बाहर करने की अनुमति देता है।
Muse Spark Open केवल टेक्स्ट और मल्टीमोडल टूल कॉलिंग कर सकता है। यह एक चैनल-आधारित चैट टेम्पलेट का उपयोग करता है जिसे हार्मनी कहा जाता है, पहली बार gpt-oss द्वारा पेश किया गया था। उपयोगकर्ताओं को आंतरिक रूप से जानने की आवश्यकता नहीं होती है, लेकिन जब आउटपुट कम गुणवत्ता वाले होते हैं तो मॉडल मार्गों की जांच करने में मदद मिल सकती है। <आरंभ करना>सहायक को जानबूझकर खुला छोड़ दिया जाता है; मॉडल to= के साथ एक प्राप्तकर्ता चुनता है। प्राप्तकर्ताओं में तर्क के लिए स्वयं, अंतिम उपयोगकर्ता के लिए दिखाई देने वाले टूल कॉल से पहले और उसके बीच टिप्पणियों के लिए टिप्पणी और अंतिम प्रतिक्रिया के लिए उपयोगकर्ता शामिल हैं। टूल-कॉल रूटिंग तब पार्स की जाती है जब उपकरण apply_chat_template पर पास किए जाते हैं.
Llama.cpp Muse Spark Open को एकीकृत करता है और इसे पूर्वनिर्मित बाइनरी में भेजता है। एक सर्वर मॉडल आईडी से जुड़े क्वांट प्रत्यय के साथ शुरू किया जा सकता है, और अंतर्निहित WebUI localhost:9931 पर उपलब्ध है। वेबयूआई से, उपयोगकर्ता अनुमान के लिए ऑडियो और छवियां जोड़ सकते हैं और तर्क लीवर को समायोजित कर सकते हैं। क्योंकि तर्क बंद नहीं किया जा सका, इसे कम रखना आसान कार्यों पर कम टोकन का उपयोग करने का विकल्प है।
मेटा ने Mac M3 Ultra पर 512 GB के साथ क्वांट का परीक्षण किया। एक इमैट्रिक्स-कैलिब्रेटेड 2-बिट क्वान्ट 18 टोकन प्रति सेकंड पर चलता है, जिसमें KV कैश के लिए बहुत जगह बची हुई है; मॉडल 304 126,976 का उपयोग करता है। लामा.सीपीपी टीम विभिन्न क्वांटीकृत संस्करणों को जहाज करती है, और Q2_K, Q4_K_S और Q_8 को Apple Silicon चिप्स पर परीक्षण किया गया था। प्रत्येक क्वांट को प्रत्यय के रूप में क्वांट आईडी जोड़कर चलाया जा सकता है, उदाहरण के लिएः llama serve -hf ggml-org/Muse-Spark-Open-816B-A42B:Q2 _K
SGLang एकीकरण पाठ, छवि, ऑडियो और वीडियो इनपुट का समर्थन करता है। इसका NVFP4 संदर्भ कॉन्फ़िगरेशन चार GB300 GPU पर चलता है। एसजीएलएंग इंटीग्रेशन वातावरण से, उपयोगकर्ता Hugging Face Hub से चेकपॉइंट डाउनलोड करते हैं और सर्वर शुरू करते हैं। चेकप्वाइंट में चैट टेम्पलेट शामिल होता है, जिसे स्पष्ट रूप से पारित किया जाता है, और लॉन्चर म्यूज़ रीजनिंग और टूल-कॉल पार्सर को कॉन्फिगर करता है. अनुरोधों को ओपनएआई संगत API के माध्यम से भेजा जा सकता है। प्रतिक्रिया सामग्री में अंतिम उत्तर से तर्क_सामग्री में तर्क ट्रैक को अलग करती है।
vLLM संदर्भ एकीकरण NVFP4 चेकपॉइंट के साथ टेक्स्ट और इमेज इनपुट का समर्थन करता है, जिसके लिए ब्लैकवेल सीरीज़ GPUs की आवश्यकता होती है। रेफरेंस प्लगइन और इसकी निर्भरताओं को स्थापित करने के बाद, उपयोगकर्ता Hugging Face Hub से चेकप्वाइंट डाउनलोड करते हैं और सर्वर लॉन्च करते हैं। यह कॉन्फ़िगरेशन 128K-टोकन सर्विसिंग कॉन्टैक्ट सेट करती है। प्लगइन्स मॉडल कार्यान्वयन, जांच बिंदु लोडर, तर्क पार्सर और टूल-कॉल पार्सर प्रदान करता है। अनुरोध उसी API मॉडल आईडी का उपयोग करते हैं.
Muse Spark Open oMLX और mlx-lm में भी उपलब्ध है. ओक्यू क्वांट्स 3-बिट और 4-बिट के लिए अनुकूलित हैं और उपयोग करने के लिए तैयार हैं। मेटा ने M3 Ultra पर 512890023 के साथ oQ3e क्वान्ट का परीक्षण किया। यह मॉडल KV कैश के लिए जगह छोड़ते हुए लगभग 344 GB लेता है, और प्रीफिल के लिए प्रति सेकंड 225 टोकन और एक 1024 टोकन प्रॉम्प्ट और 128 उत्पन्न टोकन के साथ पीढ़ी के लिए 21 टोकन प्रति सेकेंड चलाता है। ओएमएलएक्स इंटरफेस के माध्यम से मॉडल डाउनलोड करने के बाद, उपयोगकर्ता अंतर्निहित UI में इसके साथ चैट कर सकते हैं, छवियां जोड़ सकते हैं और मक्खी पर तर्क प्रयास को समायोजित कर सकते हैंः
ओपन-वेट कोडिंग कार्य के लिए इसका क्या अर्थ है
Muse Spark Open का मूल्यांकन करने वाले पाठकों के लिए, मुख्य कहानी भारी मेमोरी पदचिह्न के साथ एक बड़ा विरल मॉडल है। भले ही प्रत्येक टोकन केवल 8 विशेषज्ञों का उपयोग करता है और लगभग 42B मापदंडों के साथ गणना करता है, सभी 256 विशेषज्ञ स्मृति में रहते हैं, इसलिए तैनाती को 816B मॉडल के भंडारण की आवश्यकता होती है। क्वांटिज्ड पथ स्थानीय और छोटे-नोड उपयोग संभव बनाते हैं, लेकिन उन्हें अभी भी बहुत बड़ी मशीनों की आवश्यकता हैः 2-बिट लामा.सीपीपी परीक्षण 304 GB का इस्तेमाल किया गया था, और oQ3e एमएलएक्स टेस्ट ने 512 GB Mac M3 Ultra पर लगभग 344 GB.
बहुआयामी डिजाइन कोडिंग वर्कफ़्लो के लिए मायने रखता है। स्क्रीनशॉट, वॉयस नोट्स, स्क्रीन रिकॉर्डिंग और कोड के लिए अलग-अलग टूल के बीच जाने के बजाय, उपयोगकर्ता उन इनपुटों को एक मॉडल में फ़ीड कर सकते हैं और इसे 1M-टोकन संदर्भ पर तर्क दे सकते हैं जिसमें टेक्स्ट, इमेज, वीडियो और ऑडियो टोकन शामिल हैं। यह मॉडल मल्टीमोडल टूल कॉलिंग सहित टूल कॉल का भी समर्थन करता है, और ओपनएआई संगत एसजीएलएंग एंडपॉइंट जैसे एपीआई के माध्यम से तर्कों के निशान को उजागर करता है।
प्रैक्टिकल टेकअवे यह है कि Muse Spark Open उन टीमों के लिए बनाया गया है जो घनी विशेषज्ञ मेमोरी का खर्च उठा सकते हैं लेकिन प्रति टोकन कंप्यूटिंग को कम करना चाहते हैं। स्थानीय प्रयोग के लिए, क्वांटिज़्ड संस्करण एक पथ प्रदान करते हैं, जबकि BF16 और NVFP4 की तैनाती बड़े GPU नोड्स को लक्षित करती है। मेटा ने मॉडल को मूस श्रृंखला में पूर्ण आकार, कोडिंग-फोकस्ड ओपन वेट्स प्रविष्टि के रूप में स्थान दिया है, और रिलीज नोट्स मॉडल रिपॉजिटरी, अनुमानित व्यंजनों, फाइन-ट्यूनिंग मार्गदर्शन और इसके साथ निर्मित किए गए उदाहरणों की ओर इशारा करते हैं।

Comments (0)