मेटा का उपयोग कर स्केल एजेंटिक कोडिंग वर्कफ़्लो म्यूज़ स्पार्क NVIDIA GB300 NVLink 72 पर खोलें
Meta 发布 Muse Spark Open,一个 816B 参数的 MoE 模型,拥有 42B 活跃参数和 1M token 上下文,专为代理编程工作流设计. 它在 NVIDIA GB300 NVL72上训练和优化,支持多步任务执行、工具调用、子代理协调和原生多模态感知。稀疏 MoE ,路由每次激活 42B 参數,在Blackwell Ultra实现 上 每 GPU 50K tokens /s 和每用户 600 tokens /s○
मुख्य जानकारी
- मेटा ने Muse Spark Open जारी किया, एक 816B-पैरामीटर MoE मॉडल 42B सक्रिय मापदंडों के साथ और 1M- token context window , एजेंटिक कोडिंग वर्कफ़्लो के लिए NVIDIA GB300 NVL72 पर प्रशिक्षित।
- यह लंबे, बहु-चरण कोडिंग कार्यों के लिए डिज़ाइन किया गया है जैसे कि योजना, उपकरण उपयोग, स्व-सुधार, रिपॉजिटरी-स्केल कोडबेस समझ और उप एजेंट समन्वय।
- 1M- token विंडो में एक पूरी परियोजना हो सकती है, जबकि देशी multimodal धारणा पाठ, छवियों, वीडियो फ्रेम और ऑडियो को एक ही पास में संसाधित करती है।
- Sparse MoE रूटिंग और GB300 NVL72 ऑप्टिमाइज़ेशन उच्च थ्रूपुट प्रदान करते हैं, और एनवीएफपी 4 चेकपॉइंट लंबे संदर्भ सत्रों के लिए बड़े KV कैश का समर्थन करते हुए मेमोरी पदचिह्न और लागत को कम करते हैं।
- NVIDIA तैनाती का समर्थन करता है और SGLang, vLLM , TensorRT LLM, डायनेमो और NeMo AutoModel जैसे स्टैक के माध्यम से उत्पादन के लिए NIM कंटेनर के साथ Hugging Face पर उपलब्ध भार के साथ fine-tuning ।
मेटा ने Muse Spark Open, 42 बिलियन सक्रिय मापदंडों और 1 मिलियन token context window के साथ 816 अरब-पैरामीटर मिश्रण-विशेषज्ञ ( MoE ) मॉडल जारी किया है, जो विशेष रूप से एजेंटिक कोडिंग वर्कफ़्लोज़ के लिए NVIDIA GB300 NVL72 Blackwell Ultra hardware पर प्रशिक्षित हैं। यह मॉडल उन डेवलपर्स और AI टीमों का लक्ष्य है जिन्हें एक सहायक की आवश्यकता होती है जो JUST के बजाय लंबे, बहु-चरण कोडिंग कार्यों की योजना बना और निष्पादित कर सके।
सामान्य कोडिंग मॉडल अपर्याप्त क्यों हैं
अधिकांश कोडिंग मॉडल आज एकल-शॉट पूरा करने के लिए अनुकूलित हैंः एक फ़ंक्शन उत्पन्न करना, यूनिट टेस्ट लिखना या इनलाइन फिक्स का सुझाव देना। जब संदर्भ छोटा होता है और उत्तर तत्काल होता है तो वे अच्छी तरह से काम करते हैं। एजेंटिक कोडिंग एक अलग समस्या है। मल्टीफाइल रीफैक्टर की योजना बनाना, हजारों फाइलों पर नेविगेट करना, असफल परीक्षणों से उबरना और लंबे क्षितिज में सबगैंट्स का समन्वय करना निरंतर, बहुस्तरीय कार्य के लिए बनाए गए मॉडल की आवश्यकता होती है।
Muse Spark Open को वास्तव में उन कार्यभारों के लिए डिज़ाइन किया गया है। मेटा के अनुसार, यह रिपॉजिटरी में उच्च प्रथम-प्रयास सटीकता, विश्वसनीय टूल कॉलिंग और गहरी कोडबेस समझ प्रदान करता है। यह योजनाओं, कार्यों, अवलोकन और स्व-सुधार करता है, जो उपकरण उपयोग, आउटपुट मूल्यांकन और पुनरावर्ती परिशोधन के साथ मल्टीस्टेप टास्क निष्पादन का समर्थन करते हैं। लक्ष्य कंडीशनिंग मॉडल को दिशा पर रखता है, जबकि संदर्भ संपीड़न लंबे समय तक चलने वाले सत्रों में प्रगति को बनाए रखने के लिए आवश्यक ज्ञान को बरकरार रखता है।
एक 1M token खिड़की जो पूरी परियोजना को फिट करती है
हेडलाइन नंबर 1M token context window है. व्यवहार में, इसका मतलब यह है कि मॉडल एक पूरी परियोजना को पकड़ सकता है, जिसमें जटिल निर्भरताएं, विरासत कोड और हजारों फाइलें शामिल हैं, बिना किसी कार्य को टुकड़ों में तोड़ने के लिए। बड़े या गन्दा कोडबेस के साथ छेड़छाड़ करने वाले डेवलपर्स के लिए, जो त्रुटियों का एक सामान्य स्रोत हटा देता हैः खंडों के बीच संदर्भ का ट्रैक खोना।
कोडिंग के अलावा, Muse Spark Open वेब पर खोज कर सकता है, जिसमें multimodal ब्राउज़िंग, स्पॉवन और निर्देशांक उप-एजेंट शामिल हैं जो अपघटित कार्यों के लिए होते हैं, और डेस्कटॉप, मोबाइल और ब्राउज़र में एकीकृत कंप्यूटर क्षमताओं का उपयोग करते हैं। यह प्रत्येक कार्रवाई से पहले अलग टिप्पणी उत्पन्न करता है, इसलिए डेवलपर्स देख सकते हैं कि एजेंट क्या कर रहा है और क्यों।
multimodal एक ही पास में धारणा
मॉडल का 1.8B धारणा एन्कोडर मूल रूप से प्रति मोडलिटी अलग-अलग पाइपलाइनों के बिना इंटरलेव्ड टेक्स्ट, इमेज, वीडियो फ्रेम और ऑडियो को संसाधित करता है। इसका मतलब है कि यह एक एकीकृत पास में देखता है, सुनता है और पढ़ता है। मेटा इसे डेवलपर वर्कफ़्लो के लिए फिट के रूप में स्थान देता है जो screenshots , आरेख, त्रुटि लॉग और वीडियो वॉकथ्रू को उसी एजेंट सत्र के भीतर फैलाते हैं। एक प्रदर्शन वीडियो दिखाता है कि Muse Spark Open ने वर्णित ऑडियो के साथ screen recording से बग का निदान किया, जड़ कारण की पहचान करने के लिए कोडबेस पढ़ा।
हुड के नीचे, विरल MoE रूटिंग 256 विशेषज्ञों में शीर्ष-8 रूटिंग का उपयोग करके प्रति token कुल 816B मापदंडों में से केवल 42B को सक्रिय करता है। मेटा का कहना है कि यह समकक्ष पैमाने पर घने मॉडल की सेवा लागत के एक अंश पर सीमांत एजेंटिक क्षमता प्रदान करता है.
NVIDIA GB300 NVL72 के लिए अनुकूलित
NVIDIA GB300 NVL72 72 NVIDIA Blackwell Ultra GPUs को एक एकल रैक-स्केल प्लेटफॉर्म में एकीकृत करता है। इसका 72-GPU NVIDIA NVLink डोमेन 130 TB/s पर संचार सक्षम बनाता है, जो Muse Spark Open जैसे विरल MoE मॉडल के लिए मायने रखता हैः प्रत्येक token 256 विशेषज्ञों में से आठ तक रूट किया जाता है, और यह कि bandwidth सीधे निर्धारित करता है कि तैनाती वास्तव में कितने सैद्धांतिक थ्रूपुट का एहसास करती है।
बॉक्स के बाहर, मेटा का कहना है कि NVIDIA GB300 NVL72 पर Muse Spark Open एजेंटिक वर्कलोड चलाने से प्रति सेकंड 50K tokens और प्रति उपयोगकर्ता 600 tokens तक पहुंचता है। अनुमानित डिकोड के साथ चार NVIDIA Blackwell GPUs पर, मॉडल ने GPU प्रति सेकेंड 880013 से अधिक हासिल किया और प्रति यूजर 600 tokens से अधिक।
मेटा ने NVIDIA Blackwell Ultra के लिए अनुकूलित NVFP4 चेकपॉइंट भी उत्पन्न किए। ये मूल FP4 Tensor Core त्वरण के साथ सभी 816B मापदंडों की स्मृति पदचिह्न को संकुचित करते हैं, प्रति token कम बाइट्स स्थानांतरित करने के लिए प्रति सेकंड tokens प्रति उपयोगकर्ता बढ़ाते हैं, और समवर्ती लंबे संदर्भ सत्र का समर्थन करने वाले एक बड़े KV कैश के लिए मेमोरी मुक्त करते हैं।
तैनाती और fine-tuning विकल्प
NVIDIA मॉडल के लिए कई अनुमान स्टैक का समर्थन करता है। एसजीएलएंग, vLLM और TensorRT LLM डेवलपर्स को त्वरित कंप्यूटिंग पर कॉन्फ़िगरेशन, समानांतरता और बैचिंग की सेवा करने पर प्रत्यक्ष नियंत्रण प्रदान करते हैं। टेंसरआरटी LLM, सभी तीन ढेरों के लिए संकलन इंजन जोड़ता है जो NVIDIA GPUs.NVIDIA Dynamo समर्पित GPU पूल में प्रीफिल से डिकोड से अलग होता है, इसलिए कम्प्यूट-बाउंड प्रोसेसिंग प्रॉम्प्ट token पीढ़ी को धीमा नहीं करती है। इसकी KV कैश-जागरू रूटिंग प्रत्येक अनुरोध को संबंधित उपसर्ग रखने वाले कार्यकर्ता को भेजती है, जिससे लंबे एजेंटिक सत्रों में संदर्भ संचय के रूप में पूर्वगणना से बचा जाता है।
टीमों के लिए जो मॉडल को अनुकूलित करना चाहते हैं, NVIDIA NeMo AutoModel एक PyTorch -देशी प्रशिक्षण लाइब्रेरी है जिसमें देशी Hugging Face चेकपॉइंट समर्थन और कोई मॉडल रूपांतरण की आवश्यकता नहीं है। यह पूर्ण एसएफटी और LoRA fine-tuning को बॉक्स से बाहर करने में सक्षम बनाता है, उद्योग-विशिष्ट मामलों में तेजी से प्रयोग के लिए अनुकूलित किया गया है। जब टीमें बड़े पैमाने पर उत्पादन प्रशिक्षण के लिए तैयार होती हैं तो NVIDIA Megatron Bridge मेगाट्रॉन प्रारूप में Hugging Face जांच बिंदुओं को परिवर्तित कर सकता है।
प्रारंभ करने के लिए, डेवलपर्स Hugging Face से Muse Spark Open NVFP4 वजन डाउनलोड कर सकते हैं। उत्पादन तैनाती के लिए NVIDIA एक डाउनलोड योग्य NIM प्रदान करता है जो सेटअप को एकल कमांड में कम करता है, बेंचमार्किंग और ट्यूनिंग चक्रों को एक कंटेनर के साथ बदल देता है जो स्वचालित रूप से सबसे अच्छा सेवा बैकएंड का चयन करता है और पता लगाया गया hardware की सटीकता ।
क्या देखना है
1M token context window , देशी multimodal धारणा और MoE दक्षता के मॉडल का संयोजन इसे अन्य बड़े एजेंटिक कोडिंग मॉडलों के साथ सीधे प्रतिस्पर्धा में डाल देता है, हालांकि मेटा ने विशिष्ट प्रतिद्वंद्वियों के खिलाफ हेड-टू-हेड बेंचमार्क तुलना प्रकाशित नहीं की है। डेवलपर्स के लिए व्यावहारिक सवाल यह हैं कि मॉडल लंबे सत्रों पर वास्तविक रिपॉजिटरी को कैसे विश्वसनीय रूप से संभालता है और एनवीएफपी 4 चेकप्वाइंट्स NVIDIA Blackwell Ultra hardware के बाहर कैसा प्रदर्शन करते हैं। मेटा और NVIDIA 1 ने रिलीज को उत्पादन-तैयार के रूप में तैनात किया है, लेकिन स्वतंत्र परीक्षण निर्धारित करेगा कि क्या थ्रूपुट और सटीकता दावे विभिन्न कार्यभारों में अपलोड रखते हैं।
Comments (0)