एजेंटिक AI को NVIDIA नेमोट्रॉन मॉडल के साथ Amazon इलास्टिक Kubernetes सर्विस और सेजमेकर हाइपरपॉड इलास्टिक Kubernetes सेवा पर गति दें।

मेटा विवरणः NVIDIA Nemotron 3.5 Super VL, 120 बिलियन पैरामीटर multimodal मिश्रण-विशेषज्ञ मॉडल, अब Amazon EKS, EKS Auto Mode और SageMaker HyperPod EKS पर चलता है।

टैगः NVIDIA Nemotron 3.5 Super VL, AWS EKS, multimodal AI, विशेषज्ञों का मिश्रण, SageMaker HyperPod

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> Kubernetes और SageMaker HyperPod बुनियादी ढांचे में पाठ, छवि, दस्तावेज़ और वीडियो प्रवाह को जोड़ने वाले एक multimodal AI मॉडल का अमूर्त मैत्रीपूर्ण चित्रण, बिना वास्तविक लोगों के, कोई लोगो नहीं, और कोई पठनीय पाठ।

NVIDIA Nemotron 3.5 Super VL टीमों के निर्माण AI एजेंटों के लिए है जो छवियों, दस्तावेजों और वीडियो को समझने के साथ-साथ पाठ पर तर्क करना चाहिए। मॉडल में शामिल हो गया है NVIDIA Nemotron 3 नैनो,Nano Omni सुपर, अल्ट्रा और नेमोट्रॉन 3.5 लाइटनिंग मॉडल पहले से ही उपलब्ध हैं AWS. इसके साथ AWS तैनाती मार्गदर्शन इसकी वास्तुकला, उपयोग मामलों, न्यूनतम GPU कॉन्फ़िगरेशन और संदर्भ परिनियोजन पैटर्न की व्याख्या करता है Amazon Elastic Kubernetes Service (Amazon EKS), Amazon EKS Auto Mode, तथा Amazon SageMaker HyperPod EKS.

multimodal एजेंटों के लिए मॉडल क्या बदलता है

NVIDIA वजन, प्रशिक्षण datasets और पोस्ट-प्रशिक्षण व्यंजनों को प्रकाशित करता है, इसलिए टीमें डोमेन-विशिष्ट वर्कलोड के लिए मॉडल को अनुकूलित कर सकती हैं और इसे अपने द्वारा नियंत्रित बुनियादी ढांचे पर चला सकती हैं।

यह मॉडल 120 बिलियन-पैरामीटर मिश्रण विशेषज्ञ प्रणाली है जो प्रति token 12 अरब मापदंडों को सक्रिय करता है। यह तर्क और पाठ, छवि, दस्तावेज़ और वीडियो समझ के साथ उपकरण का उपयोग जोड़ती है, जिससे एक मॉडल केवल टेक्स्ट और दृश्य कार्यभार दोनों की सेवा कर सकता है। इसकी वास्तुकला हाइब्रिड मम्बा -2, मिश्रण-विशेषज्ञों और ध्यान परतों का उपयोग करती है जिसमें एक रेडियो दृष्टि एन्कोडर भी शामिल है।

मॉडल की तकनीकी रिपोर्ट के अनुसार, NVIDIA Hermes Bench पर 22 प्रतिशत, LangChain एजेंट मूल्यांकन पर 24 प्रतिशत और CharXiv चार्ट-रिजनिंग बेंचमार्क पर 80.8 प्रतिशत रिपोर्ट करता है।

क्यों वास्तुकला लंबे संदर्भ के लिए मायने रखता है

मॉडल एक हाइब्रिड Mamba- Transformer मिश्रण-विशेषज्ञ वास्तुकला का उपयोग करता है जो Mamba-2, ध्यान, और विशेषज्ञ परतों को जोड़ता है। विरल रूटिंग प्रत्येक token के लिए 120 बिलियन मापदंडों में से केवल 12 अरब सक्रिय करता है। नतीजा यह है कि प्रति token गणना बहुत छोटे मॉडल की तरह होती है, जबकि GPU स्मृति अभी भी पूर्ण वजन सेट संग्रहीत करती है।

Mamba-2 परतें पीढ़ी के दौरान एक निरंतर-आकार की स्थिति लेती हैं। इसका मतलब है कि उनकी मेमोरी अनुक्रम लंबाई के साथ उसी तरह से विस्तारित नहीं होती है जैसे कुंजी-मूल्य कैश करता है, जो लंबे संदर्भ वाले काम को सस्ती रखने में मदद करता है। एक पुनरावर्ती रूप से साझा किए गए मल्टी-Token Prediction सिर भी देशी अनुमानित डिकोडिंग का समर्थन करते हैं।

जहां टीमें नेमोट्रॉन का उपयोग कर सकती हैं 3.5 Super VL

मॉडल एजेंट कार्यप्रवाहों के लिए तैनात है जो तर्क को दृश्य समझ के साथ जोड़ते हैं। प्रकाशित उपयोग मामलों में शामिल हैंः

• कोडिंग: कोड का परीक्षण और सत्यापन, त्रुटियों का विश्लेषण तथा सुधारों की सिफारिश करना।
• वेब रिसर्चः खोज उपकरण द्वारा लौटाए गए स्रोतों का क्रॉस-रेफरेंस और सत्यापन करें।
• दस्तावेज़ बुद्धिमत्ता: सारांश तैयार करने के लिए तालिकाओं, चार्टों और पृष्ठ लेआउट को पढ़ें।
• cyber security : कमजोरियों की पहचान करें और खतरों का पता लगाएं।
• वीडियो समझः खोज, सामग्री की समीक्षा और घटना विश्लेषण का समर्थन करें।

नेमोट्रॉन 3.5 Super VL NVIDIA संदर्भ कार्यान्वयन, कुकबुक और NVIDIA Agent Toolkit के माध्यम से प्रमुख ओपन एजेंट फ्रेमवर्क और ऑर्केस्ट्रेशन सिस्टम के साथ एकीकृत करता है। समर्थित ढांचे की पूरी सूची Amazon डेवलपर ब्लॉग पर उपलब्ध है।

GPU मंजिलें और AWS तैनाती वास्तुकला

vLLM सेवा के लिए, न्यूनतम GPU विन्यास हैंः

संदर्भ तैनाती पैटर्न मानक Amazon EKS, Amazon EKS Auto Mode और Amazon SageMaker HyperPod EKS पर चलता है। Amazon EKS Auto Mode, AWS के साथ ग्राहक की ओर से क्लस्टर में स्केलिंग, GPU और Elastic Fabric Adapter समर्थन का प्रबंधन करता है। मॉडल को तैनात करने के लिए उपयोग किए जाने वाले Kubernetes घोषणापत्र प्रत्येक ऑर्केस्ट्रेटर विकल्प के लिए समान हैं।

एक विशिष्ट क्लस्टर में Kubernetes API को होस्ट करने वाला नियंत्रण विमान और CPU तथा GPU नोड्स से बना डेटा प्लेन होता है। Amazon Elastic Container Registry नोड्स सिस्टम और टेस्ट पॉड चलाते हैं, जबकि GPU नॉड्स मॉडल चलाते हैंःAmazon Elastic Container Registry कंटेनर इमेज स्टोर करता है, लस्ट्रे वॉल्यूम के लिए साझा किया गया Amazon FSx मॉडल वेट रखता है, और Elastic Fabric Adapter 11 नोड्स को जोड़ता है।

NVIDIA Dynamo मॉडल को या तो एक नोड पर एकत्रित किया जाता है या अलग-अलग नोड्स पर चलने वाले प्रीफिल और डिकोडिंग चरणों के साथ असंगठित रूप से काम करता है। विजन-भाषा वर्कलोड्स के लिए, छवि और वीडियो एन्कोडिंग चरण अतिरिक्त रूप से अपने स्वयं के नोड में असेंबल चल सकता है।

आर्किटेक्चर को दोनों p6- B200 .48xlarge उदाहरणों पर सत्यापित किया गया है, जिसमें 8 x NVIDIA B200 GPUs शामिल हैं, और p5en.48x Large उदाहरण, जिनमें 8 x NVIDIA H200 GPUs शामिल हैं। टीमें क्लस्टर और उसके नेटवर्क को एक NVIDIA Collective Communications Library ऑल-रिड्यूस माइक्रो बेंचमार्क के साथ मान्य कर सकती हैं। परीक्षण चलाने के दौरान सभी GPUs इंटरफेस पर उपयोगिता और सभी Elastic Fabric Adapter इंटरफ़ेस पर ट्रैफ़िक देखना यह पुष्टि करता है कि क्लस्टर अपेक्षित रूप से काम कर रहा है।

प्रदर्शन सत्यापन, अगले कदम और क्रेडिट

तैनाती के बाद, टीमें NVIDIA aiperf टूल के साथ प्रदर्शन को माप सकती हैं। इसके आउटपुट में प्रमुख प्रदर्शन संकेतक जैसे कि समय से पहले token , Inter - token विलंबता और प्रति सेकंड tokens में थ्रूपुट शामिल है। समवर्तिता के विभिन्न स्तरों पर इन माप लेने से, टीम अध्ययन कर सकते हैं कि कैसे विलंबन और थ्रॉप्यूट समवर्ती अनुरोधों की संख्या पर निर्भर करते हैं। वह जानकारी क्षमता योजना बनाने और एक मॉडल तैनात टोपोलॉजी चुनने के लिए आवश्यक है।

AWS -do-eks परियोजना नेमोट्रॉन 3.5 Super VL और Nemotron 3 अल्ट्रा पर तैनात करने के लिए एक विस्तृत walkthrough प्रदान करती है। यह पूर्वापेक्षाओं, क्लस्टर निर्माण, मॉडल भार डाउनलोड, तैनाती, परीक्षण, बेंचमार्किंग और सफाई को शामिल करता है। वही पैटर्न NVIDIA Nemotron परिवार में अन्य मॉडलों पर लागू किया जा सकता है। AWS -डो-एक्स कंटेनर GPU और Elastic Fabric Adapter उपयोग की कल्पना भी स्वचालित करता है, साथ ही एकल आदेशों के साथ aiperf परीक्षण और समवर्ती स्वीप चलाता है।

एकत्रित और विघटित तैनाती की तुलना करने वाले एक समवर्ती स्वीप से पता चलता है कि नेमोट्रॉन 3.5 Super VL अनुमान में दो नोड्स पर दो लेआउट के बीच कम प्रथम- token देरी और लगभग समान Inter - token विलंबता होती है। इस प्रकार का चार्ट डिप्लोयमेंट निर्णयों में मदद करता है। उदाहरण के लिए, लैंटेन्सी बजट को क्षैतिज रेखाओं के रूप में खींचा जा सकता है, जैसे 600 मिलीसेकंड के तहत पहले token , लगभग 1 सेकंड, और 8800216 - tokens प्रति 100 मिलिसेकेंड प्रति token . दोनों पंक्तियों के नीचे सबसे दाएं बिंदु उस टोपोलॉजी की एक प्रतिकृति है जो सेवा उद्देश्य स्तर के भीतर काम कर सकती है।

क्षमता की योजना बनाने के लिए, प्रति प्रतिकृति थ्रूपुट द्वारा लक्ष्य tokens प्रति सेकंड को विभाजित करें और निर्धारित करें कि कितने प्रीफिल-डेकोड जोड़े की आवश्यकता है। एक परिवर्तन के बाद उसी स्वीप को फिर से चलाना, जैसे सटीकता, टेंसर समांतरता और पाइपलाइन समानांतरता आकार, संचयी बनाम असंगठित लेआउट, या एक नया NVIDIA Dynamo या vLLM रिलीज़, व्यापार-बंद तुरंत दिखाई देता है। दाएं और नीचे जाने वाला वक्र एक सुधार है। चूंकि समय पहले token और Inter - token विलंबता अलग-अलग प्लॉट किए जाते हैं, इसलिए चार्ट यह भी इंगित करता है कि किस तरफ स्केल करना हैः बढ़ते हुए Inter - token लैंटेन्सी डिकोड क्षमता जोड़ने का सुझाव देती है, जबकि पहली बार token में वृद्धि होने पर पूर्वपूर्ति क्षमता जोड़ना सुझाया जाता है।

बिल्डरों को संदर्भ कार्यान्वयन का उपयोग करते हुए अपने स्वयं के खाते में नेमोट्रॉन 3.5 Super VL की तैनाती करके शुरू कर सकते हैं। ईकेएस परियोजना पर AI अधिक अनुमान ब्लूप्रिंट उपलब्ध हैं, और टीम अतिरिक्त हाथ-पर अनुभव के लिए आगामी AWS कार्यशालाओं के लिए पंजीकरण कर सकती है ।

इस पोस्ट का श्रेय एलिथ ट्रायाना, जियाहोंग लियू, क्षितिज गुप्ता, अभिजीत पाटिल, माइक स्टीफानियाक, क्रिस स्प्लिंटर, शीतल जोशी, आदित्य रामकृष्णन, नटराजन कुमार और अनिश मद्दिपोती को दिया गया है। लेखकों में वर्ल्डवाइड स्पेशलिस्ट ऑर्गनाइजेशन के प्रिंसिपल सॉल्यूशन्स आर्किटेक्ट एलेक्स इयानकोल्स्की हैं NVIDIA Nemotron; एंटन अलेक्जेंडर, जनरेटिव में वरिष्ठ विशेषज्ञ 3.5 Super VL लीहा टकर, सीनियर 120B और ML विशेष समाधान वास्तुकार; कर्ट लॉकहार्ट, Amazon EKS NVIDIA पर समाधान वास्तुकला; अब्दुल्ला ओलाहीओये, 8 NVIDIA पर सिनियर AI समाधान वास्तूक; और वेन्हान तैन, NVIDIA पर हल वास्तुशास्त्री।