NVIDIA नेमोट्रॉन 3.5 सुपर विजन-भाषा सक्षम करता है विशेष एजेंटों के माध्यम से multimodal तर्क
NVIDIA Nemotron 3.5 Super Vision-भाषा एंटरप्राइज़ एजेंटों के लिए एक खुला 120B multimodal मॉडल है, जो तर्क, उपकरण उपयोग और दक्षता को बढ़ावा देता है।
मुख्य जानकारी
- NVIDIA Nemotron 3.5 Super VL एक खुला 120B विशेषज्ञों का मिश्रण दृश्य-भाषा मॉडल है जिसमें 12B प्रति token सक्रिय पैरामीटर हैं, जो एंटरप्राइज़ एजेंटों के लिए बनाया गया है जो पाठ, छवियों, दस्तावेजों और वीडियो में तर्क, उपकरण उपयोग और multimodal समझ को जोड़ते हैं।
- यह विशेष मल्टी-स्टेप वर्कफ़्लो जैसे कोडिंग, वेब रिसर्च, डॉक्यूमेंट इंटेलिजेंस, cybersecurity और वीडियो की समझ का समर्थन करता है, जिससे टीमों को अलग पाठ और दृश्य मॉडल में संदर्भ को विभाजित करने से बचने में मदद मिलती है।
- NVIDIA नेमो पुस्तकालयों, पर्यवेक्षित fine-tuning, निम्न-रैंक अनुकूलन, reinforcement learning और खुले datasets सहित ओपन कस्टमाइज़ेशन संसाधन प्रदान करता है, जो वित्त, स्वास्थ्य देखभाल और cybersecurity जैसे उद्योगों के लिए डोमेन-विशिष्ट पोस्ट-प्रशिक्षण को सक्षम बनाता है।
- रिपोर्ट किए गए उत्पादन और बेंचमार्क परिणामों में multimodal एजेंट के मजबूत प्रदर्शन पर प्रकाश डाला गया है, जिसमें 80.8% CharXiv, शीर्ष-स्तरीय OCRBench v2 पोजिशनिंग और थ्रूपुट, सटीकता, लागत और विलंबता में उद्यम लाभ का दावा किया गया है।
मेटा विवरणः NVIDIA Nemotron 3.5 Super VL उद्यम एजेंटों के लिए एक खुला multimodal 120B मिश्रण-विशेषज्ञ मॉडल है, जिसमें प्रति token 12B सक्रिय पैरामीटर हैं।
टैगः NVIDIA Nemotron 3.5 Super VL, उद्यम AI एजेंट, multimodal मॉडल, अनुमान दक्षता
विशेष रुप से प्रदर्शित छवि: पाठ, चार्ट, दस्तावेज़ों और वीडियो धाराओं का एक अमूर्त, मैत्रीपूर्ण चित्रण एजेंट कार्यप्रवाह में विलय हो रहा है, जिसमें कोई वास्तविक व्यक्ति, लोगो या पाठ नहीं हैं।
NVIDIA Nemotron 3.5 Super VL डेवलपर्स और एंटरप्राइज़ टीमों के लिए है जो हमेशा एजेंट बनाते हैं जिन्हें दस्तावेजों को पढ़ने, स्रोतों में जानकारी की जांच करने, कंपनी नीति का पालन करने और कई टूल कॉल करने की आवश्यकता होती है। NVIDIA इसे एक खुले, अनुकूलन योग्य multimodal मॉडल के रूप में वर्णित करता है जो तर्क, निर्देश अनुपालन और पाठ, छवि, दस्तावेज़ और वीडियो समझ के साथ उपकरण उपयोग को जोड़ती है। यह मॉडल 120B-पैरामीटर मिश्रण-विशेषज्ञ वास्तुकला का उपयोग करती है जो प्रति token 12B मापदंडों को सक्रिय करती है, जिसका उद्देश्य क्षमता और अनुमान दक्षता को संतुलित करना है।
एजेंटों के लिए एकल multimodal मॉडल क्यों महत्वपूर्ण है
कई एंटरप्राइज़ वर्कफ़्लोज़ अब एक एकल टेक्स्ट प्रॉम्प्ट में फिट नहीं होते हैं। ग्राहक-सेवा एजेंट को रिटर्न नीतियों का पालन करने की आवश्यकता हो सकती है। एक शोध एजेंट पृष्ठों पर साक्ष्य कनेक्ट कर सकता है। दस्तावेज़ एजेन्ट को तालिकाओं, चार्ट और पेज लेआउट की व्याख्या करने की ज़रूरत हो सकती हैः यदि पाठ और दृश्य क्षमताएं अलग-अलग मॉडलों में विभाजित होती हैं, तो टीमों को सिस्टम के बीच संदर्भ स्थानांतरित करना होगा। नेमोट्रॉन 3.5 Super VL उन कार्यों को एक कार्यप्रवाह में संभालने के लिए तैनात किया गया है।
NVIDIA कोडिंग, वेब रिसर्च, डॉक्यूमेंट इंटेलिजेंस, cybersecurity और वीडियो समझ को लक्षित एजेंट वर्कफ़्लोज़ के रूप में सूचीबद्ध करता है। कोडिंग में, मॉडल कोड का परीक्षण और सत्यापन कर सकता है, त्रुटियों का विश्लेषण करने और सुधारों की सिफारिश करने में सक्षम होता है। वेब अनुसंधान में, यह वेबसाइटों पर खोज कर सकते हैं, जानकारी कनेक्ट करते हैं और उत्तरों को सत्यापित करते हैं। दस्तावेज़ खुफिया में, सारांश और रिपोर्ट तैयार करने के लिए तालिकाओं, चार्ट्स और पृष्ठ लेआउट से जानकारी निकाल सकते हैं। cybersecurity में, सुरक्षा कमजोरियों की पहचान कर सकती है और समस्या निवारण को प्राथमिकता देने के लिए खतरों का पता लगा सकती है।
मॉडल की एक प्रणाली के भीतर, NVIDIA नेमोट्रॉन 3.5 Super VL को विशेष, बहु-चरण कार्य के लिए तैनात करता है जिसमें तर्क, उपकरण का उपयोग और पाठ और दृश्य समझ की आवश्यकता होती है। छोटे मॉडल, जैसे कि NVIDIA Nemotron 3.5 लाइटनिंग, उच्च मात्रा वाले टेक्स्ट कार्यों को संभालते हैं, जबकि फ्रंटियर मॉडल जैसे NVIDIA Nemotron 3 अल्ट्रा जटिल योजना और ऑर्केस्ट्रेशन से निपटते हैं।
अनुकूलन और रिपोर्ट किए गए उत्पादन परिणाम
cybersecurity, वित्त और स्वास्थ्य सेवा सहित उद्योगों में संगठन नेमोट्रॉन 3.5 Super VL को पोस्ट-ट्रेनिंग कर रहे हैं ताकि वे अपने उत्पादन वर्कफ़्लो के दौरान सटीकता और दक्षता में फ्रंटियर मॉडल से बेहतर प्रदर्शन कर सकें। डोमेन शब्दावली, टूल इंटरफेस, ऑपरेटिंग प्रक्रियाएं और नीति आवश्यकताएँ यह निर्धारित करती हैं कि एजेंट सफलतापूर्वक कार्य कैसे पूरा करते हैं।
NVIDIA कई उत्पादन-उन्मुख उदाहरणों की रिपोर्ट करता है। Scale AI एक AI डेटा और प्रौद्योगिकी प्रदाता, ने मीडिया और मनोरंजन कंपनी Skydance Corporation में स्वचालित विक्रेता क्रेडिट प्रोसेसिंग के लिए मॉडल को पोस्ट-प्रशिक्षित किया है। NVIDIA का कहना है कि उस वर्कलोड के लिए अनुमान लागत 40 गुना कम हो जाएगी और विलंबता 5 गुना तक होगी। रैंप, एक वित्तीय संचालन मंच प्रदायक, रसीद छवियों को संरचित डेटा JavaScript Object Notation में परिवर्तित कर रहा है जिसमें व्यापारी जानकारी, तिथियां और भुगतान डेटा शामिल हैं। NVIDIA, कहते हैं कि रैम्प उच्च 50% थ्रूपुट और 10 गुना कम विलंब की उम्मीद करते हैं। एआई 21 और ऐलिस ने धमकी खुफिया और भेद्यता विश्लेषण के लिए मॉडेल को प्रशिक्षित किया, जिससे सटीकता में सुधार हुआ 41%.
टीम इन आवश्यकताओं के लिए मॉडलों को पोस्ट-ट्रेन करने के लिए NVIDIA NeMo ओपन लाइब्रेरी का उपयोग कर सकती हैं। डेवलपर्स डोमेन-विशिष्ट व्यवहार सिखाने के लिए पर्यवेक्षित fine-tuning और निम्न रैंक अनुकूलन के लिए NVIDIA NeMo AutoModel का इस्तेमाल कर सकते हैं। reinforcement learning एजेंट वातावरण में प्रदर्शन में सुधार करता है जो संगठनात्मक वर्कफ़्लो को दर्शाता है। मॉडल के साथ, NVIDIA एजेंट टूल-यूज़ और वार्तालाप डेटा, फाइनेंस रीजनिंग और टूल कॉलिंग datasets, इंस्ट्रक्शन फॉलोइंग और चैट डेटा, लॉन्ग कॉन्टेक्स्ट ट्रांसड्यूशन और अनुवाद डेटा, निष्पक्षता डेटा और 40 विजन लैंग्वेज datasets सहित Hugging Face पर खुला datasets.
multimodal डेटा के लिए, NVIDIA चार्ट प्रश्नों का उत्तर देने और लंबे दस्तावेज़ को समझने के लिए NeMo Data Designer संसाधनों की ओर इशारा करता है, और reinforcement learning और पर्यावरण-आधारित मूल्यांकन के लिएNVIDIA NeMo RL और NVIDIA NeMo Gym। संगठन समर्थित स्थानीय, data center या क्लाउड वातावरण में मॉडल के खुले वजन को अनुकूलित और तैनात कर सकते हैं। अनुकूलन संसाधनों के लिए NVIDIA, नेमोट्रॉन 3.5 Super VL उपयोग कुकबुक पर GitHub इंगित करता है।
दृश्य और एजेंट कार्यों के लिए बेंचमार्क स्कोर
मॉडल के दृश्य प्रशिक्षण में चार्ट, टेबल, ऑप्टिकल कैरेक्टर रिकग्निशन, मल्टीपेज डॉक्यूमेंट्स और वीडियो की समझ शामिल है। एक दो-चरण पर्यवेक्षित fine-tuning पाइपलाइन भाषा और दृष्टि घटकों को प्रशिक्षित करती है जबकि तर्क, चैट, सुरक्षा, लंबे संदर्भ डेटा और एजेंट प्रक्षेपवक्र के साथ दृश्य साक्ष्य का संयोजन करती है। दस्तावेज़ खुफिया के लिए, वही मॉडल एक चार्ट की व्याख्या कर सकता है, इसे किसी अन्य स्थान पर तालिका से जोड़ सकता है और दोनों को सारांश दे सकता है। NVIDIA कहता है कि डेवलपर्स अपने स्वयं के दस्तावेजों और मूल्यांकन मानदंडों के अनुसार वर्कफ़्लो को दर्जी कर सकते हैं।
NeMo Data Designer के साथ उत्पन्न विविध training data ने मॉडल को जटिल चार्टों को समझने में मदद की, NVIDIA के अनुसार। CharXiv पर, एक चार्ट-रिजनिंग बेंचमार्क, नेमोट्रॉन 3 Nano Omni के लिए 63% की तुलना में मॉडल का स्कोर 80.8%, तक पहुंच गया। Python कोड व्याख्या के साथ, यह 84% तक पहुँच गया। NVIDIA भी कहता है कि मॉडल OCRBench v2 लीडरबोर्ड पर शीर्ष खुले मॉडलों में से एक है। स्रोत बताता है कि यह मॉडल 24 संगठनों के समर्थन और विशेषज्ञता के साथ बनाया गया था, जिसमें उच्च गुणवत्ता वाले datasets से Perplexity शामिल हैं जिन्होंने मध्य प्रशिक्षण में सुधार किया और सुव्यवस्थित किया, और 25 से वातावरण जो बेहतर शिक्षक मॉडल बनाने में मदद करते थे।
एजेंट कार्यों के लिए, NVIDIA का कहना है कि मूल्यांकन हर्मेस, LangChain, ओपनक्लॉ, ओपनकोड, पाई, कोडेक्स और Claude तक फैला हुआ है। कोडिंग कार्यों के अलावा, एजेंट हार्नेस प्रदाता एजेंट कार्य की एक विस्तृत श्रृंखला का परीक्षण करने के लिए अपने स्वयं के मूल्यांकन का उपयोग करते हैं। Hermes Bench और LangChain व्यवहारिक मूल्यांकन पर, नेमोट्रॉन 3.5 Super VL नेमोट्रॉन 3 अल्ट्रा से अधिक स्कोर करता है।
| मॉडल | हर्मेस बेंच | LangChain मूल्यांकन |
|---|---|---|
| नेमोट्रॉन 3 अल्ट्रा | 56.33% | 84.3% |
| नेमोट्रॉन 3.5 सुपर वीएल | 63.44% | 87.05% |
हमेशा-ऑन एजेंटों के लिए, दक्षता निर्धारित करती है कि एक तैनाती कितना काम पूरा कर सकती है। थ्रूपुट, token का उपयोग, टूल कॉल और सही परिणाम तक पहुंचने के लिए आवश्यक कदम कार्य पूर्ण होने के समय को प्रभावित करते हैं। NVIDIA ने अपने आकार श्रेणी में अन्य खुले मॉडलों की तुलना में एकल पर एजेंटिक कार्यों के लिए 5 गुना अधिक थ्रोपुट की रिपोर्ट दी GPU । एक उदाहरण में, मॉडल बेसेटन एंडपॉइंट पर 600 से अधिक tokens प्रति सेकंड पर Artificial Analysis Intelligence Index एजेंटीक कार्यों को वितरित करता है।
थ्रूपुट और दक्षता के पीछे अनुमान तकनीक
NVIDIA का कहना है कि नेमोट्रॉन 3.5 Super VL को नेमट्रोन 3 अल्ट्रा से आसुत किया गया था। उल्ट्रा की कोडिंग क्षमताओं, आसवन के दौरान उपयोग किए जाने वाले स्केव रिवर्स नुकसान के साथ मिलकर, कोडिंग सटीकता में सुधार करने में मदद मिली। पोस्ट-प्रशिक्षण के दौरान, मल्टी-टीचर ऑन-पॉलिसी डिस्टिलेशन टेक्स्ट और विजन पर विशेष शिक्षकों के मार्गदर्शन को जोड़ती हैः मॉडल प्रतिक्रियाएं उत्पन्न करता है, और शिक्षक उन्हें वीडियो तर्क और ट्रैकिंग, दृष्टि उपकरण उपयोग और संरेखण के लिए अंक देते हैं। एजेंट क्रियाओं, कोड भंडारों और software इंजीनियरिंग कार्यों के उदाहरणों पर अतिरिक्त प्रशिक्षण ने एजेंट कार्यों पर मॉडल के प्रदर्शन में सुधार किया; NVIDIA, यह कई मूल्यांकन सेटअप में एसडब्ल्यूई-सुपरबेंच और टर्मिनल-बैंक पर नेमोट्रॉन 3 से बेहतर प्रदर्शन करता है।
उच्च-गुणवत्ता वाले प्राकृतिक और सिंथेटिक डेटा के साथ निरंतर पूर्व-प्रशिक्षण ने भारतीय भाषा की क्षमताओं में सुधार किया और पोस्ट-ट्रेनिंग के बाद उच्च समग्र स्कोर में योगदान दिया। इस चरण में 10 बिलियन इंडिक tokens जोड़ा गया, जिसे निमोट्रॉन-पूर्व प्रशिक्षण-इंडिक-वी 1 और प्राकृतिक भारतीय पाठ के 12 भाषा उपसमूह से तैयार किया गया था। NVIDIA पूर्ण dataset जारी कर रहा है, जिसमें 22 भारतीय भाषाओं में लगभग 2.8 ट्रिलियन tokens, शामिल हैं और इसे IIT Madras और इसकी AI4Bharat लैब के साथ विकसित किया गया है।
NVIDIA ने LiLiCorr को भी पेश किया, जो एक खुली सट्टा डिकोडिंग तकनीक है। यह समानांतर सट्टेबाज डीकोडिंग में सुधार करता है जो संयुक्त रूप से पूरे मसौदे में token उम्मीदवारों का मूल्यांकन करके निर्भरता पर कब्जा कर लेता है कि स्वतंत्र token भविष्यवाणियां याद आती हैं। एक हल्का नेटवर्क अधिक सुसंगत ड्राफ्ट बनाने के लिए एकल पास में संगतता स्कोर की गणना करता है, केवल कम लागत वाले अनुक्रमिक अंतिम चयन चरण छोड़ देता है। DGX Spark, लिली कॉर नीमोट्रॉन 3.5 Super VL के साथ कम विलंबता निहितार्थ के लिए अनुशंसित ड्राफ़्टर है, और NVIDIA का कहना है कि यह अनुमान के बिना token पीढ़ी की तुलना में 2.3 गुना तेज प्रदान करता है।
NVIDIA का कहना है कि एनवीएफपी 4 मॉडल को छोटा बनाता है, और क्वांटिज़ेशन-जागरूक आसवन इसे कम परिशुद्धता पर सटीकता बनाए रखने में मदद करता है। क्वॉन्टिजेशन-सचेत आसवन के दौरान, क्वांटीकृत मॉडल मूल बीएफ 16 मॉडल के आउटपुट से मेल खाना सीखता है, जो क्वांटिकेशन द्वारा पेश की गई सटीकता अंतराल को बंद कर देता है। यह एफ 8 पी के बजाय NVFP4 में कुंजी-मूल्य कैश को संग्रहीत करने का भी समर्थन करता है जबकि सटीकता लक्ष्यों को पूरा करते हुए। चूंकि क्वांटिफिकेशन-जगहदार आसवनीकरण के दौरान होता है, इसलिए इसमें प्रशिक्षण ओवरहेड कोई अनुमान नहीं जोड़ता है।
बहु- token पूर्वानुमान मॉडल को एक आंतरिक ड्राफ्टर देता है जो मुख्य मॉडल के लिए एक आगे पास में सत्यापित करने के लिए कई tokens का प्रस्ताव करता है। एक बार में एकाधिक tokens स्वीकार करने से प्रतिक्रिया उत्पन्न होने के लिए आवश्यक कंप्यूटिंग-गहन सत्यापन चरणों की संख्या कम हो जाती है। समर्पित मल्टी token भविष्यवाणी को बढ़ावा देने वाले प्रशिक्षण चरण ने अंतिम मॉडल के साथ ड्राफ़्टर को और अधिक संरेखित किया। दोहराए गए एजेंट कॉल के लिए, प्रीफिक्स कैशिंग साझा इनपुट जैसे सिस्टम निर्देशों, टूल परिभाषाओं और वार्तालाप इतिहास से गणना का पुनः उपयोग करती है। मॉडल के सर्विसिंग ऑप्टिमाइज़ेशन ध्यान कैशे और मम्बा आवर्ती राज्यों को संरक्षित करते हैं। Additional Mamba चेकप्वाइंट अनुमानात्मक डिकोडिंग के लिए इनपुट को पुनर्प्राप्त करने की आवश्यकता को कम करते हैं, जबकि आंतरिक जांच बिंदु प्रोम्प्ट प्रसंस्करण के दौरान अतिरिक्त मॉडल पास से बचते हैं।
NVIDIA NIM अनुकूलित अनुमान इंजन, सत्यापित विन्यास और क्लाउड और data center परिनियोजन के लिए मानक APIs वाले पैकेज मॉडल। NVIDIA का कहना है कि एनआईएम को चल रही सुरक्षा, सुविधा और प्रदर्शन अपडेट प्राप्त होते हैं। स्रोत उत्पादन तैनाती अनुभाग में भी नाम देता है, लेकिन आगे तकनीकी विवरण प्रदान नहीं करता है।
टीमों को आगे क्या विचार करना चाहिए
एजेंट इंफ्रास्ट्रक्चर का मूल्यांकन करने वाली टीमों के लिए, व्यावहारिक सवाल यह है कि क्या एक मॉडल टेक्स्ट और विजुअल इनपुट को संभाल सकता है, नीति, कॉल टूल का पालन कर सकता है और फिर भी निजी डेटा के साथ अनुकूलित किया जा सकता है। NVIDIA नेमोट्रॉन 3.5 Super VL को उस पैटर्न के लिए एकल खुले, अनुकूलन योग्य नींव के रूप में प्रस्तुत करता है, जिसमें थ्रूपुट में रिपोर्ट किए गए लाभ, कार्य पूरा होने का समय और चयनित बेंचमार्क और उत्पादन उदाहरणों पर सटीकता होती है।
अगला कदम सत्यापन है। चूंकि रिपोर्ट किए गए परिणाम विशिष्ट एंडपॉइंट्स, hardware, पोस्ट-प्रशिक्षित संस्करणों और मूल्यांकन सेटअप पर निर्भर करते हैं, इसलिए टीमों को लाभ हस्तांतरित करने से पहले अपने स्वयं के डेटा, टूल और नीति आवश्यकताओं पर मॉडल का परीक्षण करना चाहिए। अनुकूलन में रुचि रखने वाले डेवलपर्स NVIDIA NeMo, खुले datasets Hugging Face और नेमोट्रॉन 3.5 Super VL उपयोग कुकबुक GitHub पर शुरू कर सकते हैं।

Comments (0)