NVIDIA ने इंटरैक्टिव विश्व सिमुलेशन के लिए नए ओपन कॉसमॉस 3 मॉडल लॉन्च किए हैं।
NVIDIA ड्राइविंग, रोबोटिक्स, इंटरएक्टिव स्ट्रीमिंग सिमुलेशन और 16B पोस्ट-ट्रेनिंग वर्कफ़्लो के लिए चार ओपन वेट कॉसमॉस 3 नैनो चेकपॉइंट जोड़ता है।
मुख्य जानकारी
- एनवीडिया ने ओपनएमडीडब्ल्यू 1.1 के तहत ड्राइविंग, रोबोटिक्स और स्ट्रीमिंग वर्ल्ड सिमुलेशन के लिए 16B प्रशिक्षित मापदंडों के साथ चार ओपन-वेट कॉसमॉस 3 नैनो चेकपॉइंट जारी किए।
- कॉसमॉस3-नैनो-ट्रांसफर-ऑटो 11 कैमरों और World Scenario Maps द्वारा नियंत्रित संयुक्त आरजीबी-लिडार पीढ़ी के माध्यम से सिंक्रनाइज़ वीडियो के साथ ऑफ़लाइन सिंथेटिक ड्राइविंग डेटा उत्पन्न करता है।
- कॉस्मोस3-नैनो-सिम-ऑटो एक कारण से आसुत स्ट्रीमिंग मॉडल है जो इंटरैक्टिव बंद लूप ड्राइविंग रोलआउट के लिए तेज, क्रमिक कैमरा और लिडार टुकड़ों का उत्पादन करता है।
- कॉस्मोस3-नैनो-सिम-ट्रांसफर भौतिकी-सिमुलेटर स्थितियों और स्थानिक नियंत्रणों जैसे गहराई, विभाजन, किनारों और धुंधलापन को नीतियों के लिए आरजीबी अवलोकन में परिवर्तित करता है।
- कॉस्मोस3-नैनो-सिम-बिमनुअल द्विआधारी रोबोट क्रियाओं से दृश्य वातावरण परिवर्तनों की भविष्यवाणी करता है, जो YAM और AgiBot अवतार के लिए इंटरैक्टिव दो हाथ सिमुलेशन का समर्थन करता है।
एनवीआईडीए ने ड्राइविंग और रोबोटिक्स के लिए चार कॉसमॉस 3 चेकपॉइंट जारी किए

Meta Description: एनवीडिया ने ड्राइविंग, रोबोटिक्स, स्ट्रीमिंग वर्ल्ड सिमुलेशन और डेवलपर्स के लिए 16B पोस्ट-ट्रेनिंग वर्कफ़्लो के लिए चार ओपन वेट कॉसमॉस 3 नैनो चेकपॉइंट जोड़े।
टैगः NVIDIA कॉसमॉस 3, वर्ल्ड मॉडल, स्वायत्त ड्राइविंग, रोबोटिक्स सिमुलेशन, ओपन वेट्स
विशेष रुप से प्रदर्शित छवि: कैमरा दृश्यों, एक रोबोट हाथ और स्ट्रीमिंग वीडियो टुकड़ों के साथ सिमुलेटेड सड़क दृश्य का अमूर्त, मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
एनवीआईडीए के कॉसमॉस वर्ल्ड मॉडल डेवलपमेंट प्लेटफॉर्म ने कॉस्मॉस 3 मॉडल परिवार में चार NVIDIA Cosmos 3 चेकप्वाइंट जोड़े हैं। नए ओपन-वेट चेकप्वाईंट इंटरैक्टिव विश्व सिमुलेशन और मल्टी-सेंसर, बहु-दृश्य ड्राइविंग दृश्यों को उत्पन्न करने के लिए डिज़ाइन किए गए हैं। वे कॉस्मोस 3-नैनो-ट्रान्सफर-ऑटो, कॉस्मोज 3-नानो-सिम-ऑटोकॉम-, कॉस्मोज़ 3-नानो-सिम ट्रांसफर, और कॉसमोज़ 3-नानो-सिम-बिमानुअल हैं। प्रत्येक कॉसमोज 3 नैनो का एक पोस्ट-प्रशिक्षित उदाहरण है और इसमें 16B प्रशिक्षित पैरामीटर हैं। जांच बिंदु OpenWMD1.1 का उपयोग करते हैं, जो इसकी शर्तों के तहत वाणिज्यिक और गैर-व्यावसायिक उपयोग की अनुमति देता है।
चार चेकपॉइंट विभिन्न सिमुलेशन आवश्यकताओं को संबोधित करते हैं
इस रिलीज़ में दुनिया के सिमुलेशन कार्य को ड्राइविंग, सिम्युलेटर-टू-वीडियो रेंडरिंग और रोबोट-एक्शन भविष्यवाणी में विभाजित किया गया है। रोबोटिक्स के लिए, मॉडलों को ऐसे वातावरण की आवश्यकता होती है जो बदलते दृश्यों और दृष्टिकोणों पर प्रतिक्रिया दे सकें। कॉसमॉस3-नैनो-सिम-बिमानुअल कार्यों से दृश्य परिणामों की भविष्यवाणी करता है, जबकि कॉस्मॉस 3-नानो-सिम ट्रांसफर एक भौतिकी सिमुलेटर के नियंत्रण को उत्पन्न टिप्पणियों में परिवर्तित कर देता है।
स्वायत्त ड्राइविंग के लिए, उपस्थिति और ज्यामिति को सहमत होना चाहिए। सिंक्रनाइज़्ड कैमरा और लीडार पीढ़ी दृश्य अवलोकनों को 3 डी सेंसिंग से जोड़ती है। दृश्य और यातायात-संकेत नियंत्रण शोधकर्ताओं को सड़क लेआउट और सिग्नल राज्यों को बदलने की अनुमति देते हैं, फिर अध्ययन करते हैं कि ड्राइविंग नीति कैसे प्रतिक्रिया करती है।
प्रत्येक अवलोकन अगली कार्रवाई को आकार दे सकता है। स्ट्रीमिंग पीढ़ी वीडियो भविष्यवाणी को चल रही बातचीत से जोड़ती है, जिससे विश्व-मॉडल शोधकर्ताओं को यह पता लगाने का एक तरीका मिलता है कि कैसे क्रियाएं और टिप्पणियां एक साथ सामने आती हैं। रिलीज में मॉडल को अनुकूलित करने, तरीकों की तुलना करने और सुधारों में योगदान देने के लिए साझा शुरुआती बिंदु के रूप में खुले वजन और पोस्ट-प्रशिक्षण व्यंजन भी प्रस्तुत किए गए हैं। एनवीआईडीएआई की घोषित दृष्टि शोधकर्ताओं और डेवलपर्स को समृद्ध, अधिक उत्तरदायी सिमुलेटेड दुनिया बनाने में मदद करना है।
स्रोत नोट करता है कि अगला कदम यह मापना है कि मॉडल नीति सीखने और मूल्यांकन का ईमानदारी से समर्थन करते हैं, उनकी सीमाओं को समझते हैं, और जहां वे कम हो जाते हैं वहां सुधार करते हैं।
ट्रांसफर-ऑटो ऑफलाइन ड्राइविंग डेटा बनाता है
कॉस्मोस 3-नैनो-ट्रांसफर-ऑटो ऑफ़लाइन सिंथेटिक ड्राइविंग डेटा जनरेशन के लिए एक द्विदिश मॉडल है। यह फिशेय सहित 11 कैमरा दृश्यों में सिंक किए गए वीडियो उत्पन्न करता है, और संयुक्त आरजीबी-लिडार पीढ़ी का समर्थन करता है। प्रति कैमरा World Scenario Map नियंत्रण, संक्षिप्त रूप से डब्ल्यूएसएम, दृश्य संरचना और यातायात गति को निर्दिष्ट करते हैं, जबकि पाठ संकेत गाइड उपस्थिति।
डेवलपर्स प्रशिक्षण और मूल्यांकन कवरेज का विस्तार करने के लिए पर्यावरणीय परिस्थितियों को बदल सकते हैं। वैकल्पिक प्रारंभिक आरजीबी छवियां दृश्य उपस्थिति लंगर कर सकती हैं। संयुक्त लिडार पीढ़ी अतिरिक्त रूप से संरेखित एचडी-मैप रेंज मैप नियंत्रणों का उपयोग करती है।
ट्रांसफर-ऑटो एक अलग सेंसर रिग और ड्राइविंग डोमेन के लिए कॉसमॉस को अनुकूलित करने की नींव के रूप में भी कार्य करता है। स्रोत कैमरा लेआउट, लीडार कॉन्फ़िगरेशन और लक्ष्य वातावरण को समायोजित करने के लिए स्थानीय डेटा पर पोस्ट-प्रशिक्षण की सलाह देता है। फिर अनुकूलित मॉडल का उपयोग सीधे ऑफ़लाइन डेटा पीढ़ी के लिए किया जा सकता है, या यह तेजी से स्ट्रीमिंग सिमुलेशन के लिए कारण प्रशिक्षण और कुछ चरणों वाले आसवन से गुजर सकता है। यही विकास पथ Cosmos3-Nano-Sim-Auto बनाने के लिए प्रयोग किया जाता है।
NVIDIA Cosmos3-Nano-Transfer-Auto के लिए एक ओपन स्किल इन्फेरेंस पथ प्रदान करता है, जिसे Run inference with Cosmos3 - नैनो-ट्रांसफर-ऑटो के रूप में वर्णित किया गया है।
सिम-ऑटो स्ट्रीम कैमरा और लीडार अवलोकन
कॉसमॉस3-नैनो-सिम ऑटो ट्रांसफर-ऑटो का कारण से आसुत स्ट्रीमिंग संस्करण है। यह सिंक्रनाइज़ किए गए कैमरा वीडियो और लिडार के क्रमिक छोटे टुकड़ों को केवल कुछ ही डेनोइजिंग चरणों में उत्पन्न करता है। इसमें त्वरित प्रवाह और लंबे, इंटरैक्टिव रोलआउट का समर्थन करने के लिए जेनरेट इतिहास और अद्यतन ड्राइविंग नियंत्रण का उपयोग किया जाता है।
मॉडल प्रति-कैमरा कैप्शन और सिंक्रनाइज़्ड डब्ल्यूएसएम नियंत्रण की उम्मीद करता है। वैकल्पिक प्रारंभिक आरजीबी छवियां जोड़ी जा सकती हैं। लिडार पीढ़ी के लिए, उपयोगकर्ताओं को कैमरा नियंत्रकों के साथ संरेखित एचडी-मैप रेंज कंट्रोल शामिल करना होगा। आसुत मॉडल अपने रोलिंग इतिहास का उपयोग करके क्रमिक टुकड़े उत्पन्न करता है.
क्लोज्ड-लूप इंटरैक्शन के लिए ड्राइविंग इनपुट से नियंत्रणों को अपडेट करने के लिए सिमुलेशन रनटाइम और डब्ल्यूएसएम रेंडरर की आवश्यकता होती है। एक नए सेंसर रिग या डोमेन के लिए, स्रोत कहता है कि पहले ट्रांसफर-ऑटो को अनुकूलित करें, फिर इसे सिम-ऑट में डिस्टिल करें।
चेकपॉइंट में एक ओपन-स्किल इन्फरेंस पथ भी है, कॉसमॉस3-नैनो-सिम-ऑटो के साथ निष्कर्षण चलाएं, और सिम-ऑट नाम का नोटबुक पथ।
सिम-परिवर्तन सिमुलेटर राज्य को आरजीबी में बदल देता है
कॉस्मोस3-नैनो-सिम-ट्रांसफर उन मामलों के लिए बनाया गया है जहां एक सिम्युलेटर पहले से ही गति, संपर्कों और भौतिक स्थिति की गणना करता है। यह स्थानिक नियंत्रणों और टेक्स्ट प्रॉम्प्ट का उपयोग करके रंग टिप्पणियों को प्रस्तुत करता है जो नीति उपभोग कर सकती है।
प्रवाह हैः कार्रवाई, सिम्युलेटर अद्यतन, स्थानिक नियंत्रण, उत्पन्न आरजीबी, फिर अगली नीति क्रिया। नियंत्रण प्रकारों में गहराई शामिल है, जो कैमरे से सापेक्ष दूरी का प्रतिनिधित्व करती है; खंडन, जो क्षेत्रों और ऑब्जेक्ट सीमाओं को परिभाषित करता है; किनारे, जो दृश्य समोच्च दिखाते हैं; और धुंधलापन, जो मोटा रूप और लेआउट देता है। टेक्स्ट उपस्थिति गाइड करता है, जबकि भौतिकी और ग्राउंड-सत्य राज्य सिमुलेटर के साथ रहते हैं।
स्रोत में वीडियो के लिए गहराई नियंत्रण और वीडियो पर विभाजन नियंत्रण जैसे नमूना प्रदर्शनों को सूचीबद्ध किया गया है। NVIDIA एक ओपन-स्किल अनुमान पथ, Run inference with Cosmos3-Nano-Sim-Transfer, and a notebook path named Transfer प्रदान करता है।
सिम-बिमानुअल रोबोट क्रियाओं से वीडियो की भविष्यवाणी करता है
कॉस्मोस3-नैनो-सिम-बिमनुअल यह अनुकरण करता है कि एक द्विआधारी रोबोट की कार्रवाइयों के जवाब में पर्यावरण कैसे विकसित होता है। यह वाम और एजीबीओटी अवतारों के लिए इंटरैक्टिव दो हाथ सिमुलेशन का समर्थन करता है, जिसे नीति या मानव संचालित जॉयस्टिक द्वारा नियंत्रित किया जाता है।
उपयोगकर्ता एक छवि के साथ शुरू कर सकते हैं, रोबोट या कैमरा को स्थानांतरित करते हैं और अगली टिप्पणियां उत्पन्न करते हैं। एक नियंत्रण अनुक्रम दृश्य बिंदु परिवर्तनों और हेरफेर के बीच स्विच कर सकता है। मिश्रित-क्रिया उदाहरण प्रशिक्षण के दौरान 59 नियंत्रण मूल्यों का उपयोग करता है, 64 तक पैड किया जाता है। इसकी योजना निर्देशांक फ़्रेम, घूर्णन, ग्रिपर अंशांकन, वैधता मुखौटे और नियंत्रण डोमेन को परिभाषित करती है। उपयोगकर्ताओं को उन सम्मेलनों का पालन करने की सलाह दी जाती है ताकि प्रत्येक मूल्य इच्छित गति का वर्णन करे।
समय संरेखण मामलों: टी संक्रमणों को टी + 1 टिप्पणियों की आवश्यकता होती है। प्रशिक्षण कच्चे कैप्चर को मॉडल के एक्शन प्रतिनिधित्व में बदल देता है, जबकि जारी किए गए अनुमान क्रियाएं पहले से ही सामान्यीकृत हो जाती हैं। स्रोत इस चेकपॉइंट को सिम-ट्रांसफर से अलग करता हैः सिम-ट्रान्सफर एक भौतिकी सिमुलेटर की अद्यतन स्थिति से दृश्य उत्पन्न करता है, जब कि सिम-बिमानुअल सीधे दृश्य और रोबोट कार्यों से अगली अवलोकन पैदा करता है। डेटा अनुबंध और कार्रवाई योजना का भी संदर्भ दिया गया है।
ओपन-स्किल अनुमान पथ Cosmos3-Nano-Sim-Bimanual के साथ निष्कर्षण चलाएँ, और नोटबुक पथ का नाम Bimanuel है।
स्ट्रीमिंग पीढ़ी का उपयोग कारण टुकड़े और लैंटेंट्स
कॉसमॉस 3 एक मिक्सचर-ऑफ-ट्रांसफॉर्मर्स बैकबोन का उपयोग करता है जो ध्यान के माध्यम से अलग-अलग टेक्स्ट प्रोसेसिंग और विजुअल जनरेशन नेटवर्क को जोड़ता है। जेनरेटर प्रॉम्प्ट, उपलब्ध नियंत्रणों और उत्पन्न इतिहास से प्रत्येक छोटे खंड की भविष्यवाणी करता है। लूप हैः नियंत्रक और इतिहास, टुकड़ा उत्पन्न करें, छवियों को डिकोड करें, इतिहास अपडेट करें।
Denoising शोर, संपीड़ित वीडियो प्रतिनिधित्वों को एक खंड में परिष्कृत करता है। अस्थायी-कारण ध्यान मॉडल को भविष्य के लक्ष्य टिप्पणियों को अवरुद्ध करते हुए उपलब्ध इतिहास और नियंत्रण पढ़ने की अनुमति देता है। एक कुंजी / मूल्य कैश अगली भविष्यवाणी के लिए ध्यान जानकारी रखता है।
मॉडल संपीड़ित वीडियो प्रस्तुतियों पर काम करता है जिसे गुप्त कहा जाता है. प्रारंभिक छवि के बाद, प्रत्येक गुप्त समय चरण चार आरजीबी फ्रेम का प्रतिनिधित्व करता है। स्थानांतरण प्रति टुकड़ा एक कदम की भविष्यवाणी करता है, जबकि रिपोर्ट में अनुकूलित द्विआधारी सेटअप दो अनुमान लगाता है। छोटे टुकड़े नए नियंत्रणों को पीढ़ी को अधिक बार प्रभावित करते हैं।
आवश्यकताएँ और रनटाइम नोट्स
प्रकाशित सेटअप के लिए लिनक्स, एक NVIDIA GPU, डॉकर और NVIDIA Container Toolkit की आवश्यकता होती है। vLLM-Omni सेटअप का परीक्षण एक GB200 पर किया गया था, और स्रोत कहता है कि यह न्यूनतम मेमोरी विनिर्देश नहीं है। सर्वर भार डाउनलोड करता है, जबकि क्लाइंट नमूना इनपुट प्राप्त करते हैं।
चार-चरण प्रशिक्षण विधि और अनुकूलन पथ
पोस्ट-ट्रेनिंग रेसिपी कॉस्मोस3-नैनो या संगत आधार भार से शुरू होती है और सभी चार चरणों को कवर करती है। उपयोगकर्ताओं को सलाह दी जाती है कि वे फिर से शुरू करने के लिए पूर्ण प्रशिक्षण चेकपॉइंट रखें, जबकि निर्यात किए गए अनुमानित वजन ऑप्टिमाइज़र और अन्य प्रशिक्षण राज्य को छोड़ दें।
चरण 0 द्विदिश अनुकूलन है, जहां मॉडल पूर्ण रिकॉर्ड किए गए क्लिप से डोमेन और इसके नियंत्रण-से-वीडियो संबंधों को सीखता है।
चरण 1 शिक्षक को मजबूर करना है, जहां मॉडल पूर्व में दर्ज किए गए टिप्पणियों और उपलब्ध नियंत्रणों से प्रत्येक टुकड़े की भविष्यवाणी करता है, स्वच्छ उत्तर के साथ और भविष्य के लक्ष्यों का मुखौटा।
चरण 2 स्थिरता आसवन है, जहां एक जमे हुए शिक्षक एक छात्र को प्रशिक्षित करता है जो प्रत्येक टुकड़े को चार डेनोइजिंग चरणों में उत्पन्न करता है।
चरण 3 स्व-बाध्यकारी है, जहां मॉडल छात्र के उत्पन्न इतिहास पर ट्रेन करता है। एक जमे हुए शिक्षक और सहायक स्कोर मॉडल वितरण मिलान संकेत प्रदान करते हैं।
अंतिम चरण महत्वपूर्ण है क्योंकि एक थोड़ा गलत भविष्यवाणी की गई वस्तु बाद के फ्रेमों के लिए संदर्भ बन जाती है, इसलिए त्रुटियां मिश्रित हो सकती हैं। स्व-जबरदस्ती प्रशिक्षण को उत्पन्न इतिहास से उजागर करती है। आसवन और कैशिंग प्रत्येक अवलोकन का उत्पादन करने की लागत को कम करते हैं।
अनुकूलन मार्गदर्शन चेकपॉइंट द्वारा विभाजित है। ट्रांसफर-ऑटो को एक सेंसर रिग और डोमेन के लिए अनुकूलित करने के लिए ड्राइविंग डेटा पर पोस्ट-प्रशिक्षित किया जा सकता है, फिर ऑफ़लाइन सिंथेटिक डेटा जनरेशन के लिए उपयोग किया जाता है। सिम-ऑट तेजी से स्ट्रीमिंग सिमुलेशन के लिए एक अनुकूलित ट्रांसफर ऑटो मॉडल में कारण प्रशिक्षण और आसवन लागू करके बनाया गया है। स्थानीय डेटा तैयारी, स्टेज कॉन्फ़िगरेशन और रिज्यूम समर्थन के साथ एक विशिष्ट वातावरण के लिए सिम-ट्रान्सफर को पोस्ट-ट्रेन किया जा सकेगा। Sim-Bimanual को डेटा सत्यापन, चरण विन्यास, चेकप्वाइंट हैंडओफ्स और निर्यात के साथ लक्ष्य अवतार के लिए पोस्ट-थ्रेन कर सकते हैं।
एनवीआईडीए एक कोडिंग एजेंट को कौशल और डेटासेट स्थान देने की सलाह देता है, पर्यावरण जांच के बाद, नमूने का सत्यापन करने और परीक्षण प्रशिक्षण और लंबे समय तक चलने से पहले पुनः आरंभ करना। आयोजित किए गए एपिसोड पर गुणवत्ता का मूल्यांकन किया जाना चाहिए, क्योंकि एक सफल लघु रन निष्पादन की पुष्टि करता है, न कि अभिसरण।
संसाधन और अगले कदम
रिलीज़ पॉइंट्स डाउनलोड करने योग्य चेकपॉइंट, एक तकनीकी रिपोर्ट और डेमो के लिए हैं। अतिरिक्त संसाधनों में Cosmos Labs लाइवस्ट्रीम रीप्ले और एक तकनीकी ब्लॉग शामिल है। व्यापक संदेश यह है कि ये चेकप्वाइंट शोधकर्ताओं और डेवलपर्स को ड्राइविंग सिमुलेशन, स्ट्रीमिंग वर्ल्ड मॉडल, सिम्युलेटर रेंडरिंग और रोबोट-एक्शन भविष्यवाणी के लिए खुले, पोस्ट-प्रशिक्षित शुरुआती बिंदु देते हैं, जबकि मूल्यांकन, सीमाओं और सुधार को अगले काम के रूप में छोड़ते हैं।
Comments (0)