ओमनीवर्स के अंदर: कैसे डेवलपर्स फ्रंटियर AI एजेंटों का उपयोग विचारों को सिमुलेशन में बदलने के लिए करते हैं

मेटा विवरणः देखें कि कैसे डेवलपर्स रोबोट, स्वायत्त वाहन, डिजिटल ट्विन, आईएसएस और रूम सिमुलेशन एप्लिकेशन बनाने के लिए पुस्तकालयों के साथ जीपीटी -6 एस्ट्रा का उपयोग करते हैं।

टैगः NVIDIA Omniverse, जीपीटी -6 एस्ट्रा, सिमुलेशन विकास, डिजिटल जुड़वां, रोबोटिक्स

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> संबद्ध 3 डी गोदाम, रोबोट, कैमरा और सिमुलेशन नोड्स का अमूर्त मैत्रीपूर्ण चित्रण; कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है

एनवीआईडीए टीमों और डेवलपर्स ने कामकाजी अनुप्रयोगों में सिमुलेशन विचारों को बदलने के लिए जीपीटी -6 एस्ट्रा जैसे फ्रंटियर AI मॉडल का उपयोग करने के उदाहरण साझा किए हैं। इन उदाहरणों का उद्देश्य विकासकर्ताओं को परिदृश्यों का पता लगाने, विफलताओं की जांच करने और डिजाइनों को परिष्कृत करने के लिए उपकरण बनाना है। इन वर्कफ़्लोज़ में, लोग प्राकृतिक-भाषा निर्देश देते हैं AI एजेंट्स, उत्पन्न कोड और दृश्य परिवर्तनों की समीक्षा करें, और मार्गदर्शन सुधार जबकि ओमनीवर्स लाइब्रेरी GPU- त्वरित भौतिकी, रेंडरिंग और सेंसर अनुकरण क्षमताएं प्रदान करते हैं।

गोदाम humanoid नियंत्रण एक खेलने योग्य सिमुलेशन बन जाता है

Frank DeLise एनवीआईडीए में ओमनीवर्स उत्पाद प्रबंधक, ने एस्ट्रा का उपयोग एक सिमरीड गोदाम और ह्यूमनॉइड रोबोट को प्रथम-व्यक्ति और तीसरे व्यक्ति के दृश्यों के साथ एक इंटरैक्टिव सिमुलेटर में बदलने के लिए किया। डेमो एक मानवरोबॉट के लिए एक गेमिफाइड, भौतिकी-आधारित नियंत्रण अनुभव प्रस्तुत करता है। वेयरहाउस कार्यों को स्वचालित करने से पहले, डेवलपर्स को कार्य व्यवहार का पता लगाने और काम कैसे किया जाता है इसका मूल्यांकन करने के लिए जगह की आवश्यकता होती है। डिलीज़ ने भौतिक विज्ञान (ovphysx), सीन अपडेट (ovstage), रेंडरिंग (ovrtx) और उपयोगकर्ता इंटरफ़ेस (ovui) के लिए ओमनिवर्स पुस्तकालयों को जोड़ने के लिए एस्टरा को निर्देशित किया। उन्होंने सिमुलेशन में भौतिक दृश्य बनाने के लिए Astra with SimReady (sim-ready foundation) का भी इस्तेमाल किया।

ह्यूमनॉइड गोदाम प्रदर्शन

स्वायत्त-ड्राइविंग परीक्षण दृश्य परिवर्तन से ड्राइविंग व्यवहार में जाते हैं

किम ने एस्ट्रा को वर्कफ़्लो का मानचित्रण करने के लिए निर्देशित किया, फिर परिसंपत्ति निर्माण, यातायात, सेंसर सिमुलेशन और अल्पामायो ड्राइविंग को चरणों में जोड़कर प्रत्येक एकीकरण की जांच की। परिणामी प्रोटोटाइप मॉडल की तुलना करने और यह पता लगाने के लिए एक परीक्षण मैदान बन गया कि दृश्य या सेंसर परिवर्तन डाउनस्ट्रीम ड्राइविंग व्यवहार को कैसे प्रभावित करते हैं। एक अलग कॉसमॉस 3-नैनो ने सिम्युलेटर वीडियो में रिकॉर्ड किए गए मौसम और प्रकाश का प्रयोग किया, जिससे किम को विभिन्न परिस्थितियों में उसी परिदृश्य के लिए ड्राइविंग मॉडल की प्रतिक्रियाओं की तुलना करना संभव हो सका।

शून्य से अल्पामायो डेमो

जब वास्तविक और सिमुलेटेड सेंसर असहमत होते हैं तो डिजिटल जुड़वां बेहतर होता है

जब रिकॉर्ड किए गए कैमरा और LiDAR डेटा की सिमुलेटेड आउटपुट के साथ तुलना की जाती है, तो डेवलपर्स को मापने योग्य फीडबैक प्राप्त होता है जो दृश्य परिष्करण का मार्गदर्शन कर सकता है। Ashley Reid , जो एनवीआईडीए में आरटीएक्स सेंसर सत्यापन पर काम करता है, ने एस्ट्रा और Claude Fable 5 एजेंटों को ओवरटेक्स कैमरे और कच्चे लीडर आउटपुट की तुलना दर्ज आंकड़ों से करने के लिए निर्देशित किया। एजेंट्स ने खरोंच से दो डिजिटल जुड़वां बनाए और दो मौजूदा लोगों में सुधार किया। लगभग तीन दिनों के दौरान, रीड ने एक पुनरावर्ती वर्कफ़्लो का मार्गदर्शन किया जिसमें एजंटों ने मतभेदों को मापा, ओपनयूएसडी दृश्यों को बनाया या संशोधित किया, और परिणामों की जांच की। परिवर्तन लापता वस्तुओं, ज्यामिति और सामग्रियों को संबोधित करते हैं, जो कि कैमेरा और लिआर्ड मैट्रिक्स के आधार पर स्वीकृति के साथ स्वीकार्य होते हैं। यह डेवलपर को दृश्य निर्माण और रेंडरिंग सुधार के लिए मापीत विसंगतियों का उपयोग करने का एक तरीका देता है

सेंसर तुलना प्रदर्शन

भौतिक परीक्षणों के माध्यम से रोबोट कौशल का परीक्षण किया जाता है

नए आंदोलनों के लिए रोबोट प्रशिक्षण को इस बात की पुष्टि करने की आवश्यकता है कि शारीरिक बाधाओं के तहत कार्रवाई व्यवहार्य बनी रहे। Tae Kim, जो इंजीनियरिंग और उत्पाद का नेतृत्व करता है,NVIDIA Omniverse ने एस्ट्रा को निर्माण में मार्गदर्शन करने के लिए खेल वीडियो और प्राकृतिक-भाषा निर्देशों का उपयोग किया Robo Olympics, एक प्रयोगात्मक परियोजना जिसमें सिमुलेटेड Unitree G1 ह्यूमनॉइड्स का परीक्षण किया जाता है जो खेल आंदोलनों का प्रदर्शन करते हैं। Under Kim की दिशा, एस्टरा ने नियंत्रकों का निर्माण किया और उन्हें भौतिकी परीक्षणों के माध्यम से परिष्कृत किया। Newton Physics Engine अनुकरण व्यवहार, ओपन सोर्स NVIDIA Warp फ्रेमवर्क त्वरित गणना, और ओवीआरटीएक्स रेंडर किए गए दृश्य और आभासी कैमरा छवियां। एक प्रयोग में, रोबोट ने 100 सिमुलेशन परीक्षणों में से 64 में एक ही बाधा को साफ कर दिया। परीक्षणों ने किम को रोबोट के समय और नियंत्रण में सुधार के लिए प्रतिक्रिया दी।

विघटन परीक्षण लिंक CAD, सिमुलेशन, और रोबोट उपकरण

उत्पाद को अलग करने के लिए यह जांचने की आवश्यकता होती है कि क्या रोबोट के उपकरण प्रत्येक भाग तक पहुंच सकते हैं और इसे अलग कर सकते हैं। Jens Jebens एनवीआईडीए में ओपनयूएसडी के एक वरिष्ठ उत्पाद प्रबंधक ने एस्ट्रा को कार सस्पेंशन का मॉडल बनाने और इसे कॉन्फ़िगर करने का निर्देश दिया ।PTC Onshape एस्टरा के साथ, जेबेंस ने सिमुलेशन द्वारा सूचित रोबोटों के लिए कंप्यूटर-सहायता प्राप्त डिजाइन और टूलींग संशोधनों का पता लगाया। एजेंट ने उपलब्ध स्थान को मापा और एक रिंच तैयार किया जिसे रोबोट निलंबन के बोल्ट तक पहुंचने के लिए उपयोग कर सकता था। जेबेन्स ने सिमूलेशन में निलंबित घटक को सफलतापूर्वक हटाने की सूचना दी। यह डिज़ाइन और टूलिंग निर्णयों को असेंबल परिणामों से जोड़ता है, जो रोबोट नीति प्रशिक्षण के लिए शुरुआती बिंदु प्रदान करता है। ऑनशेप आयातक डेवलपर्स को सिमुलेशन जैसे कार्यप्रवाह शुरू करने में मदद कर सकता है।

International Space Station एक ब्राउज़र अनुप्रयोग बन जाता है

एक ब्राउज़र-आधारित 3 डी एप्लिकेशन को परिसंपत्तियों, लाइव डेटा और एक इंटरफेस के साथ तारों की आवश्यकता होती है। Nic Johns, एनवीआईडीए में एक इंजीनियरिंग निदेशक ने एस्ट्रा को टेलीमेट्री के साथ ओपनयूएसडी International Space Station मॉडल में नासा संपत्ति इकट्ठा करने के लिए प्रेरित किया। जॉन्स ने एकल प्रॉम्प्ट के साथ आवेदन का निर्माण किया, फिर ग्रह को दृश्यमान बनाने के लिए दृश्य को पृथ्वी के दिन के पक्ष में स्थानांतरित करने के लिये अनुवर्ती प्रोम्प्ट का उपयोग किया। वर्कफ़्लो ने एसेट तैयारी के लिए ब्लेंडर और रेंडरिंग (ओवरटेक्स), सीन रनटाइम (ओवस्टेज) और स्ट्रीमिंग (ओव्हरस्ट्रीम) के लिए ओमनीवर्स पुस्तकालयों का इस्तेमाल किया। यह ऐप 3D मॉडलों और परिचालन डेटा को ब्राउज़र में लाता है, जिसमें जॉन्स संकेतों और सुधारों के माध्यम से विकास का मार्गदर्शन करता है।

कैप्चर किए गए कमरे संपादन योग्य परीक्षण वातावरण बन जाते हैं

एक पुनर्निर्मित कक्ष केवल तभी इंटरैक्शन परीक्षण के लिए उपयोगी हो जाता है जब इसके ऑब्जेक्ट संपादन योग्य और भौतिक रूप से प्रशंसनीय होते हैं। Chirag Majithia, एनवीआईडीए में आइजैक इंजीनियरिंग एप्लिकेशन टीम से, एस्ट्रा को स्टीरियो कैमरा कैप्चर्स को संपादित करने योग्य ओपनयूएसडी स्टूडियो में बदलने का निर्देश दिया गया था। वर्कफ़्लो ने पुनर्गठन के लिए PyCuSFM, FoundationStereo और nvblox को संयुक्त किया, जिसमें उपयोगकर्ता की समीक्षा वस्तु चयन और प्लेसमेंट को मार्गदर्शन करती है। Astraled असेंबल किए गए उत्पन्न और ब्लेंडर-लेखक परिसंपत्तियों का उपयोग करता है USD Content Agents सिमुलेशन में वस्तुओं को स्थानांतरित करने और बातचीत करने के तरीके को कॉन्फ़िगर करने के लिए। Isaac Sim दरवाजों और दराजों के लिए गाइडेड टकराव परीक्षण और संपर्क संशोधन। स्टुडियो अंतराल को पकड़ने वाले ज्यामिति को इंटरैक्टिव टेस्टिंग से जोड़ता है, जिससे OpenUSD दृश्यों में आइटम व्यवहार को विन्यस्त करना आसान होता है।

डेवलपर्स को आगे क्या करना चाहिए

सिमुलेशन ऐप्स बनाने वाले डेवलपर्स को एजेंटों के साथ वैधता के लिए प्रतिस्थापन के रूप में नहीं, बल्कि एक योजना के निष्पादक की तरह व्यवहार करना चाहिए। उदाहरण एक पैटर्न साझा करते हैंः लक्षित दृश्य को परिभाषित करें, सही ओमनीवर्स पुस्तकालयों को कनेक्ट करें, एजेंट से संपत्ति और कोड का तार करने के लिए कहें, फिर भौतिकी, सेंसर या कार्य-विशिष्ट परीक्षण के साथ आउटपुट को मापें। ह्यूमोनॉइड नियंत्रण, स्वायत्त ड्राइविंग तुलनाओं, डिजिटल जुड़वाँ, रोबोट कौशल परीक्षण, पृथक्करण, ब्राउज़र विज़ुअलाइज़ेशन या कमरे पुनर्निर्माण पर काम करने वाले लोग इन परियोजनाओं को टेम्पलेट्स के तौर पर उपयोग कर सकते हैं। पूरी तरह से शासित उत्पादन पाइपलाइनों की आवश्यकता वाले विकासकर्ताओं को अभी भी उत्पन्न दृश्यों पर भरोसा करने से पहले अपने स्वयं के समीक्षा गेट, परिसंपत्ति सत्यापन और मीट्रिक जांच जोड़ने चाहिए। एनवीआईडीए पाठकों को पारिस्थितिकी तंत्र भर में टीमों और डेवलपरों से नए उदाहरणों के लिए वापस जांचने के लिए आमंत्रित करता है।