NVIDIA ओपनशेल दान करके और नए AI बुनियादी ढांचे के शुभारंभ द्वारा अपनी प्रतिबद्धता को मजबूत करता है
NVIDIA सुरक्षित, स्केलेबल AI एजेंटों और तेज GPU अनुमान के लिए ओपनशेल Agent Substrate, और Kubernetes टूल का समर्थन करता है।
मुख्य जानकारी
- NVIDIA ने Cloud Native Computing Foundation सैंडबॉक्स में ओपनशेल का योगदान दिया, जो इसे नियम-आधारित नियंत्रणों के साथ स्वायत्त AI एजेंटों को सुरक्षित और नियंत्रित करने के लिए एक खुला स्रोत रनटाइम बनाता है।
- NVIDIA Agent Substrate का समर्थन कर रहा है, एक Google-नेतृत्व वाले कुबेरनेट्स फ्रेमवर्क जो निलंबित और फिर से शुरू करने के माध्यम से निष्क्रिय कंप्यूटिंग को मुक्त करते हुए लंबे समय तक एजेंट वर्कलोड चलाता है।
- NVIDIA ने अपने DSX AI Factory Platform में Kubernetes Engine, Kubernetes Recipes और स्नैपशॉट जोड़े ताकि टीमों को कुबेरनेट्स पर GPU बुनियादी ढांचे की तैनाती, प्रबंधन और स्केल करने में मदद मिल सके।
- घोषणाओं का उद्देश्य कुबेरनेट्स को सुरक्षित, कुशल और स्केलेबल AI बुनियादी ढांचे के लिए एक नींव के रूप में मजबूत करना है, जिसमें तेजी से अनुमान स्टार्टअप और लोचदार वर्कलोड प्रबंधन शामिल हैं।
मेटा विवरणः एनवीडिया ओपनशेल में योगदान देता है और क्यूबेकॉन पर Agent Substrate का समर्थन करता है, सुरक्षित AI एजेंटों के लिए कुबेरनेट्स टूल जोड़ता है और GPU इन्फ्रास्ट्रक्चर स्केल।
टैगः कुबर्नेट्स, एनवीआईडीए ओपनशेल, क्लाउड नेटिव कंप्यूटिंग फाउंडेशन, AI एजेंट, 8 9 006 बुनियादी ढांचा
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> कुबेरनेट्स क्लस्टर, GPU रैक और सुरक्षित एजेंट शील्ड का सार अनुकूल चित्रण, बिना किसी व्यक्ति, लोगो या पाठ के।
Kubernetes और क्लाउड-नेटिव समुदायों के लिए प्रमुख सम्मेलन KubeCon + CloudNativeCon में, NVIDIA ने घोषणा की कि वह NVIDIA OpenShell को Cloud Native Computing Foundation में योगदान देकर अपनी ओपन सोर्स प्रतिबद्धता को गहरा कर रहा है, Google द्वारा संचालित Agent Substrate का समर्थन करता है, और NVIDIA DSX AI Factory प्लेटफ़ॉर्म में नए घटक जोड़ता है। यह कुबेरनेट्स पर AI सिस्टम बनाने वाली इन्फ्रास्ट्रक्चर टीम के लिए है; उन्हें एजेंट गवर्नेंस, स्केल किए गए एजेंट निष्पादन और तेज़ GPU अनुमान स्टार्टअप के लिए खुले उपकरण मिलते हैं।
यह घोषणा इसलिए महत्वपूर्ण है क्योंकि कुबेरनेट्स एक ओपन सोर्स सिस्टम है जिसका उपयोग कई मशीनों में एप्लिकेशन वर्कलोड को चलाने और समन्वयित करने के लिए किया जाता है। यह अब AI कारखानों की नींव के रूप में कार्य करता है, और इस पर मांग बढ़ रही है क्योंकि टीमें एजेंटों को स्थानांतरित करती हैं जो उपकरण का उपयोग करते हैं, अनुमान सेवाओं तक पहुंचते हैं और वर्कलोड निष्पादित करते हैं। एनवीआईडीए ने डेवलपर्स को सुरक्षित और अधिक कुशल बुनियादी ढांचे के निर्माण के लिए खुले टूल देते हुए स्केल किए गए AI वर्कलोड के लिए कुबरनेट्स को मजबूत आधार बनाने के तरीके के रूप से काम किया।
OpenShell एजेंट सुरक्षा को ओपन सोर्स में ले जाता है
NVIDIA OpenShell एक रनटाइम है जो स्वायत्त एजेंटों को सुरक्षित और नियंत्रित करने के लिए बनाया गया है। यह Cloud Native Computing Foundation में योगदान दिया जा रहा है, एक Linux Foundation गैर-लाभकारी जो KubeCon की मेजबानी करता है, और Cloud Native Computing Foundation सैंडबॉक्स में प्रवेश करेगा। सैंडबोक्स मॉडल के तहत, इसे उत्पादों में शामिल करने वाले समूह इसे चलाने में मदद करेंगे, जबकि समुदाय में सुरक्षा विशेषज्ञ इसकी समीक्षा और सुधार कर सकते हैं।
रनटाइम एजेंट व्यवहार के आसपास निर्धारक, नियम-आधारित नियंत्रण लागू करता है। नीति उपकरण उपयोग, अनुमानित एंडपॉइंट एक्सेस और वर्कलोड निष्पादन को कवर कर सकती है। क्योंकि वास्तुकला विस्तार योग्य है, टीमें अपने स्वयं के कंप्यूटिंग संसाधनों, अनुमान प्रदाताओं, क्रेडेंशियल स्टोर्स और निगरानी सेवाओं को संलग्न कर सकती हैं। लक्ष्य मौजूदा एंटरप्राइज़ सिस्टम के साथ संगत रहते हुए तैनाती मॉडल में सुसंगत शासन है।
एनवीआईडीए के अनुसार, सैकड़ों संगठनों ने पहले ही ओपनशेल को अपनाया है और परियोजना शुरू होने के एक साल से भी कम समय में दसियों हज़ार योगदान जमा किए हैं। इसे Cloud Native Computing Foundation सैंडबॉक्स में ले जाने का उद्देश्य समुदाय को निरीक्षण करने और सुरक्षा उपायों में सुधार करके विकास की गति बढ़ाना है।
Linux Foundation में से Jim Zemlin, CEO ने समुदाय की नई अवसंरचना चुनौती का वर्णन एजेंटों को चलाने के लिए सुरक्षित स्थान प्रदान करने के रूप में किया। उन्होंने कहा कि ओपनशेल योगदान द्वारा बनाई गई साझा नींव डेवलपर्स को यह आकार देने देती है कि कैसे एजेंट सुरक्षा विकसित होती है और बुनियादी ढांचे पर व्यापक सहयोग का समर्थन करती है जो अगली पीढ़ी के क्लाउड-नेटिव एप्लिकेशन पर निर्भर करेगा।
Agent Substrate निष्क्रिय गणना के बिना एजेंटों को चलाने में मदद करता है
सुरक्षा एजेंट समस्या का केवल एक पक्ष है। टीमों को भी कार्य के बीच समर्पित कंप्यूटिंग सक्रिय रखने के लिए भुगतान किए बिना लंबे समय तक कई एजेंट चलाने की आवश्यकता होती है। NVIDIA Agent Substrate का भी समर्थन कर रहा है, जो कि कुबेरनेट्स पर दीर्घकालिक एजेंट वर्कलोड चलाने के लिए Google द्वारा शुरू किया गया फ्रेमवर्क है। इसे Cloud Native Computing Foundation सैंडबॉक्स में स्वीकार किया गया है। एनवीआईडीए मॉडल अनुमान के लिए उस ढांचे को NVIDIA Dynamo और साझा क्लस्टर संसाधन आवंटन के लिए KAI Scheduler से जोड़ रहा है।
फ्रेमवर्क कार्य के बीच एक एजेंट का वातावरण उपलब्ध रखता है, फिर उस पर्यावरण द्वारा उपयोग किए जाने वाले कंप्यूटिंग को मुक्त करता है जब एजेंट निष्क्रिय होता है। प्रत्येक सत्र को स्थायी क्षमता असाइन करने के बजाय, यह साझा पूल में वातावरणों को निलंबित और फिर से शुरू करता है। वह दृष्टिकोण संगठनों को क्रियान्वयन, अनुमान सेवा और क्लस्टर संसाधन शेड्यूलिंग को एक साथ बांधते हुए कुबेरनेट्स पर एजेंट वर्कलोड को स्केल करने की अनुमति देता है।
NVIDIA और Google OpenShell और Agent Substrate को जोड़ने के लिए भी सहयोग कर रहे हैं। इस सहयोग का उद्देश्य उद्यमों को क्लाउड और ऑन-प्रिमाइसेस सिस्टम में एजेंटों को सुरक्षित और नियंत्रित करने देना है।
डीएसएक्स उपकरण लक्ष्य प्रबंधित GPU Kubernetes और तेजी से अनुमान स्टार्टअप
एजेंट परियोजनाओं के साथ, NVIDIA ने NVIDIA DSX AI Factory प्लेटफ़ॉर्म में NVIDIA Kubernetes Engine, NVIDIA Kubernetes Recipes और NVIDIA Snapshot जोड़े। घटकों को AI कारखानों के लिए कुबेरनेट्स पर GPU बुनियादी ढांचे की तैनाती, प्रबंधन और स्केल करने में मदद करने के लिए डिज़ाइन किया गया है। सॉफ़्टवेयर स्टैक GPU इंफ्रास्ट्रक्चर, कुबरनेट्स मैनेजमेंट, वर्कलोड ऑर्केस्ट्रेशन और मॉडल सर्विसिंग तक फैला हुआ है। एक साथ, परियोजनाएं Kubernetes को चलाने में आसान बनाने और पैमाने पर तेजी से अनुमान लगाने के लिए मंच का विस्तार करती हैं।
NVIDIA Kubernetes Engine और NVIDIA Kubernetes Recipes सार्वजनिक पूर्वावलोकन में उपलब्ध हैं। वे GPU अवसंरचना पर प्रबंधित कुबेरनेट्स सेवाओं के लिए ओपन सोर्स बिल्डिंग ब्लॉक्स हैं। उपकरण क्लस्टर जीवनचक्र कार्यों को स्वचालित करते हैं और हस्ताक्षरित, संस्करण-पिन की गई छवियों की आपूर्ति करते हैं। लक्ष्य यह है कि AI कारखानों को बुनियादी ढांचे, सॉफ़्टवेयर और ग्राहक अनुभव पर नियंत्रण बनाए रखते हुए प्रबंधित Kubernetes सेवाएं प्रदान करने दें।
दो उपकरण पारिस्थितिकी तंत्र समर्थन के साथ लॉन्च करते हैं जो AI बुनियादी ढांचे प्लेटफार्मों और क्लाउड सेवाओं में अपनी पहुंच का विस्तार करता है। मिरांटिस, नेट्रिस, OpenNebula Systems, राफे, Spectro Cloud, और वीक्लस्टर ने फर्मस और SK Telecom के साथ मिलकर एनवीडिया के साथ एकीकरण योजनाओं पर संरेखित किया है ताकि उनके प्रसाद में NVIDIA Kubernetes Engine और NVIDIA Kubernetes Recipes क्षमताएं लाई जा सकें।
NVIDIA Snapshot उस विलंब को लक्षित करता है जो तब होता है जब अतिरिक्त अनुमान क्षमता की आवश्यकता होती है। मॉडल लोडिंग और वर्कलोड वार्मअप स्केलिंग और रिकवरी को धीमा कर सकता है। ओपन सोर्स, मॉड्यूलर घटक मॉडल को पुनः लोड किए बिना सेकंड में चेकपॉइंट प्रतिकृतियों को पुनर्स्थापित करता है या इसे गर्म करता है, जिससे कुबेरनेट्स पर अनुमान और एजेंटिक कार्यभार तेजी से शुरू होते हैं, जल्दी ठीक हो जाते हैं, और इलास्टिक रूप से स्केल करते हैं।
क्रूसो और Saturn Cloud, दोनों डिजाइन भागीदार, ने स्नैपशॉट को अपने स्वयं के वर्कलोड पर NVIDIA HGX B300 सिस्टम के साथ परीक्षण किया। क्रूज़ो, जो स्नॅपशॉट में अपस्ट्रीम योगदान देता है, ने जीएलएम-5.3 को Crusoe Cloud पर चलाया और कार्यभार तैयार होने का समय लगभग आठ मिनट से 31 सेकंड तक कम कर दिया। एक टोकन फैक्ट्री प्लेटफॉर्म के रूप में वर्णित Saturn Cloud ने स्नैंपशोट के साथ शून्य-से-निष्कर्षण बेंचमार्क स्केल किया और वीएलएलएम स्टार्टअप टाइम्स को दो और 8.5 मिनट के बीच छह और 34 सेकंड में कटौती की।
क्या यह AI बुनियादी ढांचा टीमों के लिए बदलता है
एजेंट प्लेटफार्मों का मूल्यांकन करने वाले पाठकों के लिए, टेकअवे यह है कि एनवीआईडीए कुबेरनेट्स को तीन आवश्यकताओं के लिए सामान्य आधार के रूप में तैनात कर रहा हैः स्वायत्त एजेंटों के लिए शासन, कुशल लंबे समय तक चलने वाला निष्पादन और तेजी से जीपीयू-समर्थित अनुमान स्केलिंग। ओपनशेल इस सवाल का जवाब देता है कि एजेंट क्रियाओं को कैसे प्रतिबंधित किया जाए। Agent Substrate उत्तर देती है कि समर्पित निष्क्रिय कंप्यूटिंग के बिना कई एजेंट कैसे चलाएं। NVIDIA Kubernetes Engine, NVIDIA Kubernetes Recipes और स्नैपशॉट उत्तर देते हैं कि प्रबंधित GPU क्लस्टर कैसे संचालित करें और स्टार्टअप देरी को कम करें।
देखने के लिए अगले विकास हैं कि क्या Cloud Native Computing Foundation सैंडबॉक्स गवर्नेंस ओपनशेल और Agent Substrate को व्यापक रूप से अपनाने में मदद करता है, और क्या NVIDIA DSX एकीकरण GPU बुनियादी ढांचे पर प्रबंधित कुबेरनेट्स को AI कारखानों के लिए वितरित करना आसान बनाता है। एनवीआईडीए ने पाठकों को क्यूबेकॉन में शामिल होकर अधिक जानने का निमंत्रण दिया।
Comments (0)