एआई के साथ कोडिंग

केवल कुछ आदेशों का उपयोग कर किनारे अनुप्रयोग विकास के लिए AI मॉडल निष्पादित करें

कुछ आदेशों ने TensorRT Edge- LLM स्थापित किया, स्थानीय रूप से Nemotron-3.5 लाइटनिंग चलाया, एक API की सेवा की और किनारे AI के लिए सट्टा डिकोडिंग की तुलना की।

केवल कुछ आदेशों का उपयोग कर किनारे अनुप्रयोग विकास के लिए AI मॉडल निष्पादित करें

मुख्य जानकारी

  • NVIDIA DGX Spark 64 जीबी एज डेवलपर्स को नेमोट्रॉन-3.5 लाइटनिंग को स्थानीय रूप से TensorRT Edge-LLM के साथ चलाने में सक्षम बनाता है, जिससे भौतिक AI प्रोटोटाइप के लिए सेटअप घर्षण कम हो जाता है।
  • कार्यप्रवाह कुछ CLI चरणों का समर्थन करता हैः TensorRT Edge-LLM स्थापित करें, इंजन डाउनलोड और बिल्ड करें, टर्मिनल चैट में परीक्षण संकेत दें, फिर एक OpenAI संगत स्थानीय सेवा प्रदान करें।
  • डीएसपार्क अनुमानित डिकोडिंग को टोकन गति में सुधार करते हुए, समय-से-प्रथम-टोकन व्यापक रूप से समान रखते हुए पीढ़ी को तेज करने के लिए सक्षम किया जा सकता है।
  • एक ही रनटाइम का उपयोग DGX Spark पर विकास के लिए किया जा सकता है और किनारे प्लेटफार्मों जैसे कि Jetson Thor, DRIVE AGX Thor और IGX Thor पर तैनाती की जा सकती है।

मेटा विवरण: जानें कि कैसे चलाना है NVIDIA Nemotron-3.5 लाइटनिंग पर DGX Spark 64GB के साथ TensorRT एज-एलएलएम, परीक्षण संकेत, एक स्थानीय सेवा API, और डीएसपार्क प्रदर्शन की तुलना करें।

Execute AI Models for Edge Application Development Using Only a Few Commands

टैगः NVIDIA DGX स्पार्क 64GB, TensorRT एज-एलएलएम, नेमोट्रॉन-3.5 लाइटनिंग, डीएसपार्क सट्टा डिकोडिंग, किनारे AI

विशेष रुप से प्रदर्शित छवि: एक कॉम्पैक्ट डेवलपर वर्कस्टेशन का अमूर्त मैत्रीपूर्ण चित्रण जो रोबोट बांह, उत्पादन लाइन और ड्राइवर केबिन से जुड़ा हुआ है, जिसमें कोई वास्तविक लोग नहीं हैं, कोई लोगो या पाठ नहीं है।

NVIDIA DGX Spark 64 जीबी अब एम्बेडेड डेवलपर्स को चलाने के लिए एक व्यावहारिक तरीका देता है 3.5 - टेंसरआरटी एज-एलएलएम के साथ लाइटनिंग, वर्कलोड्स को किनारे हार्डवेयर पर ले जाने से पहले स्थानीय चैट टेस्ट और एपीआई-समर्थित प्रोटोटाइप में केवल टेक्स्ट मॉडल बदलना। सेटअप का उद्देश्य भौतिक AI सिस्टम हैं जिन्हें तंग मेमोरी, पावर और विलंबता बजट के भीतर महसूस करने, तर्क करने और कार्य करने की आवश्यकता होती है।

किनारे AI डेवलपर्स के लिए यह क्यों महत्वपूर्ण है

Edge AI डेटा सेंटर से परे जा रहा है क्योंकि डेवलपर्स ऐसे एजेंट बनाते हैं जो ड्राइवर के ध्यान और केबिन की स्थितियों पर नजर रखते हैं, रोबोट को उनके आसपास के वातावरण को समझने और कार्यों की योजना बनाने में मदद करते हैं, और उत्पादन लाइनों पर मशीनों के बेड़े का समन्वय करते हैं। इन अनुप्रयोगों को उन मॉडलों की आवश्यकता होती है जो दूरस्थ सर्वर पर भरोसा किए बिना जल्दी प्रतिक्रिया दे सकते हैं।

स्थानीय रूप से चलाने के लिए एक मॉडल तैयार करने में पर्याप्त सेटअप शामिल हो सकता है। TensorRT Edge-LLM को उस घर्षण को कम करने के लिए डिज़ाइन किया गया है। यह एम्बेडेड वर्कलोड्स के लिए बनाया गया एक हल्का C ++ अनुमान रनटाइम है। उसी अनुमान ढांचे का उपयोग DGX Spark पर विकास और NVIDIA Jetson Thor, NVIDIA DRIVE AGX Thor और NVIDIA IGX Thor जैसे प्लेटफार्मों पर तैनाती के लिए किया जा सकता है.

डेवलपर्स के लिए, मूल्य सरल हैः लक्ष्य वातावरण के पास प्रोटोटाइप करें, स्थानीय रूप से परीक्षण संकेत दें, मॉडल को एक API के माध्यम से सेवा दें और उत्पादन डिवाइस पर जाने से पहले सट्टा डिकोडिंग के प्रभाव की तुलना करें।

डीजीएक्स स्पार्क और टेंसर आरटी एज-एलएलएम से प्रारंभ करें

शुरू करने के लिए, आपको एक समर्थित NVIDIA सॉफ़्टवेयर स्टैक,NVIDIA CUDA 13, TensorRT10.161.11 या 10.x श्रृंखला के भीतर नए और पायथन 3.10 से 3.12 की आवश्यकता है। उदाहरणों का परीक्षण टेंसरआरटी एज-एलएलएम 0.11.1 और टेन्सर आरटी 10.16 के साथ किया गया था।

  1. अपने पर एक टर्मिनल खोलें DGX Spark.
  2. एक आभासी वातावरण बनाएँ और सक्रिय करें.
  3. TensorRT Edge-LLM स्थापित करें.
  4. TensorRT संस्करण की जाँच करें और पुष्टि करें कि tensorrt एज-एलएलएम रनटाइम लोड करता है.
  5. चयनित मॉडल को डाउनलोड करने के लिए trtedge कमांड-लाइन इंटरफेस, या CLI का उपयोग करें और स्पार्क पर अनुमान के लिए अनुकूलित TensorRT इंजन बनाएं।

वर्चुअल वातावरण नए स्थापित पैकेजों को अलग रखता है, जबकि अभी भी TensorRT सहित सिस्टम पायथन पैकेज तक पहुंच की अनुमति देता है। यदि संगत प्रणाली TensorART बाइंडिंग अनुपलब्ध हैं, तो सक्रिय पर्यावरण के अंदर एक संगत Tensor RT 10.x संस्करण इंस्टॉल करने के लिए NVIDIA tensorRT पाइप स्थापना निर्देशों का पालन करें, फिर सत्यापन आदेश पुनः चलाएं।

Execute AI Models for Edge Application Development Using Only a Few Commands

एक टर्मिनल में टेस्ट नेमोट्रॉन-3.5 लाइटनिंग

एक बार वातावरण तैयार हो जाने के बाद, नेमोट्रॉन-3.5 लाइटनिंग के साथ चैट शुरू करें। पहले लॉन्च पर, मॉडल डाउनलोड की प्रतीक्षा करें, जो लगभग 21GB है, और इंजन बिल्ड समाप्त होने के लिए। फ़ाइलें डिफ़ॉल्ट रूप से ~/.cache/tensorrt-edgellm में संग्रहीत हैं, इसलिए आपको मॉडल और इंजन दोनों के लिए जगह छोड़नी चाहिए। बाद में लॉन्च कैश किए गए इंजनों का पुनः उपयोग करते हैं।

जब चैट संकेत दिखाई देता है, तो एक प्रश्न लिखें और प्रतिक्रिया की समीक्षा करें. आप अनुवर्ती सवालों के साथ बातचीत जारी रख सकते हैं या सत्र समाप्त करने के लिए /exit टाइप कर सकते हैं।

यह कदम उपयोगी है क्योंकि यह मॉडल व्यवहार को एप्लिकेशन पाइपलाइन से अलग करता है। आप पुष्टि कर सकते हैं कि प्रॉम्प्ट, प्रतिक्रिया की गुणवत्ता और विलंबता सेवा या तैनाती तर्क जोड़ने से पहले स्वीकार्य हैं।

स्थानीय API के माध्यम से मॉडल की सेवा करें

टर्मिनल चैट काम करने के बाद, एप्लिकेशन विकास और परीक्षण के लिए स्पार्क पर एक स्थानीय ओपनएआई-संगत API के माध्यम से मॉडल की सेवा करें।

  1. आभासी वातावरण को सक्रिय रखें.
  2. सर्वर शुरू करें.
  3. सर्वर इस विन्यास के लिए एक इंजन का निर्माण या पुनः उपयोग करता है.
  4. एक बार स्टार्टअप पूरा हो जाने के बाद, अपने DGX Spark पर दूसरा टर्मिनल खोलें और जांचें कि सर्वर तैयार है।
  5. एक प्रतिक्रिया जिसमें "स्थिति":"तैयार" शामिल हो, तत्परता की पुष्टि करता है।
  6. चैट पूर्णता अंतबिंदु को एक संकेत भेजें.
  7. उत्तर धाराएं JSON घटनाओं के रूप में होती हैं.
  8. अधिक अनुरोधों के लिए सर्वर को चालू रखें, या इसे रोकने के लिए Ctrl+C दबाएं.

यह API परत वह जगह है जहां प्रोटोटाइपिंग अधिक एप्लिकेशन-जैसी हो जाती है। एक स्थानीय सेवा को मॉडल रनटाइम में बदलाव किए बिना टेस्ट क्लाइंट, डैशबोर्ड या रोबोट कंट्रोल लूप से जोड़ा जा सकता है।

डीएसपार्क अनुमानित डिकोडिंग जोड़ें

आप डीएसपार्क सट्टा डिकोडिंग के साथ पीढ़ी को तेज कर सकते हैं। यह विधि एक ही पास में सत्यापित करने के लिए मुख्य मॉडल के लिए कई टोकन प्रस्तावित करने के लिये ड्राफ्ट मॉडल का उपयोग करती है।

तीन ड्राफ्ट टोकन के साथ इसे सक्षम करने के लिएः

Execute AI Models for Edge Application Development Using Only a Few Commands
  1. Press Ctrl+C सर्वर टर्मिनल में।
  2. डीएसपार्क सक्षम के साथ सर्वर को पुनरारंभ करें.
  3. सर्वर तैयार होने की रिपोर्ट तक प्रतीक्षा करें.
  4. DSpark-सक्षम पीढ़ी का प्रयास करने के लिए चैट पूर्णता अंतबिंदु को एक और संकेत भेजें.

आप अपने कार्यभार के लिए पीढ़ी की गति को ट्यून करने के लिए num_speculative_tokens और अन्य सेटिंग्स के साथ प्रयोग कर सकते हैं। अनुमानित डिकोडिंग प्रलेखन अतिरिक्त विवरण शामिल करता है.

प्रदर्शन पर DGX Spark 64GB

TensorRT Edge-LLM कम प्रतिक्रिया विलंबता और तेजी से टोकन पीढ़ी प्रदान करता है NVIDIA Nemotron - 3.5 लाइटनिंग पर DGX Spark 64GB। नीचे दी गई तालिका पहले टोकन, या TTFT के लिए समय की रिपोर्ट करती है, और DSpark सट्टा डिकोडिंग के साथ और बिना पीढ़ी की गति।

डिकोडिंगकार्यभारमध्य TTFTऔसत उत्पादन गति
डीएसस्पार्क ऑफस्पीडबेंच 1K201.0 ms73.3 टोकन/एस
डीएसस्पार्क ऑफस्पीडबेंच 2K329.5 एमएस72.8 टोकन/एस
डीएसस्पार्क ऑफह्यूमनईवल संकेत98.1 ms73.4 टोकन/एस
डीएसपार्क ऑनस्पीडबेंच 1K203.0 ms108.5 टोकन/सेकंड
डीएसपार्क ऑनस्पीडबेंच 2K331.6 ms105.3 टोकन/एस
डीएसपार्क ऑनह्यूमनईवल संकेत98.7 ms126.9 टोकन/एस

तालिका 1. डीएसपार्क अनुमानित डिकोडिंग के साथ और बिना 64 जीबी पर नेमोट्रॉन-3.5 लाइटनिंग प्रदर्शन।

पीढ़ी की गति प्रति अनुरोध औसत टोकन उत्पादन दर है, जिसमें पहले टोकन के लिए समय शामिल नहीं है। डीएसपार्क तीन ड्राफ्ट टोकन का उपयोग करता है। पीक कुल सिस्टम मेमोरी उपयोग DSpark के साथ अनुमान के दौरान 27.9GB था, OS सहित।

मापों पर लिया गया था DGX Spark 64GB चल रहा है DGX OS 7.6.0, जो उबंटू 24.04.4 एलटीएस है। सेटअप ने एनवीएफपी 4 का उपयोग सोचा सक्षम, बैच आकार एक, एक समवर्ती स्ट्रीमिंग अनुरोध और 128-टोकन आउटपुट सीमा के साथ किया। औसत इनपुट लंबाई स्पीडबेन्च 1K के लिए 39 टोकन, स्पीडबेंच 2K के लिए 40 टोकन और ह्यूमनईवल प्रॉम्प्ट्स के लिए 139 टोकन थी।

पैटर्न सीधा है. टीटीएफटी बहुत कम बदलता है, जबकि डीएसपार्क सक्षम होने पर पीढ़ी की गति बढ़ जाती है। इंटरैक्टिव सहायकों के लिए, पहला टोकन अक्सर सबसे अधिक मायने रखता है। लंबी प्रतिक्रियाओं के लिए थ्रूपुट अनुभव को बदल सकता है।

अगला कदम

समर्थित मॉडलों की सूची से एक अन्य मॉडल का प्रयास करें और स्पार्क पर अपने अनुप्रयोग को विकसित करना जारी रखें. विकल्पों में दृष्टि-भाषा के मॉडल शामिल हैं जो छवियों और वीडियो, साथ ही भाषण मान्यता और पाठ-से-भाषण मॉडल की व्याख्या करते हैं।

अपने लक्षित एम्बेडेड प्लेटफॉर्म पर मॉडल-विशिष्ट वर्कफ़्लो और आवश्यकताओं के लिए TensorRT Edge-LLM प्रलेखन का अन्वेषण करें। आरंभ करने के लिए संसाधनों के लिए नेमोट्रॉन डेवलपर पृष्ठ पर जाएं, और Hugging Face और ब्लूप्रिंट्स build.nvidia.com पर खुले नेमोट्रॉन मॉडलों और डेटासेट का पता लगाएं।

आम गलतियाँ

  • आभासी वातावरण के बाहर चल रहा है और इच्छित पैकेज संदर्भ को याद कर रहे हैं.
  • यह भूलकर कि पहले लॉन्च में लगभग 21 जीबी मॉडल डाउनलोड और निर्मित इंजन दोनों के लिए जगह की आवश्यकता होती है।
  • यह मानते हुए कि प्रत्येक प्रक्षेपण इंजन का पुनर्निर्माण करता है जब कैश्ड इंजनों को पुनः उपयोग किया जा सकता है।
  • API को बहुत जल्दी जांचना और अधूरे स्टार्टअप को विफलता के रूप में मानना।
  • कार्यभार का परीक्षण किए बिना डीएसपार्क अनुमानित डिकोडिंग चालू करना, क्योंकि गति लाभ कार्य और टोकन लंबाई पर निर्भर करता है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.