उपकरण समीक्षाएँ

वेरा सबसे तेज एजेंटों के साथ पीक थ्रूपुट को जोड़ती है।

AI एजेंट कार्यभार को लक्षित करता है, जो x86 सीपीयू की तुलना में अधिक समवर्ती एजेंटों के साथ प्रति वाट तेजी से लुकअप, कोड और कार्यों का निष्पादन जोड़ता है।

वेरा सबसे तेज एजेंटों के साथ पीक थ्रूपुट को जोड़ती है।

मुख्य जानकारी

  • NVIDIA वेरा को AI एजेंट वर्कलोड के लिए अनुकूलित एक CPU के रूप में प्रस्तुत करता है, जहां CPU निष्पादन चरण जैसे लुकअप, डेटाबेस क्वेरी, कोड परीक्षण और अनुवर्ती क्रियाएं GPU तर्क के समान मायने रखती हैं।
  • वेरा को एकल CPU के रूप में तैनात किया गया है जो उच्च क्षमता प्रति वाट के साथ तेज एजेंट गति का संयोजन करता है, जिससे वेग या घनत्व के लिए अनुकूलित अलग x86 भागों को जोड़ने की आवश्यकता से बचा जाता है।
  • NVIDIA दावा करता है कि वेरा सबसे तेज़ x86 CPU की तुलना में प्रति वाट 1.6 गुना अधिक एजेंट और पावर-लिमिटेड data center परिदृश्यों में सबसे ऊर्जा कुशल x86 CPU से 2 गुना तेज एजेंट गति प्रदान करती है।
  • प्रारंभिक भागीदार परीक्षण एजेंटिक कोडिंग, ऑर्केस्ट्रेशन, एनालिटिक्स और सैंडबॉक्स निर्माण में लाभ दिखाते हैं, यह सुझाव देते हुए कि वेरा data centers अधिक एजेंटों को निश्चित बिजली बजट में फिट करने में मदद कर सकती है।

AI इंफ्रास्ट्रक्चर का मूल्यांकन करने वाले पाठकों के लिए, NVIDIA का कहना है कि इसका Vera CPU AI एजेंटों पर लक्षित है जो पावर-लिमिटेड AI कारखानों के माध्यम से अधिक काम को स्थानांतरित करने के लक्ष्य के साथ खोज, डेटाबेस क्वेरी, कोड लेखन और परीक्षण और अनुवर्ती कार्रवाई करते हैं। 100 मेगावाट की तुलना में NVIDIA ने पाया कि एक एकल Vera CPU सबसे तेज़ x86 CPU और सबसे ऊर्जा कुशल x86 CPU से बेहतर प्रदर्शन करता है, जबकि शुरुआती अपनाने वाले परीक्षणों में एजेन्टिक कोडिंग, ऑर्केस्ट्रेशन, एनालिटिक्स, बेंचमार्क और सैंडबॉक्स शामिल थे।

Vera Combines Peak Throughput with the Fastest Agents.

एक CPU कई एजेंट चरणों के लिए बनाया गया

AI एजेंट उत्तरों का उत्पादन करने तक सीमित नहीं हैं। एक एकल कार्य GPU तर्क और CPU निष्पादन के बीच वैकल्पिक हो सकता है। यह CPU महत्वपूर्ण बनाता है क्योंकि यह निष्पादन चरणों को संभालता है जो मॉडल आउटपुट को कार्रवाई में बदल देते हैंः जानकारी की जांच, डेटा क्वेरी करना, कोड चलाना और संचालन करना।

जैसे-जैसे व्यवसाय अधिक एजेंटों को तैनात करते हैं, उनके पीछे के बुनियादी ढांचे को एक साथ दो काम करना पड़ता है। इसे प्रत्येक चरण को जल्दी से पूरा करना चाहिए और प्रति एजेंट प्रतीक्षा समय बढ़ाए बिना कई समवर्ती एजेंट का समर्थन करना होगा। बाधा शक्ति है। AI कारखाने में निश्चित मात्रा में बिजली उपलब्ध होती है, इसलिए ऑपरेटरों को ऐसे बुनियादी ढाँचे की आवश्यकता होती है जो हर वाट से सबसे उपयोगी कार्य प्राप्त करता हो।

पिचः गति और क्षमता के लिए एक CPU

वेरा को एकल CPU के रूप में प्रस्तुत किया गया है जो प्रति वाट उच्च क्षमता वाले तेज एजेंट प्रदर्शन का संयोजन करता है। पिच उन व्यापार-ऑफ्स को संतुलित करने के लिए गति या घनत्व के लिए अनुकूलित अलग x86 भागों की युग्मन से बचने और कई एजेंट वर्कलोड पर एक CPU का उपयोग करना है।

यह दावा इसलिए महत्वपूर्ण है क्योंकि एजेंट वर्कलोड अक्सर उच्च समवर्तीता के साथ छोटे, अनुक्रमिक संचालन को जोड़ते हैं। एक CPU जो एक एजेंट के लिए तेज़ होता है वह अच्छी तरह से स्केल नहीं कर सकता है यदि कई एजेंट एक ही समय में चल रहे हों, जबकि घने CPU कम शक्ति रख सकते हैं लेकिन काम कतार में छोड़ देते हैं। तुलना का उद्देश्य उस तनाव को संबोधित करना है।

NVIDIA रिपोर्ट करता है कि वेरा उद्योग-अग्रणी एजेंट गति प्रदान करती है और सबसे तेज x86 CPU की तुलना में 1.6 गुना अधिक एजेंट प्रति वाट। यह भी 2x तेजी से एजेंट स्पीड और अग्रणी ऊर्जा दक्षता के खिलाफ रिपोर्ट करती है जो सबसे अधिक ऊर्जा कुशल है

ये आंकड़े बुनियादी ढांचे के खरीदारों के लिए केंद्रीय प्रश्न की ओर इशारा करते हैंः क्या एक processor परिवार विभिन्न कार्यों के लिए अलग-अलग भागों की आवश्यकता होने के बजाय, एक ही बिजली लिफाफे के भीतर एजेंट वर्कलोड की सीमा को संभाल सकता है।

प्रारंभिक अपनाने वाले परीक्षण कई एजेंट पैटर्न को कवर करते हैं

भागीदार पहले से ही वेरा का उपयोग कर रहे हैं, और NVIDIA ने उत्पादन-शैली के परीक्षणों में समान परिणामों की सूचना दी। उदाहरण दिखाते हैं कि लाभ कहां सबसे अधिक दिखाई दे सकते हैंः कोडिंग पाइपलाइन, ऑर्केस्ट्रेशन परतें, क्वेरी इंजन, बेंचमार्किंग और सैंडबॉक्स निर्माण।

Perplexity ने पारंपरिक सीपीयू की तुलना में वेरा पर 1.5 गुना तेज एजेंटिक कोडिंग की सूचना दी, और यह आगामी उत्पादन प्रणाली में वैरा का उपयोग करने की योजना बना रहा है।

अपने प्रोडक्शन एजेंट वर्कलोड के लिए, डीपइन्फ्रा ने सर्वश्रेष्ठ x86 processor की गति से 2.2 गुना तक एजेन्टिक ऑर्केस्ट्रेशन को मापा। यह परीक्षण किए गए चार आर्किटेक्चर में सबसे तेज था।

ClickHouse ने अपने मानक बाइनरी का उपयोग किया, बिना वेरा-विशिष्ट ट्यूनिंग के, और 176 कोरों में लगभग रैखिक स्केलिंग की सूचना दी साथ ही क्लिकबेंच hardware लीडरबोर्ड पर शीर्ष स्थान।

DuckLabs ने TPC- H SF1000 के औसत प्रदर्शन को Intel Xeon 6 आधार रेखा की तुलना में लगभग 1. 5 गुना बताया।

डेटोना ने वेरा पर 10.8 सेकंड में 1,000 एजेंट सैंडबॉक्स ऑनलाइन लाने की सूचना दी, जबकि x86 पर यह 88.4 सेकंड था और 2,000 समवर्ती सैंडब्लॉक पर प्रति सेकंड 12.7 कार्य पूरे किए गए थे।

मोडल ने प्रति कोर सैंडबॉक्स थ्रूपुट को x86 hardware की तुलना में 2 गुना तक रिपोर्ट किया, जिसमें भारी भार के तहत लाभ का विस्तार हुआ।

AI के लिए इसका क्या मतलब है?

रिपोर्ट किए गए परिणामों से पता चलता है कि एजेंट वर्कलोड एक साथ निष्पादन गति और बिजली दक्षता पर केंद्रित CPU डिजाइन को पुरस्कृत कर सकते हैं। प्रदाताओं के लिए, मूल्य न केवल एकल एजेंट को तेजी से प्रतिक्रिया दे रहा है। यह कम कतारें रखते हुए एक ही मेगावाट बजट में अधिक एजेंट फिट कर रहा है.

100 मेगावाट की तुलना, साझेदार तैनाती और प्रति-कोर और प्रति वाट दावे इस बात का परीक्षण करते हैं कि क्या वेरा एजेंट-भारी वातावरण के लिए एक सामान्य CPU नींव के रूप में काम कर सकता है। अगला सवाल यह है कि ये लाभ नियंत्रित परीक्षणों से परे उत्पादन प्रणालियों के पैमाने पर कितने व्यापक हैं। NVIDIA भी Vera CPU के बारे में अतिरिक्त जानकारी की ओर इशारा करता है।

मेटा विवरणः NVIDIA Vera CPU कोडिंग, ऑर्केस्ट्रेशन और सैंडबॉक्स में भागीदार परीक्षणों के आधार पर 100-मेगावाट data centers में तेजी से और अधिक कुशलता से चलाने में मदद करता है।

टैगः AI एजेंट, NVIDIA Vera CPU, data center दक्षता, एजेंटिक ऑर्केस्ट्रेशन, सैंडबॉक्स थ्रूपुट

विशेष रुप से प्रदर्शित छवि: एक CPU का अमूर्त मैत्रीपूर्ण चित्रण कई छोटे एजेंट वर्कफ़्लो को पावर-लिमिटेड data center रैक के माध्यम से निर्देशित कर रहा है, कोई वास्तविक व्यक्ति नहीं, कोई लोगो नहीं, न ही पाठ।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.