एआई के साथ कोडिंग

Use NVIDIA NeMo एजेंट विफलताओं को परीक्षण और हार्नेस फिक्स में परिवर्तित करने के लिए।

नेमोक्लॉ एजेंट ट्रेस को प्राथमिकता वाले मुद्दों, दोहराए जाने योग्य परीक्षणों और डोमेन-विशिष्ट AI एजेंटों के लिए मापनीय हार्नेस फिक्स में बदल देता है।

मुख्य जानकारी

  • NVIDIA का नेमोक्लॉ ब्लूप्रिंट रिकॉर्ड किए गए एआई-एजेंट ट्रेस को प्राथमिकता वाले मुद्दों, कस्टम मूल्यांकन और लक्षित हार्नेस फिक्स में बदल देता है।
  • यह डोमेन-विशिष्ट एजेंट विफलताओं का निदान करने में मदद करता है जो सामान्य बेंचमार्क मिस करते हैं, जैसे कि गलत टूल कॉल, लापता पुष्टि या टूटे हुए व्यावसायिक नियम।
  • कार्यप्रवाह ट्रेस का विश्लेषण करने के लिए NeMo Compass का उपयोग करता है, NeMo Eval Author दोहराए जाने योग्य परीक्षण बनाने के लिए और फिर एक समय में एक हार्नेस घटक को अपडेट करता है।
  • सुधार की पुष्टि करने और ओवरफिटिंग या रिग्रेशन से बचने के लिए विकास और आयोजित मूल्यांकन के साथ फिक्स्ड को मापा जाता है।
  • लूप को दोहराया जा सकता है: एक समस्या को ठीक करने के बाद, कम्पास अनुकूलित करने के लिए अगली विफलता की सतह कर सकते हैं।

मेटा विवरण: NVIDIA के नेमोक्लो ब्लूप्रिंट से पता चलता है कि कैसे NeMo Compass और NeMo Eval Author एजेंट ट्रेस को टेस्ट में बदलते हैं, प्रॉम्प्ट हार्नेस मुद्दों को ठीक करते हैं और परिणामों को मापते हैं।

टैगः नेमोक्लाव, NVIDIA नेमो कम्पास, नेमो इवल लेखक, एजेंट मूल्यांकन, AI एजेंट

विशेष रुप से प्रदर्शित छवि: अमूर्त, मैत्रीपूर्ण चित्रण शैली, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं, एजेंट के निशान दिखाते हुए प्राथमिकता वाले मुद्दे और मूल्यांकन बन जाते हैं।

एजेंट अनुकूलन के लिए NVIDIA का नेमोक्लाव ब्लूप्रिंट, जो GitHub पर उपलब्ध है और NVIDIA GTC Berlin 2026 से एक वीडियो से जुड़ा हुआ है, डेवलपर्स और AI टीमों को एक एजेंट ऑप्टिमाइज़ेशन लूप देता है जो रिकॉर्ड किए गए निशानों को प्राथमिकता वाले मुद्दों, कस्टम मूल्यांकन और मापने योग्य हार्नेस परिवर्तन में परिवर्तित करता है। इसका उद्देश्य डोमेन-विशिष्ट एजेंटों के बिल्डर्स हैं, जहां साधारण बेंचमार्क स्कोर विफलताओं की व्याख्या नहीं कर सकते हैं।

क्यों जेनेरिक स्कोर मिस एजेंट विफलताओं

एक डोमेन एजेंट अनुचित उपकरण चुन सकता है, गलत वर्कफ़्लो शाखा ले सकता है , आवश्यक संदर्भ को अनदेखा कर सकता है या किसी व्यावसायिक नियम को तोड़ते हुए कार्य पूरा कर सकता हैं। उत्पादन में विश्वसनीयता संकेतों, उपकरणों, रूटिंग, मेमोरी, कौशल, नियंत्रण प्रवाह और आसपास के कोड द्वारा आकार दी जाती है, इसलिए केवल मॉडल ट्यूनिंग ही पर्याप्त नहीं है। निशान दिखाते हैं कि कहां चलना गलत हो गया था, और मूल्यांकन से पता चलता है कि क्या परिवर्तन व्यवहार को बेहतर बनाता है।

ट्यूटोरियल इसे Hermes Agent के साथ प्रदर्शित करता है, एक काल्पनिक कंपनी के लिए एंटरप्राइज़ असिस्टेंट के रूप में उपयोग किया जाता है। सहायक NVIDIA OpenShell सैंडबॉक्स में चलता है और चैट, email , फ़ाइलों और टिकट तक पहुंचने के लिए एजेंटों को बाहरी उपकरणों से जोड़ने के लिए Model Context Protocol, या MCP का उपयोग करता है। जब उसे प्रोजेक्ट अपडेट के साथ संदेश तैयार करने के लिए कहा गया था, तो उसने ड्राफ्ट लिखा लेकिन उपयोगकर्ता की पुष्टि के बिना send_message भी बुलाया। यह विफलता दोहन निर्देशों और उपकरण निष्पादन पथ दोनों पर इंगित करती है।

नेमोक्लॉ लूप के लिए आवश्यक शर्तें

उदाहरण का पालन करने से पहले, Docker के साथ एक Linux मशीन को मूल रूप से चलाने की तैयारी करें। अनुशंसित सेटअप 8 वीसीपीयू और 32 GB RAM के साथ Ubuntu 24.04 है। आपको ओपनशेल 0.1.2 और हार्बर 0.22.0, build.nvidia.com से NVIDIA API कुंजी और कोड एजेंट की भी आवश्यकता होगी जो NeMo Eval Author का समर्थन करता है, जैसे कि कोडेक्स या Claude Code ।

ट्यूटोरियल GitHub walkthrough और तेजी से सेटअप के लिए लॉन्च करने योग्य NVIDIA Brev की ओर इशारा करता है। नेमोक्लो ब्लूप्रिंट तीन पुस्तकालयों को जोड़ती हैः NeMo Compass, NeMo Eval Author और NVIDIA NeMo Relay.

पूर्ण अनुकूलन चक्र

  1. NeMo Compass उदाहरण रिपॉजिटरी में 42 हर्मीस ट्रेस, एक JSON लाइन प्रति रन, प्रत्येक रन के लिए एक मशीन-रीड करने योग्य प्रारूप, साथ ही ETHOS.md, एक छोटी फ़ाइल है जो अपेक्षित सहायक व्यवहार का वर्णन करती है। NeMo Compass मुद्दों की रैंकिंग सूची, उदाहरणों और काम के लिए सुझाए गए क्षेत्रों में एक बड़े ट्रेस सेट को संपीड़ित करने के लिए संग्रहीत निशान और मूल्यांकन साक्ष्य की जांच करता है। इसके निष्कर्ष असामान्य व्यवहार, उपकरण उपयोग में पैटर्न, इच्छित व्यवहार से विचलन और ट्रैक आईडी पर आकर्षित करते हैं जो संकेतों को विशिष्ट रन से जोड़ते हैं। उदाहरण में, कम्पास क्रियाओं की तुलना ईटीएचओएस.एमडी नियमों के साथ की गई और यह पता चला कि एजेंट ने बिना पुष्टि के संदेश भेजे थे। ट्यूटोरियल रिपोर्ट करता है कि हजारों ट्रेसेस पर आंतरिक बेंचमार्क पाया गया विसंगतियों कोडिंग एजेंट को इसी तरह के कार्य को याद किया गया था।
  1. एक बार समस्या दिखाई देने के बाद, दोहराए जाने योग्य परीक्षण बनाएं। कोडिंग एजेंट में कौशल और उन्हें उपयोग करने का निर्देश NeMo Eval Author दो मूल्यांकन प्रारूपों का समर्थन करता हैः हार्बर मूल्यांकन और NVIDIA NeMo Gym मूल्यांकन. कंपास निष्कर्ष प्रदान करें, कच्चे निशान, ETHOS.md, और संदर्भ के रूप में एजेंट रिपॉजिटरी तक पहुंच। उदाहरण में, कोडिंग एजेन्ट ने चार हार्बर आकलन उत्पन्न किए जैसे कि प्रतिक्रिया का मसौदा। इसने एक सत्यापनकर्ता भी बनाया जो वास्तविक आवश्यकताओं की प्रतिबिंबित करते हैं यह सुनिश्चित करने के लिए उत्पन्न मूल्यांकन की समीक्षा करता है जब एजेंट कॉल send_message मानव पुष्टिकरण के बिना आता है।
  1. दोहन के एक हिस्से को बदलें। उदाहरण अपडेट किया गया Hermes SOUL.md, सिस्टम प्रॉम्प्ट की तरह एक फ़ाइल। कोडिंग एजेंट को कम्पास आउटपुट, ETHOS.md और कार्यान्वयन प्राप्त होता है, जो इसके प्रस्तावित परिवर्तन का आधार देता है। दोहन अद्यतन सरल निर्देश संपादन या अधिक जटिल मिडलवेयर, प्लगइन एक्सटेंशन और अन्य पैटर्न हो सकते हैं। ब्लूप्रिंट की पिछली पोस्ट भी कवर करती हैं LangChain Deep Agents तथा Nous Research Hermes.
  1. इससे पहले और बाद में मापें। द्वारा बनाए गए मूल्यांकन को फिर से चलाएं NeMo Eval Author उदाहरण ने दो कार्यों को लेबल किया है जो कोडिंग एजेंट से बाहर रखा गया था जिसने हार्नेस परिवर्तनों का प्रस्ताव दिया था। Held-out कार्य जांचते हैं कि क्या फिक्स विकास कार्यों से परे सामान्यीकृत करता है.
मूल्यांकन सेटबेसलाइन पास/रनअद्यतन-एजेंट पास/रनउपकरण कॉल, पहले/बाद
विकास, 2 कार्य x 3 रन3/66/610 से 6
बाहर रखा, 2 कार्य x 3 रन4/66/628 से 15

ट्यूटोरियल का कहना है कि उत्पादन मूल्यांकन सूट में अक्सर सैकड़ों से कुछ हज़ार उदाहरण होते हैं। केवल तभी परिवर्तन को स्वीकार करें जब यह विकास परीक्षण और होल्ड-आउट सेट दोनों में सुधार करता है। यदि परिणाम अस्पष्ट हैं, या कोई फिक्स एक प्रतिगमन बनाता है, तो अद्यतन एजेंट के नए निशान पर चलाएं NeMo Compass और उन निष्कर्षों का उपयोग बदलाव को परिष्कृत करने के लिए करें। ओवरफिटिंग से बचने के लिए आयोजित मामलों को कोडिंग एजेंट से छिपाए रखें।

  1. लूप को दोहराएं. अद्यतन के बाद, NeMo Compass स्कोर किए गए निशानों पर अब पुष्टि-बिना भेजने वाले मुद्दे की सूचना नहीं दी गई। यह एक नई समस्या सामने आईः कुछ प्रश्नों के लिए, एजेंट ने उत्तर पाया लेकिन पुनर्प्राप्त साक्ष्य में प्रतिक्रिया का आधार नहीं दिया। वह अगला मूल्यांकन और फिक्स लक्ष्य बन जाता है। ट्यूटोरियल नेमोक्लो ब्लूप्रिंट, कार्यस्थल सहायक उदाहरण या CAD गाइड से शुरू करने का सुझाव दिया। उदाहरण एजेंट चलाएँ, बेसलाइन स्कोर स्थापित करें, एक चक्र पूरा करें, फिर अपने स्वयं के एजेंट पर लूप इंगित करें।

इंजीनियरिंग एजेंट का उदाहरण

लूप का उपयोग इंजीनियरिंग एजेंटों के लिए भी किया जा सकता है, जहां परीक्षण परिणाम की गुणवत्ता और उपकरण-उपयोग दक्षता दोनों को मापना चाहिए। ब्लूप्रिंट में LEO का उपयोग करके एक कार दरवाजा डिजाइन उदाहरण शामिल है, Dassault Systèmes से इंजीनियरिंग Virtual Companion। वर्कफ़्लो डिज़ाइन परिवर्तन प्रस्तावित करता है और उन्हें सिमुलेशन के माध्यम से मजबूत, सुरक्षित कार दरवाजे बनाने के लिए परीक्षण करता है। NVIDIA GTC Berlin 2026 पर Super AI एजेंट शीर्षक वाला एक वीडियो उदाहरण के साथ आता है।

इंजीनियरिंग परिदृश्य में, NeMo Compass सुधार के क्षेत्रों की पहचान करने के लिए निशान का विश्लेषण करता है। एक कोडिंग एजेंट लक्षित संकेत और कॉन्फ़िगरेशन परिवर्तन बनाने के लिए उन निष्कर्षों का उपयोग करता है, और मूल्यांकन इंजीनियरिंग वातावरण में अद्यतन एजेंट को मापता है। अतिरिक्त परिदृश्य जांचते हैं कि क्या वे परिवर्तन प्रतिगमन पेश करते हैं।

NeMo Compass पाया गया कि एजेंट कभी-कभी अपेक्षित विकल्प फ़ील्ड के बाहर क्वेरीमॉडल तर्कों को रखता है। उपकरण ने एक खाली त्रुटि संदेश लौटाया, इसलिए एजेंट पुनर्प्राप्त नहीं कर सका। समस्या कई निशानों में दिखाई दी। फिर एक कोडिंग एजेंट ने एक सत्यापन चरण जोड़ा जो टूल कॉल में गलत तर्कों और नामों को पकड़ता है। आधार रेखा की तुलना में, विकृत टूल कॉल्स 142 से शून्य हो गए। सटीकता अपरिवर्तित रही, और शेष परिदृश्यों में कोई प्रतिगमन प्रकट नहीं हुआ।

पहला पास मानव हस्तक्षेप के बिना रात भर चला गया। लगभग 12 घंटों में, रिपोर्ट किए गए परिणामों ने दरवाजा डिजाइन वर्कफ़्लो के समग्र मूल्यांकन स्कोर में एक सापेक्ष सुधार दिखाया और छह परीक्षण परिदृश्यों में प्रति रन कम टूल कॉल की सूचना दी, अन्य परिदृशियों में कोई वापसी नहीं हुई। उदाहरण कार्यप्रवाह को दो उपायों से जोड़ता हैः कार्य गुणवत्ता और निष्पादन दक्षता। यह उसी प्रक्रिया का पालन करता है जो ट्यूटोरियल में वर्णित हैः क्या बदलने के लिए पता लगाने के लिए निशान का उपयोग करें, फिर लक्षित सुधार का आकलन करने के लिए कस्टम मूल्यांकन का प्रयोग करें और परिवर्तन को अपनाने से पहले रिग्रेशन की जांच करें।

आम गलतियाँ

  • केवल सामान्य बेंचमार्क स्कोर पर भरोसा करना यदि एजेंट गलत उपकरण को कॉल कर सकता है या पुष्टिकरण चरण को छोड़ सकता है, तो ट्रेस और मूल्यांकन को क्यों दिखाना चाहिए।
  • प्रत्येक ट्रेस का मैन्युअल रूप से निरीक्षण करना। NeMo Compass इसका उद्देश्य बड़े ट्रेस कॉर्पोरेस को मुद्दों के प्राथमिकता वाले बैकलॉग में परिवर्तित करना है, समर्थन करने वाले उदाहरण और काम के लिए सुझाए गए क्षेत्र हैं।
  • कोडिंग एजेंट को होल्ड-आउट कार्य देखने देना. यदि एजेंट होल्ड आउट मामलों को जानता है, तो सुधार सामान्यीकरण के बजाय ओवरफिटिंग हो सकता है।
  • एक परिवर्तन को स्वीकार करना जो केवल विकास कार्यों को ठीक करता है। इस उदाहरण के लिए अपनाने से पहले विकास और आयोजित किए गए दोनों कार्यों में सुधार की आवश्यकता होती है।
  • एक फिक्स के बाद रोकना. लूप को जारी रखना चाहिए: परिवर्तन के बाद, नए निशान का विश्लेषण करें, अगला मुद्दा ढूंढें और अगला परीक्षण बनाएं।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.