कार्यप्रवाह और स्वचालन

AI एजेंट के लिए हमारा न्यूनतम टेलीमेट्री मानचित्र 12 क्षेत्रों और 4 स्थानों को कवर करता है।

टेलीमेट्री मानचित्र 12 क्षेत्रों को चार AI एजेंट घटकों से जोड़ता है, लेकिन एक दोहन ने केवल तीन ही लॉग किए हैं, जो उपकरण रैपर अवलोकन में अंतराल को उजागर करता है।

AI एजेंट के लिए हमारा न्यूनतम टेलीमेट्री मानचित्र 12 क्षेत्रों और 4 स्थानों को कवर करता है।

मुख्य जानकारी

  • Decoding AI चार स्थानों में संगठित 12 क्षेत्रों के न्यूनतम एआई-एजेंट टेलीमेट्री मानचित्र का प्रस्ताव करता हैः ऑर्केस्ट्रेटर, टूल रैपर, फ़ाइल रीडर और लेखन चरण।
  • प्रत्येक फ़ील्ड एक विशिष्ट विफलता प्रकार को पकड़ने के लिए मौजूद है, जैसे कि आंशिक डेटा, पुरानी इनपुट, आउटेज, गलत स्कोप संपादन या मूक समापन।
  • टीम के अपने रिट्री-टेस्ट हार्नेस ने 12 में से केवल 3 फ़ील्ड रिकॉर्ड किए, सभी ऑर्केस्ट्रेटर से, उपकरण निष्पादन में एक प्रमुख अवलोकन अंतर को उजागर करते हुए।
  • अधिकांश लापता डेटा टूल रैपर से आया था, जिसमें निकास कोड, HTTP स्थिति, पंक्ति गणना, पूर्णता ध्वज और कॉल तर्क शामिल हैं।
  • नक्शा एक सार्वभौमिक योजना नहीं है, लेकिन टीमें लापता क्षेत्रों की पहचान करने के लिए अपने निशान का ऑडिट कर सकती हैं जो उन्हें विफलताओं पर अनुमान लगाने के लिए मजबूर करती हैं।

मेटा विवरणः Decoding AI का टेलीमेट्री मानचित्र चार एजेंट घटकों के लिए 12 क्षेत्रों को आवंटित करता है, और इसकी अपनी हार्नेस ने केवल 3 में से 12 दर्ज किए हैं, जो एक उपकरण रैपर अंतराल को उजागर करते हैं।

Our minimal telemetry map for an AI agent covers 12 fields and 4 places.

टैगः AI एजेंट, टेलीमेट्री, अवलोकनशीलता, डिबगिंग

विशेष रुप से प्रदर्शित छवि: चार पाइपों का अमूर्त, मैत्रीपूर्ण चित्रण जो 12-फील्ड लॉग मानचित्र को खिला रहा है, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं हैं और न ही कोई पाठ।

10 अक्टूबर 2026 को, Decoding AI ने AI एजेंट बनाने वाले चिकित्सकों के लिए एक विधि नोट प्रकाशित किया। यह एक टेलीमेट्री मानचित्र दिखाता है जो एजेंट स्टैक में चार स्थानों पर 12 फ़ील्ड आवंटित करता है, और यह रिपोर्ट करता है कि टीम की खुद की पुनः परीक्षण-परीक्षण हार्नेस उन 12 क्षेत्रों में से केवल 3 दर्ज की गई थी। इस सप्ताह के परीक्षणों ने नक्शा का उत्पादन किया। नोट इंजीनियरों के लिए उपयोगी है जिन्हें आंशिक डेटा, पुरानी इनपुट, आउटेज, गलत स्कोप और मूक पूरा करने जैसी विफलताओं को पकड़ने की आवश्यकता होती है, क्योंकि यह बताता है कि प्रत्येक रिकॉर्ड कौन सा घटक लिखना चाहिए और उस क्षेत्र में क्या विफलता है जिसे पकड़ने के लिए मौजूद है।

मानचित्र को स्थानों के अनुसार क्यों व्यवस्थित किया गया है

टेलीमेट्री का अर्थ है रिकॉर्ड किए गए परिचालन डेटा। एक AI एजेंट सॉफ्टवेयर है जो काम की योजना बनाता है और उपकरणों को कॉल करता है। इस नोट में, स्थान ऑर्केस्ट्रेटर, टूल रैपर, फ़ाइल रीडर और लेखन चरण हैंः आर्केस्ट्राटोर एजेंट चलाता है, उपकरण रैपर बाहरी टूल्स को बुलाते हैं, फाइल रीडर इनपुट फ़ाइलों को लोड करता है, और लेखन कदम रिकॉर्ड बदलता है।

मानचित्र को स्थान के आधार पर व्यवस्थित किया गया है, फ़ील्ड नाम से नहीं, क्योंकि एक क्षेत्र केवल तभी उपयोगी होता है जब सही घटक इसे लिखता हो। नोट में कहा गया है कि एजेंट की रिपोर्ट करने के लिए उस पर भरोसा नहीं किया जा सकता है जो उसके टूल ने लौटाया हैः परीक्षणों में, एजेंटों ने आधे डेटा का योग लगाया और कहा कि पूरा हुआ। रिकॉर्ड कोड से आना चाहिए जिसने तथ्य देखा था। प्रत्येक क्षेत्र एक नामित विफलता को पकड़ने के लिए है, और बिना किसी विफलता के क्षेत्र शोर है।

Our minimal telemetry map for an AI agent covers 12 fields and 4 places.

12 क्षेत्र, स्थान के अनुसार

ऑर्केस्ट्रेटर run_id, final_status और evaluation_result रिकॉर्ड करता है. Run ID बाकी सब कुछ जोड़ता है; सभी 4 लॉग-आधारित डिबगर्स को अपने रन खोजने के लिए इसकी आवश्यकता थी। अंतिम स्थिति एजेंट का अपना दावा है, इसलिए इसे रखा जाना चाहिए लेकिन कभी भी अकेले नहीं: स्टेटस-ओनली डिबगर ने 2 में से 4 मूल कारण पाए, जिससे आधे मूल कारण अज्ञात रह गए। मूल्यांकन परिणाम एकमात्र ऐसा फ़ील्ड है जो स्वयं एक गलत उत्तर नोटिस करता है; इस पर पुनः प्रयास करने से पुनरावृत्ति परीक्षण में 4 में से चार मूक विफलताओं को ठीक किया गया।

उपकरण रैपर कॉल, निकास, http_status, पंक्तियों और पूर्ण रिकॉर्ड करता है। तर्कों के साथ कॉल को हर लॉग में उद्धृत किया गया था और निदान का पता लगाया गया था। निकास कोड और HTTP स्थिति ने आउटेज साबित कर दिया, जिसमें छह 503 प्रतिक्रियाएं शामिल थीं। "पंक्तियाँ" के माध्यम से पंक्तियां और संपूर्णता आंशिक-डेटा विफलता साबित हुईंः "10" और "end_marker": "झूठा"; एक सफलता बाहर निकलने वाला कोड अकेले यह है कि असफलता कैसे चुप रही।

फ़ाइल रीडर पथ और generated_at को रिकॉर्ड करता है. पुरानी-इनपुट विफलता दो तिथियों द्वारा सिद्ध की गई थी: एजेंट ने जो फाइल पढ़ी उसके लिए 30 सितंबर और 9 अक्टूबर के लिए इसे छोड़ दिया गया। नोट में कहा गया है कि बिना तारीख के पढ़ने से ताजगी का अनुमान लगाया जा सकता है।

लेखन चरण रिकॉर्ड_बदला और कुंजी. गलत-स्कोप संपादन ने तीन परिवर्तित अभिलेखों के साथ वैध JSON का उत्पादन किया जहां एक के लिए पूछा गया था, और गिनती संपूर्ण निदान थी।

ऑडिटः 12 में से 3 फ़ील्ड दर्ज किए गए

रीट्री टेस्ट के पीछे की हार्नेस को 10 अक्टूबर 2026 पर मानचित्र से जांच लिया गया था। Decoding AI ने ऑडिट चार्ट किया और नक्शे का आरेख बनाया। हार्नेस 12 में से 3 फ़ील्ड दर्ज किए, सभी ऑर्केस्ट्रेटर से थे। 40 प्रयासों के लिए, इसने एक रन आईडी और अंतिम स्थिति रिकॉर्ड की, और यह प्रति नीति मूल्यांकन परिणाम रिकॉर्ड करता है। उपकरणों के लिए यह केवल कॉल गणना प्रति प्रयास रखता हैः कोई निकास कोड नहीं, कोई पंक्ति गिनती नहीं, पूर्णता नहीं, फ़ाइल तिथियां और कोई लेखन गिनती।

यह टीम के अनुभव से मेल खाता है. यह एक रन को ग्रेड कर सकता था, लेकिन एक की व्याख्या नहीं करता। यह कह सकता था कि कौन सी रनों सेकंड में गलत थीं, लेकिन यह समझाने के लिए कि उसे एजेंटों की अपनी रिपोर्ट और उत्तर कुंजी क्यों चाहिए थी। एक उत्पादन प्रणाली न तो है। उपकरण रैपर वह अंतर है जो सबसे अधिक मायने रखता हैः 12 क्षेत्रों में से 5 वहां रहते हैं, और इसके 5 क्षेत्रों में 0 दर्ज किए गए थे।

Our minimal telemetry map for an AI agent covers 12 fields and 4 places.

सीमाएं, अगले परीक्षण और अपना नक्शा कैसे चेक करें

नोट में एक सार्वभौमिक योजना का दावा नहीं किया गया है। 12 फ़ील्ड पांच विफलता प्रकारों से आए थे, और टाइमआउट, लागत और मल्टी-एजेंट हैंड-ऑफ की अधिक आवश्यकता होगी। यह दावा नहीं करता है कि 12 में से 12 पर्याप्त है; यह कहता है कि यह न्यूनतम है जो टीम की अपनी असफलताओं को साबित करेगा, इससे ज्यादा कुछ नहीं। क्षेत्र के नाम भी स्थानों जितना मायने नहीं रखते हैं, क्योंकि टीमों को उनका उपयोग करना चाहिए चाहे उनकी ट्रैकिंग प्रणाली उन्हें बुलाती हो।

स्टैक की जांच करने के लिए, उन फ़ील्डों को सूचीबद्ध करें जो वास्तव में नक्शे से तुलना करते हैं। नोट चार समूहों के रूप में मानचित्र दिखाता हैः ऑर्केस्ट्रेटर रन_आईडी, फाइनल_स्टेटस और इवैल्यूएशन_रेज़ल्ट के साथ; टूल रैपर कॉल, एग्जिट, http_ स्टेटस, पंक्तियों और पूर्ण के साथ फ़ाइल रीडर पथ और जनरेट किए गए रिकॉर्ड्स के साथ कदम लिखें। यह एक लापता-फील्ड चेक में शब्दकोश के तौर पर ट्रैक रिकॉर्ड का एक दिन खिलाने का सुझाव देता है, जैसे कि लापते ((ट्रैस_लाइन) फंक्शन, और पूछता है कि आपके एजेंट आज कितने 12 रिकार्ड दर्ज करता है। हर गायब क्षेत्र एक विफलता है जिसे अनुमान लगाकर निदान किया जाएगा। यह पाठकों को टिप्पणियों में कहने के लिए कहता है कि उनका स्टैक किस स्थान पर गायब है।

अगले परीक्षणों में फ्लैगशिप 4 शामिल है, जहां एक उपकरण किसी कार्य के माध्यम से आधे समय तक चला जाता है। नोट पाठकों को इसके लिए Decoding AI का पालन करने के लिए आमंत्रित करता है। एजेंट कार्यों और एजेंटों की रिपोर्ट के बीच में इंजेक्ट किए गए टूल टाइमआउट के लिए शुक्रवार 23 अक्टूबर अनुसूचित फॉलो-अप हैं; सोमवार 26 अक्टूबर एजेन्टों के लिए एक कॉम्पैक्ट मूल्यांकन सेट और यह क्या पकड़ता है; मंगलवार 27 अक्टूबर क्यों 10 प्रतिगमन मामलों ने अस्पष्ट 1,000 मामले के दावे को हराया? नोट कहता है कि इसने नक्शा तैयार किया और अपने स्वयं के ऑडिट में विफल रहा, और कल एक उपकरण मध्य कार्य पर चुप हो गया, जिससे पता चलता है कि मानचित्र क्या याद कर रहा है। अगला कदम शुक्रवार को आधे रास्ते में टूल समय समाप्ति की ओर इशारा करता है.

नोट में ओपनटेलीमेट्री के ऑब्जर्वेबिलिटी प्राइमर और पहले की डिकोडिंग AI टुकड़ों का हवाला दिया गया है: एक असफल AI एजेंट को फिर से आज़माएं जब तक हमने इसके आउटपुट की जांच नहीं की, तब तक कुछ भी ठीक नहीं हुआ। बेहतरAI एजेंट टेलीमेट्रिक ने जड़ कारणों को तेजी से नहीं पाया. यह उन्हें मिला., और पांच तरीके जो वैध दिखने वाले 89000-1 एजेंट आउटपुट अभी भी विफल हो जाते हैं। मूल लेख, हमारे न्यूनतम टेलीमेटरी मैप फॉर ए AI-एजेन्टः 12 फील्ड्स, 4 प्लेस, मध्यम पर Towards AI में प्रकाशित किया गया था, जहां पाठक हाइलाइट करके और प्रतिक्रिया देकर बातचीत जारी रख सकते हैं।

किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए

यदि आप AI एजेंटों का निर्माण या डिबगिंग कर रहे हैं और यह जानना आवश्यक है कि कौन सा घटक चलाने की स्थिति, टूल आउटपुट, इनपुट ताजगी और लेखन गणना को रिकॉर्ड करना चाहिए। इसे छोड़ दें अगर आपको प्रत्येक एजेंट विफलता के लिए एक सार्वभौमिक योजना की आवश्यकता है, क्योंकि नोट कहता है कि 12 फ़ील्ड केवल परीक्षण किए गए असफलताओं के लिए न्यूनतम हैं और टाइमआउट, लागत या मल्टी-एजेन्ट हैंड-ऑफ्स के लिए पूर्ण मानक नहीं हैं।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.