AI एजेंटों के पीछे एक छिपी वास्तुशिल्प समस्या है।

मेटा विवरण: Satya Nadella का हालिया AI एजेंट तर्क, साथ ही एमएएसटी और साइलेंट-फेलर रिसर्च बताते हैं कि भरोसेमंद एजेन्टिक सिस्टम को मॉडलों के बाहर नियंत्रण की आवश्यकता क्यों है।

टैगः Agentic AI, AI वास्तुकला, LLM विश्वसनीयता, उत्पादन एजेंट, Satya Nadella

विशेष रुप से प्रदर्शित छवि: अनुमोदन गेट, ऑडिट ट्रेल और आपातकालीन स्टॉप के साथ एक AI एजेंट वर्कफ़्लो का सार अनुकूल चित्रण; कोई लोग, लोगो या पाठ नहीं

एक्स पर एक हालिया लेख में, Satya Nadella ने तर्क दिया कि टीमों को उन्नत large language model (LLM) एजेंटों को अपने स्वयं के कार्यों को नियंत्रित नहीं करने देना चाहिए। एजेन्टिक सिस्टम बिल्डर, उत्पाद समीक्षक और तकनीकी नेता इस टुकड़े का उपयोग यह समझने के लिए कर सकते हैं कि भरोसेमंद AI वास्तुकला क्यों मायने रखती है। यह नाडेला के निबंध "मॉडल्स जैसा Insider Risks Super Intelligence Era" (अक्टूबर 2026), और मल्टी-एजेंट विफलताओं और मूक उत्पादन विफलताओं के बारे में शोध पर आधारित है, ताकि यह समझाया जा सके कि कैसे अलग किया जाए कि मॉडल क्या कारणों से करता है जो एक प्रणाली इसे करने की अनुमति देती है।

नाडेला का मुख्य दावा: मॉडलों को खुद पर शासन नहीं करना चाहिए

नाडेला का तर्क जानबूझकर असहज हैः जैसे-जैसे मॉडल अधिक सक्षम होते जाते हैं, टीमों को यह तय करने के लिए कि क्या निष्पादित करना सुरक्षित है, खुद मॉडल पर कम भरोसा करना चाहिए। वह उन्नत मॉडलों को अंदरूनी जोखिम के रूप में फ्रेम करता है। इसका मतलब यह नहीं है कि वे दुर्भावनापूर्ण हैं। इसका अर्थ है कि महत्वपूर्ण प्रणालियों तक पहुंच वाला कोई भी सक्षम अभिनेता गलतियाँ कर सकता है या समझौता किया जा सकता है।

उद्यम पहले से ही अनुमति, सीमित पहुंच, संरक्षित साक्ष्य और नियंत्रणों के माध्यम से समान जोखिम का प्रबंधन करते हैं जिन्हें कोई भी एकल अभिनेता ओवरराइड नहीं कर सकता है। एजेंटिक AI के लिए, नाडेला ने chain-of-thought पारदर्शिता को एक गैर-व्यावसायिक प्रारंभिक बिंदु कहते हुए कहा कि अकेले पारदर्शी पर्याप्त नहीं है।

वह जिस वास्तुकला का वर्णन करता है, वह मॉडल को अलग रखता है। अनुमतियाँ, स्वीकृति गेट, ऑडिट लॉग और एक आपातकालीन स्टॉप मॉडल के बाहर रहते हैं, इसलिए मॉडल उन नियमों को नहीं बदल सकता जो इसे नियंत्रित करते हैं।

एंटरप्राइज़ टेक्नोलॉजी, कंसल्टिंग और प्रोडक्ट मैनेजमेंट में एक दशक से अधिक समय तक काम करने वाले लेखक ने नोट किया कि एजेंटिक वार्तालाप अक्सर क्षमता के साथ शुरू होते हैंः क्या एजेंट अनुरोध को समझता है, सही टूल का उपयोग करता है, और वर्कफ़्लो पूरा करता है। ये प्रश्न मायने रखते हैं। उत्पादन प्रणालियों को राज्य स्वामित्व, अनुमोदन प्राधिकरण, आंशिक निष्पादन और सत्यापन के बारे में भी उत्तर की आवश्यकता होती है।

अनुसंधान मानचित्र जहां एजेंटिक विश्वसनीयता टूट जाती है

दो अध्ययन वास्तुशिल्प समस्या को और अधिक ठोस बनाते हैं।

"Why Do Multi-Agent LLM Systems Fail?", Mert Cemri और सहकर्मियों में मल्टीAgent System Failure Taxonomy, या MAST का परिचय दिया गया है। मार्च 2025 दिनांकित और अक्टूबर 2025 संशोधित पेपर, सात बहु-एजेंट फ्रेमवर्क में 1,600 से अधिक एनोटेटेड निष्पादन ट्रेस का उपयोग करता है। यह तीन श्रेणियों में समूहीकृत 14 विफलता मोड की पहचान करता है.

सिस्टम डिज़ाइन के मुद्दों में एजेंटों द्वारा कार्य या भूमिका विनिर्देशों की अनदेखी करना, चरणों को दोहराना, वार्तालाप इतिहास खोना या किसी कार्य को कब समाप्त किया जाना चाहिए, यह पहचानने में विफल होना शामिल है। Inter -एजेंट misalignment स्पष्टीकरण मांगने में असफलता को कवर करता है, कार्य से विचलित हो जाता है, दूसरे एजेंट के इनपुट को नजरअंदाज कर देता है, या ऐसी कार्रवाइयां लेता है जो तर्क से मेल नहीं खाती हैं। टास्क सत्यापन विफलताओं में बहुत जल्दी रोकना, सत्यापन छोड़ना या गलत निष्कर्ष निकालना कि एक कार्य सफलतापूर्वक पूरा हुआ था।

पेपर में यह भी सुझाव दिया गया है कि सिस्टम-स्तरीय फिक्स उतना ही मायने रख सकते हैं जितना मॉडल-स्तर के फिक्स। केस स्टडीज में, स्पष्ट भूमिका विनिर्देशों ने चैटडेव टास्क की सफलता को बढ़ाया 9.4%, जबकि उच्च स्तरीय कार्य-उद्देश्य सत्यापन से इसमें सुधार हुआ 15.6%.

एक पूरक अध्ययन, "When Errors Become Narratives: A Longitudinal Taxonomy of Silent Failures in a Production LLM Agent Runtime," द्वारा Wei Wu और दिनांक जून 2026 में आठ सप्ताह के दौरान 22 घटनाओं का दस्तावेजीकरण किया गया है। यह उन त्रुटियों पर ध्यान केंद्रित करता है जो अनदेखी रहती हैं और कभी-कभी प्रशंसनीय हो जाती हैं लेकिन उपयोगकर्ता को प्रस्तुत झूठी कथाएं।

एक साथ, अध्ययन दो समस्याओं को दिखाते हैंः एजेंट सही ढंग से कार्यों को पूरा करने में विफल हो सकते हैं और सिस्टम कुछ गलत होने की पहचान या संचार करने में असफल हो सकता है। किसी एजेंट का आउटपुट सफल निष्पादन का प्रमाण नहीं है।

पांच लेंस तर्क को वास्तुकला में बदल देते हैं

लेख में पांच व्यावहारिक लेंस प्रस्तावित किए गए हैंः डिजाइन, नियंत्रण, पुनर्प्राप्ति, प्रमाण और संचालन। वे नए इंजीनियरिंग सिद्धांत या एक उद्योग मानक नहीं हैं। एजेंटिक AI वास्तुकला की समीक्षा करते समय स्थापित प्रथाओं को व्यवस्थित करने का यह एक तरीका है।

डिजाइन पूछता है कि क्या सिस्टम स्पष्ट स्वामित्व के साथ बनाया गया है। स्थायी राज्य का एक घर होना चाहिए, निर्धारक निर्णयों को मॉडल तर्क से अलग किया जाना चाहिए, और मॉडल, एप्लिकेशन और बाहरी सेवाओं के बीच संचार स्पष्ट होना चाहिए। एक सक्षम मॉडल अस्पष्ट जिम्मेदारी या असंगत राज्य की मरम्मत नहीं कर सकता।

नियंत्रण पूछता है कि क्या सिस्टम नियंत्रण में है। मॉडल एक कार्रवाई की सिफारिश कर सकता है, लेकिन एप्लिकेशन को नीति, अनुमतियों, स्वीकृति आवश्यकताओं और निष्पादन को बाधित करने के लिए एक विश्वसनीय तरीका लागू करना चाहिए। मॉडल को अपने स्वयं के कार्यों पर एकमात्र अधिकार नहीं होना चाहिए।

रिकवर पूछता है कि क्या सिस्टम सुरक्षित रूप से ठीक हो सकता है। एजेंटिक वर्कफ़्लो मॉडल कॉल, टूल, APIs , अतुल्यकालिक नौकरियों और मानव निर्णयों को शामिल करते हैं। स्थायी स्थिति, idempotency और सुलह यह निर्धारित करती है कि टाइमआउट एक सुरक्षित वसूली पथ या दोहराया कार्रवाई बन जाता है।

प्रूव पूछता है कि क्या टीमें स्वतंत्र रूप से सत्यापित कर सकती हैं कि क्या हुआ। प्रामाणिक सिस्टम रिकॉर्ड, निर्धारक वैधता, ट्रेसिंग, मूल्यांकन और ऑडिट लॉग की आवश्यकता होती है। एक मॉडल जो कहता है "हो गया" यह प्रमाण नहीं है कि भुगतान का निपटारा किया गया था, एक रिकॉर्ड बदल दिया गया था या ग्राहक को वादा किए गए परिणाम प्राप्त हुए थे।

ऑपरेट पूछता है कि क्या सिस्टम वास्तविक दुनिया की स्थितियों में भरोसेमंद बना हुआ है। उत्पादन समवर्ती, विलंबता, बदलती निर्भरताओं, अप्रत्याशित इनपुट और लागत दबाव को जोड़ता है। अवलोकनशीलता और घटना प्रतिक्रिया यह पता लगाने के लिए संभव बनाते हैं जब सुरक्षा उपाय अब लागू नहीं होते हैं।

अभिगम प्रावधान वास्तुकला को दृश्यमान बनाता है

लेखक एक काल्पनिक एक्सेस-प्रोविजनिंग एजेंट का उपयोग करता है ताकि यह दिखाया जा सके कि लेंस कैसे लागू होते हैं। कल्पना कीजिए कि एक AI एजेंट नए इंजीनियर को पहले दिन उपकरण प्राप्त करने में मदद कर रहा है। यह इंजीनियर की भूमिका पढ़ सकता है, मानक अधिकारों की पहचान कर सकता है और अनुरोध एकत्रित कर सकते हैं।

संवेदनशील अधिकारों के लिए, सिस्टम को अनुदान अवरुद्ध करना चाहिए जब तक कि आवश्यक प्रबंधक और प्रणाली-मालिक अनुमोदन रिकॉर्ड नहीं किए जाते हैं। यदि पहचान प्रदाता या एक कनेक्टेड एप्लिकेशन समय समाप्त हो जाता है, तो वर्कफ़्लो को अनुरोध को लंबित रूप से संरक्षित करना चाहिए और पुनः प्रयास करने से पहले वास्तविक अधिकारों का सामंजस्य बनाना चाहिए। अगर एक्सेस आंशिक रूप से प्रदान किया गया था, तो सिस्टम को विसंगति का पता लगाना चाहिए और परिभाषित वसूली पथ का पालन करना चाहिए। एजेंट रिपोर्ट कर सकता है कि पुष्टि लम्बित है, लेकिन यह केवल इसलिए "प्रवेश की अनुमति दी गई" रिपोर्ट नहीं करनी चाहिए क्योंकि कॉल टूल सफल प्रतीत हुआ।

उस उदाहरण में, डिज़ाइन भूमिका-से-पहुँच नीति, कार्यप्रवाह और अनुरोध राज्य के स्वामित्व को परिभाषित करता है। नियंत्रण प्रणाली में अनुमतियों और स्वीकृति आवश्यकताओं को लागू करता है जो पहुंच प्रदान करती है। वसूली टाइमआउट, सुरक्षित पुनः प्रयासों, सामंजस्य और अनपेक्षित आंशिक अनुदान संभालती है। प्रमाण प्राधिकृत अधिकार रिकॉर्ड और ऑडिट साक्ष्य के खिलाफ परिणाम की पुष्टि करता है. ऑपरेट विफल अनुदान, पुराने अनुरोध, असामान्य विशेषाधिकार परिवर्तन और अपवादों पर नज़र रखता है।

क्यों यह AI बिल्डरों के लिए महत्वपूर्ण है

टेकअवे एक ऐसा मॉडल ढूंढना नहीं है जिस पर अंधाधुंध भरोसा किया जा सके। यह एक ऐसी प्रणाली का निर्माण करना है जिसकी अनुमतियां, साक्ष्य, सत्यापन और आपातकालीन ब्रेक मॉडल के अपने खाते पर निर्भर नहीं हैं कि क्या हुआ था। Agentic AI आशाजनक रहता हैः ये सिस्टम काम के माध्यम से तर्क कर सकते हैं, उपकरण का उपयोग करते हैं, कार्यप्रवाहों को समन्वयित करते हैं और उन कार्यों को स्वचालित करते हैं जो एक साल पहले निपटने में मुश्किल थे। वे बेहतर होते रहते हैं। लेकिन क्षमता अकेले किसी एप्लिकेशन को भरोसेमंद नहीं बनाती है।

नडेला मॉडलों को अनियंत्रित अधिकार देने के खिलाफ चेतावनी देते हैं। एमएएसटी दिखाता है कि कैसे भूमिकाओं, हस्तान्तरण और सत्यापन में विश्वसनीयता टूट जाती है। साइलेंट-फेलियर अध्ययन से पता चलता है कि जब वे ब्रेक सबूतों की बजाय एक भरोसेमंद कहानी का उत्पादन करते हैं तो क्या होता है। साथ में, वे एक ही निष्कर्ष पर इशारा करते हैंः विश्वसनीय AI केवल एक मॉडल की संपत्ति नहीं है। यह वास्तुकला की एक विशेषता है जो उस मॉडल को प्रतिबंधित करती है, सत्यापित करता है, उससे उबरती है और उसके आसपास संचालित होती है।

स्रोत नोट करता है कि एक्सेस-प्रोविजनिंग परिदृश्य काल्पनिक है, और पांच स्तंभ एक मान्य उद्योग मानक के बजाय स्थापित इंजीनियरिंग चिंताओं के लिए मेमोरी एड हैं। मूल पोस्ट, "द Hidden Architecture Problem Behind AI Agents", पहली बार में प्रकाशित किया गया था Towards AI मध्यम पर, जहां पाठक चर्चा जारी रखते हैं। यह पद के लिए एक साथी YouTube वीडियो का भी उल्लेख करता है।

फ्रेमिंग एजेंटिक प्रणालियों को डिजाइन करने या समीक्षा करने वाली टीमों के लिए सबसे उपयोगी है, और एक मान्य उद्योग मानक की तलाश में पाठकों के लिए कम से कम उपयोगी है क्योंकि स्रोत का कहना है कि पांच स्तंभ मेमोरी सहायता हैं और एक्सेस-प्रोविजनिंग परिदृश्य काल्पनिक है।