AI एजेंट साक्ष्य-निर्देशित वसूली का उपयोग करते हैं जब उपकरण परिणाम अस्पष्ट होते हैं और निष्पादन आंशिक होता है
साक्ष्य-निर्देशित वसूली AI एजेंटों को लक्ष्य पूरा करने से सुरक्षित रूप से रोकने के लिए सबूत का उपयोग करके अस्पष्ट टूल टाइमआउट के बाद सुरक्षित तरीके से फिर से शुरू करने में मदद करती है।
मुख्य बिंदु
- उपकरण टाइमआउट अस्पष्ट वसूली पैदा करते हैं क्योंकि एजेंट यह नहीं बता सकता है कि कार्रवाई विफल, प्रतिबद्ध या उड़ान में बनी हुई है।
- रिपोर्ट की गई विधि साक्ष्य-निर्देशित वसूली है: एजेंट केवल अनुमोदित दायित्वों, घोषित प्रदाता क्षमताओं और सार्वजनिक सबूत द्वारा समर्थित राज्यों के भीतर फिर से शुरू करते हैं।
- सुरक्षा को समाप्ति, प्राधिकरण, निर्भरता और अवशिष्ट प्रभावों के लिए स्वीकार्यता जांच के माध्यम से लागू किया जाता है, साथ ही एक टर्मिनल प्रमाणपत्र जो पूर्ण लक्ष्य संतुष्टि से सुरक्षित समापन को अलग करता है।
- मूल्यांकन किए गए अध्ययनों में, नियोजन सलाह ने साक्ष्य को प्रेरित करने से बेहतर प्रदर्शन कियाः 58 युग्मित इकाइयों में 9 के मुकाबले 30 प्रमाणित पूर्णता, 36.2-प्रतिशत-बिंदु अंतर और p=0.0078 के साथ।
- यह विधि टाइमआउट के लिए एक सार्वभौमिक फिक्स नहीं है; इसकी गारंटी घोषित प्रदाता क्षमताओं और अज्ञात या हैंडऑफ परिणामों के स्पष्ट प्रबंधन पर निर्भर करती है।
AI एजेंट टूल टाइमआउट आंशिक निष्पादन के लिए रिपोर्ट किए गए साक्ष्य-निर्देशित पुनर्प्राप्ति विधि द्वारा संबोधित समस्या है। यह पद्धति उन पाठकों के लिए मायने रखती है जो मूल्यांकन करते हैं कि एजेंट बाहरी उपकरणों का उपयोग कैसे करते हैं, क्योंकि एक समय समाप्ति किसी कार्रवाई को विफल, प्रतिबद्ध या अभी भी उड़ान में छोड़ सकती है जबकि बाद के वर्कफ़्लो चरण पहले से ही पूरा हो चुके हैं। स्रोत ठोस गिनती देता हैः 37 असाइनमेंटों में, योजना और तीन सक्रिय नियंत्रण प्रत्येक 28 पूर्णता प्रमाणित करता है। 19 पूर्व विकसित कार्य परिवारों में 58 युग्मित इकाइयों की बाद की तुलना में, नियोजन सलाह 30 पूर्णता बनाम 9 प्रमाण संकेत के लिए प्रमाणित करती है, सटीक पारिवारिक साइन-फ्लिप p=0.0078 के साथ 36.2-प्रतिशत अंक अंतर।
अस्पष्ट उपकरण परिणामों को पुनर्प्राप्त करना कठिन क्यों है
मूल कठिनाई यह नहीं है कि एक उपकरण कॉल में बहुत अधिक समय लगता है। यह है कि एजेंट अकेले टाइमआउट से पता नहीं लगा सकता है कि क्या टूल ने कुछ भी नहीं किया, ऐसा कुछ किया जिसे पूर्ववत नहीं किया जा सकता है, या अभी भी समाप्त हो रहा है। यदि वर्कफ़्लो पहले ही आगे बढ़ चुका है, तो एजेंट ऐसी दुनिया के खिलाफ योजना बना सकता है जो उसके अंतिम अवलोकन से मेल नहीं खाती।
रिपोर्ट किए गए दृष्टिकोण को स्वीकृत दायित्वों, प्रदाता क्षमताओं और सार्वजनिक साक्ष्य के साथ संगत राज्यों पर सबूत-निर्देशित कार्य वसूली के रूप में तैयार किया गया है। सादे शब्दों में, एजेंट से केवल उपलब्ध साक्ष्य का समर्थन करने के भीतर फिर से शुरू करने के लिए कहा जाता है, यह नहीं मानने के लिए कि एक कार्रवाई सफल हुई या जो उचित हो सकता है उससे परे नहीं थी।
यह फ्रेमिंग महत्वपूर्ण है क्योंकि यदि एजेंट अनुमान लगाता है तो पुनर्प्राप्ति असुरक्षित हो सकती है। एक अनुमानित पुनः प्रयास किसी कार्रवाई को दोहरा सकता है। अनुमानित अवरोध आंशिक प्रभावों को अनियंत्रित छोड़ सकते हैं। इसलिए स्रोत चेक के आसपास विधि का निर्माण करता है जो इस तरह के अनुमानों को छिपी हुई धारणाओं से बचा सके।
जो वसूली जांच अलग रखती है
एक साझा स्वीकार्यता जांच कुंजी समाप्ति, प्राधिकरण समय, निर्भरता और अवशिष्ट प्रभावों को संभालती है। ये टूल-उपयोग करने वाली प्रणालियों में व्यावहारिक विफलता मोड हैंः एक क्रेडेंशियल की अवधि समाप्त हो सकती है, एक प्राधिकरण बहुत देर से आ सकता है, बाद के चरण पहले वाले पर निर्भर हो सकते हैं, और कोई कार्रवाई प्रभाव छोड़ सकती है भले ही वह पूर्ण न हो।
टर्मिनल प्रमाणपत्र सार्वजनिक रूप से समर्थित सुरक्षित समापन से वास्तविक लक्ष्य संतुष्टि को अलग करता है। यह अंतर रिपोर्ट के सबसे उपयोगी हिस्सों में से एक है। किसी एजेंट को प्रमाणित किया जा सकता है कि वह मूल लक्ष्य को पूरी तरह से पूरा करने का दावा किए बिना सार्वजनिक रूप سے समर्थित सुरक्षा रोक बिंदु तक पहुंच गया है। रिपोर्ट उन परिणामों को स्पष्ट रखने की बजाय उन्हें एकल सफलता लेबल में ढहाती है।
ज्ञात-मॉडल कार्यान्वयन मानक अवलोकन-संभावित नियोजन को एक अलग से लागू प्रभाव-इतिहास निर्णायक के साथ जोड़ता है। निरीक्षण-संदिग्ध योजना का अर्थ है कि नई टिप्पणियों के बाद योजना अनुकूल हो जाती है। प्रभाव-ऐतिहासिक न्यायकर्ता को अलग के रूप में वर्णित किया गया है, जो सुझाव देता है कि सिस्टम यह तय करने के लिए अकेले प्लानर पर निर्भर नहीं करता है कि पहले से ही क्या प्रभाव हुए हैं।
रिपोर्ट किए गए अध्ययनों में क्या पाया गया
पहला परिणाम 37 असाइनमेंटों का एक परिमित अध्ययन है। योजना और तीन सक्रिय नियंत्रण प्रत्येक 28 पूर्णता को प्रमाणित करते हैं। रिपोर्ट में यह भी उल्लेख किया गया है कि चार सहेजे गए सिंथेटिक शुल्क इकाइयों की अतिरिक्त गणना होती है। स्रोत परिभाषित नहीं करता है कि वे इकाइयाँ क्या प्रतिनिधित्व करती हैं, इसलिए सुरक्षित पठन यह है कि ये कंप्यूटिंग से बंधे हुए लेखांकन विवरण हैं, न कि आगे व्याख्या करने के लिए बेंचमार्क स्कोर।
दूसरा परिणाम एक पूर्व-पंजीकृत असाइनमेंट-होल्ड आउट तुलना है। यह दो स्थानीय मॉडल बंडलों के साथ साक्ष्य प्रेरित करने के खिलाफ योजना सलाह का मूल्यांकन करता है। पहले से विकसित 19 टास्क परिवारों में 58 जोड़े गए इकाइयों में, नियोजन परामर्श प्रमाणन 30 पूर्णता बनाम 9 के लिए साक्ष्य उत्तेजित करते हैं। यही 36.2-प्रतिशत बिंदु अंतर सटीक पारिवारिक साइन-फ्लिप पी = 0.0078 के साथ रिपोर्ट किया गया है।
रिपोर्ट में संसाधन और सत्यापन संख्या भी दी गई हैः नियोजन सलाह 399 के मुकाबले 272 प्रस्तावों का उपयोग करती है, और सभी 116 प्रक्षेपवक्र स्वतंत्र पुनरावृत्ति से गुजरते हैं। दोनों मॉडल सकारात्मक पूर्णता अंतर प्रदर्शित करते हैं।
जो साक्ष्य अभी भी स्थापित नहीं करते हैं
तुलना एक सामान्य ढाल के तहत मूल्यांकन की गई सलाह इंटरफ़ेस को मापती है। स्रोत में कहा गया है कि खोज बनाम नियम सलाह के लिए अलग से मेल खाने वाली तुलना की आवश्यकता होती है। यह चेतावनी परिणाम को एक सामान्य दावा बनने से रोकता है कि सभी नियोजन-आधारित सलाह हर एजेंट सेटिंग में सभी साक्ष्य आधारित संकेतों को हरा देती है।
गारंटी भी घोषित प्रदाता क्षमताओं के बजाय मनमाने ढंग से तीसरे पक्ष को ठीक-ठीक एक बार निष्पादन करने से जुड़ी हुई है। यह एक महत्वपूर्ण सीमा है। विधि का दावा नहीं करता है कि किसी भी बाहरी उपकरण को व्यवहार करने के लिए मजबूर किया जा सकता है जैसे कि प्रत्येक कार्रवाई बिल्कुल एक बार की गई थी। यह उन क्षमताओं में काम करती है जो प्रदाता घोषणा करते हैं, और यह अज्ञात छोड़ देता है और हैंडऑफ परिणाम स्पष्ट होते हैं।
पाठकों के लिए, टेकअवे यह नहीं है कि AI एजेंटों के पास अब टूल टाइमआउट के लिए एक सार्वभौमिक फिक्स है। रिपोर्ट किए गए मूल्य अधिक विशिष्ट हैंः एक पुनर्प्राप्ति डिज़ाइन जो आंशिक निष्पादन को निश्चितता के रूप में पढ़ने से रोकने की कोशिश करता है, जो लक्ष्य संतुष्टि से सुरक्षित समापन को अलग करता है और जो मूल्यांकन सेटअप में मापने योग्य सुधार दिखाता है।

Comments (0)