दीर्घ क्षितिज एजेंटों के लिए सुसंगतता-अनुकूली ग्राफ

मेटा विवरण: एसीजी एक स्थायी ग्राफ में निष्पादन साक्ष्य को व्यवस्थित करता है और कार्य-प्रासंगिक संदर्भ का चयन करता है, तीन बेंचमार्क पर जीपीटी -5.6-लुना सफलता दर बढ़ाता है।

टैगः एसीजी ढांचा, AI एजेंट, दीर्घ क्षितिज कार्य, जीपीटी-5.6-लुना, ब्राउज़ कंप-प्लस

विशेष रुप से प्रदर्शित छवि: अमूर्त, मैत्रीपूर्ण चित्रण शैली जिसमें कोई वास्तविक व्यक्ति नहीं है, न तो लोगो और न ही पाठ।

उन डेवलपर्स के लिए जो स्वायत्त AI एजेंटों का निर्माण करते हैं जिन्हें लंबे कार्यों को पूरा करना होता है, एसीजी ढांचा एक परिचित समस्या का जवाब प्रदान करता हैः एक रन प्रत्येक व्यक्तिगत चरण को समझदार बना सकता है, फिर भी इसे प्राप्त करने के उद्देश्य से दूर हो जाता है। कागज की रिपोर्ट में कहा गया है कि ACG ने GPT-5.6-luna-8s समान भारित औसत सफलता दर को तीन बेंचमार्क पर 44.5% से बढ़ाकर 50.2% कर दिया। सबसे बड़ी कथित छलांग ब्राउज़कॉम्प-प्लस पर आई थी, जहां सफलता 62.4% से 73.5% तक बढ़ी, 11.1 प्रतिशत अंक की वृद्धि हुई।

क्यों लंबे कार्य एजेंटों को विचलित करते हैं

एजेंट एक एकल उत्तर नहीं है। यह योजनाओं, टूल कॉल, अवलोकनों और अपडेट का अनुक्रम है। शुरुआती निर्देश मायने रखते हैं, लेकिन बाद के कदम भी इस बात पर निर्भर करते हैं कि क्या सीखा गया है। जैसे-जैसे कोई कार्य बढ़ता जाता है, सिस्टम को याद रखने की आवश्यकता हो सकती है कि शाखा क्यों चुनी गई थी, कौन सा खोज परिणाम निर्णय का समर्थन करता था, और जो आवश्यकता अभी भी खुली है। यदि मॉडल केवल हालिया चरणों का संक्षिप्त सारांश देखता है, तो वह अपूर्ण संदर्भ पर कार्रवाई कर सकता है। अगर यह सब कुछ देखता है तो संदर्भ बजट बहुत छोटा हो सकता है.

कई टीमें शीघ्र भराव, सारांश या पुनर्प्राप्ति के साथ इसे हल करने की कोशिश करती हैं। प्रत्येक का एक व्यापार है। त्वरित भरना मॉडल को अधिभारित कर सकता है। सारांश उस साक्ष्य को हटा सकते हैं जिसने किसी विकल्प को सही ठहराया था। पुनः प्राप्ति प्रासंगिक टुकड़े वापस ला सकती है, लेकिन केवल तभी जब संग्रहीत जानकारी को इस तरह से व्यवस्थित किया जाता है जो बाद के प्रश्नों का समर्थन करता है। पेपर's जवाब यह है कि कार्य's सबूत और इसकी उत्पत्ति को ऐसी संरचना में रखा जाए जिसे चरण-दर-चरण पूछताछ की जा सके।

कैसे एसीजी साक्ष्य को एक ट्रैक करने योग्य मानचित्र में बदलता है

एसीजी, Adaptive Consistency Graph के लिए संक्षिप्त है, एक स्थायी ग्राफ में निष्पादन साक्ष्य और उस सबूत के पीछे के स्रोतों को संग्रहीत करता है। प्रत्येक नए अवलोकन को JUST ट्रांसक्रिप्ट की दूसरी पंक्ति के रूप में मानने के बजाय, यह आइटम को कार्य राज्य और संदर्भ से जोड़ता है जिससे वह आया था। जब एजेंट को अपनी अगली कार्रवाई का चयन करने की आवश्यकता होती है, तो फ्रेमवर्क सीमित बजट संदर्भ का सम्मान करते हुए, उस विकल्प के लिए प्रासंगिक ग्राफ के उन हिस्सों का चयन करता है.

शब्द ग्राफ मायने रखता है। इस सेटिंग में, एक ग्राफ़ रिकॉर्ड और लिंक का संग्रह होता है। एक लिंक यह दिखा सकता है कि किस निर्देश के बाद निर्णय लिया गया था, कौन सा टूल आउटपुट किसी दावे का समर्थन करता है, या कौन से पहले चरण ने वर्तमान स्थिति बनाई थी। क्योंकि सबूत पता लगाया जा सकता है, एजेंट क्या हुआ की संपीड़ित स्मृति पर भरोसा करने के बजाय पिछले निष्कर्षों में एक नई कार्रवाई जमीन कर सकते हैं।

बिल्डरों के लिए, व्यावहारिक अपील बेहतर पूर्णता दर नहीं है। यह निरीक्षण करने की संभावना है कि एक एजेंट ने क्यों कार्य किया। यदि कोई रन विफल हो जाता है, तो ट्रैक करने योग्य साक्ष्य मानचित्र यह देखना आसान बना सकता है कि क्या समस्या किसी याद आवश्यकता से आई थी, पुरानी धारणा या निर्णय जिसने प्रासंगिक पूर्व सबूत को अनदेखा कर दिया था।

बेंचमार्क संख्याएँ क्या दिखाती हैं

रिपोर्ट किए गए मूल्यांकन में जीपीटी-5.6-लुना का उपयोग किया गया और तीन बेंचमार्क के प्रदर्शन की तुलना की गई। हेडलाइन आंकड़ा समान रूप से भारित औसत सफलता दर है, जो 44.5% से 50.2% तक चला गया। बराबर वजन का मतलब है कि प्रत्येक बेन्चमार्क समग्र परिणाम में एक ही हिस्सेदारी में योगदान देता है, इसलिए एक बड़ा परीक्षण सेट औसत पर हावी नहीं हो सकता। यह संख्या व्यापक स्थिरता संकेत के रूप में उपयोगी बनाता है, हालांकि यह प्रकट नहीं करता है कि लाभ किसी भी कार्य परिवार से कितना आया था।

ब्राउज़कॉम्प-प्लस एक तेज प्रभाव दिखाता है. सफलता की दर 62.4% से बढ़कर 73.5% हो गई, जो कि 11.1 प्रतिशत अंक का लाभ है। चूंकि अंश में ब्राउज़ कॉम्प-प्लेस के कार्यों या स्कोरिंग नियम को परिभाषित नहीं किया गया है, इसलिए सबसे सुरक्षित रीडिंग यह है कि इस बेंचमार्क तीन में से एक था जहां एसीजी ने पेपर के मिलान मूल्यांकन के तहत सबसे अधिक मदद की थी। अन्य दो बेंच मार्क नाम सामग्री में प्रदान नहीं किए गए हैं, इसलिए दिए गए जानकारी से औसत में उनका योगदान पुनर्निर्मित नहीं किया जा सकता है।

मिलान मूल्यांकन वाक्यांश से पता चलता है कि एसीजी के प्रभाव का परीक्षण करते समय मूल्यांकन सेटअप को तुलनीय रखने के लिए तुलना की गई थी। फिर भी, अंश में पूर्ण प्रोटोकॉल शामिल नहीं है, जैसे रन की संख्या, नमूनाकरण विधि या विस्तृत सफलता मानदंड। ये विवरण यह आकलन करने के लिए महत्वपूर्ण हैं कि सुधार कितना मजबूत है।

बिल्डरों को आगे क्या ध्यान देना चाहिए

व्यापक प्रश्न यह है कि क्या एजेंट मेमोरी एक साधारण लॉग, सारांशित नोटबुक या संरचित रिकॉर्ड होना चाहिए जो बाद के सवालों का जवाब दे सके। एसीजी तीसरे विकल्प की ओर इशारा करता है। ब्राउज़िंग, अनुसंधान या मल्टी-स्टेप सर्विस वर्कफ़्लो जैसे कार्यों के लिए, अगली कार्रवाई अक्सर पहले कई चरणों में उल्लिखित आवश्यकता पर निर्भर करती है। एक प्रणाली जो न केवल टेक्स्ट को पुनर्प्राप्त कर सकती है बल्कि स्रोत संबंध भी अधिक स्थिर हो सकता है जो केवल नवीनतम संदेश रखता है।

रिपोर्ट की गई संख्याएं वृद्धिशील हैं लेकिन सार्थक हैं। समान भारित औसत में 44.5% से 50.2% तक का उदय नाटकीय एकल-कार्य सफलता नहीं है, लेकिन यह बताता है कि बेहतर साक्ष्य संगठन रिपोर्ट किए गए सेटअप में कई चरणों के व्यवहार को सुधार सकता है। ब्राउज़कॉम्प-प्लस पर 11.1 प्रतिशत अंक लाभ मजबूत है और इंगित कर सकता है कि कई वितरित तथ्यों वाले बेंचमार्क विशेष रूप से ट्रेस करने योग्य स्मृति से लाभान्वित होते हैं।

एजेंट फ्रेमवर्क का मूल्यांकन करने वाली टीमों के लिए, अगले प्रश्न व्यावहारिक हैं। क्या ग्राफ प्रत्येक चरण में लागत जोड़ता है? क्या यह टूल, सत्र और विफलताओं पर स्केल कर सकता है? ट्रैसेबिलिटी डिबगिंग में कितना मदद करती है, या केवल टास्क स्कोर को बेहतर बनाती है? पेपर एक मॉडल परिणाम देता है, न कि तैनाती नुस्खा। उपयोगी टेकअवे संकीर्ण हैः जब लंबे कार्य असफल हो जाते हैं क्योंकि सबूत खो जाता है या जुड़ा हुआ होता है, तो एक स्थायी ग्राफ प्लस प्रति-चरण संदर्भ चयन एजेंट की तर्क अधिक जमीनी और ऑडिट योग्य बना सकता है।