क्या आपका दीर्घ क्षितिज बेंचमार्क वास्तव में गहरा है, और टर्मिनल कार्यों में गहराई को मापा और संश्लेषित किया जा सकता है?
टर्मिनल टास्क बेंचमार्क अक्सर मोड़ को मापते हैं, तर्क की गहराई नहीं। DEPTH ऐसे कार्य उत्पन्न करता है जो वर्तमान AI मॉडल सीमाओं को उजागर करते हैं।
मुख्य जानकारी
- मौजूदा लंबी क्षितिज टर्मिनल-कार्य बेंचमार्क अक्सर कमजोर कठिनाई संकेतों पर भरोसा करते हैंः मोड़ की गिनती ज्यादातर मॉडल व्यवहार को दर्शाती है, और LLM - असाइन किए गए लेबल वास्तविक पास दरों की खराब भविष्यवाणी करते हैं।
- इस अध्ययन में 'कार्य' को अलग किया गया है, जिसका अर्थ आवश्यक कार्यों की संख्या से है और 'गहराई' का मतलब यह है कि पिछले आउटपुट के आधार पर एक-एक करके चरणों को कितनी कसकर निष्पादित करना होगा।
- छह datasets में से 734 कार्यों का ऑडिट करने से पता चलता है कि वर्तमान संश्लेषण विधियां अधिकतर चौड़ाई बढ़ाती हैं, गहराई नहींः 94% हल किए गए सिंथेटिक कार्य तीन मोड़ों के भीतर गुजरते हैं, यह दर्शाता है कि कई व्यापक लेकिन उथले हैं।
- डीईपीटीएच वास्तविक software वातावरण में प्रत्येक खंड को लिखकर और निष्पादित करके कार्य उत्पन्न करता है, जो लेखा परीक्षित datasets की तुलना में अधिक गहराई और काम के साथ 105 कार्यों का उत्पादन करता है।
- वर्तमान मॉडल इन गहन कार्यों के साथ संघर्ष करते हैंः छह मॉडलों में से कोई भी डीईपीटीएच सेट का आधा पास नहीं करता है, और fine-tuning Qwen3-8B पर DEPTH कार्य रन टर्मिनल बेंचमार्क पर प्रदर्शन में सुधार करता है।
एजेंटों का मूल्यांकन करने वाले शोधकर्ताओं और डेवलपर्स के लिए, लंबी क्षितिज टर्मिनल कार्य बहु-चरण परीक्षण हैं जिनमें एक मॉडल software वातावरण के भीतर संचालित होता है। उनका उपयोग एजेंट को प्रशिक्षित करने के लिए भी किया जाता है। चूंकि हाथ से क्यूरेट किए गए टास्क सेट सीमित हैं, इसलिए कई संश्लेषण विधियां सामने आई हैं। एक नए अध्ययन में कहा गया है कि इन सिंथेटिक कार्यों के लिए सामान्य सिग्नल बहुत कमजोर हैं। यह काम को गहराई से अलग करता है, छह मौजूदा datasets से 734 कार्यों का ऑडिट करता है, और डीईपीटीएच की प्रस्ताव देता है, एक पीढ़ी विधि जो 105 कार्यों का उत्पादन करती है। छह वर्तमान मॉडलों में से कोई भी उन कार्यों का आधा हिस्सा नहीं गुजरता है।
टर्न काउंट्स वास्तविक कठिनाई नहीं दिखाते
मौजूदा संश्लेषण विधियां आमतौर पर कार्य को पास करने के लिए एक मॉडल की आवश्यकता वाले मोड़ों की संख्या से कार्य लंबाई का अनुमान लगाती हैं। वे LLM के माध्यम से कठिनाई लेबल भी आवंटित करते हैं जो कार्य बनाता है। अध्ययन में पाया गया कि न तो सिग्नल अच्छी तरह से काम करता है। टर्न गिनती अक्सर इस बारे में अधिक कहती है कि कोई मॉडल कैसे व्यवहार करता है, इसके बारे में क्या कार्य स्वयं की आवश्यकता होती है। एक मॉडल आउटपुट की जांच करने, कमांड्स को पुनः प्रयास करने या छोटे चरणों में आगे बढ़ने के लिए अतिरिक्त मोड़ ले सकता है, भले ही कार्य उन चरणों पर गहराई से निर्भर न हो। LLM -जनरेटेड लेबल यह भी नहीं देखते हैं कि मॉडल कितनी बार कार्यों को पारित करते हैं।
पाठकों के लिए, यह बेंचमार्क डिजाइन के बारे में एक चेतावनी है। टर्मिनल-कार्य सेट लंबे समय तक लग सकता है क्योंकि मॉडल कई मोड़ का उपयोग करते हैं, जबकि अंतर्निहित कार्यों को बहुत अनुक्रमिक तर्क की आवश्यकता नहीं होती है। यदि लेबल अविश्वसनीय हैं, तो यह जानना मुश्किल हो जाता है कि क्या नया dataset वास्तव में कठिन है या केवल शोर है।
काम और गहराई एक स्पष्ट चित्र दें
अध्ययन में दो उपायों का उपयोग करके टर्मिनल कार्यों का वर्णन किया गया है। काम कार्य द्वारा आवश्यक संचालन की संख्या है। गहराई एक के बाद दूसरे होने वाले मोड़ की संख्या हैं, क्योंकि प्रत्येक मोड़ के कमांड को केवल पिछले बारी के आउटपुट को पढ़ने के बाद चुना जा सकता है।
गहराई का अनुमान एक टर्न कैप के माध्यम से किया जाता है जो एजेंट को बताया गया हैः सबसे छोटी टोपी जिसके तहत कार्य गुजरता है। यदि टास्क केवल तब पास होता है जब एजेन्ट को कई मोड़ की अनुमति होती है, तो अगला कदम संभवतः पिछले चरण पर निर्भर करता है। अगर यह तंग टोपी के नीचे बीतता है, काम में बहुत सारे ऑपरेशन हो सकते हैं लेकिन कम अनुक्रमिक निर्भरता हो सकती है।
लेखक छह मौजूदा datasets से 734 कार्यों का लेखा-जोखा करते हैं। वे पाते हैं कि संश्लेषण ने ज्यादातर काम बढ़ाया है, गहराई नहीं। हल किए गए सिंथेटिक कार्यों में से 94% तीन मोड़ के भीतर गुजरते हैं। फिर भी बारी की गिनती के विपरीत, कार्य से परे कठिनाई की भविष्यवाणी करता है। इससे पता चलता है कि कई उत्पन्न कार्य व्यापक लेकिन उथले हैंः उन्हें संचालन की आवश्यकता होती है, लेकिन उन ऑपरेशनों को कसकर जंजीर नहीं किया जाता है।
DEPTH वास्तविक software राज्य में कार्य लिखता है
डीईपीटीएच कार्य निर्माण को बदलता है। एक पीढ़ी एजेंट वास्तविक software वातावरण के भीतर प्रत्येक समय में एक सेगमेंट लिखते हैं। एक खंड लिखने से पहले, यह उस खंड को निष्पादित करता है। अगला अनुभाग पिछले द्वारा छोड़ी गई स्थिति से शुरू होता है। इससे कार्य वास्तविक पर्यावरण संक्रमणों से बनाया जाता है, न कि मॉडल के विचार से जो कठिन कार्य कैसा दिख सकता है।
परिणामी सेट में 105 कार्य हैं. ये कार्य गहराई और काम के लिए प्रत्येक लेखा परीक्षित dataset से अधिक है। अध्ययन यह भी पाता है कि छह वर्तमान मॉडलों में से कोई भी उनमें से आधे को पारित नहीं करता है। इन कार्यों से रन पर fine-tuning Qwen3-8B इसे दो टर्मिनल बेंचमार्क पर बेहतर बनाता है।
पाठकों को इससे क्या सीख लेनी चाहिए
परिणाम एक सरल मूल्यांकन नियम की ओर इशारा करता हैः टर्मिनल कार्यों के लिए, JUST चरणों को नहीं गिनें। कार्य बताता है कि एजेंट को कितना करना चाहिए; गहराई यह बताती है कि उसे समय के साथ कितनी योजना बनानी होगी। उच्च गहराई वाले dataset से पता चलता है कि क्या कोई एजेंट प्रत्येक आउटपुट के बाद अपने कमांड को अनुकूलित कर सकता है। DEPTH ऐसे कार्यों को उत्पन्न करने का एक तरीका देता है, और 105-कार्य सेट से पता चला है कि गहरे कार्य निर्माण वर्तमान मॉडलों में सीमाओं को उजागर कर सकते हैं।
मेटा विवरण: DEPTH 105 टर्मिनल कार्य बनाता है जो अनुक्रमिक गहराई द्वारा AI एजेंट कठिनाई को मापता है, जिसमें अधिकांश सिंथेटिक कार्य तीन मोड़ के भीतर पारित होते हैं, अध्ययन कहते हैं।
टैगः AI एजेंट, टर्मिनल कार्य, DEPTH, मॉडल मूल्यांकन, Qwen3-8B
[लिंक्ड कमांड-लाइन टर्न्स का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं]

Comments (0)