नेट में एक स्थानीय मॉडल के इस ablation पूछता है कि क्या हार्नेस परिणाम या केवल लागत बदलती है।
एजेंट हार्नेस परिणामों की तुलना में बहुत अधिक AI कोडिंग लागत बदल सकते हैं; .NET ablation और 2026 अध्ययन लागत दिखाते हैं और परिणाम अलग से आंका जाना चाहिए।
मुख्य जानकारी
- एजेंट हार्नेस टोकन लागत को ~ 40x तक बदल सकते हैं जबकि हल किए गए-कार्य दरों में केवल छोटे अंतर पैदा करते हैं।
- दो अलग-अलग अक्षों पर हार्नेस का मूल्यांकन किया जाना चाहिए: परिणाम की गुणवत्ता, जिसका अर्थ है कि कार्यों को हल किया गया और लागत, जिसका मतलब टोकन, समय या पैसा खर्च हुआ।
- कुछ हार्नेस प्रभाव वास्तविक हैं लेकिन असमान हैंः पास दरें समग्र रूप से समान हो सकती हैं, फिर भी एक दोहन एक कार्य श्रेणी में काफी सुधार कर सकता है और लगातार विफलता पैटर्न का उत्पादन कर सकते हैं।
- बेंचमार्क डिजाइनर तेजी से कन्फ्यूजर्स के रूप में हार्नेस का इलाज करते हैं, अक्सर मॉडल की क्षमता को अधिक स्वच्छतापूर्वक मापने के लिए हार्नेस को ठीक करते हैं।
- हार्नेस डिजाइन और मॉडल प्रशिक्षण आपस में जुड़े हुए हैंः एक बेहतर हार्नेस कमजोर मॉडलों को उठा सकता है, जबकि खराब मिलान वाले फाइन-ट्यूनिंग या पोस्ट-प्रशिक्षण एजेंट के प्रदर्शन को कम कर सकते हैं।
एजेंट हार्नेस परिणामों को स्थानांतरित किए बिना लागत 40 गुना बदल सकते हैं
एक लेखक जिसने दो टुकड़े प्रकाशित किए थे, जिसमें तर्क दिया गया था कि एजेंट हार्नेस, मॉडल नहीं, कोडिंग एजेंटों में नई बाधा है, फरवरी की समीक्षा करने के बाद उस दावे को संशोधित कर रहा है 2026 METR से काउंटर-प्रूफ Sentient Labs, डीपएसडब्ल्यूई और प्रैक्टिशनर रिपोर्ट्स। लेखक ने यह भी परीक्षण करने के लिए एक स्थानीय .नेट एब्लेशन रिग का निर्माण किया कि कौन सी हार्नेस टुकड़े हल किए गए कार्यों की संख्या को स्थानांतरित करते हैं और कौन से टुकड़े केवल टोकन बिल को आगे बढ़ाते हैं। AI एजेंसियों का मूल्यांकन करने वाले पाठकों के लिए, मुख्य सबक दो अक्षों, परिणाम और लागत पर एक हार्नेस का न्याय करना है, न कि दूसरे से निष्कर्ष निकालना।
दो अक्ष, एक सुधार
ट्रिगर Jaroslaw Wasowski का Level Up Coding लेख था, Harness Engineering: जब Agent Harness Moves परिणाम और जब It Only Moves लागत। लेख केवल सदस्य है, और लेखक केवल उद्घाटन पढ़ सकता है, इसलिए प्राथमिक स्रोतों की सीधे जांच की गई थी। वासोवस्की का केंद्रीय बिंदु यह था कि एक हार्नेस को दो अलग-अलग अक्षों पर आंका जाना चाहिएः चाहे वह परिणाम बदलता हो, जिसका अर्थ है कि अधिक कार्य वास्तव में हल किए जाते हैं, और क्या यह लागत को बदल देता है, जिसका मतलब है कि उसी हल किए गए कार्यों के लिए अधिक टोकन, मिनट या पैसा। उन्होंने अपने पहले के विचार को भी संशोधित किया कि हार्नेस एक खाई है जिसके पीछे छिपने लायक है।
METR के फरवरी 2026 अनुसंधान नोट, Measuring Time Horizon Using Claude Code और कोडेक्स ने परीक्षण किया कि क्या एक मॉडल कितने समय तक कार्य पूरा कर सकता है यह मापने पर विक्रेता हार्नेस एमईटीआर के अपने डिफ़ॉल्ट scaffolds को हरा देता है। मेट्र की चूक रिएक्ट हैं, एक सादा अधिनियम और अवलोकन लूप, और ट्राइफ्रेम, जो प्रत्येक कार्रवाई का चयन करने के लिए सलाहकार, अभिनेता और रेटर सबगेंट्स का उपयोग करता है। नोट में बताया गया है कि ओपस 4.5 के साथ Claude Code बूटस्ट्रैप नमूनों में 50.7% के साथ ReAct के साथ Opus 4.5 को हराया, जो सिक्के फ्लिप के करीब है। जीपीटी -5 के साथ कॉडिक्स केवल बूटस्टैप नमूने में 14.5% के साथ ट्रिफ्राम के साथ GPT-5 को हरा दिया, और कोई भी दिशा सांख्यिकीय रूप से महत्वपूर्ण नहीं थी। रन के लिए 8 मिलियन से 32 मिलियन टोकन बजट 4.5 को बढ़ाना प्रारंभिक समय क्षितिज को मुश्किल से स्थानांतरित कर रहा था।
METR नोट को एक शोध नोट के रूप में वर्णित करता है, न कि एक सत्यापित प्रकाशन। इसमें दो मॉडल शामिल हैं। यह एक असंगति भी चिह्नित करता हैः विक्रेता हार्नेस मानव के साथ इंटरैक्टिव उपयोग के लिए बनाए गए हैं, जबकि मूल्यांकन पूरी तरह से स्वायत्त था। वासोवस्की का परिचय एमईटीआर निष्कर्ष के बगल में 40 गुना तक की टोकन अंतराल रखता है। लेखक को मेट्र नोट के अंदर 40-बार आंकड़ा नहीं मिल सका और उस संख्या को अगले पेपर पर ट्रेस किया गया, जबकि यह ध्यान दिया गया कि वासोव्स्की के पूर्ण पाठ इसे अधिक सटीक रूप से जिम्मेदार ठहरा सकते हैं।
एक ही काम, अलग-अलग बिल
इस बहस में सबसे स्पष्ट प्रयोग है Scaffold EffectThe Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation Sentient Labs, by Naman Vats and Oleg Golev at Sentient Labs, arXiv 2607.22585. यह ICML की DL4C कार्यशाला में समीक्षा के तहत प्रारंभिक काम है। 2026 अध्ययन ने दो मॉडलों, Qwen 3.6 Plus और MiniMax M2.5 के माध्यम से तीन हार्नेस, Goose, OpenCode और OpenHands-SDK की तुलना की। ओपनराउटर द्वारा आठ श्रेणियों में टर्मिनल-Bench Pro से नमूने वाले 50 कार्यों का उपयोग किया गया था, कुल 300 परीक्षणों के लिए, एक ही सैंडबॉक्स और 900 सेकंड वॉल-टाइम कैप के साथ।
गुजरने की दरें 38% और 50% के बीच थीं। एक मॉडल के भीतर, दोहनों में फैलाव Qwen के लिए 2 अंक और MiniMax के लिए 8 अंक था। अधिकांश जोड़ी अंतर शून्य से अलग नहीं थे। हल किए गए कार्य प्रति टोकन लगभग 40 गुना तक भिन्न होते हैं। हंस ने Qwen और 37,000 मिनीमैक्स के लिए लगभग 28,000 टोकन का उपयोग किया। ओपनकोड ने लगभग 1.15 मिलियन और 1.55 मिलियन का इस्तेमाल किया। मॉडल को अपग्रेड करने से केवल 1.0 बार से 1.3 बार तक टोकन लागत बदल गई। दूसरे शब्दों में, हार्नेस ने मॉडल की तुलना में बिल को बहुत अधिक स्थानांतरित कर दिया।
दो माध्यमिक निष्कर्ष हेडलाइन से अधिक मायने रखते हैं। पहला, विफलता फिंगरप्रिंट्स हार्नेस के गुण थे और दोनों मॉडलों में सुसंगत रहे। हंस जब अटक गया तो रुक गया, ओपनहैंड्स-एसडीके ने बंद करने की ओर धक्का दिया और कभी-कभी प्रशंसनीय गलत उत्तर प्रस्तुत किए, और OpenCode समय सीमा में चलाने का रुझान था। दूसरा, IMPL श्रेणी पर, OpenHands-SDK ने अन्य दो के लिए 38% के खिलाफ 69% हल किया। औसत पास-रेट बैंड कम से कम एक मामले को छुपाता है जहां हार्नेस परिणाम को स्थानांतरित करता है, लेकिन केवल एक प्रकार के काम के लिए। लेखक यह भी ध्यान दें कि 50 कार्यों के साथ, प्रत्येक कार्य 2 अंक के लायक है, इसलिए पास दर अंतर को वर्णनात्मक के रूप में पढ़ा जाना चाहिए।
बेंचमार्क जो अभी भी हार्नेस को पिन करते हैं
डीपएसडब्ल्यूई, द्वारा डेटाकर्व, arXiv 2607.07946, 91 ओपन-सोर्स रिपॉजिटरी में 113 लंबी क्षितिज कार्यों का एक बेंचमार्क है। इसका प्रासंगिक डिज़ाइन विकल्प यह है कि प्रत्येक मॉडल का मूल्यांकन उसी मिनी-स्वे एजेंट हार्नेस के अंदर किया जाता है, उसी बैश टूल और समान प्रॉम्प्ट के साथ, स्पष्ट रूप से इसलिए लीडरबोर्ड स्कैफोल्डिंग की बजाय मॉडल क्षमता को दर्शाता है। लेखक व्यापार-बंद को स्वीकार करते हैंः वास्तविक डेवलपर्स उपयोग करते हैं Codex CLI या Claude Code, न कि मिनी स्वे एजेंट।
यह चुनाव बता रहा है. बेंचमार्क बिल्डरों ने फैसला किया कि हार्नेस एक कन्फ्यूज़र के लिए पर्याप्त है कि इसे अभी भी किसी और चीज को मापने के लिए रखा जाना चाहिए। यह कहने के समान नहीं है कि दोहन कोई फर्क नहीं पड़ता है। इसका मतलब है कि जुताई काफी मायने रखती है जिसे मॉडल देखने के लिए ठीक करना होगा।
वासोवस्की के साथी टुकड़ा, Harness EngineeringHarness Engineering: मॉडल-Harness Fit: क्यों Better Teacher Makes a Worse Agent,39 एक सेल्सफोर्स प्रीप्रिंट का सारांश arXiv के रूप में उद्धृत करता है। लेखक उस प्रिंट को सीधे नहीं ढूंढ सका, इसलिए संख्याएँ वासोव्स्की की सारणी के माध्यम से सेकेंड हैं। जैसा कि वर्णित किया गया है, कमजोर मॉडल के चारों ओर निर्मित एक हार्नेस ने वजन को छूने के बिना सात एजेंटिक कार्यों पर अपनी सफलता उठाई। मजबूत विशेषज्ञों के पूर्ण प्रक्षेपवक्र पर उसी मॉडल को ठीक करने से यह विफल हो गया 63.1% इसके बजाय एकल खराब मोड़ को सही करना, प्रति रोलआउट एक, इसे लाया 79.7%
एक अलग आईसीएमएल 2026 पेपर, [4द इंटरप्ले ऑफ़ Harness Design और पोस्ट-ट्रेनिंग इन LLM Agents [4 द्वारा Kyungmin Kim और सह-लेखकों, एएलएफवर्ल्ड आधारित बेंचमार्क पर एक संगत निष्कर्ष तक पहुंचता हैः हार्नेस और पोस्ट ट्रेनिंग को अलग नहीं किया जा सकता है, प्रशिक्षण के बाद बोल्ट की गई हार्नेस कम वसूली करती है, और छोटे मॉडल के लिए हार्नेस किसी भी तरह से मदद करने के लिए पोस्ट-प्रशिक्षण की पूर्व शर्त थी।
उन परिणामों को Scaffold Effect के बगल में रखें और एक अधिक सावधानीपूर्वक चित्र रूप। एक सक्षम मॉडल पर दूसरे के लिए एक उचित हार्नेस का आदान-प्रदान करना, ज्यादातर लागत को स्थानांतरित करता है। एक विशिष्ट, कमजोर मॉडल से मेल खाने वाली हार्नेस बनाना परिणाम को बहुत आगे बढ़ा सकता है। वे अलग-अलग दावे हैं, और लेखक दूसरे तर्क देते हुए पहले दावा के लिए साक्ष्य का उपयोग कर रहा था।
चिकित्सकों ने अपने स्वयं के सेटअप को मापा
एक ही सप्ताह के दो प्रैक्टिशनर टुकड़ों ने तर्क से अधिक कुछ उपयोगी किया: उन्होंने अपने स्वयं के सिस्टम को मापा और रिपोर्ट की कि परिणाम उन्हें निराश करते हैं। दोनों केवल सदस्य-केवल हैं, और नीचे दिए गए आंकड़े लेखक द्वारा उनके खुद के रन से रिपोर्ट किए गए हैं।
Qwen3.8 के आसपास एक आनुपातिक-कोड प्रणाली का निर्माण किया गया था, जिसका उद्देश्य ऐसे एजेंटों पर है जो टिकट की जरूरत से कहीं अधिक कोड लिखते हैं। उनका शुरुआती उदाहरण एक अनुरोध है जिसके लिए एक डेटाबेस बाधा की आवश्यकता थी और 56 नई पंक्तियां प्राप्त हुईं, जिसमें एक DELETE कमांड भी शामिल है जो चुपचाप सदस्यों को हटा देता है। 34 टिकटों में, एक अनियंत्रित ट्रैप एजेंट के पास होने वाले उत्तरों ने रेफरेंस कोड के 51 गुना का औसत जोड़ दिया, जिसे इंट्रो विशिष्ट कहता है। उनकी पूरी प्रणाली के साथ, 25 आयोजित किए गए टिकटों पर, यह 0.88 बार कम हो गया। 11 में से उन्होंने केवल 4 टुकड़े तैयार किए, और उनकी पहली परिकल्पना चूक गई। ग्यारह में से सात टुकड़े अपनी जगह नहीं मिले। यही वह ईमानदार एबलेशन दिखता है जब चलाया जाता है।
Pasquale Molinaro50s [5I Had a Free Qwen3.85027B Agent Copy 10 Web Pages.It Spent 64% of Its Time Measuring Pixels [5 ran Qwen3.850 27B at Q4_K_M on two free Kaggle T4s. कार्य तीन स्थितियों के तहत Design2Code बेंचमार्क से दस पृष्ठों का पुनर्निर्माण कर रहा थाः एक-शॉट प्रतिलिपि, एक शॉट कॉपी प्लस एक संशोधन, और एक एजेंट जो रेंडरर और 20 मिनट प्रति पेज के साथ एक-शूट पेज से शुरू होता है। एजेंट एकमात्र ऐसी स्थिति थी जो अपने स्वयं के आउटपुट को देख सकती थी, इसलिए लेखक ने स्पष्ट रूप से जीतने की उम्मीद की थी। इसके बजाय, एजेंट 237 माप आदेश जारी किए, और उसके 169 मिनट में से अधिकांश पिक्सेल को मापने के लिए गए। स्कोर लाभ एक एकल पृष्ठ पर वापस ट्रेस किया गया, एक बदलाव के माध्यम से जिसे ब्राउज़र में भी नहीं देखा जा सकता है।
यह अंतिम बिंदु पाठकों के लिए महत्वपूर्ण है. एक समग्र स्कोर ऊपर चला गया, और ईमानदार स्पष्टीकरण एक कार्य था और एक अदृश्य परिवर्तन। यदि लेखक कुल पर रुका होता, तो परिणाम को हार्नेस जीत के रूप में प्रकाशित किया जा सकता था।
मूल हार्नेस बाधा के दावों को फिर से पढ़ना
लेखक का पहला टुकड़ा, Harness EngineeringHarness Engineering Is the New Bottleneck, [6 टर्मिनल-बेंच पर एक निश्चित मॉडल को 52.8% से 66.5% तक स्थानांतरित करने के लिए लैंगचेन का उपयोग किया गया था। इसने अपने सबसे मजबूत सबूत के रूप में हार्नेस का पुनर्निर्माण करके. यह चिह्नित किया कि यह एक रसीद थी, न कि दो। जो उसने नहीं पूछा वह किस तरह की हार्नेस परिवर्तन थी। मॉडल-हार्नेस फिट पेपर्स के प्रकाश में, यह परिणाम हार्नेस बीट मॉडलों की तरह कम पढ़ता है और अधिक जैसे एक टीम ने एक मॉडल और एक बेंचमार्क के लिए एक हार्नेस लगाया।
eval लूप टुकड़े में पहले से ही दोनों अक्ष शामिल थे, लेकिन लेखक ने उनका नाम नहीं लिया। एक सिमेंटिक सर्च टूल ने पास दर को फ्लैट रखा और टोकन 41% द्वारा कटौती की। यह एक शुद्ध लागत कदम था। एक स्व-समीक्षा चरण ने 13 अंकों तक पारित दर को स्थानांतरित कर दिया और पुनरावृत्ति पर 68% पर आयोजित किया गया। यह परिणाम चाल की तरह दिखता था। लेकिन लेखक 12 मुद्दों को स्कोर करता है और मुद्दे के आधार पर तुलना को जोड़ा नहीं जाता है, इसलिए प्रत्येक मुद्दा लगभग 8 अंक का होता है। लेखक अभी भी समीक्षा चरण वास्तविक होने की उम्मीद करता है क्योंकि यह मॉडल जानकारी देता है जो उसके पास पहले नहीं थी, जैसे कि परीक्षण आउटपुट प्लस डिफेंट पर एक नया रूप, लेकिन अब इसे आत्मविश्वास से घोषित नहीं करेगा।
संशोधित स्थिति यह है कि हार्नेस टुकड़े भरोसेमंद रूप से लागत को स्थानांतरित करते हैं और केवल सशर्त रूप से परिणाम को आगे बढ़ाते हैं। काम करने का अनुमान है कि एक टुकड़ा परिणाम को तब आगे बढ़ाता है जब वह मॉडल को सिग्नल देता है जो इसे अन्यथा नहीं मिल सकता था, जैसे कंपाइलर त्रुटि, विफल जांच या रेंडर किए गए पृष्ठ। यह ज्यादातर समारोह जोड़ने पर खर्च करता है, जैसे योजना, एक अन्य लूप, या भटकने के लिए अधिक जगह।
स्थानीय रिग क्या परीक्षण करेगा
अगला कदम Ollama या llama.cpp के माध्यम से एक स्थानीय मॉडल के खिलाफ बनाया गया एक छोटा .NET एब्लेशन रिग है। रिग कोई सॉफ्टवेयर डेवलपमेंट किट का उपयोग नहीं करता है। यह एक सादे HttpClient के साथ OpenAI- संगत / chat/completions एंडपॉइंट से बात करता है, जिसमें पोर्ट पर ओलमा द्वारा उजागर किया गया एक एंडप्वाइंट भी शामिल है 11434. लक्ष्य व्यक्तिगत हार्नेस टुकड़ों को बंद करना और देखना है कि कौन से परिणाम को स्थानांतरित करते हैं और कौन से केवल बिल को आगे बढ़ाते हैं।
यदि दोहन टुकड़े केवल एक छोटे से स्थानीय मॉडल पर लागत को स्थानांतरित करते हैं, तो मूल दावे का सबसे मजबूत संस्करण परेशानी में है। अगर वे परिणाम को आगे बढ़ाते हैं, तब सवाल यह बन जाता है कि कौन सा टुकड़ा सिग्नल प्रदान करता है जो मॉडल अन्यथा एक्सेस नहीं कर सकता था। एजेंट स्टैक चुनने वाले पाठकों के लिए, व्यावहारिक टेकआउट अलग-अलग परिणाम और लागत को मापना है, अपने स्वयं के कार्यों पर एब्लेशन चलाएं, और अंतर्निहित कार्य-दर-कार्य साक्ष्य दिखाई देने तक समग्र स्कोर लाभों को परिकल्पनाओं के रूप में व्यवहार करें।
Comments (0)