ओपेरा: विस्तारित क्षितिज कोडिंग एजेंटों के लिए एक भाषा-आधारित महत्वपूर्ण ढांचा

मेटा विवरण: ओपेरा, लंबी क्षितिज कोडिंग एजेंटों के लिए एक मौखिक आलोचक है, जब तक मुद्दों का समाधान नहीं हो जाता तब तक सुधार करता है और software बेंचमार्क पर रिज़ॉल्यूशन दर में सुधार होता है।

टैगः कोडिंग एजेंट, टेस्ट-टाइम क्रिटिक्स, software इंजीनियरिंग, Qwen3.5-9B, ओपेरा

विशेष रुप से प्रदर्शित छवि: टर्मिनल विंडो और मरम्मत पथ के बगल में एक छोटे एजेंट द्वारा लगातार नोट की जांच करने का अमूर्त मैत्रीपूर्ण चित्रण, जिसमें कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है और कोई पाठ नहीं है।

ओपेरा वर्बल क्रिटिक लंबी क्षितिज कोडिंग एजेंटों के लिए एक परीक्षण-समय आलोचक है जिसे अंतर्निहित समस्या का समाधान होने तक प्रत्येक सुधार पर नज़र रखने के लिए डिज़ाइन किया गया है। रिपोर्ट किए गए मूल्यांकन में, इसने टर्मिनल-बेंच 2.1, एसडब्ल्यूई -Bench Pro उपसमुच्चय और डीपएसडब्लूई v1.1 पर चार नीति मॉडलों में 12.4, 15.0 और 8.9 अंकों तक रिज़ॉल्यूशन दर बढ़ा दी। परिणाम किसी ऐसे व्यक्ति के लिए मायने रखता है जिसने एजेन्ट को प्रतिक्रिया स्वीकार करते हुए देखा हो, सतही संपादन करें, और फिर भी कार्य विफल रहें: ओपेरे ने सलाह देने से यह सत्यापित करने के लिए समीक्षक के मूल्य को स्थानांतरित कर दिया कि सलाह काम करती थी।

एक बार के नोट से ट्रैक किए गए सुधार तक

लंबे क्षितिज कोडिंग कार्य अक्सर विलंबित तरीकों से विफल हो जाते हैं। एक एजेंट वास्तविक समस्या दिखाई देने से पहले कई कदम चला सकता है, फ़ाइलों को संपादित कर सकते हैं, पैकेज इंस्टॉल या परीक्षण कोड कर सकता है। एक साधारण आलोचक प्राकृतिक-भाषा निर्देश के साथ बाधित हो सकता है लेकिन उस निर्देश की अनदेखी की जा सकती है, आंशिक रूप से लागू किया जा सकता है या इस तरह से पालन किया जा रहा है जो केवल अनुपालन में प्रकट होता है। ओपेरा हर सुधार को लगातार नोट के रूप में मानता है। संदेश भेजने के बाद समीक्षक नहीं रुकता। यह एजेंट के बाद के कार्यों की निगरानी करना जारी रखता है और पूछता है कि क्या निदान किए गए मुद्दे को वास्तव में ठीक किया गया है।

यह डिज़ाइन एजेंट पाइपलाइनों में एक सामान्य कमजोरी को संबोधित करता हैः प्रतिक्रिया जो वितरित की जाती है लेकिन लागू नहीं होती। पाठकों के लिए कोडिंग एजेंट का निर्माण या मूल्यांकन करना, एजेंट के बीच अंतर कुछ बदल गया और एजेंट ने रिपोर्ट की गई समस्या को हल किया महत्वपूर्ण है। दृश्यमान डिफ सफल कार्य के समान नहीं है। ओपेरा प्रत्येक सुधार को अनुवर्ती जांच से जोड़कर उस अंतराल को बंद करने का लक्ष्य रखता है।

कब समीक्षा करें, क्या निदान करें और क्या ऑडिट करें

ओपेरा दो प्रकार के ट्रिगर्स का उपयोग करके एजेंट के काम का निरीक्षण करने का निर्णय लेता है। आवधिक ट्रिगर इसे नियमित अंतराल पर कदम रखने देते हैं, जबकि इवेंट-ड्राइव किए गए ट्रीगर यह प्रतिक्रिया करते हैं जब कार्य में कुछ उल्लेखनीय होता है। यह संयोजन उपयोगी है क्योंकि लंबे समय तक चलने वाले कोडिंग सत्र धीरे-धीरे और अचानक दोनों विफल हो सकते हैं। एक आवधिक जांच बहाव पकड़ सकती है; एक घटना-संचालित चेक असफल परीक्षण, एक फंसे लूप या किसी अन्य दृश्य संकेत का जवाब दे सकता है।

जब यह समीक्षा करता है, तो ओपेरा समस्याओं का निदान करने के लिए टाइप किए गए ऑपरेटरों का उपयोग करता है। सादे शब्दों में, टाइप किया गया ऑपरेटर आलोचना को एक अस्पष्ट प्राकृतिक-भाषा टिप्पणी के रूप में छोड़ने के बजाय किस तरह की समस्या आई है, इसका नामकरण करने के संरचित तरीके हैं। वह संरचना प्रतिक्रिया को अधिक परीक्षण योग्य और ट्रैक करना आसान बना सकती है। सुधार भेजने से पहले, ऑपेरा दृश्य साक्ष्य के खिलाफ फीडबैक का लेखा परीक्षा करता है. इस कदम का उद्देश्य उन आलोचकों को कम करना है जो धारणाओं या भ्रमपूर्ण त्रुटियों पर भरोसा करते हैं। एजेंट द्वारा सुधार प्राप्त होने के बाद, Opera वास्तविक फिक्स को केवल अनुपालन से अलग करने के बाद की कार्रवाइयों पर नज़र रखता है।

कोडिंग कार्यों में बेंचमार्क लाभ

एक परीक्षण-समय आलोचक के रूप में, ओपेरा टर्मिनल-बेंच 2.1, SWE-Bench Pro उपसमुच्चय और डीपएसडब्ल्यूई v1.1 पर चार नीति मॉडल में 12.4, 15.0 और 8.9 अंकों तक रिज़ॉल्यूशन दरों में सुधार करता है। ये JUST मध्यवर्ती संपादन या समीक्षक संतुष्टि नहीं बल्कि अंतिम कार्य-रिज़ोल्यूशन मीट्रिक में रिपोर्ट किए गए लाभ हैं। ऑपेरा सभी तीन बेंचमार्क पर प्रतिस्पर्धी आलोचना आधार रेखाओं से भी बेहतर प्रदर्शन करता है, यह सुझाव देते हुए कि फॉलो-थ्रू तंत्र न केवल डिजाइन विवरण है, बल्कि मूल्यांकन में एक व्यावहारिक लाभ है।

If Opera की विधि अभी भी आत्म-आलोचना सेटिंग्स में मदद करती है, पाठक यह अनुमान लगा सकते हैं कि मूल्य बाहरी मॉडल से कम और समीक्षा प्रक्रिया की संरचना से अधिक हो सकता हैः ट्रिगर, टाइप किए गए निदान, साक्ष्य लेखा परीक्षा और अनुवर्ती ट्रैकिंग।

training data जो हार्नेस के पार ले जाता है

रिपोर्ट किए गए लाभ अनुमान-समय के उपयोग तक सीमित नहीं हैं। ओपेरा का निर्देशित रोलआउट नीति training data के करीब काम कर सकता है। नीति पर निकटता का मतलब है कि डेटा केवल एक दूरस्थ शिक्षक या मानव-लिखित उदाहरणों से आने की बजाय, अपने स्वयं के व्यवहार के तहत क्या उत्पादन करेगा। यह fine-tuning के लिए मायने रख सकता है, क्योंकि मॉडल के अपने फैसलों से बहुत दूर डेटा पर प्रशिक्षण उन पैटर्न को सिखा सकता है जो मॉडल पुनः उपयोग करने के लिए संघर्ष करता है।

रिपोर्ट किए गए परिणाम में, ओपेरा के निर्देशित रोलआउट पर fine-tuning Qwen3.5-9B बिना किसी आलोचक को निष्कर्षण करने के लिए 10.2 अंकों द्वारा आयोजित एसडब्ल्यूई -Bench Pro प्रदर्शन को बढ़ाता है। समीक्षक को हटाए जाने के बाद भी मॉडल बेहतर हो जाता है। परिणाम एक मजबूत मॉडल के रोलऑट पर fine-tuning से मेल खाता है, जबकि उस दृष्टिकोण के विपरीत, ओपनहैंड्स से टर्मिनस -2 तक हार्नेस स्विच करते समय प्रदर्शन को संरक्षित करता है।

यह अंतिम बिंदु एजेंट फ्रेमवर्क को बदलने वाली टीमों के लिए विशेष रूप से प्रासंगिक है। एक हार्नेस आसपास का software है जो एजेंट को उपकरण, फ़ाइलें, टर्मिनल, परीक्षण या कार्य वातावरण तक पहुंच प्रदान करता है। यदि किसी दोहन के तहत प्रशिक्षित मॉडल दूसरे में स्थानांतरित होने पर तेजी से गिर जाता है, तो सीखा व्यवहार ढांचे से बहुत जुड़ा हो सकता है। रिपोर्ट की गई मजबूती बताती है कि ओपेरा के रोलआउट इस तुलना में मजबूत-मॉडल रोल आउट बेसलाइन की तुलना में अधिक हस्तांतरणीय समस्या समाधान व्यवहार कैप्चर कर सकते हैं।

पाठकों को क्या देखना चाहिए

डेवलपर्स के लिए, व्यावहारिक टेकअवे यह है कि ओपेरा JUST एक और आलोचक संकेत नहीं है। यह एक वर्कफ़्लो जोड़ता हैः निर्णय लें कि कब निरीक्षण करना है, समस्या को वर्गीकृत करें, साक्ष्य की जांच करें, सुधार भेजें, फिर ट्रैक करें कि क्या सुधार वास्तविक फिक्स बन जाता है। बेंचमार्क उपयोगकर्ताओं के लिए टर्मिनल-बेंच 2.1, एसडब्ल्यूई -Bench Pro उपसमूह पर रिपोर्ट किए गए बिंदु लाभ, और चार नीति मॉडल में डीपएसडब्लूई v1.1 से पता चलता है कि विधि अंतिम कार्य सफलता में सुधार कर सकती है। मॉडल ट्रेनरों के लिए Qwen3.5-9B परिणाम दर्शाता है कि निर्देशित रोलआउट निष्कर्षण पर समीक्षक का उपयोग किए बिना 10.2 अंकों द्वारा आयोजित SWE-90004 प्रदर्शन को बेहतर बना सकते हैं, जबकि OpenHands और Terminus-2 में भी पकड़ सकते हैं।

अगले प्रश्न ये हैं कि इन ट्रिगर्स और टाइप किए गए ऑपरेटरों का चयन कैसे किया जाता है, अनुवर्ती ट्रैकिंग कितनी महंगी होती है, और क्या लाभ रिपोर्ट किए गए बेंचमार्क के बाहर रहते हैं। रिपोर्ट परिणाम प्रदर्शन संख्याओं और हस्तांतरण व्यवहार को दिखाते हैं, लेकिन अपने स्वयं के एजेंटों के लिए ओपेरा का मूल्यांकन करने वाले पाठकों को अभी भी जांचना चाहिए कि उनके कोडिंग कार्य, हार्नेस और नीति मॉडल उन सेटिंग्स से मिलते-जुलते हैं जिनमें विधि का परीक्षण किया गया था।