software इंजीनियरिंग द्वंद्वयुद्धः कोडिंग एजेंटों के लिए एक स्व-स्केलिंग क्षेत्र की ओर
SWE-Duel में कोडिंग एजेंट्स छिपे हुए बग कार्यों का निर्माण और समाधान करते हैं, जिससे बेंचमार्क स्वयं स्केलिंग होते हैं; GPT-5.5 सबसे अच्छा हल करता है, Claude Opus 4.8 सबसे अच्छा लिखता है।
मुख्य जानकारी
- SWE-Duel एक स्व-स्केलिंग कोडिंग एजेंट बेंचमार्क है जो स्थैतिक बेन्चमार्कों में टास्क लीक और संतृप्ति से बचने के लिए वास्तविक समय में मूल्यांकन कार्य उत्पन्न करता है।
- बेंचमार्क वास्तविक रिपॉजिटरी पर रेड और ब्लू एजेंटों का उपयोग करता हैः लाल एक सुविधा जोड़ता है, एक सूक्ष्म बग को छुपाता है और सील किए गए परीक्षण तैयार करता है; ब्लू को बग के बारे में चेतावनी दिए बिना पुल अनुरोध की समीक्षा करनी चाहिए और पास फीचर, मौजूदा और छिपे हुए परीक्षण।
- 1,500 टर्न और 11 मॉडल-हार्नेस जोड़े में, GPT-5.5 ने Codex CLI के साथ एक सॉल्वर के रूप में सबसे अच्छा प्रदर्शन किया, 98.3% की समीक्षा की गई बग को ठीक करते हुए, जबकि Claude Opus मिनी-स्वे एजेंट के साथ 4.8 ने टास्क लेखक के तौर पर 27.3% रेड जीत दर के साथ सर्वश्रेष्ठ प्रदर्शन किया।
- कार्य केवल तभी गिने जाते हैं जब एक ही एजेंट का नया सत्र उन्हें अंधा कर सकता है, बेंचमार्क को चुनौतीपूर्ण लेकिन निष्पक्ष रखते हुए।
- परिणाम मॉडल पीढ़ियों के साथ कार्य कठिनाई पैमाने का सुझाव देते हैंः एक मॉडल परिवार के नए संस्करणों से कार्यों को पुराने संस्करणों की तुलना में बहुत अधिक बार एक निश्चित संदर्भ सॉल्वर हराया।
मेटा विवरण
SWE-Duel कोडिंग एजेंट बेंचमार्क में रेड और ब्लू एजेंट्स मूल्यांकन के समय बग टास्क बनाते और हल करते हैं, 1,500 मोड़ों पर GPT-5.5 और Claude Opus 4.8 की रैंकिंग।
टैग
कोडिंग एजेंट, एसडब्ल्यूई-डुएल, बेंचमार्क, software इंजीनियरिंग
फ़ीचर छवि
दो शैलीबद्ध कोड एजेंटों का सार मित्रवत चित्रण एक विभाजित रिपॉजिटरी में परीक्षण के सील किए गए लिफाफे को पारित कर रहा है, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, न ही पाठ।
SWE-Duel एक कोडिंग एजेंट बेंचमार्क है जो डेवलपर्स और शोधकर्ताओं के लिए बनाया गया है, जो software -इंजीनियरिंग परीक्षण चाहते हैं जो पुराने नहीं होते। कार्यों की एक निश्चित सूची पर भरोसा करने के बजाय, इसमें कोडिंग एजेंट मूल्यांकन समय में एक दूसरे के लिए कार्य बनाते हैं। प्रयोग 11 मॉडल-हार्नेस जोड़ों को कवर करता है, जिसका अर्थ है कि एक मॉडल प्लस इसका एजेंट निष्पादन उपकरण, पांच भाषाओं में 15 रिपॉजिटरी पर 1,500 से अधिक बदल जाता है।
स्थैतिक बेंचमार्क लीक और संतृप्त
मूल समस्या सरल हैः स्थिर कोडिंग बेंचमार्क लंबे समय तक नहीं चलते हैं। उनके कार्य training data में लीक हो सकते हैं, और मजबूत एजेंट सभी उपलब्ध वस्तुओं को हल करके उन्हें संतृप्त कर सकते हैं। एक बार जब एक बेंच मार्क संतृप्ति होती है, तो यह अब सक्षम एजेंटों को अलग नहीं कर सकता है।
SWE-Duel मूल्यांकन के दौरान कार्य उत्पन्न करके सेटअप को बदल देता है। चूंकि कार्यों का निर्माण स्वयं मूल्यांकन रन में किया जाता है, इसलिए पहले से लीक करने के लिए कुछ भी नहीं होता है। स्रोत कहता है कि कठिनाई एजेंटों के साथ बढ़ती है, बजाय अग्रिम रूप से तय किए जाने की।
लाल फीचर लिखता है, नीला एक छिपे हुए बग की समीक्षा करता है
प्रत्येक द्वंद्वयुद्ध में एक वास्तविक भंडार पर दो एजेंटों का उपयोग किया जाता है. वे रेड और ब्लू के रूप में बारी-बारी से काम करते हैं।
लाल एक नई सुविधा जोड़कर शुरू होता है. Then Red उस सुविधा में एक सूक्ष्म बग छिपाता है और सील परीक्षण तैयार करता है जो इसे ट्रिगर करते हैं। कार्य केवल तभी मायने रखता है जब उसी एजेंट का एक नया सत्र बग अंधा को ठीक कर सकता है। यह नियम अनसुलझे कार्यों से बचने के लिए हैः यदि रेड एक ऐसा कार्य नहीं बना सकता जिसे स्वयं का एक ताजा संस्करण हल कर सके, तो कार्य की गिनती नहीं होती है।
ब्लू तब बग के बारे में बताए बिना पुल अनुरोध की समीक्षा करता है। ब्लू केवल तभी जीतता है जब इसका संशोधन तीन जांचों को पास करता हैः फीचर टेस्ट, मौजूदा परीक्षण और छिपे हुए बग टेस्ट. उसके बाद, लाल और नीला भूमिकाओं का आदान-प्रदान करते हैं।
डिजाइन एक ही समय में दो संबंधित लेकिन अलग-अलग कौशल का परीक्षण करता है। लाल को एक कठिन लेकिन निष्पक्ष कार्य बनाना होगा। नीले रंग की समस्या का पता लगाना और ठीक करना चाहिए जिसके बारे में उसे चेतावनी नहीं दी गई है।
GPT-5.5 लीड सॉल्विंग, Claude Opus 4.8 लीड टास्क राइटिंग
1,500 मोड़ों में, परिणाम दो अलग-अलग ताकत को उजागर करते हैं। जीपीटी-5.5 प्लस Codex CLI सबसे मजबूत सॉल्वर के रूप में पहले स्थान पर है, जो इसकी समीक्षा की गई बग्स का 98.3% तय करता है। यह उच्च दर बताती है कि संयोजन इस बेंचमार्क प्रारूप में छिपे हुए मुद्दों को पकड़ने और सही करने में बहुत प्रभावी है।
Claude Opus 4.8 प्लस मिनी-स्वे एजेंट दूसरे स्थान पर सबसे मजबूत कार्य लेखक के रूप में है, जिसमें एक 27.3% लाल जीत दर है। 27.3% की रेड विन रेट का मतलब यह है कि जब इस जोड़ी ने कार्य को लाल लिखा था, तो ब्लू समय के परीक्षणों का पूरा सेट पास करने में विफल रहा। इसका मतलब यह नहीं है कि कार्य अनसुलझी थी, क्योंकि बेंचमार्क केवल उन कार्यों को गिना जाता है जिन्हें उसी एजेंट का नया सत्र अंधा ठीक कर सकता है।
कठिनाई मॉडल पीढ़ियों के साथ स्केल करने लगती है
स्रोत परिवार-स्तरीय तुलना की भी रिपोर्ट करता है। एक मॉडल परिवार के भीतर, नवीनतम संस्करण द्वारा लिखे गए कार्य पुराने संस्करणों से कार्यों की तुलना में बहुत अधिक बार एक निश्चित संदर्भ सॉल्वर को हराते हैंः 42.9% बनाम 4.0%। इससे पता चलता है कि नए मॉडल ऐसे कार्य लिखने में सक्षम हो सकते हैं जो स्थिर समाधानकर्ता के लिए हल करने में अधिक कठिन हैं।
पाठकों के लिए, व्यावहारिक टेकअवे यह है कि एसडब्ल्यूई-द्वंद्वयुद्ध JUST का एक और लीडरबोर्ड नहीं है। यह एक मूल्यांकन विधि है जो एजेंटों को कार्य निर्माता बनाकर कोडिंग-एजेंट परीक्षणों को ताजा रखने की कोशिश करती है। अगले प्रश्न हैं कि यह प्रारूप 11 मॉडल-हार्नेस जोड़ियों, 15 रिपॉजिटरी और पांच भाषाओं से परे कितना अच्छा काम करता है, और लाल और नीली भूमिकाएं वास्तविक software -इंजीनियरिंग व्यवहार के बारे में कितनी जानकारी दे सकती हैं।
Comments (0)