वाइडएसडब्ल्यूई: क्या कोडिंग एजेंट कई रिपॉजिटरी में संशोधनों को सिंक्रनाइज़ कर सकते हैं?
वाइडएसडब्ल्यूई 120 वास्तविक मल्टी-रेपो कार्यों पर कोडिंग एजेंटों का मूल्यांकन करता है, जो खोज, निष्पादन और पूर्णता में कम पूरी सफलता और विफलताओं को दर्शाता है।
मुख्य बिंदु
- वाइडएसडब्ल्यूई 103 software पारिस्थितिक तंत्रों में 120 वास्तविक कार्यों पर कोडिंग एजेंट का मूल्यांकन करता है, यह दर्शाता है कि जब परिवर्तन कई रिपॉजिटरी के बीच समन्वित किए जाने चाहिए तो एजेंट अविश्वसनीय रहते हैं।
- पूर्ण कार्य सफलता सात विन्यासों में 10.83% से 42.50% तक थी, जिसमें सबसे अच्छा परिणाम GPT-5.6- SOL के साथ जोड़ा गया था।
- एजेंट विफलताएं तीन मुख्य पैटर्न का पालन करती हैंः आवश्यक परिवर्तनों को छोड़ना, बदलावों को अधूरा छोड़ना और अनुरोध को पूरी तरह से संतुष्ट किए बिना सही रिपॉजिटरी में संशोधन करना।
- संयुक्त क्रॉस-रिपॉजिटरी निष्पादन विशेष रूप से सत्यापन के लिए रेपो-बाय-रेपो निष्पादन की तुलना में अधिक मदद करता है, क्योंकि संबंधित रिपोजिटरी संदर्भ सही कार्यान्वयन का मार्गदर्शन कर सकता है।
- बेंचमार्क एजेंट आउटपुट को क्रॉस-रेपो सत्यापन की आवश्यकता वाले पहले मसौदे के रूप में मानने का सुझाव देता है, जबकि बेहतर योजना और सत्यापन लूपों को प्रमुख सुधार क्षेत्रों के रूप से इंगित करता है।
वाइडएसडब्ल्यूई नामक एक नए बेंचमार्क से पता चलता है कि आज के कोडिंग एजेंट विश्वसनीय होने से बहुत दूर हैं जब किसी एकल कार्य के लिए कई कोड रिपॉजिटरी में समन्वित परिवर्तन की आवश्यकता होती है। 103 software पारिस्थितिक तंत्रों से निर्मित इस बेंच मार्क में 60 बग फिक्स और 60 सुविधाओं के बीच समान रूप से विभाजित 120 वास्तविक दुनिया के कार्य शामिल हैं। सात एजेंट कॉन्फ़िगरेशनों में, पूर्ण कार्य सफलता 10.83% से 42.50% तक थी। सबसे अच्छा परिणाम जीपीटी-5.6- SOL के साथ Codex CLI को जोड़ने से आया था।
कार्य महत्वपूर्ण है क्योंकि अधिकांश कोडिंग-एजेंट मूल्यांकन अभी भी एक कोडबेस के भीतर प्रदर्शन को मापते हैं। वास्तविक software काम अक्सर उन सीमाओं का सम्मान नहीं करता है। किसी सुविधा में लाइब्रेरी परिवर्तन, आश्रित सेवा अपडेट और तीन अलग-अलग रिपॉजिटरी में मिलान परीक्षण की आवश्यकता हो सकती है इससे पहले कि कुछ भी वास्तव में काम करे।
WideSWE क्या उपाय करता है और यह कैसे बनाया गया था
शोधकर्ताओं ने वास्तविक विकास इतिहास पर आधारित 120 कार्यों को इकट्ठा करने के लिए 103 software पारिस्थितिक तंत्रों में परिवर्तन का खनन और समीक्षा की। प्रत्येक कार्य बग फिक्सिंग और फीचर अनुरोधों के बीच संतुलित है, जिसमें 60 हैं। प्रॉम्प्ट संबंधित मुद्दों से प्राप्त किए गए थे और स्क्रैच से लिखे जाने के बजाय अनुरोध खींचते हैं, जो डेवलपर्स द्वारा वास्तव में सामना किए जाने वाले कार्यों के करीब रखता है।
एक उल्लेखनीय डिजाइन विकल्प में छिपे हुए परीक्षण शामिल हैं। टीम ने इन परीक्षणों की व्यवस्थित रूप से समीक्षा और अनुकूलन किया ताकि कई सही कार्यान्वयन पास हो सकें, जबकि अभी भी आवश्यक व्यवहार और प्रतिगमन जांच को संरक्षित किया जा सके। इससे केवल वैध समाधान को दंडित करने का जोखिम कम हो जाता है क्योंकि यह मूल पैच से भिन्न होता है।
जब एजेंट टूट जाते हैं
रिपोर्ट की गई सफलता दरें हेडलाइन खोज हैं। सात कॉन्फ़िगरेशनों में पूर्ण कार्य सफलता 10.83% से 42.50% तक फैली हुई है, जिसका अर्थ है कि सबसे मजबूत सेटअप भी आधे से अधिक समय विफल रहता है। उच्चतम दर Codex CLI को GPT-5.6- SOL के साथ जोड़ने वाले विन्यास से संबंधित है।
प्रक्षेपवक्र विश्लेषण एकल संख्या की तुलना में अधिक उपयोगी विवरण जोड़ता है। शोधकर्ताओं ने तीन आवर्ती विफलता पैटर्न देखेः
- एजेंट वास्तव में आवश्यक परिवर्तनों की पहचान करने में विफल रहते हैं।
- एजेंट आवश्यक परिवर्तनों को पहचानते हैं लेकिन उन्हें अधूरा छोड़ देते हैं।
- एजेंट अनुरोध को पूरी तरह से संतुष्ट किए बिना आवश्यक रिपॉजिटरी में संशोधन करते हैं।
ये अलग-अलग समस्याएं हैं, और वे विभिन्न सुधारों का सुझाव देते हैं। पहला है एक खोज विफलता. दूसरा निष्पादन या दृढ़ता की विफलता है. तीसरा पूर्णता की असफलता है, जहां एजेंट सही स्थानों को छूता है लेकिन लूप बंद नहीं करता है.
क्या एक समय में एक रिपॉजिटरी मदद करती है?
टीम ने यह भी परीक्षण किया कि क्या एक समय में एक रिपॉजिटरी पर काम करना इन कठिनाइयों को कम कर सकता है, इसकी तुलना समान संकेतों के तहत संयुक्त निष्पादन से की जा सकती है।
स्वतंत्र निष्पादन ने मुख्य रूप से छोड़े गए कार्य को पुनर्प्राप्त करने में मदद की। यह उन कार्यान्वयनों को सही करने के लिए कम प्रभावी था जो पहले ही प्रयास किए जा चुके थे लेकिन सफल नहीं हुए। इसके विपरीत, संयुक्त निष्पादन संबंधित रिपॉजिटरी से जानकारी का उपयोग कर सकता है ताकि कार्यान्वयन और सत्यापन दोनों को निर्देशित किया जा सके। इससे पता चलता है कि क्रॉस-रिपोजिटरी संदर्भ JUST सुविधाजनक नहीं है बल्कि कार्यात्मक रूप से उपयोगी है कि क्या कोई परिवर्तन सही है या नहीं।
डेवलपर्स और टूल बिल्डरों के लिए इसका क्या मतलब है
आज कोडिंग एजेंटों का उपयोग करने वाले किसी भी व्यक्ति के लिए, व्यावहारिक टेकअवे मल्टी-रेपो कार्य के आसपास सावधानी बरतना है। एक प्रॉम्प्ट में सरल दिखने वाला कार्य कई स्थानों पर परिवर्तन की आवश्यकता हो सकती है, और बेंचमार्क दिखाता है कि एजेंट अक्सर आवश्यक संपादन से चूक जाते हैं या उन्हें पूरा करने से रोकते हैं। एजेन्ट आउटपुट को पहले ड्राफ्ट के रूप में व्यवहार करना जिसे रिपॉजिटरी में सत्यापन की आवश्यकता होती है सुरक्षित दृष्टिकोण है।
टूल बिल्डरों के लिए, परिणाम दो क्षेत्रों पर ध्यान देने योग्य हैं। योजना के दौरान बेहतर क्रॉस-रिपॉजिटरी तर्क डिस्कवरी विफलताओं को संबोधित कर सकता है। बेहतर सत्यापन लूप पूर्णता की विफलताओं का समाधान कर सकते हैं। स्वतंत्र और संयुक्त निष्पादन के बीच तुलना से पता चलता है कि प्रक्रिया में संबंधित रिपोजिटरी जानकारी खिलाने में मदद मिलती है, विशेष रूप से सत्यापन के लिए।
बेंचमार्क कोड उपलब्ध है, जो अन्य शोधकर्ताओं को परिणामों को पुनः पेश करने और विस्तारित करने का एक तरीका देता है। अगला प्रश्न यह है कि क्या नए एजेंट डिजाइन वर्तमान 42.50% छत से ऊपर सफलता दर को सार्थक रूप से बढ़ा सकते हैं, और क्या मॉडल में सुधार के साथ विफलता पैटर्न बदलते हैं।
Comments (0)