लंबे क्षितिज software इंजीनियरिंग एजेंटों के लिए एक विफलता-सशर्त reinforcement learning विधि प्रस्तुत की जाती है।
विफलता-सशर्त शिक्षा असफल पैच से एजेंटों को कोड करती है, Qwen3.5-4B में सुधार 52.8% SWE-बेंच सत्यापित पर Resolved@2।
मुख्य जानकारी
- एफसी-एसडब्ल्यूई लंबी क्षितिज software इंजीनियरिंग एजेंटों के लिए एक विफलता-सशर्त reinforcement learning विधि है, जो असफल पैच को उपयोगी प्रशिक्षण संदर्भ में बदल देती है।
- सत्यापन विफल होने के बाद, रिपॉजिटरी को रीसेट कर दिया जाता है और अगला प्रयास समस्या पर निर्भर करता है, असफल पैच और सत्यापक प्रतिक्रिया।
- विधि प्रयास परिणामों को संरक्षित करने और केवल निष्पादित वसूली प्रक्षेपवक्र की तुलना करने के लिए पथ-स्थानीय पुरस्कार और सक्रिय सेट लाभ अनुमान का उपयोग करती है।
- SWE- बेंच पर Qwen3.5-4B प्लस एसडब्ल्यूई एजेंट के साथ सत्यापित, FC-SWE 52.8% Resolved@2 और 70.7% Resolve@11 तक पहुंच गया, जो GRPO बेसलाइन से बेहतर है।
- परिणाम एक सत्यापनकर्ता-सहायता वाले पुनः प्रयास प्रोटोकॉल को दर्शाते हैं, न कि एकल शॉट लीडरबोर्ड प्रदर्शन के साथ कोड NVIDIA NeMo RL में जारी करने की योजना है।
शीर्षक: एफसी-एसडब्ल्यूई लिफ्ट्स Qwen3.5-4B कोडिंग एजेंट 52.8% के लिए हल किया@2
मेटा विवरण: एफसी-एसडब्ल्यूई असफल पैच से कोडिंग एजेंटों को प्रशिक्षण देता है, इस मुद्दे पर पुनः परीक्षण करता है, पैच और सत्यापनकर्ता फीडबैक में सुधार करते हुए एसडब्लूई बेंच वेरिफाइड पर Qwen3.5-4B।
टैगः एफसी-एसडब्ल्यूई, कोडिंग एजेंट्स, reinforcement learning , एसडब्लूई बेंच सत्यापित, Qwen3.5-4B
विशेष रुप से प्रदर्शित छवि: एक नए प्रयास में रीसेट करने वाले कोड पैच का अमूर्त अनुकूल चित्रण, चमकते सत्यापन चिह्नों और लूप तीर के साथ, कोई लोग, लोगो या पाठ नहीं।
एफसी-एसडब्ल्यूई reinforcement learning और software इंजीनियरिंग रीडर के लिए असफल कोडिंग प्रयासों को उपयोगी बनाने का एक ठोस तरीका प्रदान करता है। यह लंबी क्षितिज software इंजीनियरिंग एजेंटों के लिए एक विफलता-सशर्त reinforcement learning विधि है, जो एक सरल प्रशिक्षण लूप के आसपास बनाया गया हैः जब कोई पैच सत्यापन में विफल रहता है, तो रिपॉजिटरी अपनी मूल स्थिति में बहाल हो जाती है, और एक नया प्रयास मूल मुद्दे पर सशर्त होता है, असफल पैच, और सत्यापनकर्ता प्रतिक्रिया।
विफलता लूप का हिस्सा बन जाता है
विधि एक असफल पैच को मृत अंत के बजाय अगले प्रयास के लिए संदर्भ के रूप में मानती है। यह पुनर्प्राप्ति सीखने का तरीका बदलता है। पुनःप्रयास खाली स्लेट से शुरू नहीं होता; यह एक संरचित विवरण से शुरू होता है कि क्या प्रयास किया गया था और सत्यापनकर्ता ने कैसे प्रतिक्रिया दी थी।
दो स्कोरिंग नियम पुनरावृत्तियों को तुलनीय रखते हैं
एफसी-एसडब्ल्यूई इन रिकवरी चेन को प्रशिक्षित करने के लिए दो तंत्रों का उपयोग करता है। प्रक्षेपवक्र-स्थानीय पुरस्कार प्रत्येक प्रयास के अपने परिणाम को संरक्षित करते हैं, इसलिए एक असफल पैच का परिणाम बाद में पुनः प्रयास द्वारा ओवरराइट नहीं किया जाता है। सक्रिय सेट लाभ अनुमान केवल उन ट्रेजेक्टरी की तुलना करता है जो वास्तव में उसी मुद्दे के लिए निष्पादित किए गए थे, सीखने के संकेत को अवलोकन किए गए प्रयासों से बंधे रखते हुए।
SWE-बेंच पर परिणाम सत्यापित
रिपोर्ट किए गए सेटअप में सभी एसडब्ल्यूई-बेंच सत्यापित कार्यों पर Qwen3.5-4B प्लस SWE एजेंट का उपयोग किया जाता है, जो तीन डिकोडिंग सीड्स के औसत से अधिक होता है। एफसी-एसडब्लूई 52.8% रिज़ॉल्व्ड @ 2 तक पहुंच गया, जीआरपीओ बेसलाइन के लिए 48.5% की तुलना में। यह प्रशिक्षण के बावजूद अधिकतम दो प्रयास प्रति श्रृंखला के साथ भी 70.7% Resolved @ 11 तक पहुंचा।
घोषणा नोट करती है कि ये सत्यापनकर्ता-सहायता प्राप्त परिणाम हैंः मूल्यांकन नियंत्रक प्रयासों के बीच बेंचमार्क-टेस्ट फीडबैक का उपयोग करता है। Resolved@K K प्रयासों में संचयी सफलता को मापता है, न कि स्वतंत्र-नमूनाकरण Pass@K और मानक एकल-प्रयास लीडरबोर्ड प्रदर्शन नहीं। इसलिए संख्याएं एक सहायक पुनः परीक्षण प्रोटोकॉल का वर्णन करती हैं बजाय एक सिंगल-शॉट लीडर बोर्ड स्कोर की।
अगला क्या है
एक पेपर का संदर्भ दिया गया है, और NVIDIA NeMo RL की समर्पित शाखा के लिए कोड की योजना बनाई गई है। यह कोड जल्द ही आ रहा है और पृष्ठ उपलब्ध होने पर अपडेट किया जाएगा। काम को प्रतिक्रिया और चर्चा के लिए reinforcement learning और software इंजीनियरिंग समुदायों के साथ साझा किया जाता है।
कोडिंग-एजेंट प्रशिक्षण विधियों का मूल्यांकन करने वाले पाठकों के लिए, मूल्य पुनः प्रयास डिजाइन में हैः असफल पैच सीखने की प्रक्रिया के लिए दिखाई देते हैं, और पुरस्कार नियम प्रयास स्तर के परिणामों को संरक्षित करने के लिए लिखे जाते हैं। रिपोर्ट किए गए एसडब्ल्यूई बेंच सत्यापित परिणाम परीक्षण सेटअप में उच्च संचयी सफलता दिखाते हैं, जबकि लंबित कोड रिलीज़ दूसरों को निरीक्षण करने और दृष्टिकोण पर निर्माण करने देगा।
Comments (0)