कोडिंग एजेंटों के लिए बेंचमार्क उनके उपयोगकर्ताओं की टास्क वर्कफ़्लो को प्रतिबिंबित करना चाहिए।

कोडिंग एजेंट मूल्यांकन पर काम करने वाले डेवलपर्स और टीमों के लिए, JetBrains IDEs में 4,782 एजेंट सत्रों का एक अध्ययन दिखाता है कि वास्तविक software इंजीनियरिंग इंटरैक्शन मुद्दे-व्युत्पन्न बेंचमार्क कार्यों से कैसे भिन्न होते हैं और क्यों SWE-TaskFlow परीक्षणों को वास्तविक उपयोग के साथ संरेखित करने में मदद कर सकता है।

वास्तविक सत्रों से कार्यों का एक व्यापक मिश्रण प्रकट होता है

कोडिंग एजेंट मूल्यांकन आम तौर पर यथासंभव यथार्थवादी होने की कोशिश करता है। अध्ययन JetBrains IDEs में वास्तविक software इंजीनियरों से एजेंट सत्र इकट्ठा करता है. यह इस सेट को Production Sessions कहता है। क्योंकि विषय इंटरैक्टिव एजेंट हैं, विश्लेषण कम से कम तीन उपयोगकर्ता संदेशों के साथ सत्र का अध्ययन करते हैं। वह उपसमूह नमूना का 33% है।

ये लंबे सत्र दो तरीकों से मुद्दे-व्युत्पन्न बेंचमार्क कार्यों से भिन्न होते हैं। पहला, उपयोगकर्ता अनुरोध टास्क प्रकारों के एक बहुत व्यापक मिश्रण को कवर करते हैंः परियोजना के कोड, योजना, समीक्षा, रीफैक्टरिंग और निष्पादन के बारे में प्रश्न। दूसरा, उपयोगकर्ता एक सत्र के दौरान उन प्रकार के बीच स्विच करते हैं।

यह पैटर्न महत्वपूर्ण है क्योंकि कई मूल्यांकन अलग-अलग मुद्दा-व्युत्पन्न कार्यों से बनाए जाते हैं। वास्तविक सत्र एक प्रश्न के साथ शुरू हो सकते हैं, योजना में जा सकते हैं और निष्पादन पर स्थानांतरित कर सकते हैं। एक बेंचमार्क जो केवल मापता है कि क्या अंतिम कार्य हल किया गया है, वह बातचीत के आकार को याद कर सकता है जिसे उपयोगकर्ता वास्तव में अनुभव करते हैं।

क्यों एकल बेंचमार्क वितरण पर्याप्त नहीं हैं

तीन सार्वजनिक इंटरैक्शन कॉर्पोरेशंस से लंबे सत्र के नमूने स्पष्ट रूप से अलग Task Flows प्रदर्शित करते हैं। यहां, Task Flows, सत्र लंबाई, कार्य प्रकार और प्रकार-से-प्रकार संक्रमणों का वितरण है।

इस खोज से पता चलता है कि कोई भी एकल इंटरैक्शन वितरण सार्वभौमिक रूप से यथार्थवादी नहीं है। विभिन्न कॉर्पोरेस अलग-अलग तरीके दिखाते हैं जो कोडिंग सत्र विकसित होते हैं। बेंचमार्क रचनाकारों के लिए, व्यावहारिक सबक पहले एक लक्षित उपयोग मामले का नाम देना है, फिर उस उपयोग मामले से माप के खिलाफ मूल्यांकन को कैलिब्रेट करना है।

केवल यह पूछने के बजाय कि क्या कोई एजेंट किसी कार्य को हल कर सकता है, एक मूल्यांकन से यह भी पूछा जाना चाहिए कि किस प्रकार की बातचीत पैटर्न का प्रतिनिधित्व करना है।

SWE-TaskFlow कार्यों को बदलने के बिना परीक्षणों reshapes

अध्ययन SWE-TaskFlow, किसी भी मुद्दे से व्युत्पन्न बेंचमार्क को बदलने के लिए एक दृष्टिकोण प्रस्तुत करता है। यह त्वरित विभाजन और सत्यापन योग्य रिपॉजिटरी गुणवत्ता आश्वासन के माध्यम से Task Flow लक्ष्य की ओर बातचीत का मार्गदर्शन करते हुए सत्यापित कार्यों और परीक्षणों को संरक्षित करता है.

शीघ्र विभाजन एक व्यापक उपयोगकर्ता अनुरोध को कई संकेतों में बदल सकता है, जो अधिक सत्र-जैसे पथ बनाता है। सत्यापित रिपॉजिटरी गुणवत्ता आश्वासन वांछित प्रवाह की ओर बढ़ते समय रिपोजिटरी में बातचीत को जमीनी स्तर पर रखने में मदद करता है।

यह दृष्टिकोण उत्पन्न प्रक्षेपवक्रों में से चयन करने के लिए एक TaskFlow Alignment Score का भी उपयोग करता है। स्कोर इंटरैक्शन पथ चुनने में मदद करता है जो लक्ष्य Task Flow से मेल खाते हैं। यह बेंचमार्क बिल्डर्स को सत्र के माध्यम से उपयोगकर्ताओं और एजेंटों की गति कैसे बदलते हुए मूल परीक्षण सामग्री को बरकरार रखने का एक तरीका देता है।

पायलट दिखाता है इंटरैक्शन प्रोटोकॉल परिवर्तन लागत

अध्ययन में 700 एसडब्ल्यूई-Bench Pro कार्यों पर एक पायलट शामिल है। यह परीक्षण करता है कि जब एजेंट एक बातचीत के बजाय कई चरणों में कार्य को क्रमिक रूप से हल करते हैं तो क्या होता है।

परिणाम सीधा है: कई चरणों में अनुक्रमिक रूप से कार्य को हल करना लगभग दोगुनी एजेंट लागत का समाधान दर में स्थिर परिवर्तन के बिना। अतिरिक्त कदम कार्य को पूरा करने के लिए आवश्यक काम बढ़ाते हैं, लेकिन वे भरोसेमंद तरीके से कार्य आसान या कठिन नहीं बनाते हैं।

यह इंटरैक्शन प्रोटोकॉल को मूल्यांकन के एक महत्वपूर्ण आयाम के रूप में रखता है। दो बेंचमार्क समान कार्यों और परीक्षणों का उपयोग कर सकते हैं, फिर भी बहुत अलग बातचीत पथ और लागत की आवश्यकता होती है। यदि कोई मूल्यांकन सत्र पैटर्न को अनदेखा करता है, तो यह कम हो सकता है कि यथार्थवादी वर्कफ़्लो में एजेंट का उपयोग करने के लिए क्या लगता है।

भविष्य के मूल्यांकनों के लिए इसका क्या अर्थ है

कोडिंग एजेंटों की परवाह करने वाले पाठकों के लिए, टेकवे व्यावहारिक है। यथार्थवादी मूल्यांकन में कठिन कार्यों या अधिक परीक्षणों से अधिक की आवश्यकता होती है। इसे एक स्पष्ट लक्ष्य उपयोग मामले, वास्तविक सत्रों से माप और बातचीत को फिर से आकार देते समय सत्यापित कार्य सामग्री को संरक्षित करने का एक तरीका चाहिए।

SWE-TaskFlow उस मध्य जमीन की ओर इशारा करता है। यह समस्या-व्युत्पन्न बेंचमार्क को प्रयोग करने योग्य रखता है, लेकिन उन्हें उन कार्य प्रवाहों के लिए कैलिब्रेट करता है जो software इंजीनियर उत्पादन जैसे सत्रों में दिखाते हैं। 700 एसडब्ल्यूई -Bench Pro कार्यों पर पायलट भी एक ठोस चेतावनी देता हैः इंटरैक्शन प्रोटोकॉल बदलना डबल एजेंट लागत कर सकता है भले ही रिज़ोल्यूशन दर व्यापक रूप से स्थिर रहती हो।

मेटा विवरणः JetBrains IDE कोडिंग एजेंट सत्रों के 4,782 अध्ययन से पता चलता है कि SWE-TaskFlow यथार्थवादी उपयोगकर्ता बातचीत कार्य प्रवाह की ओर बेंचमार्क कैलिब्रेट कर सकता है।

टैगः कोडिंग एजेंट, एसडब्ल्यूई-टास्कफ्लो, JetBrains IDEs, software इंजीनियरिंग मूल्यांकन, बेंचमार्क कैलिब्रेशन

विशेष रुप से प्रदर्शित छवि: कोडिंग एजेंट सत्रों और कार्य प्रवाह पथ का अमूर्त, मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।