एआई के साथ कोडिंग

Software Engineering CoWork बेंचमार्क संगठनों के भीतर डिजिटल कर्मचारियों के रूप में कोडिंग एजेंट का आकलन करता है।

Software Engineering CoWork परीक्षण सिमुलेटेड कार्यस्थलों में कोडिंग एजेंट; ग्यारह मॉडल परीक्षण पास करते हैं लेकिन शायद ही कभी कार्यों को पूरा करते हैं, वितरण अंतराल बने रहते हैं।

Software Engineering CoWork बेंचमार्क संगठनों के भीतर डिजिटल कर्मचारियों के रूप में कोडिंग एजेंट का आकलन करता है।

मुख्य जानकारी

  • SWE-CoWork सिमुलेटेड इंजीनियरिंग संगठनों में डिजिटल कर्मचारियों के रूप में कोडिंग एजेंट का मूल्यांकन करता है, जिसमें 11 programming भाषाओं और 12 डोमेन पर 101 वास्तविक रिपॉजिटरी कार्यों का उपयोग किया जाता है।
  • बेंचमार्क अलग-अलग कोडिंग के बजाय एंड-टू-एंड डिलीवरी को मापता हैः एजेंटों को सहकर्मियों और रिकॉर्ड से आवश्यकताओं की खोज करनी चाहिए, परस्पर विरोधी साक्ष्य का सामंजस्य बनाना चाहिए, और निजी निष्पादन योग्य परीक्षण पास करना चाहिए।
  • अग्रणी मॉडल लगभग 63% फेल-टू-पास परीक्षणों को संतुष्ट करते हैं लेकिन 8% से कम असाइनमेंट पूरा करते हैं, जो आंशिक कार्यान्वयन और पूर्ण कार्य वितरण के बीच एक बड़ा अंतर दर्शाता है।
  • एजेंटों को पूर्ण आवश्यकताएं देना कुछ परीक्षण परिणामों में सुधार करता है लेकिन कार्य की पूरी सफलता नहीं बढ़ाता, यह दर्शाता है कि अनुवर्ती, सत्यापन और एकीकरण प्रमुख बाधाएँ बनी हुई हैं।
  • प्रक्षेपवक्र विश्लेषण प्रश्न पूछने, आवश्यकताओं को ट्रैक करने, परिवर्तनों को लागू करने और परिणामों को मान्य करने में बार-बार ब्रेकडाउन का खुलासा करता है, अक्सर एजेंटों के कारण सहकर्मी द्वारा आयोजित जानकारी याद आती है या अधूरे काम की रिपोर्ट समाप्त हो जाती है।

कोडिंग एजेंट बेंचमार्क का मूल्यांकन करने वाले किसी भी व्यक्ति के लिए, SWE-CoWork एक साधारण पास दर की तुलना में अधिक स्पष्ट तस्वीर देता हैः यह मापता है कि क्या कोई एजेंट पता लगा सकता है कि कौन सा निर्माण करना है, सिमुलेटेड कार्यस्थल के माध्यम से काम करना है और निजी निष्पादन योग्य परीक्षणों को पारित करने वाला परिवर्तन वितरित करता है। बेंच मार्क में 101 वास्तविक रिपॉजिटरी, 11 programming भाषाओं और 12 एप्लिकेशन डोमेन पर 101 विकास असाइनमेंट शामिल हैं, और यह ग्यारह मॉडल का मूल्यांकन करता है.

The software Engineering CoWork benchmark assesses coding agents as digital employees within organizations.

SWE-CoWork क्या उपाय करता है

प्रत्येक असाइनमेंट एक संक्षिप्त हैंडऑफ से शुरू होता है। एजेंट को 26 सहकर्मियों के साथ एक सिमुलेटेड इंजीनियरिंग संगठन में रखा जाता है। उन सहयोगियों की अलग-अलग जिम्मेदारियां, सीमित ज्ञान और नियंत्रित सहयोग व्यवहार होते हैं। कार्य को पूरा करने के लिए, एजेन्ट को आवश्यकताओं को पुनर्प्राप्त करना होगा जो सहयोगी और कार्यस्थल रिकॉर्ड पर फैली हुई हैं, विरोधाभासी सबूतों का सामंजस्य स्थापित करें, और परिवर्तन लागू करें जिन्हें निजी निष्पादन योग्य परीक्षणों द्वारा जांचा जाएगा।

यह सेटअप परीक्षण को अलग-थलग कोडिंग से डिलीवरी में स्थानांतरित करता है। एक मॉडल उपयोगी कोड लिख सकता है, लेकिन बेंचमार्क पूछता है कि क्या यह पूरी आवश्यकता की पहचान कर सकते हैं, सही मालिक ढूंढ सकते हैं और संगठन के ज्ञान सीमाओं के भीतर कार्य पूरा कर सकते हैंः

ग्यारह मॉडलों ने क्या दिखाया

ग्यारह मॉडलों में, परिणाम आंशिक कार्यान्वयन और पूर्ण कार्य वितरण के बीच एक बड़ा अंतर दिखाते हैं। दो प्रमुख मॉडल लगभग 63% असफल-टू-पास परीक्षणों को पूरा करते हैं, लेकिन वे असाइनमेंट के 8% से भी कम पूरे करते हैं। दूसरे शब्दों में, एजेंट अक्सर कुछ आवश्यक व्यवहार काम कर सकते हैं, फिर भी वे शायद ही कभी संपूर्ण कार्य को संतुष्ट करते हैं.

यह अंतर उन पाठकों के लिए महत्वपूर्ण है जो मॉडल की तुलना करते हैं। उच्च परीक्षण-संतुष्टि दर प्रगति का सुझाव दे सकती है, जबकि कम असाइनमेंट-पूर्णता दर से पता चलता है कि शेष कार्य केवल एक छोटा सा पॉलिश कदम नहीं है।

The software Engineering CoWork benchmark assesses coding agents as digital employees within organizations.

क्यों पूर्ण आवश्यकताओं ने अंतराल को बंद नहीं किया

बेंचमार्क ने यह भी परीक्षण किया कि जब एजेंटों को पूर्ण आवश्यकताएं अग्रिम रूप से प्राप्त होती हैं तो क्या होता है। Seed Evolving और जीपीटी -6 एस्ट्रा के लिए, पूरी आवश्यकताओं को प्रदान करने से लगभग 16 प्रतिशत अंक तक विफलता-पास प्रदर्शन में सुधार होता है. हालांकि, पूर्ण कार्य सफलता अपरिवर्तित रहती है।

इस परिणाम से पता चलता है कि लापता आवश्यकताएं समस्या का केवल एक हिस्सा हैं। यहां तक कि जब एजेंट जानता है कि क्या बनाया जाना चाहिए, तो यह उस जानकारी को समाप्त, सत्यापित कार्य में विश्वसनीय रूप से नहीं बदलता है। अंतराल केवल आवश्यकता की खोज के क्षण के बजाय अनुवर्ती, सत्यापन या एकीकरण के दौरान दिखाई देता है।

विफलताएँ प्रक्षेपवक्र में कैसे दिखाई दीं

आवश्यकता-स्तरीय प्रक्षेपवक्र विश्लेषण वितरण प्रक्रिया के दौरान विफलताओं को प्रकट करता है। Claude - ओपस-5.5 उनके उत्तरदायी मालिकों को रन में पूछे गए कार्ड के बारे में 93% पहले प्रश्नों का औसत निर्देशित करता है, लेकिन यह सहकर्मी द्वारा आयोजित आवश्यकताओं का केवल 64% प्राप्त करता है.

विश्लेषण से यह भी पता चलता है कि स्थगित प्रश्नों को अनफॉलो किया जा रहा है। आवश्यकताओं के अधिग्रहण के बाद भी कार्यान्वयन अधूरे रहते हैं। इसके अलावा, 31% पूर्ण रूप से रिपोर्ट की गई आवश्यकताएं अपने परीक्षण में विफल हो जाती हैं। ये विवरण छोटे टूटने की एक श्रृंखला का संकेत देते हैंः पूछना, ट्रैकिंग करना, लागू करना और मान्य करना विश्वसनीय रूप से पंक्तिबद्ध नहीं होता है।

कोडिंग एजेंटों के लिए यह क्यों महत्वपूर्ण है

SWE-CoWork कोडिंग एजेंटों को कार्यस्थल प्रतिभागियों के रूप में फ्रेम करता है, न कि JUST कोड जनरेटर। बेंचमार्क का मूल्य यह है कि यह तीन परिणामों को अलग करता हैः एक आंशिक परीक्षण सुधार, एक पुनर्प्राप्त आवश्यकता और एक पूरा किया गया कार्य। पाठक उस अलगाव का उपयोग कर सकते हैं जब आकलन करते समय कि कोई मॉडल एंड-टू-एंड software काम के लिए तैयार है या नहीं।

The software Engineering CoWork benchmark assesses coding agents as digital employees within organizations.

ग्यारह-मॉडल मूल्यांकन से पैटर्न यह है कि सबसे कठिन हिस्सा कोड का उत्पादन नहीं हो सकता है। यह सहयोगियों, रिकॉर्ड्स, विरोधाभासी साक्ष्य और अंतिम परीक्षणों के माध्यम से एक अधूरे अनुरोध को ले जा रहा है जो शेष है उसका ट्रैक खोए बिना।

मेटा विवरण: SWE-CoWork वास्तविक भंडारों में 101 कोडिंग एजेंट कार्यों का परीक्षण करता है और ग्यारह मॉडलों पर आंशिक कार्यान्वयन और पूर्ण वितरण के बीच एक अंतर दिखाता है।

टैगः SWE-CoWork, कोडिंग एजेंट बेंचमार्क, software एजेंटों, मॉडल मूल्यांकन, भंडारण कार्य

विशेष रुप से प्रदर्शित छवि: एक कोडिंग एजेंट का अमूर्त मैत्रीपूर्ण चित्रण जो सिमुलेटेड सहकर्मी कार्ड के बीच 101 रिपॉजिटरी कार्यों में नेविगेट कर रहा है, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं हैं और न ही कोई पाठ।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.