Co-Design Benchmark एजेंटिक मॉडल के लिए multimodal सहयोगी कोडिंग का मूल्यांकन करता है।
Co-Design Bench आंशिक सफलता अंतराल को उजागर करने के लिए स्वीकृति मानदंड और साक्ष्य का उपयोग करते हुए 273 multimodal APP संपादन कार्यों पर कोडिंग एजेंटों का मूल्यांकन करता है।
मुख्य जानकारी
- सह-Design Bench कोडिंग एजेंटों का मूल्यांकन परीक्षण करके करता है कि क्या वे स्पष्ट उपयोगकर्ता स्वीकृति मानदंडों को पूरा करने के लिए वास्तविक, चल रहे अनुप्रयोगों को संशोधित कर सकते हैं।
- इसमें दो ट्रैक शामिल हैंः Multimodal Editing स्क्रीनशॉट या मीडिया द्वारा निर्देशित स्थानीय परिवर्तनों के लिए, और Repository Editing एक एप्लिकेशन के घटकों, मार्गों, राज्य और डेटा प्रवाह में जुड़े बदलाव के लिए।
- बेंचमार्क एक जज-तब-रिफ्यूट प्रोटोकॉल का उपयोग करता है जो छिपे हुए मानदंडों को स्रोत कोड और ब्राउज़र साक्ष्य के साथ स्टब्स, हार्डकोडेड आउटपुट या अपूर्ण सुविधाओं को पकड़ने के लिए जांचता है।
- परिणाम बताते हैं कि मजबूत मॉडल कई अलग-अलग मानदंडों को पास कर सकते हैं जबकि अभी भी पूरी तरह से कार्यों के केवल एक छोटे हिस्से को पूरा करते हैं, खासकर जब अनुरोधों में व्यापक समन्वित रिपॉजिटरी संपादन की आवश्यकता होती है।
Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models कोडिंग एजेंटों के लिए एक बेंचमार्क है जिन्हें उपयोगकर्ता अनुरोधों से वास्तविक अनुप्रयोगों का संशोधन करना चाहिए। यह डेवलपर्स और AI शोधकर्ताओं के लिए उपयोगी है क्योंकि यह जांचता है कि क्या चल रहा एप्लिकेशन स्पष्ट स्वीकृति मानदंडों को पूरा करता है या नहीं।
वास्तविक उपयोगकर्ता अनुरोध प्रारंभ बिंदु निर्धारित करते हैं
बेंचमार्क का निर्माण 26,314 वास्तविक उपयोगकर्ता कोडिंग सत्रों और 37,463 डीडुप्लीकेट किए गए प्रश्नों से किया गया था। इसमें 273 कार्य और 2,331 विशेषज्ञ-लेखित स्वीकृति मानदंड शामिल हैं। प्रत्येक कार्य एक ऐसे एप्लिकेशन के साथ शुरू होता है जो चल सकता है। एजेंट को उपयोगकर्ता के इरादे की व्याख्या करनी चाहिए, आवश्यक संपादन लागू करने होंगे, और सभी स्वीकृती मानदण्डों को पूरा करना होगा।
यह सेटअप एक एकल स्निपेट के बजाय कनेक्टेड एप्लीकेशन के भीतर परिवर्तनों का मूल्यांकन करता है। किसी स्थान पर बदलाव पाठ, लेआउट, स्थिति, डेटा प्रवाह या अन्यत्र कुल को प्रभावित कर सकता है.
दो ट्रैक स्थानीयकृत और रिपॉजिटरी-व्यापी संपादन को कवर करते हैं
Co- Design Bench में दो पूरक ट्रैक हैं। 100 Multimodal Editing कार्यों को एनोटेटेड स्क्रीनशॉट के आधार पर स्थानीय परिवर्तनों की आवश्यकता होती है, और उनमें छवि, ऑडियो, वीडियो या दस्तावेज़ इनपुट शामिल हो सकते हैं। 173 Repository Editing कार्य घटकों, मार्गों, राज्य, डेटा प्रवाह और सामग्री में जुड़े बदलावों के लिए पूछते हैं।
उदाहरणों में एक वीडियो में देखे गए विभिन्न टेक्स्ट एनिमेशन को फिर से बनाना, रसीद का उपयोग करके डैशबोर्ड को ठीक करना और उस पर निर्भर कुल अपडेट करना या ऐप के माध्यम से लेआउट और इंटरैक्शन परिवर्तनों का समन्वय करना शामिल है। टास्क प्रकारों में Grounded Understanding, UI Transformation और Functional Implementation शामिल हैं, और एक अनुरोध इनमें से कई क्षमताओं को जोड़ सकता है।
न्यायाधीश-तब-प्रतिकार प्रोटोकॉल कार्य सुविधाओं के लिए दिखता है
मूल्यांकन एक संदर्भ-मुक्त जज-तब-रिफ्यूज़ प्रोटोकॉल का पालन करता है। यह स्रोत कोड और ब्राउज़र साक्ष्य के साथ छिपे हुए स्वीकृति मानदंडों की जांच करता है. दूसरा सत्यापनकर्ता किसी भी सकारात्मक निर्णय पर सवाल उठाता है जो स्टब्स, हार्डकोडेड आउटपुट, अप्राप्य कार्यक्षमता या आवश्यकता असंगति पर निर्भर हो सकता है।
दृश्य दावों के लिए, साक्ष्य लेखा परीक्षाओं में स्क्रीनशॉट की आवश्यकता होती है; इंटरैक्शन दावे के लिए उन्हें रिकॉर्ड किए गए ब्राउज़र क्रियाओं की आवश्यकता होगी। बेंचमार्क को गोल्ड कार्यान्वयन या टारगेट स्क्रीनशॉट्स की आवश्यकता नहीं होती है, जो इस बात पर ध्यान केंद्रित करता है कि क्या वितरित एप्लिकेशन अनुरोधित व्यवहार करता है।
परिणाम दिखाते हैं कि आंशिक सफलता अपूर्ण प्रसव को छिपा सकती है
परीक्षण में एक साझा एजेंटिक हार्नेस में 10 मॉडल एंडपॉइंट्स का उपयोग किया गया था। अंत बिंदुओं के बीच, gpt-6-astra ने सबसे अच्छा प्रदर्शन किया, प्रति कार्य 69.9% मानदंडों को पारित करते हुए औसतन। हालांकि, यह केवल 26.4% कार्यों को पूरी तरह से संतुष्ट करता है। वह अंतर मायने रखता हैः एक एजेंट कई जांच पास कर सकता है जबकि अभी भी उपयोगकर्ता द्वारा अनुरोधित पूर्ण संशोधन गायब हो जाता है।
Qwen3.8-27B रिकॉर्ड करता है 64.4% कुल मिलाकर कड़ाई से पूरा, चौथे स्थान पर समग्र। यह इस मूल्यांकन में उस ट्रैक पर Repository Editing स्कोर करता है और केवल पाठ Multimodal Editing सबसे ऊपर होता है । स्रोत नोट्स कि रैंकिंग संपादन सेटिंग के साथ भिन्न होती है, और छोटे रिपॉजिटरी-ट्रैक स्कोर अंतर एक सामान्य मॉडल लाभ स्थापित नहीं करते हैं।
परीक्षण किए गए प्रत्येक एंडपॉइंट के लिए, तीन या चार संपादन प्रकारों को कवर करने वाले रिपोजिटरी अनुरोधों पर एक या दो संपादित करने वाले अनुरोधों की तुलना में मानदंड पूर्णता कम हो जाती है। इससे पता चलता है कि व्यापक समन्वित परिवर्तन अधिक स्थानीयकृत संपादन से कठिन रहते हैं।
एक अलग उप-समूह मूल्यांकन के दायरे को स्पष्ट रखता है
ME-96 उपसमूह का एक अलग दायरा हैः इसमें 96 Multimodal Editing कार्य और 521 स्वीकृति मानदंड शामिल हैं, जो पूर्ण 273-कार्य पेपर मूल्यांकन से अलग है। बिल्डरों को परिणाम पढ़ने की जांच करनी चाहिए कि स्कोर की तुलना करने से पहले किस कार्य सेट पर चर्चा की जा रही है।
रिलीज़ प्रोजेक्ट और डेमो, एक पेपर, कोड और मूल्यांकन और डेटासेट की ओर इशारा करती है। यह शोधकर्ताओं और बिल्डरों का स्वागत करता है जो कोडिंग एजेंट्स, मल्टीमॉडल ग्राउंडिंग और विश्वसनीय एप्लिकेशन संपादन पर काम करते हैं ताकि वे बेंचमार्क आज़मा सकें और निष्कर्ष साझा कर सकें।
मेटा विवरण: सह- Design Bench 273 वास्तविक मल्टीमोडल एप्लिकेशन संपादन कार्यों पर स्वीकृति मानदंड और बिल्डरों के लिए काम करने वाले ऐप चेक के साथ कोडिंग एजेंट का मूल्यांकन करता है।
टैगः कोडिंग एजेंट, मल्टीमोडल संपादन, अनुप्रयोग संपादन, बेंचमार्क, AI मूल्यांकन
विशेष रुप से प्रदर्शित छवि: एक चैट विंडो का अमूर्त मैत्रीपूर्ण चित्रण, स्क्रीनशॉट, वीडियो क्लिप और कोड फ़ाइलें जो काम करने वाले ऐप इंटरफेस से जुड़ती हैं, कोई वास्तविक व्यक्ति नहीं है, न ही लोगो या पाठ।

Comments (0)