Common Weakness Enumeration Benchmark का दूसरा संस्करण व्यापक कवरेज, बेहतर गुणवत्ता और अधिक पारदर्शिता प्रदान करता है।
Collinear AI का CWE-बेंच v2 100 सार्वजनिक कार्यों, प्रोग्रामेटिक स्कोरिंग, एक होल्ड आउट सेट और AI सुरक्षा परिणामों के साथ कवरेज का विस्तार करता है।
मुख्य जानकारी
- Collinear AI CWE-बेंच v2 जारी किया, 100 सुरक्षा कार्यों के साथ एक सार्वजनिक बेंचमार्क जो परीक्षण करता है कि क्या AI एजेंट मौजूदा कार्यक्षमता को संरक्षित करते हुए वास्तविक ओपन सोर्स कोड में कमजोरियों का पता लगा सकते हैं और उन्हें ठीक कर सकते हैं।
- बेंचमार्क 91 सीडब्ल्यूई में व्यापक कवरेज प्रदान करता है, पूरी तरह से प्रोग्रामेटिक और पुनरुत्पादित स्कोरिंग, क्यूरेटेड टास्क-क्वालिटी चेक, और अनदेखी कार्यों पर प्रगति को ट्रैक करने के लिए आयोजित सेट।
- 11 मॉडलों के परिणामों से पता चलता है कि मिथुन 4 आर्गन 67.8% पास @ 1 और 81.0% पास @ 4, संकीर्ण रूप से आगे Claude Opus 5.5 के साथ अग्रणी है, जबकि 95 कार्य कम से कम एक मॉडल द्वारा हल किए जाते हैं लेकिन शीर्ष मॉडल अभी भी हर प्रयास पर कार्यों में विफल रहता है।
- लागत एक महत्वपूर्ण कारक हैः DeepSeek V4.1 फ्लैश केवल $0.04 प्रति रोलआउट पर 57.0% पास @ 1 तक पहुंचता है, जबकि मजबूत मॉडल जैसे Claude Opus 5.5 और मिथुन 4 आर्गन को बहुत अधिक रोलऑट लागत की आवश्यकता होती है।
- ये कार्य Harbor on Hugging Face के माध्यम से Dockerized वातावरण और निर्धारक सत्यापनकर्ताओं के साथ चलाए जाते हैं, और वे रक्षात्मक AI कोडिंग एजेंटों के लिए सुदृढीकरण-शिक्षण शैली प्रशिक्षण का भी समर्थन कर सकते हैं।
मेटा विवरण: Collinear AI 100 सार्वजनिक सुरक्षा कार्यों, प्रोग्रामेटिक स्कोरिंग, होल्ड-आउट सेट और जेमिनी और क्लाउड सहित 11 मॉडल के परिणामों के साथ सीडब्ल्यूई-बेंच वी 2 खोलता है।
टैग: CWE-बेंच v2, AI सुरक्षा बेंचमार्क, Collinear AI, हार्बर, मॉडल मूल्यांकन
विशेष रुप से प्रदर्शित छवि: CWE-बेंच v2 सुरक्षा कार्यों का प्रतिनिधित्व करने वाले एक डिजिटल लॉक और कोड पहेली का अमूर्त मैत्रीपूर्ण चित्रण, बिना लोगों के, बिना लोगो और बिना पाठ के।
Collinear AI ने सीडब्ल्यूई-बेंच वी 2 खोला है, एक सार्वजनिक बेंचमार्क जो शोधकर्ताओं और मॉडल बिल्डरों को यह परीक्षण करने की अनुमति देता है कि क्या AI एजेंट वास्तविक ओपन सोर्स कोड में सुरक्षा कमजोरियों का पता लगा सकते हैं और उन्हें ठीक कर सकते हैं। रिलीज किसी को भी 100 कार्य प्रदान करता है जिन्हें हब पर प्रोग्रामेटिक रूप से चलाया और स्कोर किया जा सकता है, परिणामों को पुनः पेश करने के लिए कोई अतिरिक्त लागत नहीं।
बेंचमार्क मॉडल को क्या करने के लिए कहता है
CWE-बेंच v2 पहले की तरह ही कार्य सेटअप रखता है। एक एजेंट को वास्तविक ओपन-सोर्स रिपॉजिटरी का चेकआउट और एक संक्षिप्त निर्देश प्राप्त होता है। इसका काम मौजूदा कार्यक्षमता को तोड़ने के बिना सुरक्षा कमजोरी ढूंढना और ठीक करना है। बेंचमार्क सीमांत साइबर क्षमताओं की सीमाओं का परीक्षण करने के लिए है, यहां उन्नत सुरक्षा से संबंधित मॉडल क्षमताओं के लिए इस्तेमाल किया जाने वाला वाक्यांश।
सार्वजनिक सेट में 91 अलग-अलग सीडब्ल्यूई शामिल हैं जो कमजोर वर्गों की एक विस्तृत श्रृंखला को कवर करते हैं। लक्ष्य संपूर्ण कवरेज है: एक रक्षक को हर बार हमलावर के प्रवेश और सफल होने के तरीकों का अनुमान लगाना चाहिए। यहां अच्छा प्रदर्शन करने वाले मॉडल को कई कमजोरी सतहों को समझना होगा, न कि केवल परिचित पैटर्न को पहचानें।
स्कोरिंग पूरी तरह से प्रोग्रामेटिक है, इसलिए परिणाम निर्धारक और पुनरुत्पादित हैं। परीक्षणों को कठोरता और निष्पक्षता की ओर धकेलने के लिए LLM न्यायाधीश पैनलों के साथ क्यूरेट किया गया था। Collinear AI कार्यों का एक आयोजित सेट भी बनाए रखता है जिसे किसी मॉडल ने नहीं देखा है, ताकि यह सार्वजनिक कार्यों के बाहर प्रगति को ट्रैक करना जारी रख सके। होल्ड-आउट सेट पर एक मॉडल का मूल्यांकन करने के लिए, संपर्क करें [email protected] ।
कार्य की गुणवत्ता कैसे जांची जाती है
प्रत्येक कार्य के लिए, Collinear AI ने जांच की कि कई शर्तें सही थीं। निर्देश को एक यथार्थवादी निर्देश के रूप में पढ़ा जाना चाहिए, मूल्यांकन सेटिंग नहीं है। हर ग्रेडेड व्यवहार निर्देश से अनुमानित होना चाहिए। सत्यापनकर्ता को किसी फिक्स की एक विशिष्ट संरचना के बजाय सही व्यवहार की जांच करनी चाहिए। स्टार्टर कोड विफल होना चाहिए, जबकि संदर्भ फिक्स पास करना होगा। मूल कार्यक्षमता अभी भी नए फिक्स के बाद काम करना चाहिए। वेरिफायर को ज्ञात अपस्ट्रीम पैच जैसे याद किए गए समाधानों को भी असफल कर देना चाहिए।
प्रत्येक कार्य को मैन्युअल रूप से समीक्षा भी की गई। सेट का ओपन सोर्सिंग गुणवत्ता में सुधार के लिए एक ही प्रयास का हिस्सा है, और कंपनी सार्वजनिक सेट में किसी भी कार्य और योगदान पर प्रतिक्रिया का स्वागत करती है।
परिणाम अब तक क्या दिखाते हैं
परिणामों को हब पर दो स्थानों में ट्रैक किया जाता है। सीडब्ल्यूई-बेंच डेटासेट पृष्ठ पर लीडरबोर्ड अपने आप से खुले वजन वाले मॉडल और अपडेट को कवर करता है। लैब्स और समुदाय एक परिणाम फ़ाइल के साथ मॉडल की रिपॉजिटरी पर पुल अनुरोध खोलकर परिणाम जोड़ सकते हैं। पूर्ण तुलना के लिए, जिसमें एपीआई-केवल मॉडल जैसे कि मिथुन, क्लाउड और जीपीटी शामिल हैं, सीडब्ल्यूई-बेन्च लीडर बोर्ड स्पेस अंतरिक्ष पर एक पुल अनुरोध के माध्यम से नए मॉडल जोड़ता है।
मूल्यांकन किए गए 11 मॉडलों में से, मिथुन 4 आर्गन 67.8% पास@1 और 81.0% पास@4 के साथ अग्रणी है, जो Claude Opus 5.5 से ठीक आगे है, जिसने 67.3% पास @ 1 और 78.0% पास @ 4 स्कोर किया है। यहां, pass@1 का मतलब एक प्रयास पर सफलता है, जबकि pass@4 का अर्थ चार प्रयासों के भीतर सफलता है।
95 कार्यों को कम से कम एक मॉडल द्वारा हल किया जाता है, जो सुझाव देता है कि कार्य सुलझाने योग्य हैं। लेकिन यहां तक कि नेता भी हर प्रयास में सेट की विफलता 19% करता है, इसलिए लंबी पूंछ हल होने से बहुत दूर है। सार्वजनिक सेट, ग्रेडर और हार्नेस खुले हैं, इसलिए कोई भी एक मॉडल चला सकता है और देख सकता है कि यह कहां खड़ा है।
लागत चित्र का हिस्सा है। Collinear AI फ्लैश (1017), AI 67.8% और जेमिनी 4 आर्गन पारेटो सीमा बनाते हैं, जिसका अर्थ है कि वे पास @ 1 प्रदर्शन और रोलआउट लागत के बीच सबसे मजबूत रिपोर्ट किए गए व्यापार-बंद दिखाते हैं। डीपसेक प्रति रोलऑट पर $0.04 में 57.0% pass@1 तक पहुंचता है, जहां एक रोलओट एक कार्य पर चलने वाला एक मॉडल होता है। Claude Opus 5.5 $1.83 में दस अंक जोड़ता है और मिथुन 4 अर्गॉन किनारों से आगे बढ़ता है $3.92 ।
हब से इसे कैसे चलाएं
प्रत्येक कार्य एक स्व-निहित हार्बर कार्य है, जिसमें डॉकरिज़्ड वातावरण, एक निर्देश और एक निर्धारक सत्यापनकर्ता होता है। डेटासेट एक registry.json फ़ाइल भेजता है, इसलिए Harbor पूरे बेंचमार्क को सीधे Hugging Face रेपो से चला सकता है बिना स्वयं कुछ भी क्लोन किए।
-k4 के साथ एक कमांड प्रति कार्य 4 प्रयास चलाता है, और रिपोर्ट किए गए स्कोर सभी 400 परीक्षणों पर औसत इनाम होता है। डेटासेट गेट किया गया है, इसलिए उपयोगकर्ताओं को पहले डाटासेट पेज पर इसकी एक्सेस शर्तें स्वीकार करनी चाहिए। हार्बर गिट के साथ कार्यों को प्राप्त करता है, ताकि उपयोगकर्ताओं को भी अपनी Hugging Face टोकन को गिट की क्रेडेंशियल हेल्पर में एक बार सहेजने की आवश्यकता हो।
कार्यों को आरएल-पर्यावरण भी टैग किया जाता है. इसका मतलब यह है कि वही वातावरण और सत्यापनकर्ता रक्षात्मक एजेंटों के प्रशिक्षण के लिए पुरस्कार प्रदान कर सकते हैं, न केवल उनका मूल्यांकन करने के लिए। टीमों के निर्माण AI कोडिंग एजेंट्स के लिए, सीडब्ल्यूई-बेंच वी 2 अब एक सार्वजनिक, पुनरुत्पादित तरीका प्रदान करता है सुरक्षा फिक्सिंग क्षमता को मापने के लिए जबकि अभी भी हल करने की कठिन लंबी पूंछ छोड़ते हुए।

Comments (0)