कैसे UK AISI और EvalEval Reproducible बेंचमार्क परिणाम सुनिश्चित करने के लिए काम कर रहे हैं
UK AI Security इंस्टीट्यूट और EvalEval अपनी साझेदारी को गहरा कर रहे हैं सत्यापित, पुनरुत्पादित प्रकाशित करके AI मूल्यांकन परिणामों के माध्यम से ईवलएवल का Evaluation Cards मंच। एआईएसआई ने हेल्थबेंच, फ्रंटियरमैथ, एसडब्ल्यूई-Bench Pro और अधिक में जीपीटी -5.4 और Claude Opus 4.6 सहित मॉडलों के लिए बेंचमार्क डेटा जारी किया है, साथ ही एक नया पेपर भी है कि कैसे अनुमान गणना मानक, पारदर्शी मूल्यांकन रिपोर्टिंग को बढ़ावा देकर बेंच मार्क प्रदर्शन को प्रभावित करती है।
UK AI Security संस्थान (AISI) और EvalEval वास्तविक दुनिया के उपयोग में साझा रिपोर्टिंग बुनियादी ढांचे को डालकर अपने सहयोग का विस्तार कर रहे हैं। शोधकर्ताओं, मॉडल डेवलपर्स और नीति विश्लेषकों की ट्रैकिंग AI क्षमताओं के लिए, इस साझेदारी का मतलब सत्यापित, पुनरुत्पादित बेंचमार्क परिणामों तक आसान पहुंच है। AISI ने GPT- 5.4 और Claude Opus 4.6 जैसे फ्रंटियर मॉडलों के परिणामों सहित विस्तृत मूल्यांकन डेटा जारी किया है।
पुनरुत्पादित मूल्यांकन रिपोर्टिंग क्यों मायने रखती है
जैसा कि AI सिस्टम को तेजी से और अधिक व्यापक रूप से तैनात किया जाता है, मूल्यांकन इस बारे में साक्ष्य का एक प्रमुख स्रोत बन गया है कि मॉडल वास्तव में कैसे प्रदर्शन करते हैं। लेकिन एक समस्या हैः परिणाम अनगिनत प्रारूपों, प्लेटफार्मों और आउटलेट्स पर प्रकाशित होते हैं, अक्सर उन्हें पुनः पेश करने के लिए बहुत कम विवरण के साथ। और पुनरावृत्ति मूल्यांकन बेहद महंगा हो सकता है, जिससे स्वतंत्र सत्यापन मुश्किल होता है।
EvalEval का मिशन इस पारिस्थितिकी तंत्र को ठीक करना है। यह एक साझा रिपोर्टिंग स्कीमा प्रदान करता है जिसे हर इवल एवर (ईईए) और एक खुला मंच बुलाया मूल्यांकन कार्ड, जो मूल्यांकन के परिणाम और उन्हें एक सुसंगत संरचना में व्याख्या करने के लिए आवश्यक संदर्भ लाते हैं।
यह सहयोग एआईएसआई द्वारा पहले से किए गए कार्य पर आधारित है जिससे फील्ड मूल्यांकन को और अधिक कुशल बनाया जा सके। OptStop, अधिक सांख्यिकीय रूप से सख्त के साथ HiBayESसाथ में, दोनों संगठन पहचान रहे हैं कि मूल्यांकन रिपोर्टिंग कहां कम है और उन अंतरालों को बंद करने के लिए आवश्यक साझा बुनियादी ढांचे का निर्माण कर रहा है।
क्या AISI Is Making सार्वजनिक
ट्रांसक्रिप्ट स्तर पर पारदर्शिता JUST से अधिक reproducibility के लिए मायने रखती है यह गहन विश्लेषण और निदान का भी समर्थन करती है। साझेदारी के इस नए चरण में, एआईएसआई सार्वजनिक रूप से रिपोर्ट किए गए मूल्यांकन विधियों और निष्कर्षों को प्रकाशित कर रहा है Evaluation Cards जहां उपयुक्त हो।
इस विज्ञप्ति में कागज के मुख्य प्रयोग में प्रदर्शित पांच बेंचमार्क के लिए सत्यापित परिणाम, संदर्भ और विन्यास विवरण शामिल हैंः
- हेल्थबेंच
- फ्रंटियरमैथ
- मानवता की अंतिम परीक्षा
- SWE-बेंच प्रो
- टर्मिनल-बेंच 2.0
इन परिणामों में छह सीमांत मॉडल शामिल हैंः Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5 , जीपीटी- 5.2, और GPT- 5.4। दो संबंधित साइबर मूल्यांकन Cyber CTFs और The Last Ones भी शामिल हैं, हालांकि वे अलग-अलग, आंशिक रूप से ओवरलैपिंग मॉडलों के सेट को कवर करते हैं।
ये सभी आंकड़े एआईएसआइ के कागज के साथ हैं, जो कि इस प्रकार है कैसे अनुमान गणना आकृति सीमा LLM मूल्यांकन, जो इस बात की जांच करता है कि कैसे बेंचमार्क प्रदर्शन अनुमान-समय गणना और मूल्यांकन प्रोटोकॉल पर निर्भर करता है। एक उल्लेखनीय खोजः इन कारकों के आधार पर मानवता Last Exam का प्रदर्शन ध्यान देने योग्य रूप से बदल जाता है। जब मॉडल को प्रत्येक प्रयास के बाद ओरेकल से शुद्धता प्रतिक्रिया प्राप्त होती थी, तो वे token उपयोग में वृद्धि के साथ अतिरिक्त कार्यों को हल करते रहे।
क्षेत्र के लिए खुले परिणामों का क्या अर्थ है
जब परिणामों को सेटअप जानकारी के साथ खुले तौर पर जारी किया जाता है, तो शोधकर्ता व्यक्तिगत अध्ययनों में अधिक बारीकी से खोद सकते हैं और व्यापक पारिस्थितिकी तंत्र में निष्कर्षों की तुलना कर सकते हैं। जहां अन्य प्रकाशित रिपोर्टों में इन विवरणों का अभाव होता है, एआईएसआई जैसी सत्यापित रिलीज़ें संदर्भ बिंदुओं के रूप में कार्य करती हैंउदाहरण के लिए, शोधकर्ताओं को यह समझने में मदद करना कि कैसे सेटअप विकल्प रिपोर्ट किए गए प्रदर्शन को प्रभावित कर सकता है। ईईए स्कीमा को जितना अधिक मूल्यांकनकर्ता अपनाते हैं, उतनी ही खुली तुलना क्षेत्र भर में व्यापक, अधिक विश्वसनीय मेटा-अनुसंधान का समर्थन कर सकती है।
एआईएसआई को उम्मीद है कि इस प्रकार की गोद लेने से आगे के मानकीकरण और इवलएवल तथा अन्य AI मूल्यांकन संगठनों के साथ साझा करने पर बल मिलेगा।
आप कैसे योगदान दे सकते हैं
सहयोग विभिन्न समूहों को शामिल होने के लिए आमंत्रित करता हैः
- मॉडल डेवलपर्स सत्यापित मूल्यांकन परिणामों की रिपोर्ट कर सकते हैं।
- मूल्यांकन डेवलपर्स स्कीमा Every Eval Ever का उपयोग करके बेंचमार्क प्रकाशित कर सकते हैं और डेटा चला सकते हैं।
- मूल्यांकन, शासन और नीति शोधकर्ता बेंचमार्क या मॉडल द्वारा Evaluation Cards का पता लगा सकते हैं, या मूल्यांकन रिपोर्टिंग की समग्र स्थिति का आकलन करने के लिए मंच का उपयोग कर सकते हैं।
सम्मिलित संगठनों के बारे में
द EvalEval गठबंधन मूल्यांकन पारिस्थितिकी तंत्र के लिए वैज्ञानिक रूप से आधारित अनुसंधान और मजबूत तैनाती अवसंरचना का निर्माण करने वाला एक शोध समुदाय है। इसकी प्रमुख परियोजनाएं15Every Eval Ever, मूल्यांकन परिणामों के लिए एक साझा स्कीमा और रिपॉजिटरी, और Evaluation Cards, जो बेंचमार्क मेटाडेटा, मूल्यांकन-रन डेटा और मॉडल मेटाडाटा को व्याख्या योग्य रिकॉर्ड में जोड़ती हैं यह स्पष्ट करने में मदद करें कि जब समान स्कोर वास्तव में सार्थक अलग परिस्थितियों में उत्पन्न हुए थे।
द UK AI सुरक्षा संस्थान सरकार के विज्ञान, नवाचार और प्रौद्योगिकी विभाग में बैठता है। इसका मिशन सरकारों को अनुसंधान और बुनियादी ढांचे के माध्यम से उन्नत AI द्वारा उत्पन्न जोखिमों की वैज्ञानिक समझ प्रदान करना है जो क्षमताओं और प्रभावों की जांच करते हैं, शमन का परीक्षण करते हैं और नीति को सूचित करते हैं।
Comments (0)