परिचय SWE-बेंच सत्यापित
OpenAI ने मूल एसडब्ल्यूई-बेंच बेंचमार्क का एक मानव-सत्यापित उपसमूह, SWE-Bench Verified जारी किया। प्रत्येक कार्य को सही और स्पष्टता के लिए मैन्युअल रूप से जांचा गया है, दोषपूर्ण या अस्पष्ट आइटम हटा दिए गए हैं। यह क्यूरेटेड dataset डेवलपर्स और शोधकर्ताओं को वास्तविक software बगों को ठीक करने के लिए AI मॉडल की क्षमता की तुलना करने का अधिक विश्वसनीय तरीका प्रदान करता है, जो खराब डेटा के कलाकृतियों के बजाय वास्तविक समस्या समाधान कौशल को दर्शाता है।
OpenAI ने SWE-बेंच के एक नए, मानव-सत्यापित उपसमूह को रोल आउट किया है जो यह अधिक विश्वसनीय चित्र देने के लिए डिज़ाइन किया गया है कि AI मॉडल वास्तविक software समस्याओं को कितनी अच्छी तरह ठीक कर सकते हैं।
मूल एसडब्ल्यूई-बेंच बेंचमार्क का व्यापक रूप से यह मापने के लिए उपयोग किया गया है कि मॉडल वास्तविक कोड रिपॉजिटरी से खींचे गए वास्तविक मुद्दों को कैसे संभालते हैं। हालांकि, इसके dataset में ऐसे आइटम शामिल थे जो दोषपूर्ण या अस्पष्ट थे, जिससे स्कोर से ठोस निष्कर्ष निकालना मुश्किल हो जाता था। यह क्यूरेटेड सबसेट उस कमजोरी को संबोधित करता है जिसमें लोग प्रत्येक कार्य की शुद्धता और स्पष्टता के लिए मैन्युअल रूप से जांच करते हैं।
परिणाम एक मूल्यांकन सेट है जहां प्रत्येक समस्या को मानव समीक्षकों द्वारा मान्य किया गया है, इसलिए इस पर स्कोर खराब डेटा की कलाकृतियों के बजाय वास्तविक समस्या-समाधान क्षमता का प्रतिबिंबित करते हैं। डेवलपर्स और शोधकर्ता इस परिष्कृत बेंचमार्क का उपयोग यथार्थवादी software इंजीनियरिंग कार्य पर मॉडलों की तुलना करने के लिए कर सकते हैं जो वास्तव में संख्याओं का क्या मतलब है।
संक्षेप में, यह रिलीज़ एक सरल प्रश्न का विश्वसनीय रूप से उत्तर देना आसान बनाता हैः क्या AI मॉडल वास्तव में एक सक्षम इंजीनियर की तरह वास्तविक बग को हल कर सकता है?
Comments (0)