पेपरबेंचः यह आकलन करना कि AI कितनी अच्छी तरह से AI अनुसंधान को पुनः पेश कर सकता है
पेपरबेंच एक बेंचमार्क है जिसका उद्देश्य यह मूल्यांकन करना है कि AI एजेंट अत्याधुनिक अनुसंधान को कितनी अच्छी तरह से दोहरा सकते हैं। पारंपरिक क्विज़-शैली के आकलनों के विपरीत, प्रतिकृति में घने कागजात पढ़ना, पूर्ण कोड के बिना विधियों का पुनर्निर्माण करना, प्रयोग चलाना और परिणामों की तुलना करने की आवश्यकता होती है। इससे व्यापक दक्षता समझने, योजना बनाने, कोडिंग और निर्णय के संयोजन का एक कठिन परीक्षण होता है। जैसा कि बेंच मार्क्स AI विकास प्राथमिकताओं को आकार देते हैं, PaperBench संकेत देता है कि फ्रंटियर प्रश्न यह है कि क्या एजेंट वास्तविक वैज्ञानिक और इंजीनियरिंग कार्य कर सकते हैं?
पेपरबेंच क्या है और यह क्यों मायने रखता है
यदि आप AI उपकरणों की दुनिया का अनुसरण करते हैं, तो आपने शायद देखा होगा कि लगभग हर हफ्ते नए बेंचमार्क दिखाई देते हैं। उनमें से कई क्विज़ प्रश्नों के उत्तर देने, कोड स्निपेट लिखने या पेशेवर परीक्षा उत्तीर्ण करने जैसी चीजों को मापते हैं। पेपरबेन्च एक अलग और यकीनन कठिन दृष्टिकोण लेता हैः यह मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंच मार्क है कि AI एजेंट राज्य-ऑफ-द-आर्ट अनुसंधान AI को कितनी अच्छी तरह दोहरा सकते हैं।
यह एक वाक्य मूल विचार का वर्णन करता है, लेकिन इसे अनपैक करने लायक है, क्योंकि प्रतिकृति सबसे अधिक मांग वाले कार्यों में से एक है जिसे आप मशीन को सौंप सकते हैं। यह लेख किसी के लिए भी उत्सुक है कि AI क्षमता कैसे मापी जाती है, अनुसंधान प्रतिलिपि इतना कठोर परीक्षण क्यों है और पेपरबेंच जैसे बेंचमार्क हमें बताता है कि आज AI एजेंट कहां खड़े हैं।
अनुसंधान को दोहराना इतना कठिन परीक्षण क्यों है
एक प्रकाशित शोध पत्र का पुनरुत्पादन करना ज्ञात उत्तर के साथ पहेली को हल करने से बहुत अलग है। जब शोधकर्ता किसी अध्ययन की नकल करते हैं, तो उन्हें आमतौर पर एक बार में कई चीजें करने की आवश्यकता होती हैः
- कागज को पढ़ें और समझें। वैज्ञानिक लेखन घना है, और महत्वपूर्ण विवरण अक्सर फुटनोटों, परिशिष्टों या उद्धृत पहले के काम में रहते हैं।
- विधि का पुनर्निर्माण करें। कई कागजात पूर्ण कोड जारी नहीं करते हैं, इसलिए एक प्रतिकृति को लिखित विवरण को कामकाजी कार्यान्वयन में बदलना पड़ता है।
- प्रयोग चलाएँ। इसमें महत्वपूर्ण कंप्यूटिंग संसाधन, सावधानीपूर्वक डेटा हैंडलिंग और लंबे प्रशिक्षण समय शामिल हो सकते हैं।
- परिणामों की तुलना करें। अंतिम चरण यह जांचना है कि क्या आपके द्वारा उत्पादित संख्याएँ वास्तव में कागज पर दी गई संख्याओं से मेल खाती हैं, उचित सहिष्णुता के भीतर।
इन चरणों में से प्रत्येक अनुभवी मानव शोधकर्ताओं को भी ठोकर मारता है। यही कारण है कि प्रतिकृति AI एजेंटों के लिए एक आकर्षक मानदंड हैः यह पढ़ने की समझ, योजना, कोडिंग, निष्पादन और निर्णय को एक ही कार्य में जोड़ती है। एक एजेंट जो वास्तव में अत्याधुनिक अनुसंधान की नकल कर सकता है वह व्यापक और लचीले प्रकार की क्षमता का प्रदर्शन करेगा, न कि JUST संकीर्ण कौशल।
कैसे इस तरह के एक बेंचमार्क व्यवहार में काम करता है
जबकि पेपरबेंच का औपचारिक विवरण सरल है - AI एजेंटों को अत्याधुनिक अनुसंधान की नकल करने की उनकी क्षमता पर मूल्यांकन करें। इस परिवार में AI बेंचमार्क आम तौर पर एक सामान्य आकार साझा करते हैं। एजेंट को लक्ष्य कागज (और कभी-कभी सहायक सामग्री), कोड और कंप्यूटिंग के साथ एक कार्य वातावरण, और एक समय सीमा या बजट दिया जाता है। इसके बाद उनके आउटपुट को मूल अध्ययन के परिणामों के खिलाफ स्कोर किया जाता है.
कुछ चीजें ईमानदारी से यहां चिह्नित करने लायक हैं। पेपरबेंच में शामिल कागजात की सटीक सूची, इसकी स्कोरिंग रबर और इसके प्रकाशित परिणाम विवरण हैं जिन्हें मैं केवल स्रोत सामग्री से पुष्टि नहीं कर सकता हूं, इसलिए मैं संख्याओं का आविष्कार नहीं करूंगा। जो विश्वास के साथ कहा जा सकता है वह बेंचमार्क का घोषित उद्देश्य हैः यह मापता है कि क्या AI एजेंट आधुनिक अनुसंधान ले सकते हैं और इसे पुनः पेश कर सकते हैं।
यह फ्रेमिंग ही महत्वपूर्ण है। AI मूल्यांकन की पिछली पीढ़ियों ने निश्चित उत्तरों के साथ स्थिर प्रश्नों पर बहुत अधिक भरोसा किया था। प्रतिकृति बेंचमार्क इसके बजाय ओपन-एंडेड इंजीनियरिंग कार्य के करीब कुछ परीक्षण करते हैं, जहां एजेंट को अनिश्चितता का प्रबंधन करना चाहिए, अपनी गलतियों को डिबग करना चाहिए और निर्णय लेना चाहिए कि परिणाम कब गिनने के लिए "पर्याप्त" है।
AI परिदृश्य के लिए इसका क्या अर्थ है
बेंचमार्क प्राथमिकताओं को आकार देते हैं। जब एक नया मूल्यांकन ध्यान आकर्षित करता है, तो प्रयोगशालाएं और उपकरण निर्माता इसके लिए अनुकूलन करना शुरू करते हैं, और उपयोगकर्ताओं को वर्तमान प्रणालियों की क्या कर सकते हैं और क्या नहीं कर सकते इसकी स्पष्ट तस्वीर मिलती है। अत्याधुनिक AI अनुसंधान को दोहराने पर केंद्रित एक बेंचमास्टर एक स्पष्ट संकेत भेजता हैः फ्रंटियर प्रश्न अब "एक मॉडल चैट कर सकता है? ", लेकिन" क्या एक स्वायत्त एजेंट वास्तविक वैज्ञानिक और इंजीनियरिंग कार्य कर सकता हैं?"
AI उपकरणों के दैनिक उपयोगकर्ताओं के लिए, यह एक व्यावहारिक तरीके से मायने रखता है। यदि एजेंट पेपरबेंच जैसे कार्यों में सुधार करते हैं, तो समान अंतर्निहित क्षमताएं (लंबी क्षितिज योजना, कोड निष्पादन, सावधानीपूर्वक सत्यापन) अधिक सामान्य सेटिंग्स में भी दिखाई देती हैं, जैसे कि डेटा पाइपलाइन को स्वचालित करना या लिखित विनिर्देश से एक छोटा APP बनाना।
एक सावधानी भी ध्यान देने योग्य है। मजबूत बेंचमार्क प्रदर्शन का मतलब यह नहीं है कि स्वचालित रूप से कोई एजेंट परीक्षण के बाहर विश्वसनीय व्यवहार करेगा। प्रतिकृति कार्यों में अंतर्निहित उत्तर कुंजी (मूल पेपर के परिणाम) होती है, जो स्कोरिंग को संभव बनाती है, लेकिन वास्तविक दुनिया की परियोजनाएं शायद ही कभी इस तरह के स्वच्छ संदर्भ के साथ आती हैं। एक डेटा बिंदु के रूप में बेंच मार्क लाभों का इलाज करें, गारंटी नहीं।
टेकअवे
PaperBench हमारे AI का मूल्यांकन करने के तरीके में एक सार्थक कदम को दर्शाता है: प्रश्नों का उत्तर देने के लिए मॉडलों से पूछने के बजाय, यह उन्हें अत्याधुनिक अनुसंधान को पुनः पेश करने की मांग, बहु-चरण कार्य करने के लिए कहता है। शोधकर्ताओं के लिए, यह एक कठोर मापदंड प्रदान करता है। हममें से बाकी लोगों के लिए यह उन कौशल का पूर्वावलोकन देता है जो भविष्य के AI सहायकों को प्रशिक्षित और परीक्षण किए जा रहे हैं।
मेटा विवरणः पेपरबेंच AI एजेंटों का मूल्यांकन अत्याधुनिक अनुसंधान को दोहराने पर करता है। यहां बेंचमार्क क्या है और यह क्यों महत्वपूर्ण है। (148 वर्ण)
टैगः कागज का टुकड़ा, AI बेंचमार्क एजेंट, अनुसंधान प्रतिकृति
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> robot का एक अनुकूल अमूर्त चित्रण जो फ्लोटिंग चार्ट, डेटा पॉइंट्स और प्रयोगशाला ग्लासवेयर से घिरे चमकते शोध पत्र का अध्ययन कर रहा है, नरम पेस्टल रंगों में, बिना वास्तविक लोगों, लोगो या पाठ के।
Comments (0)