ओपन फ्रंटियर्स खुला अनुसंधान समस्याओं का संग्रह और वैज्ञानिक पुनः खोज के लिए एक बेंचमार्क प्रस्तुत करता है
OpenFrontiers LLM एजेंटों की वास्तविक पुनः खोज बनाम वेब पुनर्प्राप्ति को मापने के लिए 200-प्रश्न लीन 4 बेंचमार्क के साथ 12,151 अनुसंधान समस्याओं को जोड़ता है।
मुख्य जानकारी
- ओपन फ्रंटियर्स 12,151 खुली अनुसंधान समस्याओं के एक क्रॉस-अनुशासनात्मक कोरपस का परिचय देता है, जिसमें बयान, संदर्भ और प्रगति की जानकारी शामिल है।
- यह 200 गणित समस्याओं का एक औपचारिक लीन 4 बेंचमार्क प्रदान करता है, जिसमें अधिक विश्वसनीय मूल्यांकन के लिए एचक्यू -50 जैसे गुणवत्ता-फ़िल्टर्ड उपसमूह होते हैं।
- बेंचमार्क LLM एजेंटों को बंद-पुस्तिका, जमे हुए पुनर्प्राप्ति और लाइव वेब सेटिंग्स में परीक्षण करता है ताकि ऑनलाइन समाधान पुनः प्राप्ति से वास्तविक खोज अलग हो सके।
- प्रारंभिक परिणामों से पता चलता है कि बंद-पुस्तक पुनः खोज दुर्लभ है, जबकि लाइव-वेब सफलता अक्सर स्वतंत्र तर्क के बजाय प्रकाशित समाधानों की पुनर्प्राप्ति को दर्शाती है।
मेटा विवरण: OpenFrontiers 12,151 शोध समस्याओं को 200-प्रश्न लीन~4 बेंचमार्क के साथ जोड़ती है ताकि बंद पुस्तक और लाइव वेब अनुसंधान समस्या समाधान पर LLM एजेंटों का परीक्षण किया जा सके।

टैग: ओपन फ्रंटियर्स, LLM बेंचमार्क, अनुसंधान समस्याएं, लीन~4, AI मूल्यांकन
चित्र: अमूर्त, मैत्रीपूर्ण चित्रण शैली: खुली किताबें, गणितीय प्रतीक, नेटवर्क नोड्स और एक सैंडबॉक्स मूल्यांकन कार्यक्षेत्र; कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
While LLMs ने जटिल वैज्ञानिक प्रश्नों पर बढ़ते हुए वादा दिखाया है, इस क्षेत्र में अभी भी ऐसी समस्याओं का एक व्यापक संग्रह और उनका मूल्यांकन करने के लिए एक स्पष्ट तरीका नहीं था।
खुली वैज्ञानिक समस्याओं का पता लगाने के लिए एक संग्रह
कॉर्पस 12,151 समस्याओं को रिकॉर्ड करता है। प्रत्येक प्रविष्टि के लिए, यह समस्या कथन, संदर्भ, प्रगति और अन्य जानकारी संग्रहीत करता है जो शोधकर्ताओं को यह समझने में मदद कर सकते हैं कि कोई समस्या कहां खड़ी है। इससे ओपनफ्रंटियर्स कठिन प्रश्नों की सूची से अधिक बन जाता हैः यह अनसुलझे अनुसंधान समस्याओं का अध्ययन करने के लिए एक क्रॉस-अनुशासनात्मक संसाधन है और AI सिस्टम उनके साथ जुड़ने का प्रयास करते हैं।
गुणवत्ता फ़िल्टर के साथ एक औपचारिक गणित बेंचमार्क
बेंचमार्क में 200 समस्याएं शामिल हैं: 110 को 2026 में हल किया गया है और 90 अभी भी खुली हुई हैं। प्रत्येक समस्या का प्रतिनिधित्व एक लीन ~ 4 कथन द्वारा किया जाता है, और प्रत्येक कथन की स्वचालित जांच और दो स्वतंत्र समीक्षाओं द्वारा जाँच की जाती है। लीन~ 4 यहां औपचारिक प्रमाण भाषा के रूप में उपयोग किया जाता ਹੈ, इसलिए समाधान इस तरह से व्यक्त किया जा सकता है जो केवल अनौपचारिक मानव निर्णय के बजाय सटीक जांच का समर्थन करता है।
एचक्यू -50 नामक एक उपसमूह गुणवत्ता स्कोर और अन्य गुणवत्ता से संबंधित कारकों के आधार पर आगे फिल्टर लागू करता है। यह छोटा सेट मूल्यांकन को अधिक सुसंगत नींव देता है, जिससे कमजोर रूप से निर्दिष्ट या खराब जांच की गई समस्याओं के परिणामों में हावी होने का जोखिम कम हो जाता है।
वेब पुनर्प्राप्ति से पुनः खोज को अलग करना
मूल्यांकन प्रोटोकॉल एक अलग सैंडबॉक्स में दो स्वतंत्र चेकर्स के साथ औपचारिक प्रमाणों को ग्रेड करता है। यह तीन सेटिंग्स की तुलना करता हैः बंद-पुस्तक, जमे हुए पुनर्प्राप्ति और लाइव-वेब। सादे शब्दों में, परीक्षण पूछता है कि क्या LLM एजेंट बाहरी मदद के बिना सही सबूत का उत्पादन कर सकता है, या नियंत्रित पुनः प्राप्ति संसाधन के साथ, या लाइव वेब सामग्री ब्राउज़ करते समय।
Seven LLM एजेंटों का मूल्यांकन एक मानकीकृत बजट के तहत HQ-50 उपसमूह पर किया गया था। परिणाम बताते हैं कि बंद-पुस्तक पुनः खोज दुर्लभ हैः 40 हल की गई समस्याओं में से अधिकतम 7 को बाहरी लुकअप के बिना फिर से खोजा गया। इसके विपरीत, लाइव-वेब सफलता ज्यादातर स्वतंत्र गणितीय पुनर्खोज के बजाय प्रकाशित समाधानों की वसूली को दर्शाती है।
AI अनुसंधान के बाद पाठकों के लिए यह अंतर महत्वपूर्ण है। एक मॉडल जो ऑनलाइन प्रकाशित उत्तर पाता है वह अभी भी शोध सहायक के रूप में मूल्यवान हो सकता है, लेकिन यह पहले सिद्धांतों से समाधान का पुनर्निर्माण करने वाले मॉडल के समान नहीं है। OpenFrontiers उस अंतर को मापने में आसान बनाता है।
भविष्य के अनुसंधान के लिए इसका क्या अर्थ है AI
प्रलेखित समाधानों के साथ औपचारिक रूप से वर्गीकृत मूल्यांकन उपसमुच्चय के लिए एक व्यापक शोध-समस्या को जोड़कर, ओपनफ्रंटियर्स अनुसंधान स्तर की पुनः खोज को मापने का आधार प्रदान करता है। यह वर्तमान में खुली वैज्ञानिक समस्याओं को हल करने की दिशा में प्रगति के अध्ययन का भी समर्थन करता है. dataset और बेंचमार्क Hugging Face संग्रह में https://huggingface.co/collections/FlippyDora/openfrontiers पर उपलब्ध हैं।
Comments (0)