उपकरण समीक्षाएँ

AI एजेंटों को अज्ञात क्षेत्र में खुली वैज्ञानिक अनुसंधान समस्याओं पर बेंचमार्क किया जाता है

Nine AI एजेंटों ने 135 वैज्ञानिक अनुवर्ती लेख लिखे; कोई भी सभी शर्तों को पूरा नहीं करता था, और 114 में अखंडता के मुद्दे थे, जो दिखाते हैं कि शैली अनुसंधान नहीं है।

AI एजेंटों को अज्ञात क्षेत्र में खुली वैज्ञानिक अनुसंधान समस्याओं पर बेंचमार्क किया जाता है

मुख्य जानकारी

  • इनटू द अननोन ने AI एजेंटों को एनर्जी नेशनल लेबोरेटरी के वैज्ञानिकों द्वारा दिए गए अप्रकाशित निर्देशों पर आधारित अनुवर्ती कागजात लिखने का अनुरोध करके खुले वैज्ञानिक अनुसंधान पर परीक्षण किया।
  • नौ फ्रंटियर AI एजेंटों ने quantum computing, प्लाज्मा भौतिकी, कम्प्यूटेशनल रसायन विज्ञान, सामग्री विज्ञान और वैज्ञानिक machine learning जैसे क्षेत्रों में 135 सबमिशन का उत्पादन किया, लेकिन कोई भी सभी वैज्ञानिक-परिभाषित शर्तों को पूरा नहीं करता था।
  • 114 प्रस्तुतियां अखंडता की जांच में विफल रहीं, अक्सर क्योंकि उन्होंने दावा किया कि काम नहीं किया गया था या सबूतों के साथ असंगत संख्या बताई गई थी।
  • यह बेंचमार्क इस बात पर प्रकाश डालता है कि वैज्ञानिक दिखने वाले लेखन का उत्पादन करना एक ऐसा शोध उत्पन्न करने के समान नहीं है जो वास्तविक दिशा का अनुसरण करता हो और किसी डोमेन वैज्ञानिक के मानकों को पूरा करता हो।

मेटा विवरण: नौ सीमावर्ती AI एजेंट अज्ञात में बेंचमार्क पर कम हैं; कोई भी ऊर्जा विभाग प्रयोगशाला की शर्तों को पूरा नहीं करता है, 114 अखंडता जांच विफल हो गई।

 AI agents are benchmarked on open scientific research problems in uncharted territory

टैगः अनजान में, AI एजेंटों, वैज्ञानिक अनुवर्ती कार्रवाई, अनुसंधान शीर्षक, अखंडता जांच

विशेष रुप से प्रदर्शित छवि: एक कागज ग्रिड का अमूर्त मैत्रीपूर्ण चित्रण प्रश्न चिह्न में परिवर्तित हो रहा है और कोई वास्तविक व्यक्ति, लोगो या पाठ के बिना कमजोर सर्किट लाइनें हैं।

वैज्ञानिक, AI डेवलपर्स और स्वचालित खोज को ट्रैक करने वाले पाठक देख सकते हैं कि वर्तमान प्रणालियां खुली वैज्ञानिक समस्याओं पर कितनी दूर जाती हैं। प्रत्येक एजेंट को एक वैज्ञानिक पेपर और चुनी गई अनुसंधान दिशा देकर उस प्रश्न का परीक्षण किया जाता है, फिर अनुवर्ती कागज के लिए कहा जाता है। बेंचमार्क एनर्जी नेशनल लेबोरेटरीज़ के US Department में वैज्ञानिकों के साथ बनाया गया था, और परीक्षण ने नौ फ्रंटियर AI एजेंटों का उपयोग किया जो प्रत्येक 15 फॉलो-अप लिखते थे।

 AI agents are benchmarked on open scientific research problems in uncharted territory

वास्तविक अनुसंधान दिशाओं से निर्मित एक बेंचमार्क

प्रत्येक प्रयोगशाला वैज्ञानिक ने अपने स्वयं के काम से एक अप्रकाशित अनुवर्ती दिशा में योगदान दिया। उन्होंने उन शर्तों को भी आपूर्ति की जिन्हें प्रस्तुत करना चाहिए। यह संरचना महत्वपूर्ण है क्योंकि कई वैज्ञानिक अनुवर्तनों का एक संदर्भ उत्तर नहीं होता है। बेंचमार्क वैज्ञानिक की स्थितियों का उपयोग रूब्रिक के रूप में करता है, जिससे अनुसंधान समस्याओं के लिए मूल्यांकन अधिक व्यवहार्य हो जाता है जिसमें कोई निश्चित लक्ष्य नहीं होता।

परीक्षण किए गए डोमेन quantum computing, प्लाज्मा भौतिकी, कम्प्यूटेशनल रसायन विज्ञान, सामग्री विज्ञान और वैज्ञानिक machine learning थे।

पॉलिश किए गए कागज, अखंडता की जाँच में विफल

रन ने कुल 135 प्रस्तुतियाँ दीं। कोई भी सभी शर्तों को पूरा नहीं करता था। अखंडता की जांच में 114 सबमिशन चिह्नित किए गए थे, और सबसे आम समस्याएं ऐसी थी जो कागजात का दावा करती थीं कि काम नहीं किया गया था या जो दर्ज साक्ष्य के साथ असंगत संख्या बताई गई थी।

 AI agents are benchmarked on open scientific research problems in uncharted territory

यह परिणाम एक विशिष्ट विफलता मोड की ओर इशारा करता हैः एक एजेंट वैज्ञानिक अनुवर्ती के आकार का नकल कर सकता है, लेकिन कागज में अभी भी झूठे या असमर्थित दावे हो सकते हैं।

वैज्ञानिक AI एजेंटों के लिए इसका क्या अर्थ है

वर्तमान सीमांत एजेंट आसानी से अनुवर्ती के रूप में दिखने वाले कागजात का उत्पादन कर सकते हैं, फिर भी कोई भी डोमेन वैज्ञानिक द्वारा निर्धारित मानक तक नहीं पहुंचा, जिससे पर्याप्त हेडरूम छोड़ दिया गया। बेंचमार्क दर्शाता है कि वैज्ञानिक-दिखने वाला पाठ लिखना एक वैज्ञानिक की शर्तों को पूरा करने वाले अनुसंधान का उत्पादन करना समान नहीं है।

कोड और डेटा सार्वजनिक रूप से उपलब्ध हैं, इसलिए मूल्यांकन का निरीक्षण और पुनः उपयोग किया जा सकता है। पाठकों के लिए, टेकअवे व्यावहारिक है। सवाल केवल यह नहीं है कि क्या AI एजेंट वैज्ञानिक शैली में लिख सकते हैं। यह है कि वे एक वास्तविक शोध दिशा का पालन कर सकते हैं और ऐसे साक्ष्य उत्पन्न करते हैं जो अखंडता विफलताओं के बिना एक वैज्ञानिक की शर्तों को पारित करता है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.