क्या AI एजेंट ओपन-एंडेड वैज्ञानिक खोज को सक्षम करते हैं? स्टेशन से साक्ष्य
Station AI एजेंटों ने ऑफलाइन आईसीएलआर कार्यों में 62.7% उप-खोज की वसूली की, जो मजबूत प्रयोग लूप लेकिन कमजोर वैज्ञानिक निर्णय दिखाते हैं।
मुख्य जानकारी
- स्टेशन एजेंटों ने बिना वेब एक्सेस या मूल उत्तर के आईसीएलआर-आधारित ओपन एंडेड कार्यों में 62.7% पूर्वनिर्धारित उप-खोज की वसूली की, जो परीक्षण किए गए आधार रेखाओं से बेहतर प्रदर्शन करते हैं।
- यह प्रणाली एक साझा ज्ञान आधार, पर्यवेक्षक मार्गदर्शन और Meta Reflection के माध्यम से निरंतर वैज्ञानिक अन्वेषण का समर्थन करती है, जिससे एजेंटों को उथले लोगों की बजाय कठिन समस्याओं पर रहने में मदद मिलती है।
- प्रारंभिक खोजपूर्ण निष्कर्षों से पता चलता है कि एजेंट लाइव अनुसंधान प्रश्नों को छू सकते हैं, जिसमें एक LoRA-संबंधित परिणाम समवर्ती मानव कार्य के साथ मेल खाता है, लेकिन सबूत अभी भी आरंभिक हैं।
- मुख्य शेष कमजोरी वैज्ञानिक निर्णय है: एजेंट अभी भी उन सवालों पर प्रयास बर्बाद कर सकते हैं जो मानव शोधकर्ताओं को रुचिहीन या निम्न मूल्य पाएंगे।
- कोड और पूर्ण शोध अभिलेखों का विमोचन संभवतः अध्ययन का सबसे स्थायी योगदान है, जो पाठकों को खोज प्रक्रिया की जांच करने और हेडलाइन स्कोर से परे पुनरुत्पादकता का आकलन करने की अनुमति देता है।
मेटा विवरणः Station AI एजेंटों ने वेब एक्सेस के बिना आईसीएलआर-आधारित ओपन एंडेड कार्यों में पूर्वनिर्धारित उप-खोज की 62.7% को पुनर्प्राप्त किया, लेकिन निर्णय कमजोर रहता है।
टैगः AI एजेंट, ओपन-एंडेड डिस्कवरी, स्टेशन, वैज्ञानिक अनुसंधान, लोरा
विशेष रुप से प्रदर्शित छवि: वैज्ञानिक विचारों के एक शाखागत मानचित्र की खोज करने वाले स्वायत्त एजेंटों का अमूर्त, मैत्रीपूर्ण चित्रण; कोई वास्तविक लोग, लोगो या पाठ नहीं।
शोधकर्ताओं, AI डेवलपर्स और मशीन स्वायत्तता को ट्रैक करने वाले पाठकों के लिए, यह लेख बताता है कि स्टेशन सिस्टम ने 89003 एजेंटों द्वारा खुली वैज्ञानिक खोज के बारे में क्या दिखाया हैः यह बेंचमार्क कार्यों में अधिकांश पूर्वनिर्धारित उप-खोजों को पुनर्प्राप्त कर सकता है, लेकिन अभी भी मानव जैसे वैज्ञानिक निर्णय की कमी है। अध्ययन उपयोगी है क्योंकि यह एक मॉडल लैब रिपोर्ट लिख सकते हैं या नहीं से आगे बढ़ता है। यह परीक्षण करता है कि कोई एजेंट प्रश्न चुन सकता है या इंटरनेट एक्सेस या मूल उत्तरों के बिना जांच जारी रख सकता है।
परीक्षणः कोई वेब एक्सेस, कोई मूल उत्तर नहीं
ICLR एक प्रमुख मशीन-लर्निंग सम्मेलन है, और मौखिक पेपर चयनित वार्ता हैं, इसलिए कार्य मान्यता प्राप्त वैज्ञानिक परिणामों से आए थे। उन्होंने एजेंटों को शोध प्रश्न और प्रयोगात्मक सेटअप दिए, लेकिन मूल निष्कर्षों को रोक दिया गया था। वेब एक्सेस अक्षम किया गया था.
यह सेटअप मायने रखता है. यदि कोई एजेंट कागजात ब्राउज़ कर सकता है, तो वह इसका पता लगाने के बजाय उत्तर प्राप्त कर सकते हैं। बेंचमार्क इसके बजाय पूछता है कि क्या एजेंट समस्या कथन, प्रयोगात्मक सेटिंग और अपने स्वयं के परिणामों से तर्क दे सकता है।
टीम ने प्रत्येक कार्य को पूर्वनिर्धारित उप-खोजों द्वारा स्कोर किया। वे मूल कागज से निकाली गई छोटी खोजें हैं। स्टेशन औसतन 62.7% बरामद करता है। सबसे मजबूत परीक्षण किए गए AI Scientist-v2 कॉन्फ़िगरेशन में 20.6% और Codex Multiagent-v2 15.4% की वसूली हुई। तुलना संचयी प्रयोग के समय से मेल खाती है, लेकिन टोकन बजट और मॉडल टीमें भिन्न होती हैं, इसलिए परिणाम को पूरी तरह से नियंत्रित लीडरबोर्ड के रूप में नहीं पढ़ा जाना चाहिए।
स्टेशन को अलग क्या बनाता है?
स्टेशन केवल एक एकल मॉडल नहीं है जो संकेतों का जवाब देता है। एजेंट स्वतंत्र रूप से अनुसंधान दिशाओं को चुनते हैं, प्रयोग करते हैं और साझा ज्ञान आधार में समीक्षा किए गए निष्कर्षों पर निर्माण करते हैं। यह साझा रिकॉर्ड ओपन-एंडेड काम के लिए महत्वपूर्ण हैः एक एजेंट असफल प्रयोग चला सकता है, दूसरा बाद में उस सबक का उपयोग कर सकता है।
पर्यवेक्षक मार्गदर्शन और आवधिक Meta Reflection आसान सवालों के लिए शुरुआती धुरी की बजाय निरंतर जांच को प्रोत्साहित करते हैं। यह स्वायत्त एजेंटों के लिए एक सामान्य विफलता मोड को संबोधित करता है। पर्यवेक्षकों या प्रतिबिंब चरण के बिना, एक एजेंट एक मृत अंत का एहसास कर सकता है, कठिन समस्या को छोड़ देता है, और एक संकीर्ण प्रश्न पर समय बिता सकता है जो उत्पादक दिखता है लेकिन वैज्ञानिक रूप से उथला होता है।
प्रारंभिक निष्कर्ष और निर्णय की समस्या
लेखकों ने दो अतिरिक्त अन्वेषणात्मक कार्यों का भी वर्णन किया। उन कार्यों में, एजेंटों ने समवर्ती मानव अनुसंधान से मेल खाने वाले निष्कर्ष तैयार किए। एक उदाहरण में अवचेतन सीखना शामिल है। एजेंसियों ने पाया कि LoRA प्रशिक्षण को प्रारंभिक परतों तक सीमित करना असफल लक्षण हस्तांतरण को बहाल कर सकता है। लोरा या कम रैंक अनुकूलन, एक पैरामीटर-कुशल ठीक ट्यूनिंग विधि है जो मॉडल वजन की एक छोटी संख्या को बदलता है।
यदि यह परिणाम सही है, तो इससे पता चलता है कि एजेंटों ने न केवल पुराने कागजात को पुनः पेश किया। उन्होंने मानव टीमों के साथ एक ही समय में लाइव अनुसंधान प्रश्न पर भी स्पर्श किया।
लेकिन पेपर शेष समस्या के बारे में ईमानदार है: वैज्ञानिक निर्णय। एजेंट अभी भी उन सवालों पर पर्याप्त प्रयास करते हैं जो मानव शोधकर्ताओं को दिलचस्प नहीं लगते हैं। यह अंतर महत्वपूर्ण है। ओपन-एंडेड डिस्कवरी खुली व्यस्तता के समान नहीं है। एक प्रणाली मेहनती, रचनात्मक और उबाऊ तरीकों से गलत हो सकती है।
वास्तविक चुनौती केवल परिकल्पनाओं को उत्पन्न करना या कोड चलाना नहीं है। यह तय कर रहा है कि कौन सी परिकল্পनाएं परीक्षण की लागत के लायक हैं, खासकर जब कंप्यूटिंग, समय और समीक्षक का ध्यान सीमित हो।
लेखक कोड और पूर्ण शोध रिकॉर्ड जारी कर रहे हैं ताकि अन्य लोग खोजों और विफलताओं का निरीक्षण कर सकें। संसाधन https://arxiv.org/abs/2610.08927, https://github.com/dualverse-ai/station-open-reseach और https://dualverse-ai.github.io/station-open-reseach पर उपलब्ध हैं।
यह रिलीज़ शायद अध्ययन का सबसे टिकाऊ हिस्सा है. यह पाठकों को सिर्फ हेडलाइन स्कोर नहीं देखने का मौका देता है, लेकिन इसके लिए रास्ताः कौन से प्रयोगों ने काम किया, जो धुरी विफल रहे, और जहां एजेंट प्रयास बर्बाद कर दिया।
किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए
शोधकर्ता जो स्वायत्त विज्ञान कार्यप्रवाह का परीक्षण करना चाहते हैं, उन्हें इस पेपर को बेंचमार्क डिजाइन के लिए एक संदर्भ बिंदु के रूप में उपयोग करना चाहिए, विशेषकर उन कार्यों के लिए जो उत्तरों को रोकते हैं और वेब एक्सेस को अवरुद्ध करते हैं। AI मल्टी-एजेंट अनुसंधान प्रणालियों का निर्माण करने वाले डेवलपर्स को साझा ज्ञान आधार, पर्यवेक्षक मार्गदर्शन और Meta Reflection पैटर्न के लिए इसे पढ़ना चाहिए, जो एजेंटों को कठिन समस्याओं पर लंबे समय तक रहने में मदद करता है।
जो पाठक एक तैयार वैज्ञानिक दावे, सत्यापित नए परिणाम या प्रत्यक्ष मॉडल तुलना की आवश्यकता रखते हैं उन्हें अभी के लिए हेडलाइन नंबरों को छोड़ देना चाहिए। 62.7% औसत आशाजनक है, लेकिन कार्य सेट छोटा हैः तीन आईसीएलआर मौखिक कागजात प्लस दो अन्वेषणात्मक कार्य। सिस्टम में तुलना पूरी तरह से नियंत्रित नहीं होती है क्योंकि टोकन बजट और मॉडल टीम अलग-अलग होते हैं। सबसे उपयोगी अगला कदम जारी किए गए रिकॉर्ड का निरीक्षण करना और यह देखना है कि क्या एजेंटों की खोजें मजबूत हैं जब अन्य शोधकर्ता उन्हें पुनः पेश करने का प्रयास करते हैं।

Comments (0)