उपकरण समीक्षाएँ

क्या LLMs यह आकलन करने के लिए पर्याप्त विश्वसनीय है कि कोई शोध विचार नया है या नहीं?

Allen Institute बेंचमार्क परीक्षण LLM शीर्ष सम्मेलन सहकर्मी समीक्षाओं का उपयोग करके नवीनता न्यायाधीशों। त्वरित वाक्यांश ने सटीकता में उतार-चढ़ाव पैदा किया, विश्वसनीयता को सीमित कर दिया।

क्या LLMs यह आकलन करने के लिए पर्याप्त विश्वसनीय है कि कोई शोध विचार नया है या नहीं?

मुख्य जानकारी

  • Ai289s 88890000, Novel Problems अध्ययन में पाया गया है कि LLM आधारित नवीनता न्यायाधीश अत्यधिक असंगत हैं; छोटे त्वरित परिवर्तन उनके फैसलों को काफी हद तक बदल सकते हैं, कभी-कभी संयोग से नीचे सटीकता छोड़ देते हैं।
  • बेंचमार्क आईसीएलआर सहकर्मी समीक्षाओं से बनाया गया है जो स्पष्ट रूप से मौलिकता पर चर्चा करते हैं, कागज की स्वीकृति स्थिति पर भरोसा करने के बजाय मान्य उच्च- और कम नवीनता वाले मानव विचारों का निर्माण करते हैं।
  • पुनर्प्राप्ति, अधिक तर्क या विशेष नवीनता पाइपलाइनों को जोड़ने से लगातार निर्णय में सुधार नहीं हुआ और अक्सर लागत बढ़ गई, जबकि सरल प्रेरित आधार रेखाओं ने बेहतर प्रदर्शन किया।
  • यह महत्वपूर्ण है क्योंकि वैज्ञानिक खोजों के लिए AI सिस्टम तेजी से LLMs पर भरोसा करते हैं कि क्या एक उत्पन्न शोध विचार वास्तव में नया है या केवल पुनः पैक किया गया है।

AI (Ai2) के लिए Allen Institute जारी किया गया है पुराने विचार, नयी समस्याएँ, एक अध्ययन से पता चलता है कि large language models का उपयोग "नवीनता न्यायाधीशों" के रूप में किया जाता है जो यह आकलन करते हैं कि क्या कोई शोध विचार वास्तव में नया है? बेतहाशा असंगत फैसले देते हैं। एक प्रयोग में, JUST को कुछ शब्दों में ट्विक करने से GPT-5.4 की सटीकता 93.5% से 40.9% तक स्थानांतरित हो गई, दो विचारों के अधिक उपन्यास की पहचान करने पर मौका से नीचे गिर गया। रिलीज में एक बेंचमार्क, डेटा, कोड और एक स्वचालित पाइपलाइन शामिल है ताकि अन्य शोधकर्ता सहकर्मी समीक्षाओं से ताजा मूल्यांकन सेट बना सकें।

Are LLMs reliable enough to assess whether a research idea is novel?

यह काम इसलिए महत्वपूर्ण है क्योंकि Ai2 और अन्य वैज्ञानिक खोज के कुछ हिस्सों को स्वचालित करने के लिए सिस्टम का निर्माण कर रहे हैं। डेटावॉयेजर संरचित आंकड़ों की पड़ताल और विश्लेषण करता है, ऑटोडिस्कवरी हाइपोथिसिस उत्पन्न करती है और परीक्षण करती है, और थ्योराइज़र उम्मीदवार सिद्धांतों में साहित्य के बड़े निकायों पर साक्ष्य संश्लेषित करती है। एस्टा के साथ मिलकर, इन परियोजनाओं का उद्देश्य शोधकर्ताओं को नए विचारों का प्रस्ताव, परीक्षण और परिष्कृत करने से पहले काम को समझने से स्थानांतरित करना है। लेकिन विचार पैदा करना केवल आधी समस्या है प्रणालियों को एक वास्तविक नई दिशा बताने की भी आवश्यकता होती है जो मौजूदा कार्य को फिर से पैक करता है और वह निर्णय तेजी से दूसरे LLM को सौंपा जाता है।

बेंचमार्क कैसे बनाया गया था

नवीनता न्यायाधीशों का परीक्षण करने के लिए, टीम को मौलिकता के बारे में मजबूत साक्ष्य वाले उदाहरणों की आवश्यकता थी। आईसीएलआर 2026 स्वीकृति को नवीनता के लिए एक प्रॉक्सी के रूप में व्यवहार करने के बजाय, उन्होंने उन मार्गों के लिए सहकर्मी समीक्षाओं को खनन किया जहां समीक्षकों ने स्पष्ट रूप से योगदान की मूलता पर चर्चा की - एक महत्वपूर्ण अंतर, क्योंकि एक पेपर विशेष रूप से उपन्यास होने के बिना स्वीकार किया जा सकता है और अस्वीकृत कागज अभी भी एक मूल योगदान शामिल कर सकते हैं।

उस प्रक्रिया से उन्होंने दो पूल बनाए। उच्च नवीनता पूल में अपने आईसीएलआर अनुसंधान क्षेत्र के शीर्ष-रेटेड 10% में स्वीकृत कागजातों से लिए गए 154 मानव लेखक विचार शामिल हैं, जहां समीक्षकों ने सकारात्मक रूप से नवीनता की पहचान की और किसी भी समीक्षक ने इसे विवादित नहीं किया। निम्न-नवीनता पोल में नीचे Old Ideas में खारिज किए गए पत्रों से 145 विचारों को शामिल किया गया है, जहां समीक्षाकर्ताओं ने मौलिकता संबंधी चिंताओं को उठाया और कोई भी सकारात्मक तौर पर नयापन नहीं पहचाना। mining प्रक्रिया की एक अलग जांच में, 50 में से 47 मामलों में एक एनोटेटर निकाले गए नवीनता-सिग्नल ध्रुवीयता से सहमत था, और असहमति में से कोई भी यह नहीं बदल सकता था कि क्या एक समीक्षक प्रशंसा या विवाद करने वाले उपन्यास के रूप में गिना जाता है।

वे दो पूल मानव-केवल सेटिंग बनाते हैं। चूंकि नवीनता न्यायाधीशों को एआई द्वारा उत्पन्न विचारों पर तेजी से उपयोग किया जाता है, इसलिए टीम ने एक मानवीय + जनित सेटिंग जोड़ीः वही 154 सत्यापित मानव विचार सरल LLM जनरेटर के 154 विचारों के साथ युग्मित थे जिन्हें केवल एक शोध क्षेत्र और कुछ नया प्रस्ताव करने का निर्देश मिला था - कोई साहित्य खोज, उपकरण, पुनरावृत्ति या प्रतिक्रिया नहीं मिली थी। उत्पन्न विचारों को प्रत्येक विचार के लिए प्रमाणित निर्णय की बजाय कम उपन्यास, कमजोर लेबल माना जाता है। एक जांच के रूप में, एक विशेषज्ञ ने 30 जोड़ियों की समीक्षा की जिसमें सबसे मजबूत जज गलत हो गया, सभी 30 में मानव विचार पसंद आया, और किसी भी उत्पन्न नए विचारों का न्याय नहीं किया। शोधकर्ताओं ने मानव और AI विचारों को एक सामान्य संरचना में फिर से लिखा ताकि यह परीक्षण किया जा सके कि क्या न्यायाधीश सिर्फ लेखन शैली पर प्रतिक्रिया दे रहे थे।

Are LLMs reliable enough to assess whether a research idea is novel?

छोटे त्वरित परिवर्तन, बड़े फैसले के उतार-चढ़ाव

टीम ने छह न्यायाधीशों का परीक्षण किया GPT-5.1, जीपीटी-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 और 4.6 दोनों बिंदुगत (पूर्ण नवीनता रेटिंग) और जोड़ीबद्ध (दो विचारों में से कौन सा अधिक उपन्यास है) प्रारूप, एक समय में एक कारक को बदलते हुएः शीघ्र, तर्क बजट, संबंधित कागजात तक पहुंच, विचार स्वरूपण, संयुक्त निर्णय की संख्या, और किस मॉडल ने AI विचारों को उत्पन्न किया।

GPT-5.4 ने दो संकेतों के तहत एक ही मानव + उत्पन्न जोड़े देखे: एक यह कहते हुए कि समीक्षकों को प्रत्येक जोड़ी उपन्यास में बिल्कुल एक विचार मिला था और पूछा गया था, दूसरा बस पूछ रहा है कि कौन सा विचार नया था। सरल संकेत 93.5% से 40.9% तक सटीकता काट दिया और आधे से अधिक जोड़ों पर फैसले को पलट दिया। मानव-केवल dataset पर समान परिवर्तन केवल सात अंकों द्वारा सटीकता बढ़ाया एक न्यायाधीश मानव अनुसंधान पर स्थिर दिख सकता है जबकि एआई-जनित विचारों पर बहुत अलग व्यवहार करता है। हालांकि, मानव विचार प्रतिरक्षा नहीं थेः वही बदलाव 21 अंकों से Claude Opus 4.6 की सटीकता को स्थानांतरित कर देता है।

कोई भी संकेत सार्वभौमिक रूप से बेहतर नहीं था। एक निर्देश को छोड़ना जो न्यायाधीशों को तुच्छ या वृद्धिशील योगदान का इलाज न करने की चेतावनी देता है, कुछ जजों के लिए उपन्यास में सुधार हुआ सटीकता और दूसरों के लिए इसे कम किया गया-एक संकेत जो एक मॉडल के लिए काम करता है वह दूसरे पर स्थानांतरित नहीं हो सकता है।

टीम ने एक सामान्य उपयोग के मामले का भी परीक्षण कियाः दो AI जनरेटरों से विचारों की तुलना करते हुए, Claude Opus को 4.5 के साथ जोड़ा और GPT-5.4 को जीपीटी-5.1 के साथ जोड़ दिया। परीक्षण किए गए त्वरित परिवर्तनों में, छह न्यायाधीशों के बीच औसतन लगभग एक चौथाई से एक तिहाई निर्णय बदल गया - यह मानने के बिना कि कौन सा जनरेٹر अधिक नवीन विचार उत्पन्न करता है।

अधिक खोज और तर्क से मदद नहीं मिली

पुनर्प्राप्ति और तर्क जोड़ने से लगातार निर्णयों में सुधार नहीं हुआ। जीपीटी-5.6 SOL, एक अतिरिक्त-उच्च तर्क बजट और arXiv तक सीमित लाइव पुनरावर्ती खोज को देखते हुए, 0.78 मैक्रो-एफ 1 11 11 अंक के पीछे Claude Opus 4.6 पर 0.89 पर स्कोर किया गया था, जो कि सरल 4.5 और GPT-5.4 सेटअप के साथ लगभग स्तर है जबकि वर्तमान API कीमतों पर प्रति निर्णय 10 गुना अधिक खर्च होता है। यहां मैक्रो एफ 1 मापता है कि न्यायाधीश उपन्यास और गैर-नवेले विचारों की कितनी अच्छी तरह पहचान करता है; उच्च बेहतर है।

Are LLMs reliable enough to assess whether a research idea is novel?

उद्देश्य-निर्मित मूल्यांकनकर्ताओं ने बहुत अधिक लागत के बावजूद बेहतर प्रदर्शन नहीं किया। ह्यूमन+जेनेरेटेड पर, तीन कॉलों में कम तर्क और बहुमत मतदान के साथ एक साधारण Claude Opus 4.6 प्रॉम्प्ट कुल $2.59 के लिए 0.854 मैक्रो-एफ 1 तक पहुंच गया। Idea Novelty Checker, साहित्य आधारित पुनर्प्राप्ति और रीरैंकिंग पाइपलाइन, 0.642 को $30.66 पर स्कोर किया, और Sakana AI का AI Scientist जिसका नवीनता पुनरावर्ती रूप से मूल्यांकक खोज करता है Semantic Scholar, $82.05 पर 0.772 अंक प्राप्त किए। दोनों समर्पित मूल्यांकनकर्ता ने प्रति निर्णय एक कॉल के साथ 8900158917 का उपयोग किया। सरल प्रेरित आधार रेखा दोनों प्रणालियों की तुलना में अधिक सटीक और काफी सस्ती थी।

विशेष रूप से, कई मुख्य निष्कर्ष लेबल पर बिल्कुल भी निर्भर नहीं करते हैंः यदि दो उचित मूल्यांकन सेटअप एक ही जोड़ी विचारों के लिए विपरीत उत्तर देते हैं, तो असहमति स्वयं अस्थिरता को प्रकट करती है।

अगला क्या है

परिणाम एक प्रमुख खुली समस्या के रूप में LLM -आधारित नवीनता मूल्यांकन की ओर इशारा करते हैं। मानव लेखक अनुसंधान पर विश्वसनीय प्रतीत होने वाले न्यायाधीश एआई द्वारा उत्पन्न विचारों पर अलग तरह से व्यवहार कर सकते हैं, संकेत देते हैं कि एक मॉडल दूसरे को नुकसान पहुंचा सकता है, और अधिक खोज या कंप्यूटिंग जरूरी नहीं कि अधिक सुसंगत निर्णय दे।

लेखकों का तर्क है कि भविष्य के काम में न्यायाधीशों को उन प्रकार के विचारों पर परीक्षण करना चाहिए जो वे वास्तव में मूल्यांकन करेंगे, संकेतों और मॉडलों में संवेदनशीलता को मापेंगे, पिछले साहित्य को कैसे शामिल किया जाता है, इसे बेहतर बनाएं, और बेंचमार्क बनाएँ जो साहित्य बढ़ते हैं और AI प्रणालियों में सुधार करते हैं। जारी किए गए बेन्चमार्क और पुनः प्रयोज्य डेटा पाइपलाइन को एक शुरुआती बिंदु के रूप में तैनात किया गया है जिसे शोधकर्ता नई सहकर्मी समीक्षाओं, अन्य वैज्ञानिक समुदायों और नवीनता न्यायकर्ताओं की भावी पीढ़ियों पर लागू कर सकते हैं. किसी भी व्यक्ति को स्वचालित विचार प्रणाली बनाने का तरीका यह मापने के लिए दिया जा सकता है कि उनके समीक्षक वास्तव में कितने भरोसेमंद हो सकते हैं।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.