उपकरण समीक्षाएँ

प्रारंभिक चरण के अनुसंधान निर्णय का मूल्यांकन यह निर्धारित करने में मदद करता है कि क्या शोध एजेंटों को स्वाद होता है।

छह फ्रंटियर AI मॉडल ने प्रारंभिक चरण के अनुसंधान विचारों का न्याय किया; रैंकिंग यादृच्छिक को हराया, लेकिन 415 प्रयोगों में से केवल 73 स्रोत कागजात से परे थे।

प्रारंभिक चरण के अनुसंधान निर्णय का मूल्यांकन यह निर्धारित करने में मदद करता है कि क्या शोध एजेंटों को स्वाद होता है।

मुख्य जानकारी

  • एक अध्ययन ने अनुसंधान एजेंटों के रूप में सीमांत AI मॉडल का परीक्षण किया ताकि यह निर्णय लिया जा सके कि उनके अपने प्रस्तावित NLP शोध विचारों में स्वाद था या नहीं।
  • 415 प्रयोगों में से, 194 को ध्वनि, मूल्यवान और नया माना गया था, लेकिन केवल 73 भी गैर-स्पष्ट थे और स्रोत कागज से परे थे।
  • मॉडल के शीर्ष रैंकिंग विकल्प और पूर्वानुमान यादृच्छिक या आधार दर बेंचमार्क से बेहतर थे, लेकिन केवल कागज और योजना को पढ़ने वाले दूसरे मॉडल की तुलना में स्पष्ट रूप से बेहतर नहीं थे।
  • परिणाम बताते हैं कि AI एजेंट कई उचित प्रस्ताव उत्पन्न कर सकते हैं, लेकिन आत्म-रैंकिंग और पूर्वानुमान केवल आंशिक रूप से उपयोगी है और अभी तक सबसे अच्छा विचार की पहचान करने के लिए विश्वसनीय नहीं है।

एक हालिया अध्ययन में छह फ्रंटियर मॉडल को अनुसंधान एजेंटों के रूप में कार्य करने और यह आकलन करने के लिए कहा गया कि क्या उनके अपने शोध विचारों का स्वाद था। मॉडलों को सात नवीनतम natural language processing पेपर दिए गए थे और अकेले या टीमों में काम करते हुए, प्रत्येक पेपर को उपन्यास अनुसंधान में बदलना पड़ा। प्रत्येक मॉडल ने पांच छोटे प्रयोग प्रस्तावित किए, सफलता की सीमा निर्धारित की, भविष्यवाणी की कि क्या प्रत्येक प्रयोग पास होगा, और विचारों को रैंक किया जाएगा।

Evaluating early-stage research judgment helps determine whether research agents have taste.

परीक्षण ने क्या मापा

परीक्षण इस बात पर केंद्रित था कि क्या मॉडल अच्छे विचारों की पहचान कर सकते हैं। एक अलग एजेंट ने सबसे कम रैंक वाले लोगों सहित प्रत्येक प्रयोग का प्रयास किया, और तीन मॉडल लेखा परीक्षकों ने परिणामों को आंका। 415 प्रयोगों में से 194 को ध्वनि, मूल्यवान और नया माना गया। उनमें से केवल 73 ही कागज से परे गए जो उन्हें प्रेरित करते थे और गैर-स्पष्ट थे।

क्या मॉडलों ने अच्छा चुना?

एजेंटों की पहली पसंद एक यादृच्छिक चयन से अधिक बार लेखा परीक्षकों के सबसे मूल्यवान प्रयोग से मेल खाती थी। हालांकि, परिणाम यह नहीं दिखाते थे कि पहला विकल्प उस प्रयोग को हरा देता है जिसे मॉडल ने पहले लिखा था। उनके पूर्वानुमान आधार दर को मारते हैं, लेकिन उसी मॉडल के दूसरे उदाहरण की तुलना में मापने योग्य रूप से बेहतर नहीं थे जो केवल पेपर और योजनाओं को पढ़ते थे।

Evaluating early-stage research judgment helps determine whether research agents have taste.

पाठकों को इससे क्या सीख लेनी चाहिए

अध्ययनों का सुझाव देने के लिए AI का उपयोग करने वाले पाठकों के लिए, प्रयोग स्वाद की एक ठोस माप देता हैः यह नहीं कि विचार नए लगते हैं, लेकिन क्या उन्हें ध्वनि, मूल्यवान, नया और स्रोत पेपर से परे माना जाता है। इससे पता चलता है कि फ्रंटियर मॉडल कई उचित प्रस्ताव उत्पन्न कर सकते हैं, जबकि केवल एक छोटा सा हिस्सा वास्तव में बीज कागज से परे दिखाई देता है।

यह भी सुझाव देता है कि आत्म-रैंकिंग और पूर्वानुमान आंशिक रूप से उपयोगी हैंः वे यादृच्छिक से बेहतर हैं, फिर भी एक ही योजना को पढ़ने वाले सरल मॉडल की तुलना में स्पष्ट रूप से बेहतर नहीं हैं। जब एक AI अनुसंधान एजेंट कहता है कि एक विचार आशाजनक है, तो सिग्नल वास्तविक हो सकता है, लेकिन यह अभी तक सबसे अच्छा विचार के लिए विश्वसनीय मार्गदर्शक नहीं हो सकता। https://x.com/artkanke?s=11 पर एक्स पर आगे प्रश्न आमंत्रित किए गए थे।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.