पेपर रिवीजन ट्रेजेक्टोरियों के इस बड़े पैमाने पर अध्ययन में जांच की गई है कि क्या AI समीक्षक आपके पेपर को सुधारने के प्रयासों को देख सकते हैं।
अध्ययन में पाया गया है कि AI समीक्षक अक्सर प्रमुख संशोधन लाभ से चूक जाते हैं; स्कोर स्थिर रहते हैं, सहमति कमजोर होती है और नकारात्मक टिप्पणियां सुधारों को उलट सकती हैं।
मुख्य जानकारी
- PaperTrajectory-2026 14 संशोधन आयामों में पांच AI सम्मेलनों से 6,959 पेपर रिवीजन प्रक्षेपवक्र का विश्लेषण करता है।
- Eight AI समीक्षक अक्सर स्कोर अपरिवर्तित छोड़ देते हैं, भले ही संशोधनों को प्रमुख सुधार के रूप में एनोटेट किया गया हो।
- स्कोर परिवर्तनों पर समीक्षक की सहमति कमजोर है, इसलिए एक ही संशोधन को बहुत अलग तरीके से व्याख्या किया जा सकता है।
- संक्षिप्त नकारात्मक उपयोगकर्ता राय स्कोर लाभ को मिटा या उलट सकती है, जिससे अंतिम अंक कम विश्वसनीय हो जाते हैं।
- AI समीक्षा मूल्यांकन में स्कोर की स्थिरता को मापा जाना चाहिए और यह सुनिश्चित किया जाना चाहिए कि समीक्षकों ने संशोधन के साक्ष्य का उचित रूप से श्रेय दिया है।
PaperTrajectory-2026 Finds AI समीक्षक अक्सर लेखक संशोधन सुधारों को याद करते हैं
मेटा विवरण: PaperTrajectory-2026 6,959 प्रक्षेपवक्रों पर आठ AI समीक्षकों का मूल्यांकन करता है; प्रमुख संशोधन अक्सर अपरिवर्तित स्कोर करते हैं।
टैगः AI समीक्षकों, PaperTrajectory-2026, संशोधन आयाम, स्कोर स्थिरता
विशेष रुप से प्रदर्शित छवि: सार कागज प्रक्षेपवक्र चित्रण, कोई लोग नहीं, लोगो, पाठ
PaperTrajectory-2026 में पांच AI सम्मेलनों के 6,959 पेपर ट्रेजेक्टरी शामिल हैं, जो 14 संशोधन आयामों पर स्वचालित रूप से एनोटेट किए गए हैं। यह आठ AI समीक्षकों का मूल्यांकन करता है और अधिकांश पुनरावृत्तियों को प्रमुख सुधारों के रूप में अपरिवर्तित स्कोर प्राप्त होते हैं।
प्रमुख संशोधनों के बाद स्कोर अक्सर फ्लैट रहते हैं
प्रमुख सुधारों के रूप में उल्लिखित अधिकांश संशोधनों ने स्कोर को नहीं बदला, यह सुझाव देते हुए कि समीक्षक पहचाने गए सुधारों को पुरस्कृत नहीं कर सकते हैं।
समीक्षकों के बीच सहमति कमजोर है
समीक्षक स्कोर-परिवर्तन दिशा पर कमजोर सहमत हैं; एक ही संशोधन को अलग तरह से पढ़ा जा सकता है, जिसमें कोई स्पष्ट वृद्धि, गिरावट या ठहराव संकेत नहीं होता है, जिससे सुधार के अविश्वसनीय रिकॉर्ड बन जाते हैं।
एक नकारात्मक उपयोगकर्ता राय लाभ को उलट सकती है
यहां तक कि उच्च स्कोर को संक्षिप्त नकारात्मक उपयोगकर्ता राय द्वारा मिटाया या उलट दिया जा सकता है, इसलिए अंतिम अंक संशोधित साक्ष्य के बजाय टिप्पणियों को प्रतिबिंबित कर सकते हैं।
स्थिर निर्णयों की आवश्यकता
समीक्षकों को जोड़े गए संशोधन साक्ष्य का श्रेय देना चाहिए और जब सबूत अपरिवर्तित होते हैं तो स्कोर स्थिर रखना चाहिए; मूल्यांकन केवल आउटपुट संख्याओं के बजाय स्कोर की स्थिरता को मापना चाहिए।
पाठकों के लिए, वर्तमान AI समीक्षक स्कोर संशोधन सुधारों को उतनी विश्वसनीयता से ट्रैक नहीं कर सकते हैं जितना कि लेखक आशा करते हैं।

Comments (0)