प्रमिसचेक कुशलता से तथ्य-जांच मानव और AI सहकर्मी समीक्षा
प्रेमिशनचेक पेपर-चेक करने योग्य परिसरों में सहकर्मी समीक्षा टिप्पणियों को विघटित करता है, LLM की तुलना में कम लागत और विलंबता के साथ तथ्यात्मक त्रुटियों पर संकेत देता है।
मुख्य जानकारी
- प्रेमिज़चेक मानव या AI सहकर्मी समीक्षाओं में संभावित तथ्यात्मक त्रुटियों को चिह्नित करता है प्रत्येक टिप्पणी को स्पष्ट स्थानों में फिर से लिखकर और उन परिसरों की जांच पेपर के साथ करके।
- यह भाषा व्याख्या को तथ्यात्मक सत्यापन से अलग करता है, जिससे प्रमेय-निष्कर्षण चरण कागज पढ़ने के बिना चलाने की अनुमति मिलती है और लागत और विलंबता कम रहती है।
- रिव्यूफैक्ट बेंचमार्क पर, प्रीमिसचेक प्रति टिप्पणी एयूआरओसी प्राप्त करता है जो एक समग्र जीपीटी -5.5 दृष्टिकोण के लिए लगभग आधी लागत पर होता है, लाभ मुख्य रूप से सस्ता और तेज़ triage में होते हैं।
- इस उपकरण का सबसे अच्छा उपयोग समीक्षा टिप्पणियों को रैंक और प्राथमिकता देने के लिए किया जाता है जो एक पेपर को गलत बता सकते हैं, समीक्षक की आलोचना, निष्पक्षता या महत्व के बारे में अंतिम निर्णय लेने के लिए नहीं।
मेटा विवरण: प्रीमिसचेक कम लागत और विलंबता पर जीपीटी-5.5 सटीकता से मेल खाने वाली टिप्पणियों को स्पष्ट परिसरों में बदलकर सहकर्मी समीक्षाओं में तथ्यात्मक त्रुटियों की पहचान करता है।
टैग: सहकर्मी समीक्षा, प्रीमिसचेक, रिव्यूफैक्ट, जीपीटी -5.5, एयूआरओसी
चित्र: एक कागज के खिलाफ जाँच की जा रही समीक्षा टिप्पणी का अमूर्त मैत्रीपूर्ण चित्रण, जिसमें कोई वास्तविक लोग नहीं हैं, कोई लोगो और कोई पाठ नहीं है।
PremiseCheck उन लोगों के लिए है जो शोध समीक्षा टिप्पणियों से निपटते हैं और यह जानने की आवश्यकता होती है कि कौन सी टिप्पणी एक कागज में क्या कहती है, उसे गलत बता सकती है। मानव या AI द्वारा लिखी गई समीक्षा टिपियाँ किसी पेपर के बारे में अस्पष्ट, संपीड़ित या गलत हो सकती हैं। प्रीमिसचेक सस्ती कीमत पर संभावित तथ्यात्मक त्रुटियों को चिह्नित करता हैः large language model, LLM, प्रत्येक टिप्पणी को पेपर पढ़ने के बिना स्पष्ट परिसरों के रूप में फिर से लिखता है, और एक छोटा निर्णय मॉडल पेपर के खिलाफ हर आधार की जांच करता है। परियोजना प्रति-टिप्पणी AUROC, रैंकिंग स्कोर, लगभग आधी लागत पर समग्र GPT-5.5 दृष्टिकोण के लिए तुलनीय रिपोर्ट करती है, जिसमें मुख्य लाभ कम लागत और विलंब से आता है। एक पेपर के संबंध में एक भी गलत बयान लेखक का समय बर्बाद कर सकता है, इसलिए एक सस्ता झंडा पाठकों को यह तय करने में मदद कर सकता था कि पहले कहां देखना है।
यह परिसरों की जांच करता है, एक बार में पूरी टिप्पणियों को नहीं
डिजाइन दो कार्यों को अलग करता है. सबसे पहले, एक टिप्पणी स्पष्ट स्थानों में फिर से लिखी जाती हैः तथ्यात्मक दावे जो टिप्पणी कागज के बारे में करने लगते हैं। उस पुनर्लेखन के लिए पेपर पढ़ने की आवश्यकता नहीं होती है, इसलिए इसे सस्ते में चलाया जा सकता है। दूसरा, एक छोटा निर्णय मॉडल प्रत्येक परिसर का परीक्षण पेपर के खिलाफ करता है। चूंकि पेपर केवल जांच चरण में पढ़ा जाता है, वर्कफ़्लो भाषा व्याख्या को तथ्य सत्यापन से अलग कर देता है, जिससे पहला कदम सस्ता रखने में मदद मिलती है। सिस्टम अपनी कमजोरतम आधार पर टिप्पणी को स्कोर करता है और उस स्थान का नाम देता है जिसे पेपर विरोधाभासी बनाता है। यह फ्लैग को बिना किसी नामित दावा के स्कोर की तुलना में कार्य करना आसान बना देता है।
रिव्यूफैक्ट एक साथ सटीकता, लागत और विलंबता का परीक्षण करता है
मूल्यांकन ReviewFact का उपयोग करता है, natural language processing, machine learning और प्राकृतिक विज्ञानों के 217 पत्रों पर 9,267 की समीक्षा टिप्पणियों में से एक dataset । टिप्पणी को एक परिभाषा के तहत तथ्यात्मक त्रुटियों के लिए लेबल किया गया है, जो कि रिव्यूक्रिटिक, रिव्युस्कोर और PeerReview Bench में विशेषज्ञ एनोटेशन से है। यह बेंचमार्क सटीकता के साथ-साथ लागत और विलंबता को भी मापता है, क्योंकि एक समीक्षा जांच उपकरण केवल तभी व्यावहारिक हो जाता है जब वह महंगी या धीमी होने के बिना कई प्रतिक्रियाओं पर चल सकता है।
AUROC: संभावित त्रुटियों की रैंकिंग, उन्हें साबित नहीं करना
AUROC, या रिसीवर ऑपरेटिंग विशेषता वक्र के नीचे क्षेत्र एक रैंकिंग स्कोर हैः उच्च मूल्य का मतलब है कि उपकरण उन टिप्पणियों को रखने में बेहतर है जिनमें तथ्यात्मक त्रुटियां हैं जो संभावित रूप से सही हैं। यह साबित नहीं करता है कि फ्लैग की गई टिप्पणी गलत है। उपयोगकर्ताओं के लिए, व्यावहारिक सवाल यह है कि क्या टूल जोखिम भरी टिपियाँ कतार में पर्याप्त ऊंचे स्थान पर रखता है, न कि हर झंडा निश्चित है।
प्रति टिप्पणी, प्रीमिसचेक सभी तीन क्षेत्रों में लगभग आधी लागत पर समग्र जीपीटी -5.5 के तुलनीय एयूआरओसी तक पहुंचता है। natural language processing समीक्षाओं पर नो-रिजनिंग डिकॉम्पोसर के साथ, परियोजना 63.1 बनाम 63.2 एयूरोसी की रिपोर्ट करती है, जिसमें लागत का लगभग 25% और विलंबता का 45% होता है। करीबी एयरूको मूल्य बताते हैं कि मुख्य लाभ समान संकेत प्राप्त करने का एक सस्ता तरीका है।
स्कोर को मिलाकर समीक्षा स्तर पर मदद मिलती है
पूर्ण समीक्षा के स्तर पर, GPT-5.5 स्कोर के साथ बैच किए गए प्रीमिसचेक स्कोर्स को मिलाकर 71.5 AUROC को संदर्भ लागत का 28% मिलता है। एक पूर्ण समीक्षा में कई टिप्पणियां हो सकती हैं। समीक्षा-स्तरीय स्कोरिंग यह तय करने में मदद करती है कि क्या पूरी समीक्षा ध्यान देने योग्य है, जबकि प्रति टिप्पणी झंडे इसके अंदर की समस्या का पता लगाने में मदद करते हैं। यह इसलिए महत्वपूर्ण है क्योंकि समीक्षकों और लेखकों को आमतौर पर प्रत्येक वाक्य पर अंतिम फैसले के बजाय दूसरी बार देखने लायक टिपियों की प्राथमिकता वाली सूची की आवश्यकता होती है।
किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए
Use PremiseCheck यदि आपको तथ्यात्मक जोखिम द्वारा समीक्षा टिप्पणियों को रैंक करने का एक सस्ता तरीका चाहिए और यह देखें कि पेपर किस आधार पर विरोधाभास करता है। इसे छोड़ दें यदि आपको समीक्षक की आलोचना के बारे में अंतिम निर्णय की आवश्यकता है, या यदि आप उपकरण से निष्पक्षता, महत्व, या उपयोगिता प्रश्नों का उत्तर देने की उम्मीद करते हैं। कई टिप्णियों की बार-बार स्क्रीनिंग के लिए, कम लागत छोटे सटीक अंतर से अधिक मायने रख सकती है।
यह कार्य कठिन है: दोनों प्रणालियाँ natural language processing डेटा पर केवल 63 AUROC स्कोर करती हैं। machine learning और प्राकृतिक विज्ञान उप-समूह छोटे होते हैं, जिनमें व्यापक अंतराल होता है, इसलिए क्षेत्र स्तर की तुलना को सावधानीपूर्वक पढ़ा जाना चाहिए। बेंचमार्क भी निर्णय त्रुटियों को कवर नहीं करता है। प्रीमिसचेक का उद्देश्य लोगों को जांच के लायक टिप्पणियों की ओर इशारा करना है, समीक्षकों को बदलने के लिए नहीं।
कोड https://github.com/OpenLAIR/PremiseCheck पर है, डेटा https://huggingface.co/datasets/songdj/ReviewFact, और परियोजना पृष्ठ https://openlair.github.io/premisecheck/। प्रश्नों और प्रति-उदाहरणों का स्वागत किया जाता है।

Comments (0)