एक मॉडल ने ईमानदारी से अपने विश्वास की सूचना दी, जबकि दूसरे ने गलत होने पर भी 100% निश्चितता का दावा किया।
एक मूल्यांकन ने 200 रसीदों और चालानों पर LLM दस्तावेज़ निष्कर्षण के लिए पांच विश्वास संकेतों का परीक्षण किया; मॉडल विकल्प बदल गया कि कौन से सिग्नल सबसे अच्छा काम करते हैं
मुख्य जानकारी
- एलएलएम-आधारित दस्तावेज़ निष्कर्षण के लिए पांच त्रुटि संकेतों का मूल्यांकन से पता चला कि सबसे उपयोगी विश्वास सिग्नल मॉडल पर दृढ़ता से निर्भर करता है।
- जेमिनी 3.5 फ्लैश-लाइट के लिए घोषित विश्वास अच्छी तरह से कैलिब्रेट किया गया था, जिससे 52.5% दस्तावेजों को एक 5% त्रुटि सीमा पर स्वचालित रूप से स्वीकार करने में सक्षम बनाया जा सकता है, लेकिन यह गेमिनी 3.1 फ्लैस-लाईट के लिए लगभग बेकार था, जिसने 1.0 कई गलत क्षेत्रों सहित अधिकांश क्षेत्रों पर आत्मविश्वास का दावा किया।
- अंकगणितीय जांच संयोग से नीचे की गई, क्रॉस-मॉडल समझौते ने मुख्य रूप से मदद की जब जाँच मॉडल मजबूत था, और कम कैलिब्रेटेड मॉडल के लिए एक संयुक्त प्रतिगमन सबसे प्रभावी था।
- क्षेत्र स्तर की सटीकता स्कोर पर्याप्त नहीं थे: एक निश्चित जोखिम सीमा के तहत दस्तावेज़-स्तर कवरेज से पता चला कि कौन से संकेत वास्तव में मानव समीक्षा को कम कर सकते हैं।
- प्रैक्टिकल डॉक्यूमेंट ऑटोमेशन के लिए, कॉन्फिडेंस कैलिब्रेशन को अनुमानित करने की बजाय लक्ष्य मॉडल और कार्य पर मापा जाना चाहिए।
मेटा विवरणः एक मूल्यांकन ने 200 रसीदों और चालानों पर दस्तावेज़ निष्कर्षण के लिए पांच त्रुटि संकेतों का परीक्षण किया; संयुक्त और घोषित विश्वास मॉडल द्वारा अलग-अलग काम करता है।
टैगः LLM दस्तावेज़ निष्कर्षण, मॉडल विश्वास, दस्तावेज AI, मूल्यांकन मेट्रिक्स, Gemini Flash-लाइट
मुख्य छवि: हल्के नीले और एम्बर रंगों में चालान, रसीदें और विश्वास गेज का एक साफ अमूर्त चित्रण, बिना किसी वास्तविक व्यक्ति के, कोई लोगो या पाठ।
दस्तावेज़ निष्कर्षण के एक मूल्यांकन में 200 रसीदों और चालानों पर गलत फ़ील्ड को चिह्नित करने के पांच तरीकों का परीक्षण किया गया, जिसमें प्रत्येक क्षेत्र को निकालने के लिए मिथुन 3.1 फ्लैश-लाइट और मिथुन 3.5 फ्लैश-लाइट का उपयोग किया गया और प्रत्येक आउटपुट को घोषित आत्मविश्वास, अंकगणितीय जांच, दोहराए गए नमूना समझौते, क्रॉस-मॉडल समझौता और संयुक्त प्रतिगमन के साथ स्कोर किया गया। उन टीमों के लिए जो दस्तावेज की समीक्षा स्वचालित करते हैं, परीक्षण एक व्यावहारिक चेतावनी प्रदान करता हैः सबसे अच्छा सिग्नल मॉडल पर निर्भर करता है। कहा गया विश्वास मिथुन के लिए उपयोगी था 3.5 फ्लैशे लाइट लेकिन मिथून के लिए लगभग बेकार है 3.1 फ्लेश लाइट, क्रस-मोडेल समझौते ने केवल तभी मदद की जब चेकिंग मॉडल मजबूत था, और अंकगणिती जाँच मौका से नीचे थी। यह परीक्षण उसी हार्नेस का उपयोग करता है और लेखक के पिछले लेख के अनुसार प्रति-क्षेत्र प्रतिगमन परीक्षणों पर चलता है; कोड और हर संख्या निष्कासन में होती है।
परीक्षण सेटअप और स्कोरिंग मेट्रिक्स
दस्तावेजों में कॉर्ड (पार्क एट अल, 2019) से 100 वास्तविक रसीदें और परीक्षण विभाजन से लिए गए सटीक लेबल के साथ 100 उत्पन्न चालान थे। इसने प्रति मॉडल लगभग 2,000 स्कोर किए गए फ़ील्ड का उत्पादन किया। इन दस्तावेज़ों पर, मिथुन 3.1 फ्लैश-लाइट को गलत क्षेत्रों की 4.0% मिली और मिथुन 3.5 फ्लैस-लाईट ने 1.4% गलती की। दस्तावेज़ स्तर पर, जहां प्रत्येक क्षेत्र सही होना चाहिए, 32% मिथून 3.1 फ्लेश लाइट दस्तावेज़ों में एक त्रुटि थी और 10.5% मिथून 3.5 फ्लाश-लाईट दस्तावेज करते थे।
प्रत्येक क्षेत्र के लिए पांच संकेतों की गणना की गई। उच्च स्कोर का मतलब था कि क्षेत्र सही होने की अधिक संभावना थी।
- कहा गयाः मॉडल का अपना आत्मविश्वास, प्रत्येक क्षेत्र के लिए 0 से 1 तक की संख्या लौटाई गई।
- जाँचें: आउटपुट पर डोमेन जांच, जैसे कि सबटोटल को जोड़ने वाली लाइन कुल या उप-कुल प्लस कर जो कुल के बराबर है। एक फ़ील्ड ने 0 प्राप्त किया यदि कोई असफल चेक इसे छुआ था, 1 अगर केवल पासिंग चेक्स इसे छूते थे, और 0.5 यदि किसी भी जांच में यह शामिल नहीं था।
- स्थिरता: जेमिनी 3.5 फ्लैश-लाइट प्रति दस्तावेज़ पांच बार चलाया गया था। स्कोर अन्य नमूनों का हिस्सा है जो एक ही मूल्य देते हैं (वांग एट अल., 2023; मानकुल एट एल. , 2023) ।
- cross_model: 1 यदि दूसरा मॉडल समान सामान्यीकृत मान देता है, 0 अन्यथा।
- संयुक्तः उपरोक्त सभी संकेतों पर एक तार्किक प्रतिगमन। यह क्रॉस-फिट था: दस्तावेजों को पांच गुना में विभाजित किया गया था, और प्रत्येक गुना को अन्य चार पर फिट मॉडल द्वारा स्कोर किया जाता था, इसलिए किसी भी दस्तावेज़ को उस मॉडल द्वारा नहीं देखा गया था जिसने इसे देखा था।
टोकन लॉग-संभावनाएं एक छठा संकेत होतीं, लेकिन जेमिनी मॉडल ने उन्हें वापस नहीं किया।
संकेतों को तीन संख्याओं के साथ आंका गया। एयूआरओसी यह संभावना है कि गलत फ़ील्ड एक सही क्षेत्र की तुलना में कम स्कोर प्राप्त करता है; 0.5 मौका है. ईसीई, या अपेक्षित कैलिब्रेशन त्रुटि (गुओ और अन्य, 2017), पूछता है कि क्या एक संभाव्यता सिग्नल भरोसेमंद हैः जब संकेत कहता है 0.9, उन क्षेत्रों में से 90% सही हैं? एक निश्चित जोखिम पर कवरेज (गिफमैन और एल-यानीव, 2017) वह संख्या है जो व्यवहार में सबसे अधिक मायने रखती है। दस्तावेजों को सबसे कम आत्मविश्वास से क्रमबद्ध किया गया था, शीर्ष से स्वीकार किया गया, और स्वीकृत सेट से पहले प्रक्रिया बंद हो गई जिसमें त्रुटियों से अधिक 5% शामिल थे। दस्तावेज़ का विश्वास उसका सबसे कम आश्वस्त क्षेत्र था, और एक दस्तावेज़ केवल तभी सही माना जाता था यदि प्रत्येक क्षेत्र सही था। यह ऐसे दस्तावेजों के हिस्से को मापता है जिन्हें कभी भी किसी व्यक्ति की आवश्यकता नहीं होती थी। डॉक्यूमेंट लेवल मूल्यांकन सबसे विश्वसनीय दस्तावेज को स्वीकार करके कवर-जोखिम के खिलाफ प्लॉट भी बनाता है; पहला वाई-अक्ष दिखाया गया है कि स्वीकार किए गए दस्तावे
एक नज़र में परिणाम
| मॉडल | संकेत | एयूआरओसी | ईसीई | दस्तावेज़ स्वचालित रूप से 5% त्रुटि पर स्वीकार किए गए |
|---|---|---|---|---|
| मिथुन 3.1 फ्लैश-लाइट | कहा गया | 0.67 | 0.037 | 0% |
| मिथुन 3.1 फ्लैश-लाइट | जाँच | 0.41 | - क्या? | 0% |
| मिथुन 3.1 फ्लैश-लाइट | क्रॉस_मॉडल | 0.88 | - क्या? | 0% |
| मिथुन 3.1 फ्लैश-लाइट | संयुक्त | 0.93 | 0.007 | 58.5% |
| जेमिनी 3.5 फ्लैश-लाइट | कहा गया | 0.79 | 0.004 | 52.5% |
| जेमिनी 3.5 फ्लैश-लाइट | जाँच | 0.41 | - क्या? | 0% |
| जेमिनी 3.5 फ्लैश-लाइट | सुसंगतता | 0.76 | 0.009 | 0% |
| जेमिनी 3.5 फ्लैश-लाइट | क्रॉस_मॉडल | 0.65 | - क्या? | 0% |
| जेमिनी 3.5 फ्लैश-लाइट | संयुक्त | 0.76 | 0.005 | 7% |
तालिका में एक विभाजित परिणाम दिखाया गया है। मिथुन 3.1 फ्लैश-लाइट के लिए, संयुक्त संकेत ही एकमात्र था जो स्वचालित रूप से स्वीकार किए गए दस्तावेजों को 5% त्रुटि सीमा तक पहुंचाते हुए 58.5%. मिथुन 3.5 फ्लैस-लाईट के लिए कहा गया आत्मविश्वास केवल दस्तावेज़ों की 52.5% स्वीकृति दी गई थी, जबकि संयुक्त सिग्नल ने केवल 7% । कई फील्ड-स्तरीय AUROC स्कोर अच्छे लग रहे थे, लेकिन दस्तावेज़ स्तर पर उन्होंने कुछ भी स्वीकार नहीं किया।
संकेतों ने अलग-अलग व्यवहार क्यों किया
बयान किया गया विश्वास सबसे स्पष्ट मॉडल-निर्भर परिणाम था। मूल्यांकन में उद्धृत शोध से पता चलता है कि भाषा के मॉडल अक्सर कहते हैं कि वे बहुत निश्चित हैं कि क्या वे सही या गलत हैं (Xiong et al., 2024), जबकि मौखिक आत्मविश्वास को मानव प्रतिक्रिया के साथ ट्यून किए गए मॉडलों के लिए टोकन संभावनाओं की तुलना में बेहतर कैलिब्रेट किया जा सकता है (तियान एट अल., 2023) । दोनों पैटर्न दिखाई दिए, एक प्रति मॉडल।
जेमिनी 3.1 फ्लैश-लाइट ने कहा 1.0 कि 96% फ़ील्ड। इसके 80 में से लगभग 50 त्रुटियां उस 1.0 आत्मविश्वास के साथ आईं। 21 क्षेत्रों पर जहां यह कहा गया था 0.9, वह सही था 57%. जेमिनि 3.5 फ्लैस-लाईट ने विश्वास सीमा का उपयोग किया, और रेंज का मतलब कुछ हैः 0.9 समय की बात है 90% , 0.95 यह सही है 96%, और 0.99 यह ठीक है 99% । इसकी अपेक्षित कैलिब्रेशन त्रुटि थी 0.004. अपने सबसे कम आश्वस्त क्षेत्र द्वारा दस्तावेजों को रैंकिंग करना स्वचालित रूप से स्वीकार कर लिया 52.5% उनमें से एक 5% त्रुटि दर पर, बिना किसी अन्य चीज के शामिल।
अंतर का कारण स्थापित नहीं किया गया है। मॉडल एक ही परिवार से हैं और उसी प्रॉम्प्ट का उपयोग करते हैं। एक संभावित स्पष्टीकरण प्रशिक्षण और कठिनाई का मिश्रण हैः छोटे मॉडल के लिए कार्य कठिन होता है, और अत्यधिक आत्मविश्वास अक्सर मानव अंशांकन अध्ययन में सबसे कठिन प्रश्नों पर सबसे खराब होता है। व्यावहारिक बिंदु स्पष्टीकरण पर निर्भर नहीं करता है। क्या कहा गया विश्वास प्रयोग करने योग्य है यह मॉडल की संपत्ति है और इसे आपके दस्तावेजों पर मापा जाना चाहिए। एक मॉडल पर ट्यून की गई दहलीज अगले को स्थानांतरित नहीं होती है, यहां तक कि एक परिवार के भीतर भी।
क्रॉस-मॉडल समझौता कमजोर मॉडल के लिए एक मजबूत फ़िल्टर था। मिथुन 3.1 फ्लैश-लाइट और मिथुन 3.5 फ्लेश-लाइट ने 96.2% क्षेत्रों में से एक क्षेत्र के लिए समान मूल्य दिया। जब वे सहमत हुए, तो वह मान लगभग 1% समय पर गलत थाः मिथुन के लिए 19 1,922 खेतों में से 3.1 Flash-Lite । जब वे असहमत थे, ७६ क्षेत्रों में, मिथून 3.1 फ्लाश-लाईट ६१ बार गलत था, मिथुन 3.5 फ्लैस-लाईट ९ बार गलत थी, और दोनों एक बार गलत थे।
इसका मतलब है कि मिथुन के साथ असहमति 3.5 फ्लैश-लाइट ने मिथून 3.1 की 80 त्रुटियों में से 61 को पाया, जिससे इसे एयूआरओसी का 0.88 दिया गया और यह छोटे मॉडल के लिए सबसे अच्छा सिंगल सिग्नल बना। जेमिनी 3.5 फ़्लैश लाइट के लिए, एक ही मतभेदों ने अपने 27 में से केवल 9 त्रुटियां चिह्नित कीं, क्योंकि अधिकांश मतभेद मिथुन 3.1 फ्लैस-लाईट गलतियाँ थीं। इसकी AUROC 0.65 थी। दूसरा मॉडल ठीक उसी समय एक अच्छा त्रुटि डिटेक्टर होता है जब वह कम से कम पहले के रूप में उतना ही अच्छा हो। कमजोर मॉडल के साथ मजबूत मॉडल की जांच करने पर ज्यादातर कमजोर मॉडल की त्रुटियाँ पाई जाती हैं।
19 त्रुटियां जहां दोनों मॉडल सहमत थे वे दिलचस्प थे। वे साझा गलतियाँ थीं। जब छवियों के खिलाफ ऑडिट किया गया, तो वे ज्यादातर समान चीजें थीं: शून्य-मूल्य वाले टॉपिंग आइटम के रूप में सूचीबद्ध हैं, एक रसीद पर भरा हुआ कुल जो प्रिंट नहीं करता है और कानूनी नाम के लिए लिया गया ब्रांड नाम। दोनों मॉडल एक ही परिवार से हैं, इसलिए विभिन्न विक्रेताओं के दो मॉडल इन गलतियों को कम साझा कर सकते हैं, लेकिन मूल्यांकन ने इसका परीक्षण नहीं किया।
क्रॉस-मॉडल समझौते ने दस्तावेजों के 0% को स्वीकार किया क्योंकि समझौता एक हां या नहीं संकेत है। दस्तावेज़ स्तर पर केवल दो समूह थेः ऐसे दस्तावेज जहां मॉडल हर क्षेत्र में सहमत हुए, 200 में से 141 और बाकी। 141 स्वीकृत दस्तावेजों में से 11 में अभी भी मिथुन 3.1 फ्लैश-लाइट के आउटपुट में त्रुटि थी, या 7.8%. उस समूह के भीतर रैंक करने के लिए कुछ भी नहीं होने के साथ, सिग्नल 5% त्रुटि दर के तहत नहीं आ सकता है। यह एक अच्छा फ़िल्टर और एक बुरा रैंकर है, और टीमों को इसके बगल में लगातार किसी चीज़ की आवश्यकता होती है।
स्व-संगतता ने केवल नमूनाकरण-शोर के स्तर पर मदद की। मिथुन 3.5 फ्लैश-लाइट को प्रति दस्तावेज़ पांच बार नमूने लिया गया था, और एकरूपता स्कोर में एयूआरओसी का 0.76 था, जो इसके बताए गए आत्मविश्वास के करीब था, लेकिन कॉल के पाँच गुना पर। कमजोर बिंदु यह था कि 1,970 लगभग 2,000 क्षेत्रों में से सभी पांच नमूनों पर सहमत थे, और 13 जेमिनी 3.5 फ़्लैश लाइट की 27 त्रुटियां उनमें से थीं। बेहतर मॉडल की गलतियों में से आधी हर बार हुई थी। आत्म-सहजता प्रत्येक बार एक अंक पर गलत तरीके से पढ़ी गई संख्या जैसे सैम्पलिंग शोर के कारण होने वाली त्रुटियों को पकड़ती है और दूसरा नहीं। यह व्यवस्थित गलत रीडिंग्स को पकड़ नहीं सकता है, जैसे हेडर में ब्रांड को कंपनी के नाम के रूप में पढ़ना, क्योंकि मॉडल हर बार वह गलती करता है। निष्कर्षण के लिए, जहां अधिकांश इनपुट स्पष्ट हैं और कई प्रणालीगत त्रुटिएं हैं, जो सिग्नल को बहुत सीमित करती हैं।
अंकगणितीय जांच संयोग से नीचे स्कोर किया गया, लेकिन यह व्यवहार समझाया जा सकता है। दोनों मॉडलों के लिए उनका एयूआरओसी 0.41 था, एक सिक्का फ्लिप से नीचे। एक असफल चेक एक मजबूत संकेत हैः मिथुन 3.1 फ्लैश-लाइट के लिए, एक विफल जाँच 15 क्षेत्रों को छूती थी, उनमें से 7 गलत थे, त्रुटि दर 47%. लेकिन यह लगभग कभी भी फायर नहीं हुआ। 2,000 में से केवल 15 फ़ील्ड एक असफल जांच द्वारा छुए गए थे, आंशिक रूप से क्योंकि एक विफल जांच ने पहले मरम्मत की बारी शुरू कर दी थी। क्षेत्र जो केवल पासिंग चेकों द्वारा कवर किए गए थे 1,203 , 64 गलत क्षेत्रों और एक 5.3% त्रुटि दर के साथ। उन पर कोई जांच न करने वाले क्षेत्रों का नंबर 780, 9 गलत खेतों और एक त्रुटि दर 1.2% के साथ था।
चेक ज्यादातर मात्रा फ़ील्ड को कवर करते हैं, जो कि सबसे अधिक गलत हो जाते हैं। बिना किसी जांच वाले क्षेत्र लगभग हमेशा सही होते थे। नतीजतन, "पासिंग चेक द्वारा कवर किया गया" का अर्थ समाप्त हुआ "यह एक ऐसा क्षेत्र है जो गलत होता है", और रैंकिंग उल्टा निकली। सबक यह है कि एक चेक आपको उन दस्तावेजों के बारे में बताता है जिन पर वह विफल रहता है, और आपको पास किए गए दस्तावेज़ों के लिए लगभग कुछ भी नहीं कहता है। अधिकांश त्रुटियां हर जाँच से गुजरती हैं, क्योंकि एक मिसरेड उप-कुल और एक मिस्रेड कुल अभी भी जोड़ सकते हैं, और एक फील्ड जिसे चेक स्पर्श नहीं करता है उसे असफल नहीं कर सकता है। मरम्मत के लिए चलाने लायक हैं और हार्ड फ्लैग के रूप में बदलते हैं, लेकिन विश्वास स्कोर के तौर पर नहीं।
सिग्नल को जोड़ने से मिथुन 3.1 फ्लैश-लाइट के लिए एक बड़ा लाभ और मिथुन 3.5 फ्लेश-लाइट के लिए नुकसान हुआ। मिथून 3.1 फ्लास-लाईट के लिए, संयुक्त स्कोर AUROC 0.93, कैलिब्रेशन त्रुटि 0.007 तक पहुंच गया, और 5% त्रुटि दर पर दस्तावेजों की ऑटो-स्वीकृत 58.5% जहां किसी भी एकल संकेत ने कोई स्वीकार नहीं किया था। मूल्यांकन से पता चलता है कि अधिकांश काम मिथुन के साथ समझौते द्वारा किया जाता है 3.5 फ्लैशे लाइट, घोषित आत्मविश्वास और सहमत समूह के भीतर संबंधों को तोड़ने वाले चेक के साथ, हालांकि भारों का निरीक्षण गुना करके नहीं किया गया था।
जेमिनी 3.5 फ्लैश-लाइट के लिए, संयोजन ने केवल 5% त्रुटि पर दस्तावेजों की 7% को स्वीकार किया, 52.5% के खिलाफ अकेले घोषित आत्मविश्वास के लिए। संभावित कारण सरल हैः गेमिनी 3.5 फ्लेश लाइट ने लगभग 2,000 क्षेत्रों में 27 त्रुटियां कीं, और उस डेटा के चार-पांचवें हिस्से पर फिट होने वाले प्रतिगमन से सीखने के लिए लगभग 20 त्रुटियों का सामना करना पड़ा। इस मॉडल के लिए शोर थे कि संकेतों के लिए वजन सीखा, जैसे क्रॉस_मॉडल और चेक, और उन शोर भार काम कर रहे सिग्नल बाहर डूब गए. क्रॉस फिटिंग संख्या ईमानदार रखता है, लेकिन यह पर्याप्त रूप से 20 उदाहरण नहीं बनाता है। एक मॉडल पर इतना सटीक, सुरक्षित विकल्प एकल संकेत रखना है जो कैलिब्रेटेड है और वहां रुकें, जब तक कुछ बेहतर फिट करने के लिए पर्याप्त लेबल किए गए डेटा न हों।
बिल्डरों को आगे क्या करना चाहिए
मूल्यांकन कुछ व्यावहारिक नियमों की ओर इशारा करता है जो चालान और रसीद कार्यप्रवाह में दस्तावेज़ निष्कर्षण LLM का उपयोग करने वाली टीमों के लिए हैं।
सबसे पहले, प्रति मॉडल उपयोग करने से पहले आत्मविश्वास को मापें। यह एक मॉडल के लिए सबसे अच्छा संकेत था और दूसरे के लिए लगभग बेकार था, यहां तक कि उसी प्रॉम्प्ट के साथ भी। एक मॉडल पर ट्यून की गई दहलीज अगले में स्थानांतरित नहीं होती है, भले ही एक ही परिवार के भीतर हो।
दूसरा, एक दूसरे मॉडल का उपयोग फ़िल्टर के रूप में करें न कि स्कोर के तौर पर और मजबूत चेकर चुनें। समझौता अधिकांश त्रुटियों को हटा देता है जब जाँच करने वाला मॉडल कम से कम उतना ही अच्छा होता है जितना जांच किया जा रहा मॉडल. चूंकि सहमति दस्तावेज़ स्तर पर हां-या-नहीं संकेत है, इसलिए इसे सहमत समूह के भीतर रैंक करने के लिए किसी निरंतर चीज़ के साथ जोड़ा जाए।
तीसरा, पुनर्मूल्यांकन से व्यवस्थित त्रुटियों को खोजने की अपेक्षा न करें। बेहतर मॉडल के सभी पांच नमूनों में आधे त्रुटि दिखाई दीं। आत्म-संगतता अस्थिर गलतियों को पकड़ सकती है, लेकिन हर बार मॉडल द्वारा बनाई गई गलतियां नहीं।
चौथा, अंकगणितीय जाँचों को झंडे के रूप में मानें। एक असफल जांच का अर्थ है दस्तावेज़ पर नज़र डालें. एक उत्तीर्ण जांच बहुत कम मायने रखती है, क्योंकि कई त्रुटियां हर जांच से गुजरती हैं, खासकर जब गलत रीडिंग सबोटोटल और गलत रीड कुल अभी भी जोड़ते हैं।
पांचवां, दस्तावेज स्तर पर एक निश्चित जोखिम के साथ कवरेज की रिपोर्ट करें। फ़ील्ड्स पर AUROC कई संकेतों के लिए अच्छा लग रहा था जो कि 5% दस्तावेज़-त्रुटि दहलीज पर कुछ भी स्वीकार नहीं करते थे। उपयोगी संख्या यह है कि किसी व्यक्ति के बिना दस्तावेजों का कितना हिस्सा स्वीकार किया जा सकता है।
छठा, एक मुट्ठी भर त्रुटियों पर संयुक्त मॉडल को फिट न करें। मिथुन के लिए 3.5 फ्लैश-लाइट, संयोजन ने एक अच्छे सिग्नल से भी बदतर प्रदर्शन किया। 27 त्रुटियां होने के साथ, स्वच्छ रूप से सीखने के लिए प्रतिगमन के लिए पर्याप्त संकेत नहीं था।
ये सभी परिणाम 200 दस्तावेजों पर एक परिवार के दो छोटे मॉडल से आते हैं, इसलिए विशिष्ट संख्याओं को एक डेटा बिंदु के रूप में माना जाना चाहिए, जबकि विधि पुनः उपयोग करने योग्य हिस्सा है। मूल्यांकन का कहना है कि विभिन्न विक्रेता क्रॉस-चेक और टोकन लॉग-संभावनाएं दो संकेत हैं जो इसे सबसे अधिक जोड़ना चाहते हैं।
संकेत, जोखिम-कवरेज कोड और प्रत्येक संख्या github.com/abdulm-ai/extraction-evals में हैं। कमांड पायथन -m xeval रिपोर्ट उन्हें प्रतिबद्ध भविष्यवाणियों से एक API कुंजी के बिना पुनर्निर्माण करती है।
संदर्भ
- क्या एलएलएम अपनी अनिश्चितता व्यक्त कर सकते हैं? LLMs में आत्मविश्वास प्राप्ति का एक अनुभवजन्य मूल्यांकन. आईसीएलआर 2024.
- तियान, के. एट अल (2023). बस कैलिब्रेशन के लिए पूछें: मानव प्रतिक्रिया के साथ भाषा मॉडल फाइन-ट्यून से कैलीब्रेटेड आत्मविश्वास स्कोर प्राप्त करने की रणनीतियाँ। ईएमएनएलपी 2023.
- गुओ, सी., प्लेइस, जी., सन, वाई. और वेनबर्गर, केक्यू (2017). आधुनिक तंत्रिका नेटवर्क की कैलिब्रेशन पर। आईसीएमएल 2017.
- Geifman, Y. और El-Yaniv, R. (2017). गहरे तंत्रिका नेटवर्क के लिए चयनात्मक वर्गीकरण। NeurIPS 2017.
- वांग, एक्स. एट अल (2023). आत्म-संगतता भाषा मॉडल में विचार तर्क की श्रृंखला को बेहतर बनाती है। आईसीएलआर 2023.
- मानकुल, पी., लियूसी, ए. और गैल्स, एम जे एफ (2023). सेल्फचेकजीपीटी: शून्य-संसाधन ब्लैक-बॉक्स मतिभ्रम डिटेक्ट।
Comments (0)