समान वर्ण त्रुटि दरों का अर्थ अभी भी असमान क्षति हो सकता है, इसलिए ऑप्टिकल चरित्र मान्यता के लिए एक गंभीरता-भारित चरित्र त्रुटि दर मीट्रिक की आवश्यकता होती है।
semCER टेक्स्ट रिकग्निशन आउटपुट का मूल्यांकन करने के लिए वर्ण त्रुटि दर का एक गंभीरता-भारित विस्तार है। हर चरित्र त्रुटि को समान रूप से चार्ज करने के बजाय, यह प्रत्येक संपादन को 0 से 1 तक स्कोर करता है, अर्थ बदलने वाली गलतियों से हानिरहित टाइपो को अलग करता है। यह अक्षर त्रुटि दर के समान संरेखण और भाजक रखता है, इसलिए यह मूल मीट्रिक की जगह देता नहीं बल्कि समझाता है। परिणाम सुझाव देते हैं कि संपादित स्तर की गंभीरता अंग्रेजी, वियतनामी और चीनी में मानव रेटिंग्स को ट्रैक करती है, जबकि पूरी लाइन सामान्यीकृत चरित्र त्रुटि दर अभी भी समग्र त्रुटि मात्रा को सारांशित करती है। 16 भाषाओं में, गंभीरता भिन्न होती है b परियोजना कोड जारी करती है, एक स्थानीय 0.8 अरब-पैरामीटर मॉडल और 61 मिलियन मूल्यांकन किए गए संपादन, पाठक अध्ययन पर स्पष्ट सीमाओं के साथ और छोटे स्कोर अंतराल।
मुख्य जानकारी
- semCER प्रत्येक वर्ण त्रुटि के लिए 0 से 1 गंभीरता स्कोर जोड़ता है जबकि चरित्र त्रुटि दर का संरेखण और भाजक रखता है, यह समझाने में मदद करता है कि JUST की बजाय पाठकों को कौन सी ओसीआर त्रुटियां मायने रखती हैं जो सभी त्रुटियों को समान रूप से गिनती करती हैं।
- एक ही चरित्र त्रुटि दर के साथ दो प्रणालियाँ अभी भी अलग-अलग नुकसान का कारण बन सकती हैं; गंभीरता टूटने से पता चल सकता है कि क्या त्रुटियां ज्यादातर हानिरहित या अर्थ बदलने वाली हैं, जिससे semCER वर्ण त्रुटि दर का नैदानिक पूरक हो जाता है।
- भाषाओं या लेखन प्रणालियों में गंभीरता सार्वभौमिक नहीं है; उदाहरण के लिए, एक गलत डायक्रिटिक स्पेनिश में मामूली है लेकिन तेलुगु में एक गलत पत्र जितना महंगा हो सकता है, इसलिए बहुभाषी मूल्यांकन को पाठक प्रभाव का ध्यान रखना चाहिए।
- परियोजना खुले संसाधनों को जारी करती है, जिसमें LLM -निष्कासित 0.8B स्थानीय मॉडल, 61 मिलियन जज किए गए संपादन, पाठक रेटिंग्स, कोड और एक क्विकस्टार्ट नोटबुक शामिल हैं।
- वर्तमान सीमाएं महत्वपूर्ण हैंः रीडर सत्यापन में केवल अंग्रेजी, वियतनामी और चीनी शामिल हैं, और लगभग 0.1 से नीचे की गंभीरता के अंतर को सार्थक नहीं माना जाना चाहिए।
मेटा विवरण: semCER प्रत्येक वर्ण त्रुटि को 0 से 1 तक स्कोर करता है ताकि यह दिखाया जा सके कि कौन सी पाठ त्रुटियां मायने रखती हैं, जबकि चरित्र त्रुटि दर मानव पाठकों के लिए एक उपयोगी समग्र उपाय बनी हुई है।
टैग: वर्ण त्रुटि दर, पाठ मूल्यांकन, बहुभाषी मूल्यांकन, खुला datasets, मॉडल मूल्यांकन
![संक्षिप्त मैत्रीपूर्ण चित्रण गंभीरता मार्कर के साथ पाठ लाइनों, कोई लोगो या पाठ]
semCER के लेखक ने एक मीट्रिक जारी किया है जो प्रत्येक वर्ण त्रुटि को समान रूप से महंगा मानने के बजाय 0 से 1 तक हर चरित्र संपादन को स्कोर करता है। इसका उद्देश्य उन लोगों पर है जो पाठ की गुणवत्ता का मूल्यांकन करने के लिए चरित्र त्रुटि दर का उपयोग करते हैं और यह जानना चाहते हैं कि मानव पाठक कौन सी त्रुटियों को नोटिस करते हैं। SemCER अक्षर त्रुटि दर के समान संरेखण और भाजक रखता है, लेकिन प्रत्येक संपादन के लिए गंभीरता अंक जोड़ता है।
गंभीरता क्यों मायने रखती है
Character error rate charges every character error 1. एक टाइपो की लागत मूल्य में गलत अंक या गलत नाम के समान होती है। इससे सरल त्रुटि गणना अधिक महत्वपूर्ण लग सकती है, क्योंकि हर गलती पाठक को समझ नहीं पाती है। semCER प्रत्येक संपादन को 0 से गंभीरता प्रदान करके इसे संबोधित करता है, एक हानिरहित परिवर्तन के लिए, 1, एक बदलाव के लिए जो अर्थ खो देता है।
व्यावहारिक मूल्य नैदानिक है। यदि दो प्रणालियों में वर्ण त्रुटियों की एक ही संख्या होती है, तो गंभीरता का टूटना यह दिखा सकता है कि क्या त्रुटियां ज्यादातर हानिरहित या अधिकतर नुकसानदायक हैं। लेखक मूल मीट्रिक को बदलने के तरीके के रूप में semCER प्रस्तुत नहीं करता है, लेकिन इसे समझाने के लिए।
परिणाम क्या दिखाते हैं
लेखक के अनुसार, संपादन-दर-संपादन गंभीरता अंग्रेजी, वियतनामी और चीनी में मानव पाठकों की रेटिंग को ट्रैक करती है। पूरी पंक्तियों के लिए, सामान्यीकृत चरित्र त्रुटि दर पाठकों के साथ-साथ सेमसीईआर या बेहतर पर नज़र रखती है। इसलिए लेखक ने सेमसेर का वर्णन एक टूटने के रूप में किया है जो वर्ण त्रुटि दर के बगल में बैठता है, प्रतिस्थापन नहीं करता है। यह मूल्यांकनकर्ताओं को बताता है कि कौन सी त्रुटियां चोट पहुंचाती हैं, जबकि मूल मीट्रिक अभी भी समग्र त्रुटि मात्रा का सारांश देता है।
16 भाषाओं में, एक ही त्रुटि प्रकार को बहुत अलग गंभीरता प्राप्त होती है। स्पैनिश में गलत डायाक्रिटिक का लगभग कुछ भी खर्च नहीं होता है लेकिन तेलुगु में एक गलत पत्र की लागत के करीब है। यह परिणाम बहुभाषी पाठ मूल्यांकन के लिए मायने रखता है क्योंकि लेखन प्रणालियों में गंभीरता सार्वभौमिक नहीं है। एक भाषा पर ट्यून किया गया स्कोर दूसरी भाषा में पाठक प्रभाव का वर्णन नहीं कर सकता है।
मॉडल, डेटा और सीमाएं
गंभीरता लेबल DeepSeek V4 Flash का उपयोग करते हुए एक LLM न्यायाधीश से आते हैं। लेखक का कहना है कि इन निर्णयों को स्थानीय रूप से चलने वाले 0.8B मॉडल में आसुत किया गया था। खुली रिलीज़ में 61 मिलियन न्यायिक संपादन और पाठक रेटिंग शामिल हैं।
इस परियोजना की स्पष्ट सीमाएं हैं। पाठक अध्ययन केवल अंग्रेजी, वियतनामी और चीनी को कवर करते हैं। लेखक यह भी चेतावनी देता है कि लगभग 0.1 से नीचे गंभीरता के अंतर विश्वसनीय नहीं हैं। इसका मतलब है कि स्कोर में छोटे अंतराल को सार्थक मतभेदों के रूप में पढ़ा नहीं जाना चाहिए। त्रुटि की तीव्रता के पैटर्न को समझने के लिए उपयोग किए जाने पर मीट्रिक सबसे मजबूत होता है, न कि मामूली स्कोर परिवर्तनों से सटीक पाठक क्षति का दावा करने के लिए।
खुले संसाधन और अगले संकेत
सब कुछ खुला है. कोड को पाइप इंस्टॉल सेमर के साथ स्थापित किया जा सकता है और https://github.com/nguyenx2t/semcer पर होस्ट किया जाता है। स्थानीय मॉडल https://huggingface.co/nguyenx2t/semcer-qwen3.5-0.8b पर उपलब्ध है। dataset का मूल्यांकन किए गए संपादन और पाठक रेटिंग https://huggingface.co/datasets/nguyenx2t/semcer-judged-edits पर हैं। एक त्वरित नोटबुक https://colab.research.google.com/github/nguyenx2t/semcer/blob/main/notebooks/quickstart.ipynb पर है।
लेखक प्रतिक्रिया और बग रिपोर्ट का स्वागत करता है, खासकर उन लोगों से जो भाषाओं पर काम कर रहे हैं जिन्हें पाठक रेटिंग के साथ जांच नहीं की गई है। अब मुख्य सवाल यह है कि क्या semCER मूल्यांकनकर्ताओं को सरल पूर्ण-पंक्ति तुलना को खारिज किए बिना सुधारों को प्राथमिकता देने में मदद करता है जो वर्ण त्रुटि दर पहले से ही प्रदान करती है। रिलीज के बाद पाठकों के लिए उपयोगी संकेत एक नया प्रतिस्थापन स्कोर नहीं है, बल्कि एक स्पष्ट नक्शा है जिसमें त्रुटियां वास्तव में अर्थ बदलती हैं।

Comments (0)