यूट्यूब-पार्सिंग-ओम्नी: सभी विधियों के लिए एक एकल एन्कोडर और एक एकल योजना
Youtu-Parsing-Omni एक कॉम्पैक्ट 5B ओमनी-मोडल पार्सिंग मॉडल है जो दस्तावेजों, प्राकृतिक छवियों, चार्टों, फ्लोचार्ट्स, ज्यामिति के आंकड़ों, ऑडियो और वीडियो को एकल संरचित JSON लिफाफे में परिवर्तित करता है। एक टास्क प्रॉमप्ट सात पार्सिग परिवारों में से एक का चयन करता है, जबकि एकीकृत स्कीमा लेआउट, पाठ, तालिकाओं, सूत्रों, बाउंडिंग बक्से, टाइमस्टैम्प, एएसआर, ओसीआर, ध्वनिक घटनाओं और कैमरा गति को कैप्शन और रिपोर्ट के साथ पकड़ता है। यह OmniDocBench पर 96.96 कुल मिलाकर v1.6 और 75.08 Avg.
मुख्य बिंदु
- Youtu-Parsing-Omni एक कॉम्पैक्ट 5B ओमनी-मोडल पार्सिंग मॉडल है जो दस्तावेजों, छवियों, चार्टों, ऑडियो और वीडियो को एक संरचित JSON आउटपुट में परिवर्तित करता है।
- यह सात पार्सिंग कार्यों के लिए एक एकीकृत योजना का उपयोग करता है, जिसमें लेआउट, ओसीआर, एएसआर, बाउंडिंग बॉक्स और टाइमस्टैम्प जैसे धारणा विवरणों को कैप्शन, कथाओं और रिपोर्ट्स जैसे संज्ञानात्मक आउटपुट के साथ जोड़ा जाता है।
- एक ओमनी एन्कोडर दृश्य, ऑडियो और इंटरलेव्ड ऑडियो-विज़ुअल इनपुट को एकल मॉडल में संभालता है जिससे अलग दस्तावेज़, छवि, ऑडिओ और वीडियो पाइपलाइनों की आवश्यकता कम हो जाती है।
- मॉडल मजबूत बेंचमार्क परिणामों की रिपोर्ट करता है, जिसमें ओमनीडॉकबेंच v1.6 पर अत्याधुनिक प्रदर्शन और ओमनीपार्सिंगबेंच पर सबसे अच्छा ओपन-वेट परिणाम शामिल हैं, जबकि रासायनिक संरचनाओं और संगीत स्कोर जैसे विशेष डोमेन में प्रतिस्पर्धी बने हुए हैं।
- व्यावहारिक मूल्य multimodal पार्सिंग कार्यप्रवाहों को सरल बनाने में निहित है, हालांकि उपलब्धता, लाइसेंस, training data, hardware आवश्यकताएं और विलंबता निर्दिष्ट नहीं हैं और उत्पादन उपयोग से पहले जांच की जानी चाहिए।
दस्तावेज, मीडिया और वीडियो विश्लेषण पाइपलाइन बनाने वाले डेवलपर्स और शोधकर्ताओं के लिए, Youtu-Parsing-Omni एक कॉम्पैक्ट 5B ओमनी-मोडल पार्सिंग मॉडल है जो एक इनपुट को एक संरचित JSON लिफाफे में परिवर्तित करता है। इनपुट दस्तावेज़ पृष्ठ, प्राकृतिक छवि, चार्ट, फ्लोचार्ट, ज्यामिति आकृति, ऑडियो क्लिप या ऑडियो-विजुअल वीडियो हो सकता है। लौटाए गए JSON का अर्थ धारणा और अनुभूति दोनों को कवर करना हैः यह रिकॉर्ड करता है कि क्या दृश्यमान या श्रव्य है, और यह भी बताता है कि मॉडल उन संकेतों से क्या समझता है।
एक इनपुट, एक मशीन-पठनीय प्रतिक्रिया
मॉडल एक एकल आउटपुट प्रारूप के आसपास बनाया गया है। JSON एक मशीन-पठनीय डेटा प्रारूप है, इसलिए लक्ष्य पाठ के ढीले ब्लॉक की बजाय डाउनस्ट्रीम software को पूर्वानुमान योग्य संरचना देना है।
धारणा परत लेआउट तत्वों, पाठ, तालिकाओं, सूत्रों, बाउंडिंग बक्से (बीबॉक्स), टाइमस्टैम्प्स, स्वचालित speech recognition (एएसआर), ऑप्टिकल कैरेक्टर रिकग्निशन (ओसीआर), ध्वनिक घटनाओं और कैमरा गति को ट्रैक करती है। संज्ञानात्मक परत कैप्शन, कथाएं और रिपोर्ट जोड़ती है।
एक टास्क प्रॉम्प्ट Youtu-Parsing-Omni को बताता है कि कौन सा पार्सिंग परिवार उपयोग करने के लिए। यह एकीकृत स्कीमा मुख्य विचार हैः दस्तावेजों, छवियों, चार्टों, फ्लोचार्ट्स, ज्यामिति, ऑडियो और वीडियो के लिए अलग आउटपुट अनुबंध की आवश्यकता होने के बजाय सात पार्सिग परिवार एक JSON लिफाफे को साझा कर सकते हैं।
प्रत्येक इनपुट कार्य क्या कैप्चर करता है
| इनपुट | कार्य | प्रकार/उपप्रकार | मुख्य सामग्री |
|---|---|---|---|
| दस्तावेज़ पृष्ठ | दस्तावेज | छवि / दस्तावेज़ | bbox के साथ लेआउट तत्व; पाठ, लैटेक्स, ओटीएसएल तालिकाओं, मार्कडाउन चार्ट्स, मरमेड फ्लोचार्ट और रीडिंग ऑर्डर |
| प्राकृतिक छवि | प्राकृतिक_चित्र | छवि / प्राकृतिक_छवि | bbox, टैग, कैप्शन और एक वैश्विक विवरण के साथ संस्थाओं और पाठ |
| चार्ट | ग्राफिक्स_चार्ट | छवि / दस्तावेज़ | एक चार्ट तत्वः मार्कडाउन टेबल, नोट्स और कैप्शन |
| प्रवाह चार्ट | ग्राफिक्स_फ़्लोचार्ट | छवि / दस्तावेज़ | एक फ्लोचार्ट तत्वः मत्स्यांगना और कैप्शन |
| ज्यामितीय आकृति | graphics_geometric | छवि / दस्तावेज़ | एक ज्यामितीय तत्वः बिंदु, रेखाएं, चाप, आकृति, ज्यामिति संबंधी संबंध और मापन |
| ऑडियो | ऑडियो | ऑडियो / - | टाइमस्टैम्प, स्पीकर, एएसआर, टेंबर / सीन कैप्शन और ध्वनिक घटनाओं के साथ मुखर/गैर मुखर खंड |
| प्राकृतिक वीडियो | प्राकृतिक_वीडियो | वीडियो / प्राकृतिक_वीडियो | दृश्य तत्वों, क्रियाओं, बातचीत, कैमरा गति और ऑडियो ट्रैक के साथ अस्थायी खंड |
| पाठ-समृद्ध वीडियो | पाठ समृद्ध_वीडियो | वीडियो / पाठ-समृद्ध_वीडियो | ओसीआर और एएसआर के साथ खंड, साथ ही पूरे वीडियो का एक मार्कडाउन संरचित_रिपोर्ट |
ओमनी एन्कोडर और सेवा विवरण
मॉडल छवि, ऑडियो और इंटरलेव्ड ऑडियो-विजुअल वीडियो इनपुट के लिए एक ओमनी एनकोडर का उपयोग करता है। वीडियो मामले में, फ्रेम और ऑडियो ट्रैक को अलग दृश्य और ऑडिओ पाइपलाइनों के माध्यम से नहीं बल्कि एकल मॉडल के भीतर संभाला जा सकता है।
सेवा के लिए, सामग्री कहती है कि पैकेज में एक vLLM प्लगइन, पिन किए गए सेवा सेटिंग्स, कार्य संकेत और अनुमान उदाहरण शामिल हैं। पिन की गई सेटिंग्स तैनाती पर लगातार सेवा व्यवहार रखने में मदद कर सकती हैं, जबकि शामिल संकेतों और उदाहरणों का उद्देश्य कस्टम एकीकरण काम के बिना मॉडल को चलाना आसान बनाना है।
बेंचमार्क सिग्नल और व्यावहारिक अर्थ
रिपोर्ट किए गए परिणाम Youtu-Parsing-Omni को एक मजबूत छोटे मॉडल विकल्प के रूप में स्थान देते हैं। इसे OmniDocBench v1.6 पर 96.96 समग्र के साथ अत्याधुनिक बताया गया है। यह Gemini -3- PRO के बाद दूसरे स्थान पर, 75.08 औसत के साथ ओमनीपार्सिंगबेंच पर सबसे अच्छा open-weight model भी वर्णित है। संकीर्ण डोमेन में, सामग्री कहती है कि यह ChemOCR में रासायनिक संरचना मान्यता और PDMX-Synth में संगीत स्कोर पहचान पर विशेष मॉडलों के साथ प्रतिस्पर्धी है।
व्यावहारिक मूल्य मुख्य रूप से समेकन के बारे में है। टीमें जो वर्तमान में दस्तावेज़ पार्सिंग, ओसीआर, एएसआर, चार्ट निष्कर्षण, फ्लोचार्ट रूपांतरण, ज्यामिति विश्लेषण और वीडियो रिपोर्टिंग को एक एकल संकेत-संचालित मॉडल से लाभान्वित कर सकती हैं जो एक संरचित आउटपुट लौटाता है। इसका मूल्यांकन करने वाले पाठकों के लिए, प्रमुख सवाल यह है कि क्या कॉम्पैक्ट 5B मॉडल विशेष कार्यों पर बहुत अधिक सटीकता का त्याग किए बिना पाइपलाइन जटिलता को कम कर सकता है।
प्रदान की गई सामग्री उपलब्धता तिथि, लाइसेंस शर्तों, पूर्ण training data, hardware आवश्यकताओं या विलंबता को निर्दिष्ट नहीं करती है, इसलिए उत्पादन उपयोग से पहले उन विवरणों की जांच की जानी चाहिए।
मेटा विवरण: Youtu-Parsing-Omni, एक कॉम्पैक्ट 5B ओमनी-मोडल पार्सिंग मॉडल है जो दस्तावेज़ों, छवियों, ऑडियो और वीडियो को सात पार्सिग कार्यों के लिए एक संरचित JSON आउटपुट में बदल देता है।
टैगः यूट्यूब-पार्सिंग-ओम्नी, सर्वव्यापी पार्सिंग, JSON निष्कर्षण, multimodal AI
विशेष रुप से प्रदर्शित छवि: एक दस्तावेज, चार्ट, ऑडियो वेव और वीडियो फ्रेम का अमूर्त चित्रण JSON ब्लॉक में विलय हो रहा है, दोस्ताना शैली, कोई लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

Comments (0)