डेटाविस्टा निदान करता है कि कितनी अच्छी तरह से multimodal LLMs डाटा वीडियो को समझें
डाटाविस्टा ने 961 डेटा वीडियो पर 19 multimodal LLMs का मूल्यांकन किया, जिसमें दिखाया गया है कि शीर्ष मॉडल कथा तर्क में मानव विशेषज्ञों से पीछे हैं।
मुख्य जानकारी
- डेटाविस्टा, यह आकलन करने के लिए पहला व्यवस्थित बेंचमार्क है कि 961 वास्तविक दुनिया वीडियो और 6,775 प्रश्नों का उपयोग करके multimodal LLMs कितनी अच्छी तरह से डेटा वीडियो को समझते हैं।
- यह 10 प्रश्न प्रकारों और पांच विषय क्षेत्रों में तीन प्रगतिशील क्षमताओं को मापता है।
- 19 परीक्षण किए गए मॉडलों में से, Gemini -3.1-प्रो 70.0% सटीकता के साथ अग्रणी है लेकिन फिर भी मानव विशेषज्ञों को पीछे छोड़ देता है, कारण तर्क और कथा संरचना में सबसे बड़े अंतराल के साथ।
- अधिक फ्रेम या उपशीर्षक जोड़ने से मुख्य रूप से निम्न-स्तर की धारणा और सामयिक तर्क में सुधार होता है, जबकि कथा समझ संरचनात्मक रूप से सीमित रहती है।
- बेंचमार्क चार्ट रीडिंग, साक्ष्य निर्णय और निर्देश का पालन करने में सामान्य विफलता मोड को उजागर करता है, भविष्य के मॉडल सुधार के लिए एक सार्वजनिक आधार रेखा प्रदान करता है।
GitHub रिपॉजिटरी HKUSTDial के पीछे शोधकर्ताओं से एक नया बेंचमार्क डेटाविस्टा, यह पहला व्यवस्थित मूल्यांकन प्रदान करता है कि AI मॉडल समाचार और व्यापार विश्लेषण में आम तौर पर एनिमेटेड चार्ट्स और वर्णित विज़ुअलाइजेशन को कितनी अच्छी तरह समझते हैं। इस बेंच मार्क में 961 वास्तविक दुनिया के डेटा वीडियो और 6,775 मूल्यांकन प्रश्न शामिल हैं, और परीक्षण के पहले दौर से पता चलता है कि यहां तक कि सबसे अच्छे मॉडलों में सुधार करने की महत्वपूर्ण जगह है।
क्या डेटा वीडियो समझ अलग बनाता है
डाटा वीडियो डेटा विज़ुअलाइज़ेशन को वीडियो कथा के साथ जोड़ते हैं। वे समाचार रिपोर्टिंग और व्यावसायिक विश्लेषण में व्यापक रूप से उपयोग किए जाते हैं। सामान्य वीडियो समझ के विपरीत, जो वस्तुओं और कार्यों की पहचान करने पर केंद्रित है, डेटा वीडियो समझने के लिए एनिमेटेड चार्टों से डेटा को सही ढंग से पढ़ने के लिए एक मॉडल की आवश्यकता होती है, दोनों चार्ट और समय भर में साक्ष्य एकीकृत करता है, और यह समझता है कि कथात्मक संगठन और दृश्य डिजाइन जानकारी कैसे संचारित करते हैं।
यह संयोजन जितना लगता है उससे कहीं अधिक कठिन है। एक मॉडल को चार्ट का ट्रैक करना चाहिए क्योंकि यह एनिमेटेड होता है, जो कुछ वह पहले से हुआ था उसके साथ एक पल में देखता है उसे जोड़ता है, और फिर समग्र कहानी की व्याख्या करता है जिसे वीडियो बता रहा है। मौजूदा बेंचमार्क या तो सामान्य वीडियो या स्थैतिक चार्ट को लक्षित करते हैं। डेटा वीडियो समझ अब तक व्यवस्थित रूप से मूल्यांकन नहीं किया गया है
10 प्रकार के प्रश्नों से युक्त तीन स्तरीय ढांचा
डाटाविस्टा अपने मूल्यांकन को तीन-स्तरीय प्रगतिशील क्षमता ढांचे के आसपास व्यवस्थित करता हैः डेटा धारणा, सामयिक तर्क और कथा की समझ। उस फ्रेमवर्क के भीतर, बेंचमार्क पांच विषय क्षेत्रों में 10 बारीकी से प्रश्न प्रकारों को कवर करता है।
डिजाइन इस विचार को दर्शाता है कि डेटा वीडियो को समझना एक एकल कौशल नहीं बल्कि कौशल का ढेर है। एक मॉडल को पहले डेटा को सही ढंग से समझने की आवश्यकता होती है। फिर इसे समय के साथ उस डेटा में बदलाव के बारे में तर्क करने की जरूरत होती है. अंत में, उसे उस कथा को समझने की ज़रूरत होती है जो डेटा को एक साथ बांधती है। प्रत्येक स्तर इसके नीचे एक पर बनाता है, और निचले स्तर पर विफलता उच्चतर प्रदर्शन को कमजोर कर सकती है।
Gemini -3.1-प्रो सुराग, लेकिन मानव विशेषज्ञों के निशान
शोधकर्ताओं ने डेटाविस्टा पर 19 मुख्यधारा के एमएलएलएम का व्यवस्थित रूप से मूल्यांकन किया। सबसे अच्छा प्रदर्शन करने वाले मॉडल, Gemini -3.1-प्रो ने 70.0% की समग्र सटीकता हासिल की। जबकि यह परीक्षण किए गए मॉडलों में शीर्ष स्कोर है, यह मानव विशेषज्ञ प्रदर्शन से बहुत नीचे रहता है।
सबसे कमजोर क्षेत्र Causal Reasoning और Narrative Structure थे। ये ऐसी क्षमताएं हैं जो फ्रेमवर्क के शीर्ष पर बैठती हैं - वास्तव में जहां समझ अलग-अलग चार्ट को पढ़ने से पूरे वीडियो के अर्थ की व्याख्या करने के लिए शिफ्ट होती है। अंतराल बताता है कि वर्तमान मॉडल डेटा निकालने में बेहतर होते हैं क्योंकि यह समझाया जाता है कि यह क्यों महत्वपूर्ण है।
अधिक फ्रेम और उपशीर्षक केवल इतना ही मदद करते हैं
अध्ययन में यह भी जांच की गई कि क्या सामान्य हस्तक्षेपों से प्रदर्शन में सुधार होता है। फ्रेम गणना बढ़ाने और उपशीर्षक जोड़ने से मुख्य रूप से डेटा धारणा और सामयिक तर्क को फायदा हुआ। कथा समझ में लाभ सीमित था।
यह निष्कर्ष उल्लेखनीय है क्योंकि इससे पता चलता है कि बाधा केवल मॉडलों को अधिक दृश्य जानकारी या अधिक पाठ देने की बात नहीं है। यहां तक कि अधिक फ्रेम और उपशीर्षक के साथ, मॉडल एक सुसंगत कथा में साक्ष्य इकट्ठा करने के लिए संघर्ष करते हैं। सीमाएं इनपुट वॉल्यूम की बजाय संरचनात्मक प्रतीत होती हैं।
सामान्य विफलता मोड
मॉडल प्रतिक्रियाओं के आगे विश्लेषण ने चार्ट रीडिंग, साक्ष्य निर्णय और निर्देश समझ में विशिष्ट विफलता मोड की पहचान की। दूसरे शब्दों में, मॉडल कई चरणों में गलतियाँ करते हैंः वे एक चार्ट से क्या दिखाते हैं, उन्हें गलतफहमी होती है कि कौन सा सबूत प्रासंगिक है, और वे यह नहीं समझते हैं कि प्रश्न क्या पूछ रहा है।
ये विफलता मोड किसी भी व्यक्ति के लिए महत्वपूर्ण हैं जो डेटा वीडियो के साथ काम करने वाले AI सिस्टम का निर्माण या उपयोग करता है। एक मॉडल जो चार्ट को गलत तरीके से पढ़ता है, वह अविश्वसनीय उत्तर देगा चाहे उसका तर्क कहीं और कितना मजबूत क्यों न हो। सबूतों को गलत ढंग से आंकने वाला मॉडल वीडियो के गलत हिस्से का हवाला दे सकता है। निर्देशों की गलत समझ रखने वाला मॉडल पूछे गए प्रश्न की तुलना में अलग-अलग सवाल का जवाब दे सकता हैः
पाठकों के लिए इसका क्या अर्थ है
पत्रकारों, विश्लेषकों और उत्पाद टीमों के लिए जो डेटा वीडियो के साथ काम करते हैं, DataVista यह मापने का एक तरीका प्रदान करता है कि क्या AI उपकरण वास्तव में इस मीडिया फॉर्म को संभाल सकते हैं। बेंचमार्क सार्वजनिक रूप से https://github.com/HKUSTDial/DataVista पर उपलब्ध है, जिसका अर्थ है कि शोधकर्ता और डेवलपर्स अपने स्वयं के मॉडल का परीक्षण कर सकते हैं समान प्रश्नों के खिलाफ और परिणामों की तुलना करें।
हेडलाइन परिणाम 70.0% सर्वश्रेष्ठ मॉडल के लिए समग्र सटीकता, मानव विशेषज्ञों से बहुत नीचे एक स्पष्ट आधार रेखा निर्धारित करता है। यह इस बात पर भी प्रकाश डालता है कि जहां प्रगति की सबसे अधिक आवश्यकता हैः कारण तर्क और कथा संरचना। जब तक मॉडल उन स्तरों पर सुधार नहीं करते हैं, AI सिस्टम उन्हें समझने की तुलना में डेटा वीडियो पढ़ने में बेहतर रहेंगे।
आगे क्या देखना है
बेंचमार्क की रिलीज़ कई अनुवर्ती कार्यों को खोलती है। शोधकर्ता इसका उपयोग विशिष्ट कमजोरियों का निदान करने, परीक्षण करने के लिए कर सकते हैं कि क्या नई प्रशिक्षण विधियां कथा समझ में सुधार करती हैं, या यह पता लगाती हैं कि उच्चतम स्तर पर अधिक फ्रेम और उपशीर्षक सीमित लाभ क्यों पैदा करते हैं। अभी के लिए, डेटाविस्टा एक समस्या पर प्रगति को ट्रैक करने का एक ठोस, पुनरुत्पादित तरीका प्रदान करता है जिसे वर्णन करना आसान था लेकिन मापना मुश्किल था।

Comments (0)