ईवाओमनी ऑडियो-विज़ुअल तर्क के लिए एक साक्ष्य आधारित बेंचमार्क है।
ईवाओमनी 392 वीडियो और ग्राउंडिंग मेट्रिक्स से 1,027 मानव-अनोटेड क्यूए जोड़े का उपयोग करके, यह जांचता है कि क्या AI वीडियो उत्तर ऑडियो-विज़ुअल साक्ष्य पर निर्भर हैं।
मुख्य बिंदु
- EvaOmni ऑडियो-विज़ुअल तर्क के लिए एक बेंचमार्क है जो परीक्षण करता है कि क्या मॉडल उत्तर वास्तविक वीडियो साक्ष्य द्वारा समर्थित हैं, न केवल अंतिम-उत्तर सटीकता।
- इसमें 392 वीडियो से 1,027 मानव-एनोटेटेड प्रश्न-उत्तर जोड़े शामिल हैं, जिसमें ग्राउंडिंग से लेकर जटिल तर्क तक तीन स्तरों में 15 क्षमताएं शामिल हैं।
- मॉडल को एक उत्तर और प्रासंगिक ऑडियो/विज़ुअल साक्ष्य अंतराल दोनों प्रदान करना चाहिए, जिसमें मीट्रिक्स सबूत कवरेज और अस्थायी स्थानीयकरण का मूल्यांकन करते हैं।
- डेटासेट विशेषज्ञ एनोटेशन, क्रॉस-वैलिडेशन और मोडल स्क्रीनिंग का उपयोग शॉर्टकट को कम करने और विश्वसनीयता में सुधार के लिए करता है।
- EvaOmni को साक्ष्य-आधारित प्रदर्शन पर मल्टीमोडल मॉडल का मूल्यांकन करने के लिए एक नैदानिक उपकरण के रूप में तैनात किया गया है।
पेपर EvaOmni: ऑडियो-Visual Reasoning के लिए एक साक्ष्य -Grounded Benchmark के पीछे शोधकर्ताओं ने Hugging Face समुदाय के साथ ऑडियो-विजुअल तर्क के लिए नए ईवाओमनी बेंचमार्क को साझा किया है। यह काम एक व्यावहारिक समस्या पर केंद्रित हैः जब कोई मॉडल वीडियो प्रश्न का उत्तर देता है, तो क्या प्रासंगिक ऑडियो और दृश्य सबूतों द्वारा समर्थित उत्तर होता है, या क्या मॉडल वास्तव में वीडियो का उपयोग किए बिना जवाब तक पहुंच सकता था? मल्टीमोडल सिस्टम पर भरोसा करने वाले किसी भी व्यक्ति के लिए, वह अंतर मायने रखता है। केवल सही अंतिम उत्तर साबित नहीं करता है कि एक मॉडल स्रोत सामग्री को समझता है।
बेंचमार्क 392 वीडियो से खींचे गए 1,027 मानव-अनोटेड प्रश्न-उत्तर जोड़े के आसपास बनाया गया है। वे आइटम 3 स्तरों में 15 क्षमताओं को कवर करते हैं, पुनर्प्राप्ति और ग्राउंडिंग से अधिक जटिल तर्क की ओर बढ़ते हुए। डिजाइन का उद्देश्य उन मॉडलों को अलग करना है जो समय, ध्वनि और दृश्य सामग्री पर जानकारी कनेक्ट कर सकते हैं।
क्यों सबूत मायने रखते हैं, न कि केवल उत्तर
कई वीडियो मॉडल का मूल्यांकन उनके अंतिम उत्तर की तुलना संदर्भ उत्तर के साथ करके किया जाता है. यह विधि भाग्यशाली अनुमानों को पुरस्कृत कर सकती है। एक मॉडल दूसरे को अनदेखा करते हुए प्रश्न पाठ, सामान्य पैटर्न या एक मोडल से जवाब दे सकता है। ईवाओम्नी मूल्यांकन लक्ष्य बदलता हैः एक मॉडल को उत्तर और सहायक ऑडियो और दृश्य साक्ष्य अंतराल दोनों प्रदान करना चाहिए। सादा शब्दों में, मॉडल को इस बात की ओर इशारा करने की आवश्यकता होती है कि प्रासंगिक ध्वनि और दृश्य संकेत कहां होते हैं।
यह विफलता मोड को देखने के लिए आसान बनाता है। यदि कोई मॉडल सही उत्तर देता है लेकिन सबूत की पहचान नहीं कर सकता है, तो परिणाम कमजोर ग्राउंडिंग का सुझाव देता है। अगर यह अप्रासंगिक अंतराल की पहचान करता है, तब भी जवाब कम भरोसेमंद हो सकता है भले ही वह सही हो।
स्कोरिंग क्या जाँचता है
पेपर Coverage Grounded Score और Bottleneck Grounded Score का परिचय देता है। ये मैट्रिक्स साक्ष्य कवरेज और सामयिक स्थानीयकरण के साथ-साथ उत्तर की शुद्धता का मूल्यांकन करते हैं। सबूत कवरेज पूछता है कि क्या मॉडल के चयनित अंतराल में जवाब का समर्थन करने के लिए आवश्यक जानकारी शामिल है। समय संबंधी स्थानीयकरण यह पूछेगा कि मॉडल वीडियो के व्यापक या असंबंधित हिस्से को इंगित करने के बजाय प्रासंगिक क्षण पा सकता है या नहीं।
गैर-विशेषज्ञों के लिए, व्यावहारिक टेकऑफ़ यह है कि ईवाओम्नी न केवल पूछ रहा है कि क्या उत्तर सही है। यह भी सवाल कर रहा है यदि मॉडल अपना काम दिखा सकता है।
गुणवत्ता नियंत्रण और जहां बेंचमार्क खोजने के लिए
लेखकों ने डेटासेट के लिए कठोर गुणवत्ता नियंत्रण का वर्णन किया है। एनोटेशन प्रक्रिया में विशेषज्ञ टिप्पणी और मानव क्रॉस-वैलिडेशन शामिल हैं। वे शॉर्टकट संवेदनशीलता को कम करने के लिए केवल टेक्स्ट, ऑडियो-केवल और विजुअल-ओनली स्क्रीनिंग का भी उपयोग करते हैं। ये कदम उन मामलों को सीमित करने में मदद करते हैं जहां एक मॉडल पूर्ण साक्ष्य के बजाय आंशिक संकेत पर भरोसा कर सकता है।
इस पेपर को arXiv:2610.28444 के रूप में सूचीबद्ध किया गया है। कोड और मूल्यांकन सामग्री GitHub पर संदर्भित हैं, Hugging Face और ModelScope पर अतिरिक्त संसाधनों के साथ। लेखकों का कहना है कि वे चर्चा धागे की निगरानी कर रहे हैं और समुदाय से प्रश्न, प्रतिक्रिया और विचारों को आमंत्रित करते हैं।
पाठक आगे क्या देख सकते हैं
EvaOmni मल्टीमोडल तर्क के लिए एक नैदानिक उपकरण के रूप में सबसे उपयोगी है। यह शोधकर्ताओं और डेवलपर्स को केवल अंतिम-उत्तर सटीकता की बजाय साक्ष्य-जागरूक प्रदर्शन पर मॉडलों की तुलना करने का एक तरीका देता है। उपयोगकर्ताओं के लिए, यह एक स्पष्ट मानक प्रदान करता हैः एक मॉडल जो उत्तर दे सकता है वह ऑडियो और दृश्य क्षणों का भी पता लगाने में सक्षम होना चाहिए जो जवाब को सही ठहराते हैं। समुदाय के लिए अगला कदम संभवतः होगा कि कैसे लगातार विभिन्न मॉडल उन मानकों को पूरा करते हैं और खुले प्लेटफार्मों में सबूत आधारित मूल्यांकन पर चर्चा की जाती है।

Comments (0)