VibeVideoBench कोड-संचालित वीडियो पीढ़ी पर multimodal एजेंटों का मूल्यांकन करता है।
VibeVideoBench 239 कोड-चालित वीडियो कार्यों पर 9 AI एजेंटों का परीक्षण करता है, जिसमें एक घंटे में ऑडियो के साथ तैयार वीडियो की आवश्यकता होती है; सर्वश्रेष्ठ सिस्टम अभी भी डिलीवरी से चूक जाते हैं।
मुख्य जानकारी
- वाइबवीडियोबेन्च कोड-संचालित वीडियो पीढ़ी पर सामान्य multimodal AI एजेंटों का परीक्षण करने के लिए एक नया बेंचमार्क है, जिसमें 239 ओपन-डोमेन कार्यों में एक घंटे के भीतर पूरी तरह से कोड से निर्मित ऑडियो के साथ तैयार एमपी 4 की आवश्यकता होती है।
- एजेंटों को छवि या वीडियो जनरेशन मॉडल के बिना स्वायत्त रूप से योजना, रेंडर, सिंक्रनाइज़ और वितरित करने की आवश्यकता होती है।
- जीपीटी-6 एस्ट्रा और Claude Opus 5.5 9 सीमांत प्रणालियों के बीच उच्चतम स्थान पर थे, लेकिन यहां तक कि सबसे अच्छा एजेंट पूरी तरह से केवल 76.3% कार्यों पर मुख्य आवश्यकताओं को पूरा करता है, जो दिखाता है कि क्षेत्र होनहार है लेकिन हल होने से बहुत दूर है।
- मूल्यांकन में वितरण जांच, लगभग 13,000 कार्य-विशिष्ट रूब्रिक जाँच और दृष्टि भाषा न्यायाधीश पैनलों और अंधे मानव रेटरों द्वारा गुणवत्ता की समीक्षा का उपयोग किया जाता है, जो तकनीकी पूर्णता को व्यक्तिपरक गुणवत्ता से अलग करते हैं।
- एक प्रमुख बाधा पाइपलाइन प्रबंधन है: कई विफलताएं तब होती हैं जब एजेंट अंतिम प्रतिपादन को बहुत देर से शुरू करते हैं, जबकि अपने स्वयं के फ्रेम का निरीक्षण समाप्त वीडियो की गुणवत्ता की विश्वसनीय भविष्यवाणी नहीं करता है।
मेटा विवरण: VibeVideoBench 239 ओपन-डोमेन कार्यों पर 9 फ्रंटियर AI एजेंटों का परीक्षण करता है जिन्हें एक घंटे के भीतर पूरी तरह से कोड से उत्पन्न ध्वनि के साथ तैयार एमपी 4 वीडियो की आवश्यकता होती है।
टैग: AI एजेंट, कोड संचालित वीडियो, बेंचमार्क, multimodal, वीडियो रेंडरिंग
चित्र: अमूर्त, कोड ब्लॉकों के अनुकूल चित्रण एक वीडियो समयरेखा में इकट्ठा लहरों और चार्ट के साथ, कोई वास्तविक लोग नहीं हैं, कोई लोगो, कोई पाठ.
VibeVideoBench एक नया बेंचमार्क है जो सामान्य multimodal AI एजेंटों को ऑडियो सहित कोड से पूरी तरह से तैयार वीडियो का उत्पादन करने के लिए एक घंटे के भीतर पूछता है। यह अंग्रेजी और चीनी में लिखे गए 239 स्व-निहित कार्यों पर 9 फ्रंटियर एजेंट सिस्टम का परीक्षण करता है। केंद्रीय सवाल यह नहीं है कि क्या कोई एजेंट स्क्रिप्ट लिख सकता है, लेकिन क्या वह छवि या वीडियो जनरेशन मॉडल पर भरोसा किए बिना प्ले करने योग्य एमपी 4 फ़ाइल की योजना, रेंडर, सिंक्रनाइज़ेशन और डिलीवर कर सकता है।
प्रोजेक्ट इसे ऑडियो के साथ ओपन-डोमेन कोड संचालित वीडियो पीढ़ी पर सामान्य multimodal एजेंटों का पहला बेंचमार्क बताता है। विचार सरल हैः एक मॉडल को मूविंग पिक्सेल की कल्पना करने के लिए कहने के बजाय, एजेंट निर्देश लिखते हैं जो हर फ्रेम को प्रस्तुत करते हैं और प्रत्येक ध्वनि को सिंथेट करते हैं। सिद्धांत रूप में, यह सूत्र, चार्ट और कथा को समयबद्ध ऑन-स्क्रीन घटनाओं के साथ ठीक से संरेखित कर सकता है।
क्या VibeVideoBench एजेंटों करने के लिए पूछता है
कार्य 12 श्रेणियों को कवर करते हैं, जिनमें डेटा कहानियां, संगीत-संचालित टुकड़े, कक्षा के पाठ, पेपर व्याख्याकार, खेल, बिल्ड-एंड-प्रोसेस वीडियो और अन्य ओपन-डोमेन असाइनमेंट शामिल हैं। प्रत्येक कार्य स्व-निहित है, इसलिए एजेंट को डिलीवर करने योग्य का अनुमान लगाना चाहिए और इसे स्क्रैच से तैयार करना होगा।
एजेंट अपने मूल दोहन में पूरी तरह से स्वायत्त रूप से चलते हैं। वे बिना किसी छवि या वीडियो जनरेशन मॉडल के सैंडबॉक्स में काम करते हैं और ऑडियो के लिए केवल text-to-speech क्षमता रखते हैं। उनका आउटपुट एक घंटे की सीमा के भीतर ध्वनि के साथ समाप्त एमपी 4 वीडियो होना चाहिए।
यह बाधा मूल्यांकन की प्रकृति को बदल देती है। एक एजेंट केवल दृश्य रूप से सुखद क्लिप उत्पन्न नहीं कर सकता और इसे कॉल किया जाता है। उसे फ़ाइल निर्माण, ऑडियो टाइमिंग, रेंडरिंग समय और निश्चित समय सीमा के तहत वितरण प्रारूप का भी प्रबंधन करना चाहिए।
बेंचमार्क को कैसे स्कोर किया जाता है
मूल्यांकन पदानुक्रमित और साक्ष्य-आधारित है। स्तर 1 कार्यक्रम जांच सत्यापित करें कि क्या वितरण विनिर्देश को पूरा किया गया है. स्तर 2 में लगभग 13,000 कार्य-विशिष्ट रूब्रिक चेक शामिल हैं, जिनमें से प्रत्येक की आवश्यकता के लिए इसका पालन किया जाता है।
परियोजना में तीन स्वतंत्र दृष्टि-भाषा मॉडल जज पैनल का उपयोग किया जाता है। ऑडियो जांच केवल उन न्यायाधीशों को दी जाती है जो सुन सकते हैं, यह सुनिश्चित करने में मदद करते हैं कि श्रवण-सक्षम मॉडलों के साथ ऑडियो आवश्यकताओं का मूल्यांकन किया जाए।
यह डिजाइन तकनीकी पूर्णता को गुणवत्ता की समीक्षा से अलग करता है। एक वीडियो मौजूद हो सकता है और फिर भी असफल हो सकता हैं क्योंकि इसमें आवश्यक चार्ट, कथा खंड, समय नियम या आउटपुट प्रारूप का अभाव होता है। इसके विपरीत, यदि वितरण विनिर्देश संतुष्ट नहीं है तो उच्च-गुणवत्ता दिखने वाला परिणाम अंक खो सकता है।
नौ प्रणालियाँ क्या प्रकट करती हैं
9 फ्रंटियर एजेंट सिस्टम से 2,151 स्कोर किए गए रोलआउट में, जीपीटी -6 एस्ट्रा और Claude Opus 5.5 दोनों जज पैनलों और अंधे मानव रेटरों द्वारा न्याय करते समय पहले और दूसरे स्थान पर हैं। समझौते से पता चलता है कि बेंचमार्क केवल व्यक्तिपरक स्वाद से प्रणाली स्तर के प्रदर्शन को अलग कर सकता है।
फिर भी, सबसे अच्छी प्रणाली केवल 76.3% कार्यों पर हर मुख्य आवश्यकता को पूरा करती है। यह संख्या बेंचमार्क का सबसे स्पष्ट संकेत हैः कोड-संचालित वीडियो पीढ़ी आशाजनक है, लेकिन इसे हल करने से बहुत दूर है। एक एजेंट नेता हो सकता है और अभी भी बुनियादी वितरण अपेक्षाओं के एक चौथाई में विफल रहता है।
रैंकिंग से यह भी पता चलता है कि डिलीवरी प्रदर्शन का दूसरा अक्ष है। जब लापता वीडियो को शून्य के रूप में गिना जाता है, तो क्रम बदल जाता है। Gemini 4 अर्गोन अपने 77% वीडियो वितरित करता है और चौथे से सातवें स्थान पर गिर जाता है. एक प्रणाली जो अच्छे फ्रेम बना सकती है वह जरूरी नहीं कि ऐसा सिस्टम हो जो कार्य पूरा कर सके।
घंटे की योजना बनाना परीक्षण का हिस्सा है
प्ले करने योग्य वीडियो के बिना 224 रन में से 169 फाइनल रेंडर हैं जो बहुत देर से शुरू हुए, बहुत धीमी गति से चले या कभी भी शुरू नहीं हुए। बेंचमार्क परिणाम इस बात की ओर इशारा करते हैं कि एजेंटों ने अपने घंटे को अंतर्निहित समस्या के रूप में कैसे योजना बनाई है।
यह महत्वपूर्ण है क्योंकि वीडियो उत्पादन में टेक्स्ट जनरेशन से अलग विफलता पैटर्न होता है। एक एजेंट अधिकांश उपलब्ध समय कोड लिखने, परिसंपत्तियों को डिबग करने या मध्यवर्ती फ्रेम उत्पन्न करने में खर्च कर सकता है, फिर अंतिम रेंडर के लिए बहुत कम समय छोड़ देता है. एक घंटे की सीमा शेड्यूलिंग को कोर क्षमता में बदल देती है।
परिणाम यह भी दिखाते हैं कि काम को देखना पर्याप्त नहीं है। प्रत्येक प्रणाली अपना स्वयं का रेंडर स्टैक रखती है, और 95% रन अपने स्वयं के फ्रेमों का निरीक्षण करते हैं। फिर भी वे कितना जांचते हैं गुणवत्ता की भविष्यवाणी नहीं करता है, ρ = -0.07 के सहसंबंध गुणांक के साथ। कमजोर सहसंबंध से पता चलता है कि दृश्य निरीक्षण अकेले अंतिम गुणवत्ता की व्याख्या नहीं कर सकता।
न्याय विश्वसनीयता और क्या पाठकों को दूर ले जाना चाहिए
जज पैनल सिस्टम को एक तरह से रैंक करते हैं जो मानव रेटरों के साथ निकटता से मेल खाता है, ρ = 0.98. हालांकि, वे केवल व्यक्तिगत वीडियो जोड़ों के 73% पर सहमत होते हैं। इससे एजेंट प्रणालियों की तुलना करने के लिए बेंचमार्क उपयोगी हो जाता है, लेकिन किसी एकल जनित वीडियो को दूसरे की तुलना में वस्तुनिष्ठ रूप से बेहतर घोषित करना कम विश्वसनीय होता है।
पाठकों के लिए, मुख्य टेकअवे यह है कि AI एजेंट स्वचालित तकनीकी वीडियो असेंबली की ओर बढ़ रहे हैं, विशेष रूप से चार्ट, सूत्रों, सबक और समयबद्ध कथा जैसे संरचित तत्वों वाली सामग्री के लिए। बेंचमार्क प्रभावशाली कोड निष्पादन और भरोसेमंद तैयार उत्पाद वितरण के बीच अंतर को भी उजागर करता है। व्यावहारिक बाधा JUST दृश्य गुणवत्ता नहीं है; यह क्या एजेंट घड़ी खत्म होने से पहले पूरी उत्पादन पाइपलाइन का प्रबंधन कर सकता है।
परियोजना पृष्ठ https://vibevideobench.github.io/ पर उपलब्ध है।

Comments (0)