वीडियो-कोडर वीडियो उत्पन्न करने के लिए एजेंटिक कोडिंग को मजबूत करता है
वीडियो-कोडर कोड एजेंटों को 3 डी ड्राफ्ट दृश्य बनाने के लिए प्रशिक्षित करता है, ओपन डेटा, मॉडल और 7 और 24 अंकों के लाभ के साथ वीडियो संरचना और गति में सुधार करता है।
मुख्य जानकारी
- वीडियो-कोडर एक कोड संचालित वीडियो जनरेशन एजेंट है जो गतिशील 3 डी 89890000 दृश्यों के निर्माण के लिए कोड लिखता और निष्पादित करता है, डाउनस्ट्रीम जेनरेटर स्पष्ट स्थानिक संरचना और गति संकेत देता है।
- यह वीडियो निर्माण को दो चरणों में विभाजित करता हैः कोडिंग एजेंट दृश्य निर्माण और गति नियंत्रण संभालता है, जबकि डाउनस्ट्रीम जनरेटर अंतिम दृश्य परिणाम का उत्पादन करता है।
- एजेंट को समर्पित datasets , वीडियो-Coder Harness, पर्यवेक्षित fine-tuning और दोहरे निष्पादन आधारित और वीडियो-आधारित पुरस्कारों के साथ एजेंटिक reinforcement learning का उपयोग करके प्रशिक्षित किया जाता है।
- प्रयोगों से पता चलता है कि वीडियो-कोडर MiniMax -H3 में PhyGenBench पर लगभग 7 अंक और VBench-2.0 पर 24 अंकों का सुधार करता है।
- डेटा, मॉडल और कोड पूरी तरह से ओपन-सोर्स हैं, जो कोडिंग एजेंट आधारित वीडियो पीढ़ी के लिए एक खुली नींव प्रदान करते हैं।
वीडियो-कोडर लगभग 7 और 24 अंक द्वारा MiniMax -H3 लिफ्ट
मेटा विवरण: वीडियो-कोडर एक कोड संचालित वीडियो एजेंट को गतिशील 3 डी ड्राफ्ट दृश्य बनाने के लिए प्रशिक्षित करता है, MiniMax -H3 में लगभग 7 और PhyGenBench और VBench-2.0 पर 24 अंकों का सुधार।
टैगः वीडियो-कोडर, वीडियो जनरेशन, कोडिंग एजेंट्स, 3 डी दृश्य, खुले मॉडल
विशेष रुप से प्रदर्शित छवि: एक डायनामिक 3 डी वीडियो दृश्य को आकार देने वाले कोड संपादक का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है
एक पेपर वीडियो-कोडर का परिचय देता है, जो कोड संचालित वीडियो जनरेशन एजेंट को बेहतर बनाने के लिए डिज़ाइन किया गया है कि कैसे उत्पन्न किए गए वीडियो स्थानिक संरचना, गतिशीलता और नियंत्रणीय दृश्य रचना को संभालते हैं। केंद्रीय विचार यह है कि एजेंट स्वायत्त रूप से कोड लिखें और निष्पादित करें, फिर Draft Video नामक एक गतिशील 3 डी दृश्य बनाएं। वह दृश्य डाउनस्ट्रीम वीडियो जेनरेटरों को स्पष्ट संरचना और गति संकेत प्रदान करता है, बजाय उन संकेतों को निहित छोड़ने की।
पेपर में वीडियो-कोडर को वीडियो जनरेशन के लिए इस तरह के कोड संचालित एजेंट को प्रशिक्षित करने का पहला प्रयास बताया गया है। इसमें कहा गया है कि हाल के वर्षों ने दृश्य गुणवत्ता और सामयिक स्थिरता में उल्लेखनीय प्रगति दिखाई है, जबकि सटीक स्थानिक संरचना, सुसंगत गतिशीलता और नियंत्रणीय दृश्य रचना चुनौतीपूर्ण बनी हुई है। वीडियो-कॉडर वीडियो निर्माण के हिस्से को कोड में बदलकर उस अंतर को दूर करता हैः एजेंट एक 3 डी दृश्य बनाता है, इसे प्रस्तुत करता है, और ढांचे और आंदोलन संकेतों को डाउनस्ट्रीम जेनरेटर पर पारित करता है।
प्रोम्प्ट से ड्राफ्ट वीडियो तक
कार्यप्रवाह संकेतों के साथ शुरू होता है और अंतिम वीडियो निर्माण का मार्गदर्शन करने के लिए एक मध्यवर्ती दृश्य का उपयोग करता है। वीडियो-कोडर कागज में Draft Video लेबल किए गए गतिशील 3 डी दृश्य को बनाने के लिए कोड लिखता है और निष्पादित करता है । Draft Video को अंतिम वीडियो के रूप में वर्णित नहीं किया गया है; यह आंदोलन और स्थानिक सिग्नल का एक संरचित स्रोत है। डाउनस्ट्रीम वीडियो जनरेटर फिर उन संकेतों का उपयोग करते हैं।
यह डिजाइन दो कठिन समस्याओं को अलग करता है. कोडिंग एजेंट दृश्य निर्माण और गति नियंत्रण संभालती है। डाउनस्ट्रीम जनरेटर अंतिम दृश्य परिणाम संभालता है। पहला चरण स्पष्ट बनाकर, विधि दूसरे चरण को अधिक संरचित इनपुट देती है।
datasets , हार्नेस, और दो-चरण प्रशिक्षण
पैराडाइम का समर्थन करने के लिए, पेपर एक समर्पित डेटा पाइपलाइन और दो datasets , वीडियो-कोडर-एसएफटी -6k और वीडियो कोडर-आरएल -2k पेश करता है। उनमें विविध संकेत और जमीनी सच्चाई संदर्भ वीडियो शामिल हैं। पाइप लाइन दोनों पर्यवेक्षित और कोड-और रेंडरिंग सेटिंग के भीतर reinforcement learning के लिए प्रशिक्षण सामग्री प्रदान करती है।
प्रशिक्षण वातावरण को वीडियो-Coder Harness कहा जाता है। इसे एक एकीकृत इंटरैक्टिव पर्यावरण के रूप में वर्णित किया गया है जो कोड निष्पादन, 3 डी दृश्य रेंडरिंग और एजेंट प्रशिक्षण और अनुमान के लिए कार्यान्वयन प्रतिक्रिया को एकीकृत करता है। इसलिए एजेंट उसी प्रकार की सेटिंग में अभ्यास कर सकता है जिसका उपयोग अनुमान लगाने के लिए किया जाता है.
वीडियो-कोडर को एसएफटी के साथ प्रशिक्षित किया जाता है, इसके बाद हार्नेस-नेटिव एजेंटिक reinforcement learning द्वारा अनुशंसित। यह सुदृढीकरण सीखने का चरण दोहरी इनाम प्रतिक्रिया का उपयोग करता है, निष्पादन आधारित और वीडियो-आधारित पुरस्कारों का संयोजन करता है। पेपर में एक एनीलिंग प्रशिक्षण रणनीति भी पेश की गई है जो समय के साथ क्रमिक रूप से निष्पादन पुरस्कार को कम करती है, जिससे मॉडल को बाद के प्रशिक्षण चरणों में वीडियो पुरस्कार पर अधिक भरोसा करने की अनुमति मिलती है। प्रभाव एजेंट को निष्पादित कोड बनाने से बेहतर अंतिम वीडियो परिणामों का समर्थन करने वाले कोड के उत्पादन की ओर ले जाना है।
मापा लाभ और खुली रिलीज़
प्रयोगों से पता चलता है कि वीडियो-कोडर महत्वपूर्ण लाभ प्राप्त करता है, जो MiniMax -H3 को PhyGenBench पर लगभग 7 अंक और VBench-2.0 पर 24 अंकों तक सुधारता है। ये परिणाम Draft Video पाइपलाइन को एक डाउनस्ट्रीम वीडियो जनरेटर में औसत दर्जे के सुधार से जोड़ते हैं।
पेपर को उम्मीद है कि काम वीडियो जनरेशन में कोडिंग एजेंटों के लिए एक खुली नींव के रूप में कार्य कर सकता है। डेटा, मॉडल और कोड पूरी तरह से ओपन-सोर्स हैं। शोधकर्ताओं के लिए, यह दृष्टिकोण का निरीक्षण करने, पुनः पेश करने और विस्तार करने के लिए उपलब्ध कराता है; क्षेत्र के लिए यह भविष्य के वीडियो जनरेटर के लिए संभावित नियंत्रण संकेतों के तौर पर कोड निष्पादन और 3 डी दृश्य निर्माण को उजागर करता है।
Comments (0)