मूवीरोल लंबे प्रारूप के वीडियो को रोल आउट करने के लिए एक व्यवस्थित ढांचा है।
मूवीरोल स्ट्रीमिंग fine-tuning , आसवन और HieraKV कैश संपीड़न को संयोजित करता है ताकि स्थिर गुणवत्ता, मेमोरी बचत के साथ लंबे AI वीडियो का उत्पादन किया जा सके।
मुख्य बिंदु
- मूवीरोल एक बेस-टू-डिस्टिल्ड फ्रेमवर्क है जो लंबे समय तक वीडियो पीढ़ी को स्ट्रीमिंग करने के लिए, प्रशिक्षण की लंबाई से परे गुणवत्ता बहाव, स्व-जनित इतिहास प्रबंधन और कैश मेमोरी वृद्धि को संबोधित करता है।
- मूवीरोल-बेस कारणवश स्ट्रीमिंग संरचना को संरक्षित करते हुए समृद्ध डेनोइजिंग संकेतों के साथ बहु-चरण पीढ़ी को प्रशिक्षित करने के लिए विंडो-वार Teacher Forcing का उपयोग करता है।
- HieraKV पदानुक्रमित KV कैश को संपीड़ित करता है, जिसमें पूर्ण इतिहास को उथली परतों में और केवल सिंक/नवीनतम इतिहास को गहरी परतों पर रखकर गुणवत्ता का त्याग किए बिना मेमोरी उपयोग 78% तक कम कर देता है।
- मूवीरोल-डिस्टिल्ड लंबे प्रशिक्षण के दौरान मेमोरी ब्लो अप से बचने के लिए ग्रेडिएंट एवरेजिंग का उपयोग करते हुए, कुछ चरण जनरेटर को कुशलतापूर्वक बनाने के लिए क्यूएलटी-डीएमडी लॉन्ग रोलआउट आसवन लागू करता है।
- हेलियोसबेंच पर, मूवीरोल 60 सेकंड तक मजबूत गुणवत्ता बनाए रखता है, जो स्केलेबल, कम मेमोरी स्ट्रीमिंग वीडियो पीढ़ी की ओर व्यावहारिक प्रगति दिखाता है।
मूवीरोल के पीछे शोधकर्ताओं ने स्ट्रीमिंग वीडियो पीढ़ी के लिए एक बेस-टू-डिस्टिल्ड फ्रेमवर्क पेश किया है जो कि क्लिप की लंबाई से परे गुणवत्ता रखता है, जिस पर इसे प्रशिक्षित किया गया था। काम लंबे फॉर्म AI वीडियो में तीन जुड़ी समस्याओं को लक्षित करता हैः बहाव जब एक मॉडल अपने प्रशिक्षण क्षितिज से आगे निकल जाता है, स्वयं उत्पन्न इतिहास को संभालने की कठिनाई और कैश मेमोरी की बढ़ती लागत क्योंकि एक धारा लंबी हो जाती है।
दो मॉडल, एक पाइपलाइन
MovieRoll दो रूपों में आता है. मूवीरोल-बेस स्ट्रीमिंग fine-tuning के माध्यम से बनाया गया एक मजबूत मल्टी-स्टेप जनरेटर है। मूवीरॉल-डिस्टिल्ड उस आधार के शीर्ष पर लंबे समय तक रोलआउट आसवन द्वारा उत्पादित कुछ चरण जनरेٹر है। दोनों प्रशिक्षण क्षितिज से परे पीढ़ी का विस्तार करने के लिए समान अनुमान-पक्ष तकनीकों को साझा करते हैं, जो फ्रेमवर्क को छोटे प्रशिक्षण क्लिप्स से मिनट-लंबे आउटपुट तक स्केल करता है।
खिड़की-बुद्धिमान शिक्षक बल के साथ आधार का निर्माण
पहला चरण, विंडो-वाइज Teacher Forcing (WinTF), बहु-चरण आधार स्थापित करता है। यह प्रत्येक खिड़की के अंदर द्विदिश ध्यान का उपयोग करते हुए पिछले इतिहास तक कारण पहुंच की अनुमति देते हुए प्रगतिशील शोर स्तर पर संयुक्त रूप से खंडों को अस्वीकार करता है । वह संयोजन मॉडल को एक समय में एक टुकड़ा को अस्वीकृत करने की तुलना में अधिक समृद्ध प्रशिक्षण संकेत देता है, बिना स्ट्रीमिंग पीढ़ी पर निर्भर कारण संरचना को तोड़ने के।
HieraKV 78% तक कैश मेमोरी में कटौती करता है
Hierarchical KV-कैश संपीड़न (HieraKV) मॉडल की परत-वार ध्यान पैटर्न का शोषण करता हैः उथली परतें पूर्ण इतिहास रखती हैं, जबकि गहरी परतें केवल सिंक और हाल के इतिहास को बरकरार रखती है। शोधकर्ताओं के अनुसार, यह पीढ़ी की गुणवत्ता में सुधार करते हुए 78% तक कैश मेमोरी को कम करती है बजाय इसे व्यापार करने के लिए। लंबे स्ट्रीम चलाने वाले किसी भी व्यक्ति के लिए, वह हेडलाइन नंबर है, क्योंकि कैश वृद्धि मुख्य कारण है कि स्ट्रीमिंग वीडियो उत्पादन लंबाई पर अव्यावहारिक हो जाता है।
क्यूएलटी-डीएमडी लंबे समय तक चलने वाले प्रशिक्षण को सस्ती बनाता है
आधार के शीर्ष पर, वितरण मिलान आसवन (CuLT-DMD) के साथ संचयी लंबी ट्यूनिंग बहु-चरण मॉडल को कुछ चरण जनरेटर में बदल देती है। प्रत्येक लंबे स्व-रोलआउट के दौरान, मापदंडों को निश्चित रखा जाता है और एक एकल अद्यतन से पहले स्थानीय ढालों का औसत किया जाता है। इसलिए प्रत्येक अपडेट मेमोरी में केवल एक स्थानीय गणना ग्राफ रखते हुए अस्थायी स्थितियों में पर्यवेक्षण को जोड़ता है। यह डिज़ाइन वह है जो कुछ-चरणीय जेनरेटर के दीर्घकालिक प्रशिक्षण को कुशल बनाता है, क्योंकि वैकल्पिक रूप से पूरे रोल आउट के लिए ग्राफ़ रखने की आवश्यकता होगी।
प्रशिक्षण क्षितिज से परे पहुंचना
दो और तकनीकें प्रशिक्षण में देखे गए क्षितिज से परे पीढ़ी का विस्तार करती हैं। केवी पुनर्मूल्यांकन दोनों मॉडलों के लिए संदर्भ को सीमित करता है, कितना इतिहास आगे बढ़ाया जाता है। गाइडेंस एनीलिंग (AnnealCFG) मूवीरोल-बेस को स्थिर करने के लिए स्वच्छ एंडपॉइंट की ओर मार्गदर्शन कम कर देता है। इन मॉडलिंग अग्रिमों के साथ, एफबीसीए ध्यान और पीएस-वीएई डिकोडिंग कुशल प्रशिक्षण और स्ट्रीमिंग आउटपुट का समर्थन करते हैं।
हेलियोसबेंच पर परिणाम
HeliosBench पर, MovieRoll-Base केवल 15 सेकंड तक के वीडियो पर प्रशिक्षण के बाद 30 सेकंड में प्रतिस्पर्धी बना रहता है, जिसका अर्थ है कि यह बिना ढहने के अपने प्रशिक्षण की लंबाई से लगभग दोगुना चलता है। मूवीरोल-डिस्टिल्ड 60 सेकेंड तक एकल और मल्टी-इवेंट मूल्यांकनों में तुलनात्मक विधियों के बीच उच्चतम कुल स्कोर प्राप्त करता है, जो सक्रिय गति के साथ निरंतर प्राकृतिकता को जोड़ती है। फ्रेमवर्क विवरण प्रति मीट्रिक टूटने की रिपोर्ट नहीं करता है इसलिए रैंकिंग को प्रत्येक उपाय पर प्रभुत्व का दावा करने के बजाय एक समग्र परिणाम के रूप में पढ़ा जाना चाहिए।
स्ट्रीमिंग वीडियो पीढ़ी के लिए इसका क्या अर्थ है
व्यावहारिक टेकआउट यह है कि लंबे AI वीडियो, मेमोरी वृद्धि और प्रशिक्षण विंडो के बाद गुणवत्ता क्षय की दो सबसे बड़ी बाधाओं को अलग से नहीं बल्कि एक साथ हमला किया जा रहा है। HieraKV का पूर्ण इतिहास खर्च करने का दृष्टिकोण केवल जहां ध्यान देने की आवश्यकता होती है वह किसी भी Transformer - आधारित स्ट्रीमिंग मॉडल के लिए एक पुनः प्रयोज्य विचार है जिसमें KV कैश होता है। CuLT-DMD की ग्रेडिएंट एवरेजिंग कुछ चरण जनरेटरों को लंबी रोलओवर पर ट्रेनिंग करने का एक तरीका प्रदान करती है जो आमतौर पर इस तरह के प्रशिक्षण को असंभव बनाती है। पाठकों द्वारा ट्रैक किए जाने वाले वीडियो उत्पादन प्रणालियों के लिए, अब दिलचस्प सवाल है कि ये तकनीकें हेलिओसबेंच के बाहर कैसे हैं और यहां मूल्यांकन किए गए 60 सेकंड की तुलना में अधिक समय तक चलती हैं।

Comments (0)