वेलोक्स स्थानिक स्मृति के माध्यम से विश्व मॉडल को कुशल बनाता है।
वेलोक्स वीडियो दुनिया मॉडल के लिए एक प्रशिक्षण-मुक्त ध्यान router है। यह फ्रस्टम स्लैब ज्यामिति का उपयोग करता है ताकि चंक्ड डेनोइजिंग की गति और दृश्य स्मृति को संरक्षित किया जा सके।
मुख्य जानकारी
- वेलोक्स वीडियो दुनिया मॉडल के लिए एक प्रशिक्षण-मुक्त ध्यान router है जो diffusion model को फिर से प्रशिक्षित किए बिना लंबे इंटरैक्टिव रोलआउट में तेजी लाता है।
- यह कैमरा फ्रस्टम स्लैब और स्ट्रीमिंग ज्यामिति से गहराई की जानकारी का उपयोग करके प्रासंगिक ऐतिहासिक संदर्भ चुनता है, जब वर्तमान दृश्य एक ही क्षेत्र को कवर करता है तो पुराने ब्लॉकों को अधिक वजन देता है।
- निश्चित token -ब्लॉक granularity और denoising के साथ ओवरलैपिंग ज्यामिति तैयारी का उपयोग करके, Velox ध्यान लागत को कम करता है जो सामान्य रूप से लंबे रोलआउट के साथ बढ़ता है।
- रिपोर्ट किए गए परिणामों से पता चलता है कि WBench नेविगेशन पर घने LingBot-Fast-Cam के 0.15 API -मुक्त औसत बिंदुओं के भीतर रहते हुए, भाग 48 में 4.36 गुना तेज ध्यान और 2.43 गुना तेजी से denoising।
- इसका व्यावहारिक मूल्य दृश्य स्मृति और सीन सुसंगतता को संरक्षित करते हुए लंबे वीडियो विश्व मॉडल रोलआउट को अधिक उत्तरदायी बना रहा है।
वेलोक्स लंबे वीडियो वर्ल्ड मॉडल रोलआउट में ध्यान की बाधाओं को कम करता है।
मेटा विवरण: Velox वीडियो दुनिया मॉडल के लिए एक प्रशिक्षण-मुक्त ध्यान router है, जो लंबे इंटरैक्टिव रोलआउट में दृश्य स्मृति को संरक्षित करते हुए चंक्ड डेनोइजिंग की गति बढ़ाता है।
टैगः वीडियो विश्व मॉडल, ध्यान रूटिंग, खंडित प्रसारण, स्ट्रीमिंग ज्यामिति, अनुमान गति
विशेष रुप से प्रदर्शित छवि: कैमरा फ्रस्टम, गहराई स्लैब और ध्यान router के माध्यम से बहने वाले वीडियो टुकड़ों का अमूर्त, मैत्रीपूर्ण चित्रण; कोई वास्तविक लोग नहीं हैं, न ही लोगो, न तो पाठ।
इंटरएक्टिव वीडियो वर्ल्ड मॉडल बनाने वाले शोधकर्ताओं और इंजीनियरों के लिए, वेलोक्स एक व्यावहारिक बाधा को लक्षित करता हैः लंबे दृश्य रोलआउट की आवश्यकता उत्पन्न स्मृति है, लेकिन खंडित वीडियो प्रसार में अधिक संदर्भ रखने से बाद के टुकड़े धीमे हो सकते हैं। स्रोत स्ट्रीमिंग ज्यामिति से फ्रस्टम स्लैब पत्राचार का उपयोग करके क्षेत्र-स्तरीय संदर्भ चयन के लिए Velox, एक प्रशिक्षण मुक्त ध्यान router प्रस्तुत करता है। यह भाग 48 पर 4.36 × के ध्यान त्वरण और 2.43 × के denoising त्वरण की रिपोर्ट करता है, और कहता है कि वेलोएक्स पूर्ण 158-केस WBench नेविगेशन विभाजन पर घने LingBot-Fast-Cam के 0.15 API -मुक्त औसत बिंदुओं के भीतर रहता है।
क्यों लंबे रोलआउट धीमा हो जाते हैं
वीडियो वर्ल्ड मॉडल क्रियाओं और कैमरा गति को उत्पन्न फ़्रेमों के अनुक्रम में बदल देते हैं। इंटरैक्टिव सिमुलेशन में, वीडियो इंटरफ़ेस बन जाता हैः सिस्टम को एक दृश्य जारी रखना चाहिए क्योंकि उपयोगकर्ता आगे बढ़ता है या कार्य करता है। यह प्रतिक्रिया मायने रखती है, लेकिन एक दृश्य को सुसंगत रखने से पहले के फ्रेम की दृश्य स्मृति पर निर्भर होता है। कई खंडित वीडियो प्रसार प्रणालियों में, ऐतिहासिक संदर्भ KV कैश में संग्रहीत किया जाता है जो बढ़ती रहती है, जो बाद के टुकड़ों को धीमा कर सकती है।
कैसे Velox रीट्रेनिंग के बिना संदर्भ का चयन करता है
वेलोक्स प्रशिक्षण-मुक्त है, इसलिए इसे diffusion model को बदलने की आवश्यकता नहीं है। यह गहराई अंतराल के साथ कैमरा फ्रस्टम स्लैब के रूप में ऐतिहासिक ब्लॉकों का प्रतिनिधित्व करता है। एक कैमरा फ्रिस्टम एक कैमरे द्वारा कब्जा किए गए दृश्य वॉल्यूम है; एक स्लाब उस दृश्य के अंदर एक गहराई अंतर जोड़ता है। Velox हाल ही में प्राथमिकता मल्टीवार्प के माध्यम से वर्तमान ब्लॉक गहराई प्राप्त करता है. इसका मतलब है कि अधिक हालिया ज्यामिति को प्राथमिकता देते हुए विचारों पर विकृत करके वर्तमान ब्लॉक के लिए गहराई जानकारी एकत्र की जाती है।
router तब ज्यामिति को समायोजित करने के लिए उपयोग करता है कि कौन से ऐतिहासिक ब्लॉक मायने रखते हैं। अच्छी तरह से कवर किए गए क्षेत्रों के लिए, फ्रस्टम स्लैब ओवरलैप धीरे-धीरे प्रत्येक परत की मॉडल व्युत्पन्न ब्लॉक महत्व को संशोधित करता है। सरल शब्दों में, जब एक नया टुकड़ा पुराने खंडों के समान क्षेत्र देखता है, तो router, उन पुराने ब्लॉकों को ज्यामिति-जागरूक वजन दे सकता है। उजागर क्षेत्रों के लिये, वेलोक्स बिना किसी ज्यामितीय पूर्वाग्रह के मॉडल-व्युत्पादित मार्ग को बरकरार रखता है। यह मॉडल पर निर्भर रहने के लिए मजबूर होने से बचाता है जब वर्तमान दृश्य पिछले क्षेत्र को शामिल नहीं करता है.
एक दूसरा डिजाइन विकल्प token -ब्लॉक granularity तय है। router समूहों के संदर्भ में token ब्लॉक की बजाय संदर्भ संरचना रोलआउट के साथ स्वतंत्र रूप से बढ़ते हैं. यह FlashAttention-शैली टाइल निष्पादन मेल खाता है और ध्यान अवधि जो रोल आउट लंबाई के साथ बढ़ता कम कर देता है. स्रोत का कहना है कि frustum स्लैब निर्माण एक ही H200 पर denoising के साथ asynchronously चलाता है, प्रसार चरण के साथ ज्यामिति तैयारी ओवरलैप करने के बजाय उन चरणों को केवल एक दूसरे के बाद चलाने के लिए बनाने के बजाय।
रिपोर्ट किए गए आंकड़ों का क्या अर्थ है
बेंचमार्क परिणाम दो प्रभावों की ओर इशारा करते हैं। सबसे पहले, वेलोक्स गति में सुधार करता है जहां लंबे रोलआउट सामान्य रूप से गिरावट आती हैः खंड 48 पर, ध्यान 4.36x तेज होने और 2.43x तेजी से denoising करने के लिए बताया गया है। दूसरा, WBench नेविगेशन पर रिपोर्ट किया गया अंतर छोटा हैः घने LingBot-Fast-Cam की तुलना में 0.15 API -मुक्त औसत अंकों के भीतर। वाक्यांश API मुक्त औसत अंक तुलना मीट्रिक के रूप में स्रोत में दिखाई देता है, इसलिए परिणाम बताता है कि गति लाभ उस मूल्यांकन पर एक बड़ी बूंद के साथ नहीं आते हैं।
इंटरैक्टिव वीडियो जनरेशन का मूल्यांकन करने वाले पाठकों के लिए, व्यावहारिक मूल्य दृश्य स्मृति को बनाए रखते हुए लंबे समय तक रोलआउट को अधिक उत्तरदायी बनाने का एक संभव तरीका है। Because Velox को प्रशिक्षण-मुक्त के रूप में वर्णित किया गया है, यह आकर्षक हो सकता है जब कोई टीम किसी वीडियो diffusion model को फिर से प्रशिक्षित किए बिना अनुमान व्यवहार को बदलना चाहती है। लेखक अधिक विवरण के लिए परियोजना पृष्ठ का संदर्भ देते हैं।

Comments (0)