एमसी-स्पार्सः प्रसारण में घने-विस्तृत ध्यान अंतर का विश्लेषण और ब्रिजिंग Transformers
एमसी-स्पार्स प्रशिक्षण मुक्त छिटपुट ध्यान, केवी चयन, क्वेरी समूहीकरण और वीडियो और 3 डी के लिए अवशिष्ट कैशिंग का उपयोग करके प्रसारण Transformers की गति करता है।
मुख्य जानकारी
- एमसी-स्पार्स प्रसारण Transformers के लिए एक प्रशिक्षण मुक्त विरल ध्यान विधि है, जिसका उद्देश्य लंबे अनुक्रम वीडियो और उच्च रिज़ॉल्यूशन 3 डी पीढ़ी में तेजी लाना है।
- इसमें स्पायर-एटेंशन क्वालिटी लॉस के तीन मुख्य स्रोतों की पहचान की गई है: token समूहीकरण बाधाएं, गलत इंटरैक्शन चयन और खारिज किए गए tokens से ध्यान में कमी का योगदान।
- विधि व्यक्तिगत कुंजी-मूल्य tokens का चयन करती है जबकि समान क्वेरी को टाइल-संरेखित सेटों में समूहीकृत करते हुए लचीलापन बनाए रखने और GPU दक्षता बनाए रखने के लिए।
- MC-Sparse मेटाडेटा और घने-छोटे ध्यान अवशेषों को डेनोइजिंग चरणों में कैश करता है, बार-बार चयन लागत को कम करने और गहरे ध्यान के प्रति निष्ठा में सुधार करता है।
- यह MiniMax -H3-Base पर 1.80x denoising speedup और 3D एसेट जनरेशन पर 2.32x स्पीडअप की रिपोर्ट करता है, जिसमें नगण्य गुणवत्ता हानि का वर्णन किया गया है।
मेटा विवरण: एमसी-स्पार्स वीडियो और 3 डी पीढ़ी के लिए प्रसार Transformer विलंबता को कम करता है, नगण्य गुणवत्ता हानि के साथ 1.80x और 2.32x denoising speedups की रिपोर्टिंग।
टैगः एमसी-स्पार्स, प्रसारण Transformers , विरल ध्यान, वीडियो उत्पादन, 3 डी संपत्ति पीढ़ी
विशेष रुप से प्रदर्शित छवि: प्रवाह वीडियो फ्रेम, 3 डी ग्रिड आकार और लिंक किए गए ध्यान नोड्स की अमूर्त, मैत्रीपूर्ण चित्रण शैली, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
वीडियो और उच्च-रिज़ॉल्यूशन 3 डी एसेट जनरेशन के लिए प्रसार Transformers पर काम करने वाले डेवलपर्स और अनुसंधान टीमों के लिए, एमसी-स्पार्स एक नई प्रशिक्षण-मुक्त स्पायर अटेंशन विधि है जो उन लंबे अनुक्रमों को लक्षित करती है जहां ये मॉडल धीमा हो जाते हैं। यह विधि घने ध्यान के सापेक्ष MiniMax -H3-Base पर 1.80x denoising speedup और 2.32x गति की रिपोर्ट करती है, जिसमें वर्णित परिणामों में नगण्य गुणवत्ता हानि होती है।
प्रसार Transformers को क्यों कम ध्यान देने की आवश्यकता है
प्रसार Transformers denoising चरणों के माध्यम से बार-बार एक गुप्त प्रतिनिधित्व को परिष्कृत करके मीडिया उत्पन्न करते हैं। प्रत्येक चरण में ध्यान संचालन की आवश्यकता होती है, और जब tokens का अनुक्रम लंबा होता है तो वे ऑपरेशन महंगे हो जाते हैं। यह वीडियो और उच्च रिज़ॉल्यूशन 3 डी एसेट जनरेशन जैसे कार्यों में बिल्कुल मामला है, जहां कई tokens को कई फ्रेम, दृश्य या स्थानिक नमूनों पर संसाधित किया जाना चाहिए।
विरल ध्यान लंबे अनुक्रम पीढ़ी कार्यों में फैलाव Transformers की विलंबता को कम करने के लिए एक प्राथमिक दृष्टिकोण बन गया है। प्रत्येक token को हर दूसरे token पर ध्यान देने के बजाय, दुर्लभ विधियां संभावित उपयोगी इंटरैक्शन के छोटे सेट पर ध्यान केंद्रित करती हैं। यह उत्पादन तेज कर सकता है, लेकिन यह मॉडल को ठीक विवरण, गति या ज्यामिति को संरक्षित करने की जानकारी भी हटा सकता है।
यह कार्य नियंत्रित ओरेकल तुलनाओं, एक संदर्भ कार्यान्वयन के खिलाफ परीक्षणों के माध्यम से व्यापार-बंद की व्याख्या करता है। इन तुलनाओं में गुणवत्ता हानि के तीन स्रोतों का पता चलता हैः token समूहीकरण बाधाएं, गलत बातचीत चयन और ध्यान योगदान खो जाते हैं जब tokens को खारिज कर दिया जाता है। दूसरे शब्दों में, समस्या केवल यह नहीं है कि कम tokens का उपयोग किया जाता है, लेकिन यह भी कि विधि अशिष्ट समूहों में tokens को मजबूर कर सकती है, गलत इंटरैक्शन चुनती है या ध्यान पैटर्न के कुछ हिस्सों को छोड़ देती है जो अभी भी मायने रखते हैं।
कैसे MC-Sparse चयन और कैश समस्या को बदलता है
मेटा-Cached Sparse Attention, या एमसी-स्पार्स, को प्रशिक्षण मुक्त ढांचे के रूप में डिज़ाइन किया गया है। यह चिकित्सकों के लिए महत्वपूर्ण है क्योंकि एक विधि जिसके लिए किसी मॉडल पुनर्विकास की आवश्यकता नहीं होती है उसे नए प्रशिक्षण रन का इंतजार किए बिना मौजूदा प्रसार Transformers पर परीक्षण किया जा सकता है।
यह विधि व्यक्तिगत KV tokens का चयन करती है, जिसका अर्थ है कि केवल मोटे ब्लॉकों पर भरोसा करने के बजाय ध्यान संचालन द्वारा उपयोग किए जाने वाले कुंजी-मूल्य tokens . साथ ही, यह कुशल GPU निष्पादन के लिए टाइल-संरेखित समूहों में समान प्रश्नों को व्यवस्थित करता है। यह संयोजन गणना hardware -अनुकूल रखते हुए चयन लचीलेपन को संरक्षित करने की कोशिश करता है. GPUs अक्सर संरेखित, टाइल्ड वर्कलोड से लाभान्वित होता है, इसलिए क्वेरी समूहीकरण ओवरहेड को कम कर सकता है भले ही व्यक्तिगत कुंजी मूल्य tokens गतिशील रूप से चुना गया हो।
MC-Sparse यह भी बदलता है कि कैसे जानकारी को डेनोइजिंग चरणों में ले जाया जाता है। यह मेटाडेटा को कैश करता है जिसमें क्वेरी समूह, सटीक ध्यान संभावनाओं का उपयोग करके चयनित KV सूचकांक और घने और पतले ध्यान आउटपुट के बीच अवशिष्ट शामिल हैं। अवशेष उन आउटपुटों के बीच अंतर होते हैं जो एक घने ध्यान पैटर्न द्वारा उत्पादित किए जाते हैं और बिखरे हुए अनुमान से उत्पन्न होने वाले आउटपुट। इस जानकारी को संग्रहीत करने और इसे डेनोईजिंग कदमों पर पुनः उपयोग करके, विधि प्रत्येक चरण को पूरी तरह से ताजा चयन समस्या के रूप में व्यवहार करने से बचती है।
रिपोर्ट किए गए स्पीडअप और गुणवत्ता व्यापार-ऑफ
वीडियो और 3 डी पीढ़ी के मॉडलों में, एमसी-स्पार्स को घने ध्यान आउटपुटों की उच्च निष्ठा प्राप्त करने और दृश्यमान गुणवत्ता गिरावट के बिना मौजूदा स्पायर-एटेंशन बेसलाइनों की तुलना में बड़े डेनोइजिंग स्पीडअप हासिल करने की सूचना दी गई है। मुख्य परिणाम यह है कि गति वृद्धि केवल प्रदर्शन के लिए गुणवत्ता स्वैप के रूप में प्रस्तुत नहीं की जाती है। विधि आधार रेखाओं के सापेक्ष वफादारी में सुधार करने का दावा करती है जबकि डेनोईज़िंग गति में भी सुधार करती है।
रिपोर्ट की गई संख्या ठोस हैः MiniMax -H3-Base पर 1.80x denoising speedup और 3D एसेट जनरेशन पर 2.32x स्पीडअप, दोनों घने ध्यान के सापेक्ष। दोनों मामलों में, काम गुणवत्ता हानि को नगण्य के रूप में वर्णित करता है। उपयोगकर्ताओं के लिए, उन गुणकों का मतलब है कि प्रत्येक डेनोइजिंग पास कम समय ले सकता है, जो इंटरैक्टिव वर्कफ़्लो, बैच रेंडरिंग जॉब्स और मॉडल मूल्यांकन लूप को छोटा कर सकते हैं जहां कई चरणों को दोहराया जाना चाहिए।
पाठक आगे क्या देख सकते हैं
व्यावहारिक प्रश्न अब यह है कि क्या पैटर्न अधिक प्रसार Transformer आर्किटेक्चर, लंबे अनुक्रम और सख्त उपयोगकर्ता-सामने की गुणवत्ता जांच में रहता है। प्रशिक्षण मुक्त तरीके आकर्षक हैं क्योंकि उन्हें जल्दी से एकीकृत किया जा सकता है, लेकिन वास्तविक गोद लेने मौजूदा पाइपलाइनों में पुनरुत्पादकता पर निर्भर करता है, विभिन्न GPU कर्नेल के साथ संगतता, और प्रॉम्प्ट्स, रिज़ॉल्यूशन और मॉडल संस्करणों में स्थिरता।
एमसी-स्पार्स टीमों को एक ठोस मार्ग देता हैः token समूहीकरण और चयन त्रुटियों का पता लगाएं, उपयोगी केवी tokens रखें, GPU दक्षता के लिए क्वेरी संरेखित करें, और डेनोइजिंग चरणों में कैश्ड मेटाडेटा का पुनः उपयोग करें। यदि रिपोर्ट की गई निष्ठा और स्पीडअप व्यापक उत्पादन वातावरण में अनुवाद करते हैं, तो लंबे अनुक्रम वीडियो और 3 डी पीढ़ी पर कम ध्यान गुणवत्ता समझौता उपकरण से तेज़ डिफ़ॉल्ट की ओर बढ़ सकता है।

Comments (0)