MMFlash दृष्टि-भाषा मॉडल के लिए अनुमानित डिकोडिंग को तेज करता है।
एमएमएफलाश ने कम ध्यान देने के साथ multimodal अनुमानित डिकोडिंग में दृश्यात्मक रूप से निर्भर tokens को लक्षित किया है, जिससे 3.58 गुना तक की हानि रहित गति प्राप्त होती है।
मुख्य जानकारी
- एमएमएफलैश मल्टीमोडल सट्टा डिकोडिंग में एक प्रमुख कमजोरी को संबोधित करता हैः प्रकाश ड्राफ्टर्स, जिनमें प्रसार-आधारित भी शामिल हैं, नेत्रहीन निर्भर टोकन के साथ सबसे अधिक संघर्ष किया है, जहां स्वीकृति दर 46% से 22% तक गिर जाती है।
- यह कागज एक टोकन-स्तरीय दृश्य निर्भरता मीट्रिक का परिचय देता है जो कि अगले टोकन वितरण के बीच KL विचलन पर आधारित होता है और बिना किसी दृश्य इनपुट के, जिससे इस विफल मोड को मापने योग्य बनाया जा सकता है।
- MMFlash अनुकूली रूप से दृश्य-निर्भर टोकन को अपवेट करके ड्राफ्टिंग में सुधार करता है जो खराब भविष्यवाणी की जाती हैं और रिडंडेंट कंप्यूटेशन को कम करने के लिए लंबे वीडियो इनपुट के लिए विरल ध्यान का उपयोग करते हैं।
- यह मल्टीमोडल बेंचमार्क में 3.58x तक की लॉसलेस डिकोडिंग स्पीडअप प्राप्त करता है, जो EAGLE-3 और DFlash से बेहतर प्रदर्शन करता है।
- बिल्डर्स के लिए, मुख्य टेकअवे यह है कि टेक्स्ट-ओनली सट्टा डिकोडिंग लाभ स्वचालित रूप से मल्टीमोडल सिस्टम में स्थानांतरित नहीं होते हैं; दृश्य टोकन पर स्वीकृति दरों को सीधे ट्रैक किया जाना चाहिए।
मेटा विवरणः MMFlash ने 3.58 गुना तक की गति के साथ, दृश्य-निर्भर टोकन को प्राथमिकता देकर और कम ध्यान का उपयोग करके मल्टीमोडल सट्टा डिकोडिंग को बढ़ावा दिया है।
टैगः MMFlash, अनुमानित डिकोडिंग, मल्टीमोडल AI, फैलाव ड्राफ्टर्स, विरल ध्यान
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक छोटे मॉडल का मित्रवत अमूर्त चित्रण जो टोकन ब्लॉकों को एक बड़े मॉडल को सौंप रहा है, जिसमें हाइलाइट किए गए दृश्य टोकन और विरल ध्यान पथ हैं; कोई वास्तविक लोग नहीं, कोई लोगो नहीं, न ही पाठ।
MMFlash, एक मल्टीमोडल अनुमानित डिकोडिंग फ्रेमवर्क, हल्के ड्राफ्टर्स को बेहतर रूप से दृश्य-निर्भर टोकन संभालने में मदद करता है। यह दृष्टिकोण विभिन्न बहुआयामी बेंचमार्क पर 3.58 × तक की हानि रहित डीकोडिंग स्पीडअप रिपोर्ट करता है.
सट्टा मसौदा एक दृश्य दीवार को हिट करता है
अनुमानित डिकोडिंग एक लक्षित मॉडल द्वारा समानांतर सत्यापन के लिए हल्के ड्राफ्टर को टोकन का प्रस्ताव देने से पीढ़ी में तेजी लाता है। DFlash जैसे फैलाव ड्राफ्टर्स इस विचार का विस्तार करते हैं कि पूरे टोकन ब्लॉक को एकल फॉरवर्ड पास में पेश किया जाए, लेकिन डीएफलैश और इसी तरह की विधियां मुख्य रूप से पाठ-केवल कार्यों पर ध्यान केंद्रित करती हैं, जिससे मल्टीमोडल ड्राफ्टिंग कम हो जाती है।
एक मीट्रिक जो पाठ को दृश्य निर्भरता से अलग करता है
इस कार्य में विज़ुअल इनपुट के साथ और बिना अगले टोकन वितरणों के बीच KL विचलन पर आधारित एक टोकन-स्तरीय दृश्य निर्भरता मीट्रिक पेश किया गया है। स्वीकृति दर सबसे कम दृश्य-निर्भरता क्वार्टिल में 46% से घटकर उच्चतम में 22% हो जाती है। यह असमानता बहुआयामी प्रशिक्षण के बाद भी बनी रहती है, जिससे पता चलता है कि अधिक मल्टीमोडल डेटा के लिए ड्राफ्टर को उजागर करना पर्याप्त नहीं है।
MMFlash कमजोर दृश्य टोकन के लिए ड्राफ्टर को अनुकूलित करता है
MMFlash अनुकूली रूप से दृश्य-निर्भर टोकन को बढ़ाता है जो ड्राफ्टर खराब भविष्यवाणी करता है, जिसका उद्देश्य सत्यापन को प्रतिस्थापित किए बिना केवल टेक्स्ट और मल्टीमोडल ड्रॉइंग के बीच की खाई को कम करना है। लंबे वीडियो इनपुट के लिए, एमएमएफलैश अतिरंजित ध्यान गणना को कम करने और ड्राफ्टिंग गुणवत्ता में सुधार करने के लिए बहुत कम ध्यान देता है।
परिणाम व्यावहारिक गति की ओर इशारा करते हैं
विभिन्न मल्टीमोडल बेंचमार्क में, MMFlash 3.58 × तक की लॉसलेस डिकोडिंग स्पीडअप प्राप्त करता है। रिपोर्ट किए गए लाभ EAGLE-3 और DFlash को क्रमशः 195.4% और 17.1% तक बेहतर करते हैं। दृश्य निर्भरता सट्टा डीकोडिंग में एक मापने योग्य विफलता मोड है; ट्रैकिंग जो टोकन दृश्य इनपुट से सबसे अधिक प्रभावित होते हैं और तदनुसार ड्राफ्टिंग और ध्यान समायोजित करना सत्यापित आउटपुट का त्याग किए बिना गति हासिल कर सकता है।
बिल्डरों को आगे क्या देखना चाहिए
पाठ-केवल सट्टा डिकोडिंग में किए गए सुधार स्वचालित रूप से मल्टीमोडल कार्यों पर नहीं जाते हैं। बिल्डरों को केवल टेक्स्ट-भारी वर्कलोड्स पर औसत गति के बजाय, दृश्य निर्भर टोकन पर स्वीकृति दर पर ध्यान देना चाहिए। 46% से 22% अंतर एक चेतावनी संकेत है कि ड्राफ्टर समग्र रूप से मजबूत दिख सकता है जबकि अभी भी विफल हो रहा है जहां दृश्य संदर्भ अगले टोकन को चलाता है। अनुवर्ती कार्य यह दिखा सकता है कि क्या दृश्य निर्भरता मीट्रिक प्रशिक्षण, अनुमानित समय टोकन चयन या अधिक बहुआयामी और वीडियो सेटिंग्स में ड्राफ़्टर डिज़ाइन का मार्गदर्शन कर सकता है।

Comments (0)