जो पीढ़ी जानती है, वह एकीकृत multimodal मॉडलों में बारीक समझ को अनलॉक कर सकती है
GAFU BAGEL, Janus- PRO और लांस के पार बिना छवि उत्पादन के ठीक दानेदार दृश्य समझ में सुधार करने के लिए देशी पीढ़ी की सुविधाओं का उपयोग करता है।
मुख्य जानकारी
- GAFU एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो निष्कर्षण पर स्पष्ट छवि पीढ़ी की आवश्यकता के बिना बारीक दानेदार दृश्य समझ में सुधार करने के लिए एकीकृत multimodal मॉडल में देशी उत्पादन पक्ष प्रतिनिधित्व का उपयोग करता है।
- अध्ययन से पता चलता है कि पीढ़ी-पक्षीय प्रतिनिधित्व बारीक दानेदार शब्दार्थ परिवर्तनों के प्रति अधिक संवेदनशील होते हैं और दृश्य भिन्नताओं को पकड़ते हैं जो समझ-पक्षी प्रतिनिधियों में कम परिलक्षित होते हैं, जिसमें स्थानिक संगठन से निकटता से जुड़े फायदे होते हैं।
- GAFU कॉम्पैक्ट G tokens में पीढ़ी सुविधाओं को संपीड़ित करके काम करता है, कार्य-सशर्त पुनर्प्राप्ति और पूरक जानकारी का इंजेक्शन, और उत्पादन पक्ष संकेतों के प्रभावी उपयोग को प्रोत्साहित करने के लिए जोड़ी वरीयता सीखने।
- पांच बेंचमार्कों पर, GAFU सभी 15 मॉडल-बेंचमार्क संयोजनों में 20.00% तक सापेक्ष सुधार के साथ मिलान डेटा एसएफटी आधार रेखाओं से बेहतर प्रदर्शन करता है।
- मुख्य बात यह है कि उत्पादन क्षमता आंतरिक प्रतिनिधित्व प्रदान कर सकती है जो केवल एक आउटपुट फ़ंक्शन या मॉडल क्षमता का प्रतिस्पर्धी उपयोग होने के बजाय समझ को पूरक और मजबूत करती है।
जीएएफयू ने जनरेशन रिप्रेजेंटेशन्स को बेहतर multimodal समझ में लाया
मेटा विवरण: GAFU BAGEL, Janus- PRO और Lance में बारीक दानेदार दृश्य समझ को बेहतर बनाने के लिए एकीकृत multimodal मॉडल में देशी पीढ़ी पक्ष प्रतिनिधित्व का उपयोग करता है।
टैगः GAFU, एकीकृत multimodal मॉडल, बारीक दानेदार दृश्य समझ, पोस्ट-प्रशिक्षण, multimodal AI
विशेष रुप से प्रदर्शित छवि: स्तरित दृश्य tokens के अमूर्त मैत्रीपूर्ण चित्रण पीढ़ी और समझ मार्गों को जोड़ने, कोई वास्तविक लोग नहीं, कोई लोगो, कोई पाठ
"What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models" नामक एक नए पेपर में GAFU का परिचय दिया गया है, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो एकीकृत multimodal मॉडल (यूएमएम) के भीतर देशी पीढ़ी-पक्षीय प्रतिनिधित्व का उपयोग करता है ताकि बारीक दानेदार दृश्य समझ को बेहतर बनाया जा सके। यह पेपर arXiv पर https://arxiv.org/abs/2610.23987 पर उपलब्ध है, और साथ का कोड https://github.com/LRuca/GAFU पर उपलब्ध हैं।
अध्ययन क्यों महत्वपूर्ण है
एकीकृत multimodal मॉडल ऐसी प्रणालियाँ हैं जो दृश्य सूचना को समझती है और समृद्ध दृश्य विवरण वाली छवियां उत्पन्न करती है। पेपर में एक केंद्रीय प्रश्न यह है कि क्या आंतरिक प्रतिनिधित्व जो छवि पीढ़ी का समर्थन करते हैं, मॉडल को छोटे दृश्य अंतरों को समझने में भी मदद कर सकते हैं। यह महत्वपूर्ण है क्योंकि समझ में सहायता के लिए पीढ़ी का उपयोग करने वाली कई वर्तमान विधियां जनरेटिव पर्यवेक्षण या स्पष्ट रूप से उत्पन्न मध्यवर्ती आउटपुट पर निर्भर करती हैं। इसके बजाय नया काम यह पूछता है कि जनरेशन पथ पहले से ही मॉडल के अंदर क्या जानता है, तब भी जब अनुमान के दौरान कोई छवि उत्पन्न नहीं होती है।
पेपर ने इस देशी पीढ़ी-पक्षीय प्रतिनिधित्व को समझने के लिए काफी हद तक अस्पष्टीकृत बताया है। इसका परीक्षण करके, लेखकों का उद्देश्य एक मॉडल की उत्पादन क्षमता से बेहतर बारीक multimodal समझ के लिए एक मार्ग खोजना है।
टीम ने क्या पाया
इस प्रश्न का उत्तर देने के लिए, अध्ययन व्यवस्थित रूप से छह UMMs में पीढ़ी-पक्ष और समझ-पक्ष दृश्य प्रतिनिधित्व की तुलना करता है। तुलना में तीन गुणों पर ध्यान केंद्रित किया गया है: बारीक दानेदार शब्दार्थ संवेदनशीलता, प्रतिनिधित्व संबंधी पूरकता और स्थानिक निर्भरता।
निष्कर्षों से पता चलता है कि पीढ़ी-पक्षीय प्रतिनिधित्व बारीक दानेदार शब्दार्थ परिवर्तन के प्रति अधिक संवेदनशील होते हैं। वे दृश्य भिन्नताओं को भी कैप्चर करते हैं जो समझ-पक्षीय प्रतिनिधित्व में कम प्रभावी ढंग से परिलक्षित होते हैं। कागज इन लाभों को स्थानिक संगठन के साथ निकटता से जोड़ता है, जिसका अर्थ है कि मॉडल अंतरिक्ष में दृश्य जानकारी कैसे व्यवस्थित करता है यह पीढ़ी पथ के मूल्य का एक महत्वपूर्ण हिस्सा प्रतीत होता है।
यह तुलना GAFU के लिए आधार प्रदान करती है। फ्रेमवर्क इस अवलोकन पर बनाया गया है कि पीढ़ी-पक्षीय प्रतिनिधित्व पूरक जानकारी ले जा सकते हैं जो समझ-साइड प्रतिनिधियों का प्रभावी ढंग से उपयोग नहीं कर सकता है।
GAFU कैसे काम करता है
GAFU, Generation-Assisted Fine-grained Understanding का संक्षिप्त रूप है और यह एक पोस्ट-ट्रेनिंग फ्रेमवर्क है। यह अनुमान पर स्पष्ट छवि पीढ़ी की आवश्यकता के बिना देशी उत्पादन-पक्ष प्रतिनिधित्व का उपयोग करने के लिए डिज़ाइन किया गया है। दूसरे शब्दों में, मॉडल इंटरमीडिएट इमेज या आउटपुट पहले उत्पन्न करने के बजाय समझ कार्यों को करते समय पीढ़ी से संबंधित आंतरिक विशेषताओं का लाभ उठा सकता है।
इस फ्रेमवर्क के तीन मुख्य भाग हैं। सबसे पहले, यह कॉम्पैक्ट जी tokens में पीढ़ी-पक्ष की विशेषताओं को संपीड़ित और पंक्तिबद्ध करता है। ये tokens पीढ़ी पथ की आंतरिक दृश्य सूचना के अधिक उपयोगी रूप के रूप में कार्य करते हैं। दूसरा, GAFU कार्य-सशर्त पुनर्प्राप्ति और पूरक जानकारी के इंजेक्शन को सक्षम बनाता है, इसलिए समझ पथ वर्तमान कार्य से संबंधित पीढ़ी-पक्ष संकेतों पर आकर्षित कर सकता है। तीसरा, फ्रेमवर्क में जोड़ीबद्ध वरीयता सीखने को शामिल किया गया है, जो मॉडल को पीढ़ी-पक्षीय प्रतिनिधित्व का प्रभावी उपयोग करने के लिए प्रोत्साहित करता है।
एक साथ, ये कदम पीढ़ी पक्ष को छवि आउटपुट के स्रोत से आंतरिक प्रतिनिधित्वों के स्रोत में बदल देते हैं जो समझ का समर्थन कर सकते हैं।
बेंचमार्क परिणाम
लेखकों ने तीन एकीकृत multimodal आर्किटेक्चर पर GAFU का मूल्यांकन किया है: BAGEL, Janus- PRO और Lance। मूल्यांकन पांच बेंचमार्क को कवर करता है जिसमें सामान्य, स्थानिक और डोमेन-विशिष्ट समझ कार्य शामिल हैं। चूंकि तीन वास्तुशिल्पों को पांच बेंचमार्क पर परीक्षण किया जाता है, इसलिए कागज 15 मॉडल-बैंकमार्क संयोजनों में परिणाम की रिपोर्ट करता है।
सभी 15 संयोजनों में, GAFU fine-tuning (एसएफटी) बेसलाइन से बेहतर प्रदर्शन करता है। रिपोर्ट किए गए सापेक्ष सुधार VStar-Bench पर 20.00% तक पहुंचते हैं, OmniSpatial के लिए 17.94% और वीएसआर-बेंच पर 8.62%। ये परिणाम पेपर के केंद्रीय दावे का समर्थन करते हैं कि पीढ़ियों-पक्षीय प्रतिनिधित्व ठीक दानेदार दृश्य समझ में सुधार कर सकते हैं जब पोस्ट-प्रशिक्षण के दौरान सीधे उपयोग किया जाता है।
पाठक क्या ले जा सकते हैं
multimodal मॉडल का अनुसरण करने वाले पाठकों के लिए, पेपर एक उपयोगी अंतर की ओर इशारा करता हैः दृश्य सामग्री उत्पन्न करने के लिए एक मॉडल की क्षमता केवल इसके आउटपुट की विशेषता नहीं है। यह आंतरिक निरूपणों को भी प्रकट कर सकता है जो समझ के लिए मूल्यवान हैं। जीएएफयू एक ऐसा मार्ग सुझाता है जहां पीढ़ी और समझ अलग-अलग क्षमताएं नहीं हैं जो समान मॉडल क्षमता के लिए प्रतिस्पर्धा करती हैं, लेकिन दो रास्ते जिनके प्रतिनिधित्व एक दूसरे का पूरक हो सकते हैं।
कोड https://github.com/LRuca/GAFU पर उपलब्ध है, और लेखक प्रतिक्रिया और चर्चा का स्वागत करते हैं। कागज UMMs के भीतर ठीक दानेदार दृश्य समझ में सुधार पर केंद्रित रहता है, और BAGEL, Janus- PRO, और लांस भर में इसके परिणाम बताते हैं कि पीढ़ी पक्ष संकेत पूरक जानकारी का एक व्यावहारिक स्रोत हो सकता है।

Comments (0)