multimodal दृश्य एन्कोडिंग को अलग-अलग घटकों में विभाजित किया जा रहा है।
नियंत्रित अध्ययन में पाया गया है कि multimodal मॉडलों को संयुक्त रूप से प्रशिक्षित और प्रारंभिक, पूर्व-प्रशिक्षित दृष्टि एन्कोडरों की आवश्यकता नहीं होती है।
मुख्य जानकारी
- एक नियंत्रित अध्ययन multimodal दृष्टि एन्कोडर में तीन बंडल किए गए विकल्पों को अलग करता हैः पूर्व-प्रशिक्षण से पहले दृश्य, समर्पित दृष्टि क्षमता और multimodal संलयन से पहले प्लेसमेंट।
- पूर्व-प्रशिक्षित दृष्टि एन्कोडर आवश्यक नहीं है: शून्य से संयुक्त रूप से प्रशिक्षित एक एनकोडर अलग दृश्य पूर्व प्रशिक्षण चरण के बिना समान प्रदर्शन कर सकता है।
- समर्पित दृष्टि क्षमता महत्वपूर्ण हैः एन्कोडर को हटाने से दृश्य समझ में नुकसान होता है, तब भी जब भाषा की रीढ़ उसी पैरामीटर गणना द्वारा बढ़ाई जाती है।
- विजन क्षमता संलयन से पहले बैठना नहीं है: प्रारंभिक रीढ़ की परतों के अंदर रखे गए केवल-विज़न मॉड्यूल तुलनीय प्रदर्शन कर सकते हैं और समय को पहले token तक घटा सकते हैं।
- व्यावहारिक सीख यह है कि विशेष दृष्टि क्षमता को आरक्षित किया जाए, इसे भाषा मॉडल के साथ संयुक्त रूप से प्रशिक्षित किया जाए और छवि-पाठ संलयन का समर्थन करने के लिए पर्याप्त समय पर रखा जाए।
multimodal भाषा मॉडल पर एक नियंत्रित अध्ययन में पाया गया है कि दृश्य समझ के लिए निर्णायक घटक अलग से पूर्व-प्रशिक्षित दृष्टि एन्कोडर नहीं है, बल्कि समर्पित दृष्टि क्षमता है जिसे भाषा मॉडल के साथ प्रशिक्षित किया जाता है और वास्तुकला में जल्दी रखा जाता है। https://unbundling.github.io/ में सारांशित अध्ययन, उन प्रणालियों का निर्माण करने वाले किसी भी व्यक्ति के लिए मायने रखता है जो छवियों और पाठ को एक साथ संसाधित करते हैं, क्योंकि यह तीन डिजाइन विकल्पों को अलग करता है जिन्हें विजन एनकोडर्स आमतौर पर जोड़ते हैंः अपस्ट्रीम प्रीट्रेनिंग से पहले एक दृश्य, दृष्टि के लिए आरक्षित अतिरिक्त क्षमता, और multimodal फ्यूज़न से पहले उस क्षमता की नियुक्ति।
तीन बंडल किए गए विकल्प तुलना करना कठिन बनाते हैं
अधिकांश multimodal भाषा मॉडल चित्रों को उन विशेषताओं में परिवर्तित करने के लिए एक पूर्व-प्रशिक्षित दृष्टि एन्कोडर का उपयोग करते हैं जिन्हें भाषा मॉडल पढ़ सकता है। कुछ हालिया दृष्टिकोण दृश्य एनकोडर को स्क्रैच से लैंग्वेज मॉडल के साथ मिलकर प्रशिक्षित करते हैं, जबकि अन्य पूरी तरह से एनकोडर्स को हटा देते हैं। इससे बहस होती हैः multimodal मॉडल ने विजुअल इनपुट कैसे एन्कोड करना चाहिए?
कठिनाई यह है कि एक दृष्टि एन्कोडर एक एकल विचार नहीं है। यह एक दृश्य पूर्व प्रदान कर सकता है, जिसका अर्थ है पहले के विजन-केंद्रित प्रीट्रेनिंग के दौरान सीखा गया ज्ञान। यह समर्पित दृष्टि क्षमता भी प्रदान कर सकते हैं, यानी छवि प्रसंस्करण के लिए अलग किए गए पैरामीटर और गणना। अंत में, यह आमतौर पर उस क्षमता को multimodal रीढ़ की हड्डी से पहले रखता है, मॉडल का वह हिस्सा जहां छवि और पाठ जानकारी संयुक्त होती है।
प्रकाशित मॉडल डेटा, आर्किटेक्चर और कंप्यूटिंग में भी भिन्न होते हैं। इस वजह से, केवल एक मॉडल की तुलना दूसरे के साथ करना यह नहीं दिखा सकता है कि प्रदर्शन दृश्य पूर्व, अतिरिक्त दृष्टि क्षमता या प्री-फ्यूजन प्लेसमेंट से आता है।
एक नियंत्रित परीक्षण पूर्व, क्षमता और स्थान को अलग करता है
इन कारकों को अलग करने के लिए, अध्ययन एक नियंत्रित ढांचे का उपयोग करता है। सभी मॉडल सामान्य डेटा पर खरोंच से पूर्व-प्रशिक्षित हैं। उन्हें मिलान किए गए जीवनकाल गणना में दृश्य प्रश्न उत्तर और भाषा बेंचमार्क पर तुलना की जाती है, जिसका अर्थ है कि कुल प्रशिक्षण गणना परीक्षण किए जा रहे वेरिएंट में समान रखी गई है।
पहला परिणाम यह है कि दृश्य पूर्व आवश्यक नहीं है। एक एन्कोडर को खरोंच से संयुक्त रूप से प्रशिक्षित किया जाता है, जो पहले से ही तैयार किए गए एनकोडर के साथ समान प्रदर्शन करता है, और इसे अलग-अलग प्रीट्रेनिंग चरण के बिना करता है। दूसरे शब्दों में, पहले से मौजूद विजन एंकोडर लाना मजबूत दृश्य समझ की कुंजी नहीं है.
दूसरा परिणाम यह है कि समर्पित दृष्टि क्षमता मायने रखती है। जब मॉडल एन्कोडर को पूरी तरह से हटा देता है, तो दृश्य समझ के निशान होते हैं, भले ही रीढ़ की हड्डी एनकोडर के पैरामीटर गणना द्वारा बढ़ाई जाती हो। अतिरिक्त मापदंड अकेले दृष्टि-विशिष्ट प्रसंस्करण का स्थान नहीं लेते हैं।
तीसरा परिणाम यह है कि विजन क्षमता को संलयन से पहले बैठना नहीं पड़ता। अध्ययन में प्रारंभिक रीढ़ की परतों के अंदर, केवल-विज़न मॉड्यूल इन-फ्यूजन जोड़े जाते हैं। ये मोड्युल एक पूर्व-संलयन एन्कोडर के तुलनीय प्रदर्शन करते हैं। वे पहली token तक समय भी कम कर सकते हैं।
यह निष्कर्ष कई स्थितियों में लागू होता है
यह पैटर्न रीढ़ की हड्डी के आकारों में बना रहता है। जब एन्कोडर पूर्व-प्रशिक्षण को मुफ्त माना जाता है, तो यह एक तुलना भी होती है जो पहले से प्रशिक्षित एनकोडर को उचित ठहराने के लिए आसान बनाती है। अंत में, यह तब होता है जब भाषा मॉडल पहले से प्रशिक्षण प्राप्त आधार से शुरू होता है, न कि केवल जब सब कुछ स्क्रैच से सिखाया जाता है।
multimodal सिस्टम बनाने वाले पाठकों के लिए, व्यावहारिक टेकअवे यह नहीं है कि विजन एन्कोडर बेकार हैं। अध्ययन एक विशिष्ट नुस्खा का पक्ष लेता हैः दृष्टि के लिए समर्पित क्षमता आरक्षित करें, उस क्षमता को रीढ़ की हड्डी के साथ संयुक्त रूप से प्रशिक्षित करें, और छवि और टेक्स्ट जानकारी को फ्यूज करने में मॉडल की मदद करने के लिए इसे पर्याप्त जल्दी रखें।
अधिक जानकारी https://unbundling.github.io/ पर उपलब्ध है।
मेटा विवरणः एक नियंत्रित अध्ययन में पाया गया है कि multimodal भाषा मॉडलों को समर्पित दृष्टि क्षमता की आवश्यकता होती है जिन्हें संयुक्त रूप से प्रशिक्षित किया जाता है और जल्दी, जरूरी नहीं कि पूर्व-प्रशिक्षित एन्कोडर लगाए जाते हैं।
टैगः multimodal भाषा मॉडल, दृष्टि एन्कोडर, दृश्य प्रश्न उत्तर देना, मॉडल प्रशिक्षण, AI बेंचमार्क
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> पाठ के ब्लॉकों और छवि टाइलों का अमूर्त मैत्रीपूर्ण चित्रण एक स्तरित नेटवर्क में विलय, कोई वास्तविक लोग नहीं, कोई लोगो, कोई पाठ.

Comments (0)