विजन-भाषा मॉडल वस्तुओं के गुणों को बांधते समय मिश्रण पर अटक जाते हैं।
SABER multimodal पुनर्प्राप्ति में विशेषता-ऑब्जेक्ट बाध्यकारी परीक्षण करता है; मॉडल विफल हो जाते हैं, लेकिन केवल पाठ संश्लेषण प्रशिक्षण बंधन और खोज में सुधार करता है।
मुख्य जानकारी
- SABER यह परीक्षण करने के लिए एक नियंत्रित बेंचमार्क है कि क्या मल्टीमोडल पुनर्प्राप्ति मॉडल वस्तुओं को सही ढंग से विशेषताएं बांध सकते हैं।
- यह विभिन्न विशेषताओं और दस वस्तुओं तक के दृश्यों का उपयोग करके सभी चार छवि-पाठ पुनर्प्राप्ति दिशानिर्देशों (छवि से चित्र, छवि से पाठ, पाठ से छवि और पाठ से पाठ) का मूल्यांकन करता है।
- प्रयोगों से पता चलता है कि CLIP-शैली के दोहरे एन्कोडर और हालिया मल्टीमोडल एलएलएम आधारित एम्बेडर्स अभी भी पर्याप्त विशेषता बाध्यकारी त्रुटियां करते हैं।
- सिंथेटिक टेक्स्ट-ओनली एट्रिब्यूट-बाइंडिंग डेटा पर फाइन ट्यूनिंग बाइंडिंग प्रदर्शन में सुधार करता है और क्रॉस-मोडल और छवि-छवि पुनर्प्राप्ति के लिए स्थानांतरण, जबकि नकारात्मकता और उदाहरण पुनः प्राप्ति जैसे संबंधित कार्यों की भी मदद करता है।
मेटा विवरण: SABER एक नियंत्रित बेंचमार्क है जो चार इमेज और टेक्स्ट मोडलिटी जोड़ों में मल्टीमोडल रिकवरी में एट्रिब्यूट-ऑब्जेक्ट बाइंडिंग का मूल्यांकन करता है।
टैग: SABER, मल्टीमोडल रिकवरी, एट्रिब्यूट-ऑब्जेक्ट बाइंडिंग, अत्याधुनिक, बेंचमार्क
चित्र: लिंक्ड इमेज और टेक्स्ट कार्ड्स का अमूर्त मैत्रीपूर्ण चित्रण, कोई लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
मल्टीमोडल सर्च सिस्टम बनाने वाले डेवलपर्स और शोधकर्ताओं के लिए, SABER एक नियंत्रित बेंचमार्क है जो परीक्षण करता है कि क्या छवि और पाठ पुनर्प्राप्ति मॉडल सही वस्तुओं को विशेषताएं बांध सकते हैं। यह सभी चार इमेज-टेक्स्ट मोडलिटी युग्मन को कवर करता है, विभिन्न प्रकार के एट्रिब्यूट टाइप और दस ऑब्जेक्ट्स के साथ दृश्यों को फैलाता है, और दोनों CLIP शैली दोहरे एन्कोडर और हाल ही में बहुआयामी बड़े भाषा मॉडल आधारित एम्बेडर्स का मूल्यांकन करता है।
क्यों विशेषता बाध्यकारी एक पुनर्प्राप्ति समस्या है
मल्टीमोडल रिट्रीवल सिस्टम इमेज और टेक्स्ट को एक साझा एम्बेडिंग स्पेस में मैप करते हैं, इसलिए उपयोगकर्ता क्वेरी की तुलना कई उम्मीदवार छवियों या ग्रंथों के साथ की जा सकती है। एक उपयोगी एम्बेड न केवल यह दर्शाता होना चाहिए कि कौन सी अवधारणाएं मौजूद हैं, बल्कि वे कैसे बनाई गई हैं।
सबसे कठिन रचना कार्यों में से एक विशेषता-ऑब्जेक्ट बाध्यकारी है: यह ट्रैक करना कि कौन सी विशेषता किस वस्तु की है। एक सिस्टम को पता हो सकता है कि किसी छवि में लाल, नीला, कप, और टोपी, हैं लेकिन फिर भी गलत उम्मीदवार प्राप्त करें यदि वह कप के बजाय टोपी के साथ रेड. जोड़ता है। यह छवि खोज, उत्पाद खोज और किसी भी कार्य में महत्वपूर्ण है जहां उपयोगकर्ता कई गुणों वाली वस्तुओं का वर्णन करते हैं।
क्या बदलता है SABER
मौजूदा बेंचमार्क इस क्षमता का केवल एक सीमित दृश्य देते हैं। वे मोडलिटी जोड़े के उपसमुच्चय को कवर कर सकते हैं, सरल दो-ऑब्जेक्ट स्वैप पर भरोसा करते हैं, या छोटे विशेषता सेटों का उपयोग करते हैं। नतीजतन, यह स्पष्ट नहीं है कि वर्तमान मॉडल विभिन्न पुनर्प्राप्ति दिशाओं और अधिक जटिल परिदृश्यों में कितनी मजबूती से विशेषता-वस्तु बाध्यकारी बनाए रखते हैं।
SABER को उस अंतर को भरने के लिए डिज़ाइन किया गया है। यह सभी चार छवि और टेक्स्ट मोडलिटी जोड़े पर बाध्यकारी का मूल्यांकन करता हैः इमेज-टू-इमेज, इमेज़-टु-टेक्स्ट, टेक्सट टू-इमजेज, और टेक्स्ट टु-टेक्सट। बेंचमार्क में विभिन्न प्रकार की विशेषताएं और दस वस्तुओं तक के दृश्य भी शामिल हैं, जिससे अलग-अलग शब्दों या एकल दृश्य संकेतों से मेल खाने से गुजरना मुश्किल हो जाता है।
बेंचमार्क क्या प्रकट करता है
जब क्लिप-शैली के दोहरे एन्कोडर और हालिया मल्टीमोडल बड़े भाषा मॉडल आधारित एम्बेडर्स का मूल्यांकन SABER पर किया गया था, तो परिणामों में पर्याप्त बाध्यकारी विफलताएं दिखाई दीं। नियंत्रित सेटिंग्स में भी मॉडलों ने हमेशा सही वस्तुओं से जुड़ी विशेषताओं को नहीं रखा।
यह निष्कर्ष महत्वपूर्ण है क्योंकि पुनः प्राप्ति की गुणवत्ता सरल बेंचमार्क पर स्वीकार्य लग सकती है जबकि रचनात्मक मामलों में अभी भी विफल हो सकती है। एक प्रणाली सामान्य रूप से संबंधित छवियों या ग्रंथों को ठीक से जवाब देने के बिना पुनर्प्राप्त कर सकती है जो कई वस्तुओं में कई विशेषताओं पर निर्भर करती है।
पाठ-केवल पर्यवेक्षण कैसे बाध्यकारीता में सुधार करता है
बाइंडिंग में सुधार मल्टीमोडल पर्यवेक्षण के साथ किया जा सकता है, लेकिन उपयुक्त छवियों को इकट्ठा करना मुश्किल और महंगा है। टेक्स्ट इस प्रकार की निगरानी के लिए बेहतर अनुकूल है क्योंकि यह उत्पन्न करने के लिए सस्ता है, गुणों की एक विस्तृत श्रृंखला का समर्थन करता है, और सटीक रूप से नियंत्रित कठोर नकारात्मक की अनुमति देता है। हार्ड निगेटिव समान उदाहरण हैं जो परीक्षण किए जाने वाले विवरण में भिन्न होते हैं, जैसे कि किसी ऑब्जेक्ट को सौंपी गई विशेषता को स्वैप करना।
इस अंतर्दृष्टि का उपयोग करते हुए, शोधकर्ताओं ने विशेष रूप से सिंथेटिक विशेषता-बाध्यकारी पाठ पर एक बहुआयामी बड़ी भाषा मॉडल आधारित एम्बेडर को ठीक किया। उस प्रशिक्षण चरण में कोई छवि पर्यवेक्षण नहीं था।
परिणाम उल्लेखनीय थे क्योंकि लाभ केवल पाठ-प्रशिक्षण से परे स्थानांतरित हो गए। सामान्य बहुआयामी एम्बेडिंग प्रदर्शन को संरक्षित करते हुए क्रॉस-मोडल और छवि-छवि पुनर्प्राप्ति पर बेहतर मॉडल का प्रदर्शन किया गया था। इसने SABER पर अत्याधुनिक परिणाम भी प्राप्त किए और नकार और उदाहरण-पुनर्प्राप्ति बेंचमार्क पर प्रदर्शन में सुधार हुआ।
मल्टीमोडल खोज के लिए इसका क्या अर्थ है
व्यावहारिक संदेश यह है कि विशेषता बाध्यकारी कई मल्टीमोडल पुनर्प्राप्ति प्रणालियों में एक कमजोर बिंदु बनी हुई है, और लक्षित पर्यवेक्षण इसे महंगी छवि संग्रह के बिना ठीक करने में मदद कर सकता है। खोज या अनुशंसा प्रणाली बनाने वाली टीमों के लिए, SABER यह देखने का एक अधिक नैदानिक तरीका प्रदान करता है कि क्या कोई मॉडल वास्तव में अवधारणा उपस्थिति की बजाय संरचना को समझता है।
व्यापक लाभ यह है कि बाध्यकारी-केंद्रित पर्यवेक्षण केवल SABER में सुधार करने के लिए प्रतीत नहीं होता है। यह नकार और उदाहरण पुनः प्राप्ति सहित संबंधित पुनर्प्राप्ति कार्यों में भी मदद करता है। इससे पता चलता है कि सही वस्तुओं को विशेषताओं को संलग्न करने के मॉडल सिखाने से छवि और पाठ खोज पर सामान्य रचनात्मक समझ मजबूत हो सकती है।

Comments (0)