एक एकल ब्लॉक, कई गहराईः गहन-प्रोग्राम विशेषज्ञों के साथ आवर्ती दृष्टि Transformers
reViT एक Transformer ब्लॉक को लूप करता है, गहराई के लिए साझा FFN विशेषज्ञों का उपयोग करते हुए, कम संग्रहीत मापदंडों के साथ DeiT III और DINOv2 आसवन से मेल खाने के लिए।
मुख्य जानकारी
- reViT एक आवर्ती ब्लॉक के साथ पूर्ण-गहरी दृष्टि Transformer की जगह लेता है, जो कम संग्रहीत मापदंडों के साथ परत-विशिष्ट व्यवहार को बहाल करने के लिए गहराई से संयुक्त साझा एफएफएन विशेषज्ञों का उपयोग करता है।
- पर्यवेक्षित ImageNet-1k प्रशिक्षण में, reViT-B/16 लगभग 70% कम संग्रहीत मापदंडों के साथ DeiT III सटीकता से मेल खाता है, जबकि पूर्ण गहराई एन्कोडर की तुलना में अनुमान गणना को बनाए रखता है।
- DINOv2 आसवन में, एक 8-विशेषज्ञ reViT मॉडल केवल शिक्षक आउटपुट सुविधाओं का उपयोग करता है, मध्यवर्ती विशेषता आसवन से बचा जाता है, और लगभग शिक्षक की रैखिक जांच सटीकता से मेल खाता है।
- वेट-स्पेस विलय को एक एफएफएन प्रति गहराई बजट के तहत सबसे मजबूत मिक्स ऑफ एक्सपर्ट्स डिजाइन के रूप में पहचाना जाता है, जो token - प्रेषण और आउटपुट मिश्रण विकल्पों से बेहतर प्रदर्शन करता है।
- यह विधि एक चेकपॉइंट से लोचदार गहराई प्रशिक्षण का समर्थन करती है, लेकिन निश्चित-गहराई पर तैनाती के लिए घने ग्राफ के रूप में विलय किए गए भार को भौतिक बनाने की आवश्यकता हो सकती है, जिससे भंडारण बढ़ता है।
reViT दृश्य एन्कोडर से मेल खाने के लिए एक आवर्ती Transformer ब्लॉक का उपयोग करता है
मेटा विवरणः
reViT-B/16 एक आवर्ती Transformer ब्लॉक का उपयोग करता है और पर्यवेक्षित परीक्षणों में लगभग 70% कम मापदंडों को संग्रहीत करते हुए डीआईटी III सटीकता से मेल खाने के लिए साझा एफएफएन विशेषज्ञ।
टैगः
reViT, विजन Transformer , MoE , इमेजनेट-1k, DINOv2
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string>
एक अमूर्त मित्रवत चित्रण जो कई गहराई स्थितियों के माध्यम से लूपिंग करने वाले Transformer ब्लॉक का है, जिसमें छोटे विशेषज्ञ मॉड्यूल चिकनी पथ में मिश्रित होते हैं, कोई पाठ नहीं, कोई लोगो नहीं, न ही लोग।
यह अद्यतन AI इंजीनियरों और दृष्टि शोधकर्ताओं के लिए है जो पूर्ण एन्कोडर को फिर से प्रशिक्षित किए बिना छोटे विजन मॉडल चाहते हैंः यह बताता है कि कैसे reViT, एक आवर्ती Transformer डिज़ाइन, तुलनात्मक अनुमान FLOPs या फ्लोटिंग-पॉइंट ऑपरेशंस में मध्यवर्ती सुविधा आसवन के बिना पूरी गहराई वाले विज़न एनकोडर की सटीकता का मिलान कर सकता है। कार्य विधि को कई अलग-अलग परतों से आने वाले गहन-विशिष्ट व्यवहार को बहाल करते हुए गहराई पर एक Transformer ब्लॉक का पुनः उपयोग करने के तरीके के रूप में प्रस्तुत करता है।
कैसे reViT साझा विशेषज्ञों के साथ गहराई की जगह लेता है
एक मानक दृष्टि Transformer में आमतौर पर कई ब्लॉक होते हैं, जिनमें से प्रत्येक का अपना फीड-फॉरवर्ड नेटवर्क या एफएफएन होता है, जो घटक ध्यान देने के बाद tokens को बदल देता है। reViT इसके बजाय आवर्ती रूप से एक एकल Transformer ब्लॉक का पुनः उपयोग करता है। हर पुनरावर्ती चरण को समान बनाने से बचने के लिए, यह एक छोटे साझा विशेषज्ञ बैंक के उत्तल संयोजन के रूप में FFN की प्रतिनिधित्व करता है, एक मिश्रण-विशेषज्ञ विचार।
सादे शब्दों में, प्रत्येक गहराई साझा एफएफएन विशेषज्ञों का एक भारित औसत चुनती है, जिसमें वजन निरंतर सामान्यीकृत-गहराई निर्देशांक बनाते हैं। वह समन्वय एफएफएनए पैरामीटर अंतरिक्ष के माध्यम से एक पुनः नमूना योग्य प्रक्षेपवक्र का वर्णन करता है, इसलिए अलग-अलग गहराइयों को उसी पथ के नमूने द्वारा उत्पन्न किया जा सकता है बजाय हर परत के लिए एक अलग एफएफएएन संग्रहीत करने की।
नतीजे क्या दिखाते हैं
विधि का मूल्यांकन दो शासनों में किया जाता हैः पर्यवेक्षित इमेजनेट -1 के प्रशिक्षण, एक सामान्य छवि वर्गीकरण बेंचमार्क और DINOv2 शिक्षक से आसवन, प्रशिक्षण लक्ष्य के रूप में उपयोग किए जाने वाले दृष्टि मॉडल। पर्यवेक्षी सेटिंग में, काम की रिपोर्ट है कि खरोंच से प्रशिक्षित, reViT-B / 16 लगभग 70% कम संग्रहीत मापदंडों के साथ डीआईटी III सटीकता प्राप्त करता है। तुलना भंडारण के बारे में है, कम अनुमान FLOPs का दावा नहींः डिजाइन को तुलनीय अनुमान गणना पर पूर्ण गहराई एन्कोडर सटीकता से मेल खाने के लिए तैयार किया गया है।
आसवन सेटिंग में, एक 8-विशेषज्ञ मॉडल केवल शिक्षक के आउटपुट सुविधाओं का उपयोग करता है, मध्यवर्ती विशेषता आसवन नहीं, फिर भी DINOv2 शिक्षक की लगभग सभी रैखिक-सोनड सटीकता को बरकरार रखता है। रेखीय जांच सटीकता शीर्ष पर एक सरल वर्गीकरणकर्ता को प्रशिक्षित करके जमे हुए एन्कोडर को मापती है। आसुत मॉडल को वर्गीकरण, विभाजन और गहराई भविष्यवाणी में स्थानांतरित करने के लिए भी रिपोर्ट किया गया है।
विशेषज्ञों के मिश्रण विकल्प और तैनाती सौदेबाजी
इस काम में एक मिलान वाले एक-एफएफएन बजट के तहत मिश्रण-विशेषज्ञों के डिजाइन के नियंत्रित अनुकूलन की भी तुलना की गई है। यह token -डिस्पैच और आउटपुट-मिश्रण विकल्पों से आगे, सबसे मजबूत परीक्षण किए गए MoE परिवार के रूप में वजन-अंतरिक्ष विलय को पहचानता है। token -विस्थापन चयनित विशेषज्ञों को tokens भेजता है, जबकि आउटपुट मिक्सचर कई एक्सपर्ट आउटपुट को जोड़ती है; इसके बजाय वेट-स्पेस विलय विशेषज्ञ मापदंडों को मिलाकर गहराई-विशिष्ट एफएफएन बनाता है। यही वह तंत्र है जो प्रत्येक गहराई पर पूर्ण FFN जोड़ने के बिना आवर्ती ब्लॉक को गहरे विशिष्ट परिवर्तनों को बहाल करने देता है।
लोचदार गहराई प्रशिक्षण एक चेकपॉइंट को समान सामान्यीकृत निर्देशांक अंतराल को फिर से नमूना बनाकर कई परीक्षण की गई गहराइयों पर संचालित करने की क्षमता देता है। निश्चित-गहराई परिनियोजन के लिए, आवर्ती ब्लॉक को पारंपरिक घने ग्राफ के रूप में भौतिक बनाया जा सकता है। यह रनटाइम पर ऑनलाइन रूटिंग और विलय को हटाता है, बिना एक एफएफएन-प्रति-गहरे गणना को बदलते हुए, लेकिन यह तैनाती भंडारण का विस्तार करता है क्योंकि मर्ज किए गए भार अलग-अलग मापदंडों के तौर पर लिखे जाते हैं।
यह बात बिल्डरों के लिए क्यों ज़रूरी है
बिल्डरों के लिए, मूल्य प्रस्ताव एक छोटा सा संग्रहीत मॉडल और लचीला गहराई घुंडी है, पूर्ण-गहराई एन्कोडर के लिए सार्वभौमिक ड्रॉप-इन प्रतिस्थापन नहीं। परिणाम से पता चलता है कि दृष्टि Transformers में गहराई-विशिष्ट व्यवहार को साझा विशेषज्ञ बैंक के माध्यम से निरंतर पथ द्वारा दर्शाया जा सकता है, और यह पैरामीटर विलय एक प्रतिस्पर्धी मिश्रण-ऑफ-विशेषज्ञ विकल्प हो सकता है जब गणना तय की जाती है।
अगला व्यावहारिक प्रश्न यह है कि ये परिणाम परीक्षण किए गए इमेजनेट-1k और DINOv2 शासनों से कितनी दूर तक विस्तारित हैं, और जब निश्चित गहराई पर तैनाती के लिए एक घने ग्राफ को भौतिक बनाने की आवश्यकता होती है तो कितना भंडारण बचत आकर्षक रहता है।

Comments (0)