उपकरण समीक्षाएँ

सीखा प्रतिनिधित्व गाइड पिक्सेल प्रसार Transformers ।

Representation Guidance सादे Transformers को स्वतः एन्कोडर के बिना पिक्सेल छवियां उत्पन्न करने देता है, जिससे संश्लेषण सीखे गए प्रतिनिधित्वों पर निर्भर करता है।

सीखा प्रतिनिधित्व गाइड पिक्सेल प्रसार Transformers ।

मुख्य जानकारी

  • Representation Guidance से पता चलता है कि एक सादा Transformer बिना किसी वैरिएशनल ऑटोकोडर या विशेष पिक्सेल डिकोडर के सीधे पिक्सल स्पेस में उच्च-गुणवत्ता वाली छवियां उत्पन्न कर सकता है।
  • यह विधि एक कम आयामी बाधा जोड़ती है और मॉडल को अपने आंतरिक प्रतिनिधित्व का सक्रिय रूप से उत्पादन के लिए नियंत्रण संकेत के रूप में उपयोग करने के लिए मजबूर करती है।
  • प्रवाह मिलान प्रशिक्षण के दौरान, प्रतिनिधित्व अंतर वेग लक्ष्य को संशोधित करता है ताकि डिकोडर प्रतिनिधित्व पर निर्भर हो और एन्कोडर संश्लेषण के लिए आकार दिया जाए।
  • रिपोर्ट किए गए परिणामों में मजबूत इमेजनेट प्रदर्शन शामिल हैं, जैसे कि आरजी-एक्सएल / 16 के लिए एफआईडी 1.55 और तुलनीय पिक्सेल डीटी की तुलना में 4 गुना तेज अभिसरण।
  • यह कार्य मुख्य रूप से उन शोधकर्ताओं के लिए प्रासंगिक है जो सरल पिक्सेल-स्पेस जनरेशन स्टैक का मूल्यांकन करते हैं, न कि उपयोग करने के लिए तैयार उत्पाद या स्वतंत्र रूप से प्रजनन बेंचमार्क के रूप में।

Meta Description: Representation Guidance एक सादे Transformer को सीधे पिक्सेल स्पेस में उच्च-गुणवत्ता की छवियां उत्पन्न करने देता है, बिना किसी भिन्नतापूर्ण ऑटोकोडर या पिक्सल डिकोडर के।
टैगः Representation Guidance, Transformer छवि निर्माण, पिक्सेल-स्पेस पीढ़ी, प्रवाह मिलान, इमेजनेट
Featured Image: शोर से पिक्सल उत्पन्न करने वाले Transformer का अमूर्त चित्रण, मैत्रीपूर्ण शैली, कोई वास्तविक लोग नहीं, कोई लोगो नहीं, न ही पाठ।

Learned Representations Guide Pixel Diffusion Transformers .

इमेज-जनरेशन मॉडल की तुलना करने वाले पाठकों के लिए, Representation Guidance परियोजना का कहना है कि एक सादा Transformer सीधे पिक्सेल स्पेस में उच्च गुणवत्ता वाली छवियां उत्पन्न कर सकता है, बिना किसी भिन्नतापूर्ण ऑटोकोडर और कोई विशेष पिक्सल डिकोडर। प्रमुख शर्त यह है कि मॉडल का आंतरिक प्रतिनिधित्व सही ढंग से गठित और सक्रिय रूप से शोषण किया जाना चाहिए।

पिक्सेल-स्पेस पीढ़ी कठिन क्यों थी

पिक्सेल स्पेस का अर्थ है कि मॉडल एक अलग संपीड़ित प्रतिनिधित्व पर भरोसा करने के बजाय छवि पिक्सल के साथ सीधे काम करता है। कई इमेज-जनरेशन सिस्टम में, वैरिएशनल ऑटोएन्कोडर पहले छवियों को एक छोटे से गुप्त स्थान में बदल देता है, और जनरेटर प्रत्यक्ष रूप से कच्चे पिक्सेल्स के उत्पादन के बजाय उस छिपे हुए अंतरिक्ष में सीखता है। Representation Guidance रिपोर्ट पूछती है कि क्या वह अतिरिक्त मशीनरी आवश्यक है?

परियोजना पहले के प्रयासों से दो पृष्ठभूमि अंतर्दृष्टि प्रदान करती है। पहला, एक बेहतर सिमेंटिक प्रतिनिधित्व स्वचालित रूप से बेहतर पीढ़ी का उत्पादन नहीं करता है। रिपोर्ट में कहा गया है कि आरईपीए-शैली संरेखण संरेखित परत पर शब्दार्थ को सुधारता है, लेकिन बाद की परतों में सुधार फीका पड़ जाता है और अंतिम एफआईडी में सुधार नहीं होता है। FID एक सामान्य छवि गुणवत्ता स्कोर है, और कम मूल्यों का मतलब आमतौर पर बेहतर उत्पन्न छवियां होती हैं।

दूसरा, पिक्सेल डिकोडर जैसे कि PixelDiT, DiP और Deco कोर समस्या को हल करने के बजाय एन्कोडर और डीकोडर के बीच मॉडलिंग कार्य को स्थानांतरित करते प्रतीत होते हैं। वे बदलते हैं कि अर्थपूर्ण और स्थानिक मॉडलिंग कैसे विभाजित होती है, लेकिन रिपोर्ट में कहा गया है कि वे पीढ़ी के लिए बेहतर उपयुक्त प्रतिनिधित्व नहीं देते हैं।

प्रतिनिधित्व मार्गदर्शन कैसे काम करता है

Representation Guidance, या आरजी, एक निम्न-आयामी बाधा जोड़ता है. बाधा पीढ़ी के लिए प्रासंगिक जानकारी को कॉम्पैक्ट अंतर्निहित अव्यक्त में पैक करती है। निष्क्रिय उपोत्पाद के रूप में प्रतिनिधित्व का इलाज करने के बजाय, आरजी मॉडल को इसका उपयोग करने के लिए मजबूर करता है।

Learned Representations Guide Pixel Diffusion Transformers .

फ्लो-मैचिंग प्रशिक्षण में, मॉडल एक वेग सीखता है जो उत्पन्न नमूने को लक्ष्य छवि की ओर ले जाता है। आरजी डिकोडर के वेग की तुलना करता है जब प्रतिनिधित्व उपलब्ध होता है और गति नहीं होती है। अंतर ऑफसेट बन जाती है। रिपोर्ट प्रवाह मिलान लक्ष्य को संशोधित करती हैः

v_RG = v + (s-1) ·sg(Δv_rep)

यह विचार है कि डिकोडर को प्रतिनिधित्व पर निर्भर होना चाहिए, और वह निर्भरता भी एन्कोडर को संश्लेषण की जरूरतों के लिए आकार देती है। रिपोर्ट इस तंत्र की तुलना स्व-पर्यवेक्षित सीखने में आत्म-निष्कासन से करती हैः प्रतिनिधित्व मॉडल की अपनी भविष्यवाणियों से बूटस्ट्रैप किया जाता है।

गैर-विशेषज्ञों के लिए, व्यावहारिक बात यह है कि आरजी प्रतिनिधित्व को नियंत्रण संकेत के रूप में मानता है न कि प्रशिक्षण का एक दुष्प्रभाव।

Learned Representations Guide Pixel Diffusion Transformers .

रिपोर्ट किए गए परिणाम क्या दिखाते हैं

रिपोर्ट किए गए इमेजनेट 256 परिणाम में आरजी-एक्सएल / 16 के लिए 1.55 का एफआईडी स्कोर है, जो कि 725M मापदंडों वाला एक मॉडल है। यह परियोजना भी RG-L/16 पर प्रकाश डालती है, जिसमें केवल 459M पैरामीटर का उपयोग किया जाता है और रिपोर्ट के अनुसार, 2B JiT-G सहित बहुत बड़े पिक्सेल डीटी को हराता है।

अभिसरण गति एक और रिपोर्ट किया गया लाभ है। परियोजना 4 गुना तेज अभिसर्जन की रिपोर्ट करती हैः आरजी-बी 150 युगों में जीटी-बी के 600 युग एफआईडी तक पहुंचता है।

इमेजनेट 512 पर, रिपोर्ट किया गया एफआईडी 1.74 है। text-to-image पीढ़ी के लिए, परियोजना GenEval 0.89 और DPG-Bench 87.1 की रिपोर्ट करती है। प्रोजेक्ट पेज और कोड https://pan-zihao.github.io/Representation-Guidance/ और https://github.com/Pan-Zihao/Representation-Guidance में उपलब्ध हैं।

किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए

यह परिणाम उन लोगों के लिए मायने रखता है जो सरल छवि-जनरेशन स्टैक चाहते हैं, क्योंकि यह सुझाव देता है कि आंतरिक प्रतिनिधित्व को संश्लेषण और सक्रिय रूप से उपयोग करने के लिए आकार देने पर एक सादा Transformer पर्याप्त हो सकता है। शोधकर्ताओं और इंजीनियरों का मूल्यांकन करना सबसे अधिक प्रासंगिक है कि क्या पिक्सेल-स्पेस पीढ़ी विशेष डिकोडर जोड़ने के बिना एक अलग गुप्त मॉडल की जगह ले सकती है या नहीं।

यह उन पाठकों के लिए कम प्रासंगिक है जो एक तैयार उत्पाद, होस्ट की गई सेवा या उपयोग करने के लिए तैयार रचनात्मक उपकरण की तलाश में हैं। परियोजना एक सामान्य उपयोगकर्ता अनुप्रयोग नहीं, बल्कि एक विधि और बेंचमार्क परिणाम प्रस्तुत करती है। रिपोर्ट किए गए नंबरों को प्रोजेक्ट के अपने परिणामों के रूप में मानने लायक भी है जब तक कि वे उसी प्रशिक्षण और मूल्यांकन सेटिंग्स में स्वतंत्र रूप से पुनः उत्पन्न न हों।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.