समूह-स्केल token क्षमता गहरे संपीड़ित ऑटोरेग्रेसिव पीढ़ी को सक्षम करती है।
जीएसटीएआर 32x के लिए स्थानिक संपीड़न और token समूहों को मापता है, प्रभावी 64x, प्रतिस्पर्धी ऑटोरेग्रेसिव छवि पीढ़ी 2.5 सेकंड में 1024x1024 पर।
मुख्य जानकारी
- जीएसटीएआर एक असतत ऑटोरेग्रेसिव इमेज जनरेशन फ्रेमवर्क है जिसे पुनर्निर्माण, समझ और पीढ़ी की गुणवत्ता को संरक्षित करते हुए token अनुक्रमों को बहुत संपीड़ित करने के लिए डिज़ाइन किया गया है।
- इसका मूल विचार स्थानिक-समूह सह-स्केलिंग हैः जब स्थानिक संपीड़न बढ़ता है, तो मॉडल क्षमता को बनाए रखने के लिए एक निश्चित सूचना बजट के तहत समूह का आकार द्विघात रूप से बढ़ना चाहिए।
- एक अर्ध-ऑटोरेग्रेसिव डिकोडर हल्के कारण मॉडलिंग के साथ समानांतर सुविधा गणना का संयोजन करके बड़े token समूहों द्वारा उत्पन्न विलंबता को कम करता है।
- रिपोर्ट किए गए परिणाम 32x संपीड़न और प्रभावी 64x संकुचन, पांच text-to-image बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन और एक NVIDIA H200 पर 2.5-सेकंड 1024×1024 छवि उत्पादन दिखाते हैं।
मेटा विवरणः जीएसटीएआर 32x और प्रभावी 64x संपीड़न, प्रतिस्पर्धी बेंचमार्क और 2.5 सेकंड की छवियों को सक्षम करते हुए असतत ऑटोरेग्रेसिव इमेज जनरेशन को कॉम्प्रेस करता है।
टैगः जीएसटीएआर, असतत ऑटोरेग्रेसिव मॉडल, छवि उत्पादन, text-to-image , संपीड़न
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> किसी वास्तविक व्यक्ति, लोगो या पाठ के बिना एक चित्र बनाने वाली संपीड़ित छवि tokens का अमूर्त, मैत्रीपूर्ण उदाहरण।
जीएसटीएआर पुनर्निर्माण, समझ और पीढ़ी के लिए आवश्यक गुणवत्ता को खोने के बिना मॉडल बनाने के लिए एक असतत ऑटोरेग्रेसिव इमेज जनरेशन फ्रेमवर्क है। यह पांच प्रतिनिधि text-to-image बेंचमार्क पर प्रतिस्पर्धात्मक प्रदर्शन करते हुए 32x संपीड़न और प्रभावी 64x कंप्रेशन की रिपोर्ट करता है।
डिस्क्रीट ऑटोरेग्रेसिव इमेज मॉडल्स में गला घोंटना
असतत ऑटोरेग्रेसिव मॉडल अलग-अलग token अनुक्रमों की भविष्यवाणी करके चित्र उत्पन्न करते हैं, प्रत्येक एक छवि के हिस्से का प्रतिनिधित्व करता है। लंबे समय तक अनुक्रम प्रतिनिधित्व गुणवत्ता को संरक्षित करते हैं लेकिन धीमी पीढ़ी; आक्रामक स्थानिक संपीड़न अनुक्रम को छोटा कर देता है लेकिन जानकारी को हटा सकता है, पुनर्निर्माण, समझ और पीढ़ी को नुकसान पहुंचाता है। चुनौती यह है कि मजबूत प्रदर्शन के लिए पर्याप्त जानकारी बनाए रखते हुए अनुक्रम लंबाई को कम किया जाए।
जीएसटीएआर के पीछे एक स्केलिंग नियम
उत्पाद क्वांटिज़ेशन पर निर्माण, जो स्वतंत्र तत्वों के बजाय छोटे कोडेड समूहों का उपयोग करता है, काम से पता चलता है कि एक निश्चित नाममात्र सूचना बजट के तहत, प्रति-अक्ष स्थानिक संपीड़न कारक के साथ वर्गगत रूप से समूह आकार स्केल करना चाहिए। अधिक आक्रामक स्थानिक कम्प्रेशन में पुनर्निर्माण, समझ और पीढ़ी के लिए जानकारी संरक्षित करने के लिए बड़े समूहों की आवश्यकता होती है। जीएसटीएआर के स्थानिक-समूह सह-स्केलिंग फ्रेमवर्क ने 32x और प्रभावी 64x मॉड्यूल क्षमता को बिना ढहने के अंतरिक्ष संपीडन और समूह के आकार को एक साथ माप दिया।
पीढ़ी को धीमा किए बिना बड़े समूहों का प्रबंधन करना
बड़े समूह इंट्रा-ग्रुप निर्भरताओं को पेश कर सकते हैं; अनुक्रमिक मॉडलिंग विलंबता बढ़ा सकती है और गुणवत्ता कम कर सकती है। जीएसटीएआर एक अर्ध-ऑटोरेग्रेसिव डिकोडर का उपयोग करता है जो समानांतर सुविधा गणना को हल्के कारण मॉडल के साथ जोड़ती है। यह ऑटोरेग्रीसिव सुसंगतता बनाए रखते हुए दक्ष रूप से समूहों के कुछ हिस्सों को संसाधित करता है, बिना पूर्ण विलंब लागत के बड़े-समूह लाभ रखता है।
बेंचमार्क परिणाम और रिपोर्ट की गई गति
परिणामों में GenEval, DPG-Bench, PRISM, LongText- Bench और Qwen -Image-bench शामिल हैं, जहां अत्यधिक संपीड़ित मॉडल अग्रणी मॉडलों के साथ प्रतिस्पर्धात्मक रूप से प्रदर्शन करते हैं। 1024x1024 पर, मॉडल प्रत्येक छवि को 2.5 सेकंड में एक एकल NVIDIA H200 पर उत्पन्न करता है, जो पिछले असतत ऑटोरेग्रेसिव मॉडलों की तुलना में 20 गुना तेजी है। अकेले संपीड़न पर्याप्त नहीं है; जीएसटीएआर प्रतिस्पर्धी प्रदर्शन के साथ भारी संपीडन को जोड़ती है। सटीक स्कोर सूचीबद्ध नहीं हैं, इसलिए यह संख्यात्मक लीडरबोर्ड के बजाय रिपोर्ट किए गए प्रतिस्पर्धी परिणाम है।
पाठकों को इससे क्या सीख लेनी चाहिए
जीएसटीएआर का मुख्य मूल्य इसका डिजाइन सिद्धांत हैः अत्यधिक संपीड़ित असतत प्रतिनिधित्व ऑटोरेग्रेसिव छवि पीढ़ी का समर्थन कर सकते हैं जब स्थानिक संपीड़न और समूह के आकार को एक निश्चित सूचना बजट के तहत एक साथ स्केल किया जाता है। ठोस टेकअवे 32x संपीडन, प्रभावी 64x कम्प्रेशन, प्रतिस्पर्धी बेंचमार्क परिणामों और 2.5-सेकंड 1024x1024 पीढ़ी पर एकल NVIDIA H200 की रिपोर्ट की गई है। यदि ये परिणाम रिपोर्ट किए गए मानकों से परे रहते हैं, तो GSTAR सुझाव देता है कि अलग-अलग ऑटोरैग्रेसिव इमेज जनरेशन मजबूत उत्पादन गुणवत्ता छोड़ने के बिना उच्च संपीडित और कम विलंबता दोनों हो सकती है।

Comments (0)