मॉडल तुलनाएँ

प्रसार भाषा मॉडल क्या हैं, और वे जनरेटिव पूर्व-प्रशिक्षित Transformer मॉडलों से अलग क्यों हैं?

प्रसार भाषा मॉडल चरण-दर-चरण tokens उत्पन्न करने के बजाय मास्क्ड अनुक्रमों को परिष्कृत करते हैं, जो एक अलग पाठ पीढ़ी दृष्टिकोण प्रदान करता है।

मुख्य जानकारी

  • प्रसार भाषा मॉडल जीपीटी-शैली के ऑटोरेग्रेसिव मॉडलों की तरह tokens को बाएं से दाएं एक-एक करके भविष्यवाणी करने के बजाय, क्रमिक रूप से मास्क्ड अनुक्रम भरकर और परिष्कृत करके पाठ उत्पन्न करते हैं।
  • वे कुछ tokens को [MASK] के साथ प्रतिस्थापित करके और विभिन्न मास्किंग स्तरों पर छिपे हुए tokens को पुनर्प्राप्त करने के लिए मॉडल को प्रशिक्षित करके छवि पीढ़ी से असतत पाठ तक प्रसार विचारों का अनुकूलन करते हैं।
  • अनुमान के दौरान, प्रसार मॉडल समानांतर में कई tokens का आकलन और प्रतिबद्ध कर सकते हैं और अक्सर द्विदिश ध्यान का उपयोग करते हैं, जो अंतराल को भरने, पाठ संपादित करने और संरचित आउटपुट बनाने में मदद कर सकता है।
  • समानांतर पीढ़ी GPUs पर विलंबता को कम कर सकती है, लेकिन यह तेज या बेहतर परिणामों की गारंटी नहीं देती; कुछ तर्क और कोडिंग कार्य अभी भी ऑटोरेग्रेसिव मॉडल का पक्ष लेते हैं।
  • प्रमुख शेष चुनौतियों में समानांतर tokens के बीच निरंतरता बनाए रखना, गुणवत्ता के साथ गति को संतुलित करना, चर आउटपुट लंबाई का प्रबंधन और कैशिंग को अनुकूलित करना शामिल है, इसलिए प्रसार को जीपीटी-स्टाइल मॉडल के लिए प्रत्यक्ष प्रतिस्थापन के बजाय एक पूरक दृष्टिकोण के रूप में देखा जाता है।

LLaDA और DiffusionGemma GPT-शैली token पीढ़ी के बजाय पाठ को परिष्कृत करते हैं

उन पाठकों के लिए जो जानना चाहते हैं कि क्या टेक्स्ट जनरेशन token द्वारा होना चाहिए, 2025 में LLaDA, Mercury और Gemini Diffusion जैसे प्रसार भाषा मॉडल, इसके बाद 2026 में Google का DiffusionGemma एक विकल्प प्रदान करता है। वे एक दूसरे के बाद एक भविष्यवाणी करने के बजाय एक मास्क्ड अनुक्रम को परिष्कृत करते हैं। केंद्रीय प्रश्न यह है कि क्या भाषा मॉडलों को एक समय में एक token उत्पन्न करना होगा।

ऑटोरेग्रेसिव और मास्क्ड डिफ्यूजन शेयर Transformers लेकिन नमूनाकरण नहीं

एक जीपीटी-शैली large language model ऑटोरेग्रेसिव है: यह पहले से उत्पन्न उपसर्ग से अगले token का अनुमान लगाता है। अनुक्रम x = (x_1, ..., x_N) के लिए, संभाव्यता कारककरण को p{\displaystyle \mathrm {p} _{\frac {x}}} = product from i=1 to N of p{\\displaystyle \text{i}} . टीचर फोर्सिंग कई पदों को एक बार में प्रशिक्षित करने की अनुमति देता है, लेकिन पीढ़ी चरणबद्ध बनी रहती है क्योंकि प्रत्येक machine learning 2 इससे पहले वाले पर निर्भर करता है, जिससे सीरियल निर्भरता बनती है।

इसके बजाय एक मुखौटा diffusion model अज्ञात पदों के खाली कैनवास के साथ शुरू होता है और धीरे-धीरे इसे भरता है। यह कई tokens को एक चरण में प्रतिबद्ध कर सकता है और बाएं से दाएं आगे नहीं बढ़ना पड़ता है। यहां तक कि जब दोनों Transformers पर भरोसा करते हैं, तो दो विधियां अलग-अलग चीजों का अनुकूलन करती हैं और अलग तरह से नमूना देती हैंः ऑटोरेग्रेसिव पीढ़ी अनुक्रम को लम्बा खींचती है, जबकि फैलाव पीढ़ी अपने अंतिम रूप की ओर एक अस्थायी क्रम को संपादित करती है।

मास्किंग छवि प्रसार को अलग पाठ के लिए अनुकूलित करता है

प्रसार के पीछे का विचार टेक्स्ट जनरेशन से पहले हैः Denoising Diffusion Probabilistic Models पेपर ने छवि प्रणालियों का वर्णन किया है जो एक शोर प्रक्रिया को उलटकर यादृच्छिक शोर को सुसंगत छवियों में बदल देते हैं। इमेज डिफ्यूजन में, आगे का चरण धीरे-धीरे शोर जोड़कर एक साफ छवि को नष्ट कर देता है। फिर neural network को उस क्षति को पूर्ववत करने के लिए प्रशिक्षित किया जाता है, अक्सर औसत स्क्वायरर त्रुटि उद्देश्य के साथ। सैंपलिंग भ्रष्ट राज्यों के माध्यम से पीछे की ओर चलती है। फॉरवर्ड नॉइज़िंग प्रोसेस के लिए मानक अभिव्यक्ति x_t = sqrt(bar_alpha_t) x_0 + sqrt ((1 - bar_alph_t)) epsilon है, जहां एक्स_0 स्वच्छ डेटा है, एक्स_टी शोर स्तर पर दूषित राज्य है, और t ईप्सिलॉन गॉसियन शोर है।

भाषा निरंतर पिक्सेल मानों के बजाय अलग-अलग token आईडी का उपयोग करती है, इसलिए भ्रष्टाचार आमतौर पर [MASK] के लिए tokens को स्वैप करता है। उदाहरण के लिए, वाक्य " machine learning मॉडल टेक्स्ट उत्पन्न कर सकते हैं" बन सकता है "मशीन [मास्क] मॉडल [मास्केड] जनरेट करें ." मॉडल को छिपे हुए शब्दों को मास्क किए गए पाठ से पुनर्प्राप्त करने के लिए कहा जाता है। एक स्तर t 0 से 1 तक हो सकता है; प्रत्येक स्तर में, हर token स्वतंत्र रूप से संभावना के साथ [मास्को] बन सकता हैः जब टी = 0, कुछ भी नहीं छुपाया गया है; जब टी= 1, तो हर स्थिति मुखौटा है। प्रशिक्षण इसे उन स्तरों में छिपी हुई tokens को बहाल करना सिखाता है। मास्किंग आम है, हालांकि केवल भ्रष्टाचार विकल्प नहीं है।

निष्कर्ष भरता है, प्रतिबद्ध करता है और कभी-कभी पदों को संशोधित करता है

जनरेशन एक पूरी तरह से मुखौटा उत्तर स्लॉट के साथ शुरू होता है। फिर सैंपलर प्रत्येक अभी भी अपूर्ण स्थान के लिए पूर्ण शब्दावली वितरण का अनुमान लगाता है। यह सबसे विश्वसनीय विकल्प रखता है और दूसरे पास के लिए कम विश्वसनीय स्लॉट्स को मास्क करता है। विश्वसनीयता अक्सर आत्मविश्वास-आधारित मीट्रिक के साथ मापा जाता है, लेकिन विभिन्न सैंपलर्स अलग-अलग कार्यान्वयन विकल्प बना सकते हैं। लूप तब तक जारी रहता है जब तक कि हर स्लॉ्ट में token नहीं हो जाता। कुछ सैम्पलर्स पहले की प्रतिबद्धताओं को पूर्ववत कर सकते हैं और आसपास के वाक्य बदल जाते हैं; उस व्यवहार को संशोधन कहा जाता है.

ध्यान भी बदलता है। कारण जीपीटी-शैली के ध्यान में, token केवल पहले tokens को देख सकता है। कई फैलाव मॉडल प्रत्येक सक्रिय स्थिति को बाएं और दाएं दोनों देखने देते हैं जबकि वाक्य अभी तक अधूरा है। "द साइंटिस्ट प्रेजेंटेड [MASK] एट द कॉन्फ्रेंस" में, मुखौटा स्लॉट दोनों पक्षों से जानकारी का उपयोग कर सकते हैं। यह अंतराल भरने, पाठ संपादित करने और संरचित आउटपुट उत्पन्न करने में मदद करता है, लेकिन यह एक अंतिम उत्तर तक पहुंच नहीं हैः पास के स्लॉट्स अभी भी मास्क या गलत अनुमान हो सकते हैं. हाइब्रिड संस्करण तैयार ब्लॉक के भीतर द्विदिश ध्यान के साथ समाप्त ब्लॉक पर कारणपूर्ण ध्यान मिश्रण करते हैं।

तेज पीढ़ी बेहतर पीढ़ी के समान नहीं है

चूंकि कई स्लॉट को एक बार में अस्वीकार किया जा सकता है, इसलिए प्रसार GPUs पर दीवार-घड़ी विलंबता को कम कर सकता है जो समानांतर token पदों का अच्छी तरह से उपयोग करते हैं। गति की गारंटी नहीं दी जाती हैः परिणाम कई कारकों और गुणवत्ता के मामलों पर निर्भर करता है। कुछ तर्क और कोडिंग बेंचमार्क पर, ऑटोरेग्रेसिव मॉडल मजबूत रहते हैं। डिफ्यूजनगेमा 26B के लिए मॉडल कार्ड जेम्मा 26B की तुलना में वहां उल्लिखित प्रदर्शन परिणामों का स्रोत है।

कई चुनौतियां बनी हुई हैं। token निर्भरताएं तब उत्पन्न होती हैं जब दो पदों को समानांतर में नमूना लिया जाता है और प्रत्येक दूसरे के साथ असंगत होने पर अकेले ही प्रशंसनीय लग सकता है; सामंजस्य बनाए रखने के लिए अधिक डेनोइजिंग राउंड, रीमास्किंग और युग्मित नमूने की आवश्यकता हो सकती है। सैंपलिंग बजट एक अन्य व्यापार हैः आक्रामक कम-कदम नमूनाकरण विलंबता में सुधार करता है लेकिन गुणवत्ता हानि का जोखिम लेता है, जबकि अधिक पास गति लाभ को नष्ट कर सकते हैं। चर आउटपुट लंबाई भी मुश्किल है क्योंकि एक निश्चित मुखौटा कैनवास स्वाभाविक रूप से नहीं जानता कि उत्तर कितना लंबा होना चाहिए, हालांकि ब्लॉकवार और अधिक लचीला संपादन दृष्टिकोण इसका समाधान करते हैं। कुंजी-मूल्य कैशिंग कठिन है क्योंकि द्विदिश परिष्कृत प्रतिनिधित्व एक ब्लॉक भर में बदल सकते हैं; पूर्ण ब्लॉकों को फ्रीज करके ब्लॉकवार डिकोडिंग मदद करती है।

आगे क्या तलाशना है

फैलाव को सबसे अच्छा पीढ़ी के दौरान गणना आवंटित करने का एक और तरीका माना जाता है, न कि जीपीटी-शैली मॉडल के लिए स्वचालित प्रतिस्थापन के रूप में। प्रत्येक दृष्टिकोण में ट्रेडऑफ होते हैं, और हाइब्रिड तकनीक उत्पादन तैनाती की ओर एक बेहतर मार्ग हो सकती है।

आगे पढ़ने के लिए, स्रोत Denoising Diffusion Probabilistic Models को फाउंडेशनल पेपर के रूप में इंगित करता है, एक Diffusion Language Model का निर्माण कैसे करें, LLaDA: Large Language Diffusion Models, DiffusionGemma: The Developer Guide, Dream 7B, एक बड़ा प्रसार भाषा मॉडल जो open source दोनों कोड और मॉडल चेकपॉइंट्स उपलब्ध हैं, और Breaking the Factorization Barrier, समानांतर भविष्यवाणियों के बीच निर्भरता पर शोध। स्रोत संबंधित सामग्री जैसे 7 Biggest Misconceptions About AI एजेंटों से भी जुड़ा हुआ है, बेसलाइन Results And Why They मैटर कैसे प्राप्त करें, Machine Learning Algorithms कैसे काम करते हैं, मुझे समय मशीन में Different Results Each क्यों मिलता है, अगले-Token Prediction के लिए लामा या GPT Model बनाना, और जीपीटी -2 मॉडल के साथ Text Generation

मेटा विवरण: जानें कि कैसे LLaDA, Mercury, Gemini Diffusion और DiffusionGemma GPT- शैली के मॉडल की तरह एक समय में token उत्पन्न करने के बजाय tokens को मास्क करते हैं।

टैगः प्रसार भाषा मॉडल, मुखौटा फैलाव, जीपीटी अनुमान, DiffusionGemma, LLaDA

विशेष रुप से प्रदर्शित छवि: एक शोर ग्रिड का अमूर्त चित्रण धीरे-धीरे एक वाक्य में बदल रहा है, दोस्ताना शैली, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.