उपकरण समीक्षाएँ

हाथों पर परीक्षण से पता चलता है कि Google s DiffusionGemma एक पाठ मॉडल है जो सभी को एक बार में लिखता है।

DiffusionGemma Google का प्रायोगिक खुला LLM है जो पाठ ब्लॉकों को समानांतर में निरस्त करता है, स्थानीय Transformers और vLLM के लिए GPU बाधाओं को कम करता है।

हाथों पर परीक्षण से पता चलता है कि Google s DiffusionGemma एक पाठ मॉडल है जो सभी को एक बार में लिखता है।

मुख्य जानकारी

  • Google DeepMind ने DiffusionGemma जारी किया, एक प्रयोगात्मक खुला पाठ मॉडल जो पारंपरिक टोकन-दर-टोकन ऑटोरेग्रेसिव पीढ़ी के बजाय प्रसार आधारित ब्लॉक डेनोइजिंग के माध्यम से भाषा उत्पन्न करता है।
  • मॉडल समानांतर में 256-टोकन कैनवस को निरस्त करता है, मेमोरी बैंडविड्थ से कंप्यूटिंग के लिए मुख्य बाधा को स्थानांतरित करता है और पीढ़ी के दौरान स्व-सुधार की अनुमति देता है।
  • डिफ्यूजनगेमा ब्लॉक-ऑटोरेग्रेसिव जनरेशन के माध्यम से लंबे फॉर्म टेक्स्ट का समर्थन करता है, जबकि मल्टीमोडल इनपुट जैसे कि टेक्स्ट, इमेज और वीडियो को केवल टेक्स्ट आउटपुट के साथ स्वीकार करता है।
  • इसे Hugging Face Transformers का उपयोग करके स्थानीय रूप से चलाया जा सकता है, जिसके लिए संस्करण 5.11.0 या बाद में और एक समर्पित ब्लॉक-प्रसार मॉडल वर्ग की आवश्यकता होती है, जिसमें क्वांटिज़्ड संस्करण उच्च अंत उपभोक्ता GPU पर फिट होते हैं।
  • गूगल ने भी वीएलएलएम के मानक सेवा इंजन में मॉडल की पुनरावर्ती डेनोइजिंग लूप को एकीकृत करके वीएल एल एम के माध्यम से सेवा प्रदान करने में सक्षम बनाया।

मेटा विवरणः Google DeepMind ने 10 जून, 2026 को डिफ्यूजनगेमा जारी किया, जो पाठ निर्माण के लिए एक ब्लॉक प्रसार LLM, स्थानीय ट्रांसफार्मर का उपयोग और वीएलएलएम सेवा है।

Hands-on testing shows Google’s DiffusionGemma to be a text model that writes all at once.

टैगः DiffusionGemma, गूगल डीपमाइंड, vLLM, ट्रांसफार्मर, LLM

विशेष रुप से प्रदर्शित छवि: अमूर्त, मैत्रीपूर्ण चित्रण शैली, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है

डेवलपर्स, शोधकर्ताओं और अपने स्वयं के हार्डवेयर पर मॉडल चलाने वाले लोगों के लिए, Google DeepMind ने 10 जून को डिफ्यूजनगेमा जारी किया। यह एक प्रयोगात्मक खुला मॉडल है जो सामान्य टोकन-दर-टोकन टेक्स्ट जनरेशन प्रक्रिया को प्रसार आधारित ब्लॉक डिनोइजिंग से बदल देता है, विसारण प्रक्रिया से संबंधित विधि का उपयोग करके जिसने छवि जनरेटर जैसे कि Stable Diffusion संभव बनाया था, लेकिन पिक्सेल के बजाय भाषा पर लागू किया गया था। यह गाइड दिखाता है कि मॉडल कैसे काम करता है, इसे Hugging Face Transformers के साथ कैसे चलाया जाए, और इसे vLLM के साथ किस तरह सेवा दी जाए।

क्यों ब्लॉक प्रसार बाधा को बदलता है

GPT, क्लाउड, मिथुन, मानक Gemma और GPT-4 जैसे प्रमुख भाषा मॉडल एक समय में एक टोकन बनाते हैं, बाएं से दाएं, प्रत्येक नए टोकन के साथ जो पहले से लिखा गया है। स्थानीय हार्डवेयर पर एक उपयोगकर्ता के लिए, मुख्य सीमा कच्ची गणना नहीं है। यह मेमोरी बैंडविड्थ हैः कई GPU कंप्यूटिंग कोर प्रतीक्षा करते हुए मॉडल बार-बार अपने पूर्ण भार को स्मृति से लोड करता है। अनुक्रमिक डिजाइन भी संशोधन को रोकता है। एक बार जब कोई टोकन प्रतिबद्ध हो जाता है, तो वह रहता है।

DiffusionGemma काम की इकाई बदलता है। यह 256 प्लेसहोल्डर टोकन, अनिवार्य रूप से यादृच्छिक शोर के कैनवास के साथ शुरू होता है, और कई पासों में एक बार में पूरे ब्लॉक को अस्वीकार करता है। Google इसे Uniform State Diffusion कहता है। टोकन मॉडल के बारे में अधिक आश्वस्त है कि वह टोकन हल करने में मदद करता है जिसके बारे में कम निश्चित है, इसलिए अनुक्रम धीरे-धीरे एक समय में एक शब्द दिखाई देने के बजाय सुसंगत हो जाता है। इससे GPU वास्तव में समानांतर कार्यभार देता है और मेमोरी बैंडविड्थ से कंप्यूटिंग तक मुख्य बाधा को स्थानांतरित कर देता है।

एक 256-टोकन कैनवास से अधिक लंबे उत्तरों के लिए, डिफ्यूजनगेमा ब्लॉक-ऑटोरेग्रेसिव डेनोइजिंग का उपयोग करता है। एक बार कैनवास को हल करने के बाद, यह सामान्य कारणात्मक ध्यान के माध्यम से मॉडल की कुंजी-मूल्य कैश में प्रतिबद्ध हो जाता है, वही तंत्र जो एक मानक ऑटोरेग्रेसिव मॉडल इतिहास के लिए उपयोग करते हैं। फिर पहले से ही प्रतिबद्ध पाठ पर सशर्त एक ताजा 256 टोकन कैंडिस शुरू होता है। सक्रिय कैनवस के भीतर, ध्यान द्विदिश हैः कोई भी टोकन उस ब्लॉक में किसी अन्य टोकन की देखभाल कर सकता है। वह संयोजन स्व-सुधार सक्षम करते हुए दीर्घ-रूप स्थिरता का समर्थन करता है. यदि डिनोइज़िंग के दौरान टोकन का आत्मविश्वास गिर जाता है तो नमूनाकर्ता इसे फिर से शोर बना सकता है और मॉडल को पुनः प्रयास करने देता है।

यह मॉडल जेम्मा 4 26B के समान आर्किटेक्चर पर बनाया गया है, जिसमें 26 बिलियन कुल पैरामीटर हैं लेकिन प्रति टोकन केवल 3.8 अरब सक्रिय हैं। ए4बी लेबल उस सक्रिय-पैरामीटर गणना को संदर्भित करता है। इसे एक प्रयोगात्मक मॉडल के रूप में अपाचे 2.0 लाइसेंस के तहत जारी किया जाता है, जिसका अर्थ है कि Google इसे एक तैयार स्थिर उत्पाद के बजाय अनुसंधान और विकास पूर्वावलोकन के तौर पर प्रस्तुत करता है.

इनपुट बहुआयामी हैः पाठ, परिवर्तनीय पहलू अनुपात और रिज़ॉल्यूशन के साथ छवियां और वीडियो स्वीकार किए जाते हैं, जबकि ऑडियो नहीं है। आउटपुट केवल टेक्स्ट होता है। क्वांटिज्ड, मॉडल GPU मेमोरी के 18 जीबी के भीतर फिट बैठता है, इसे स्थानीय उपयोग के लिए एक एकल उच्च अंत उपभोक्ता GPU, जैसे कि आरटीएक्स 4090 या 5090 की पहुंच में डाल दिया जाता है। पूर्ण, अनक्वांटिजेड मॉडल को 60GB से अधिक स्मृति वाले GPU की आवश्यकता होती है, जैसे ए 100 या एच 100-वर्ग कार्ड, जैसा कि Google के स्वयं के कुकबुक नोटबुक में निर्दिष्ट है।

ट्रांसफार्मर में चल रहा विसारणगेमा

ट्रांसफार्मर संस्करण वैकल्पिक नहीं है। DiffusionGemma के ब्लॉक-प्रसार वास्तुकला को मॉडल कक्षाओं की आवश्यकता होती है जो केवल 5.11.0 और बाद में ट्रांसफॉर्मरों में मौजूद होते हैं; एक पुराना संस्करण मॉडल को पहचान नहीं पाएगा। अपाचे 2.0 लाइसेंस अधिकांश वाणिज्यिक और अनुसंधान उपयोग के लिए अनुमेय है, लेकिन पाठकों को ग्राहक उन्मुख प्रणालियों में मॉडल को तैनात करने से पहले Gemma की निषिद्ध उपयोग नीति की जांच करनी चाहिए।

  1. ट्रांसफार्मर 5.11.0 या बाद में स्थापित करें।
  2. विशिष्ट वर्ग DiffusionGemmaForBlockDiffusion के साथ मॉडल लोड करें, न कि सामान्य AutoModelForCausalLM. ब्लॉक प्रसार को denoising लूप के लिए अपने स्वयं के पीढ़ी तर्क की आवश्यकता होती है।
  3. dtype="auto" का उपयोग करें ताकि लाइब्रेरी हार्डवेयर द्वारा समर्थित सबसे कुशल परिशुद्धता का चयन करे, और उपलब्ध GPU मेमोरी में मॉडल को वितरित करने के लिए device_map=" auto" का प्रयोग करें।
  4. Use AutoProcessor के बजाय एक सादा टोकनाइज़र, क्योंकि मॉडल पाठ के साथ-साथ छवि और वीडियो इनपुट को संभालता है।
  5. apply_chat_template के साथ संदेशों को लपेटें. यह DiffusionGemma के टर्न-आधारित प्रारूप का उपयोग करता है, जिसमें उपयोगकर्ता और मॉडल जैसे आंतरिक टोकन होते हैं, और add_generation_prompt=True प्रॉम्प्ट को उत्तर देने के लिए तैयार छोड़ देता है।
  6. कॉल model.generate के साथ max_new_tokens=512. यह प्रत्येक 256-टोकन कैनवास पर अभिसरण तक denoising लूप चलाता है, जबकि आवश्यकतानुसार कई कैनवस ब्लॉकों में कितना पाठ उत्पन्न किया जा सकता है।
  7. इस प्रक्रिया को देखने के लिए TextDiffusionStreamer का उपयोग करें. यह प्रत्येक डेनोइजिंग चरण के बाद कैनवास की स्थिति को रोकता और प्रिंट करता है, केवल अंतिम उत्तर के बजाय परिष्करण प्रक्रिया का प्रत्यक्ष दृश्य देता है।
  8. टोन और व्यवहार को चलाने के लिए एक सिस्टम भूमिका संदेश जोड़ें. चैट टेम्पलेट इसे उपयोगकर्ता के संदेश से पहले एक अलग मोड़ के रूप में सम्मिलित करता है, और मॉडल उत्पन्न प्रतिक्रिया के माध्यम से उस निर्देश की शैली लेता है।
  9. enable_thinking=True के साथ सोच मोड सक्षम करें. यह प्रोसेसर को विशेष टोकन डालने के लिए कहता है जो एक अलग तर्क चैनल को चिह्नित करते हैं, जहां मॉडल अंतिम उपयोगकर्ता-सामने वाले उत्तर का उत्पादन करने से पहले विचार ब्लॉक के माध्यम से काम करता है। यदि आप उस विचार ब्लॉक को देखना चाहते हैं तो skip_special_tokens = False के साथ डिकोड करें।
  10. छवि की समझ के लिए, सामग्री फ़ील्ड को एक सूची बनाएं: एक छवि प्रविष्टि जिसके बाद टेक्स्ट एंट्री होती है। प्रोसेसर छवि को आंतरिक छवि टोकन में परिवर्तित करता है जो मॉडल उम्मीद करता है। याद रखें कि डिफ्यूजनगेमा इनपुट के रूप में छवियों और वीडियो को स्वीकार करता है लेकिन आउटपुट के तौर पर पाठ का उत्पादन करता है; यह इमेज जनरेशन मॉडल नहीं है.

vLLM के साथ DiffusionGemma की सेवा करना

स्थानीय प्रयोग से परे उपयोग के लिए, Google ने DiffusionGemma की पुनरावर्ती denoising लूप को vLLM के मानक सर्विंग इंजन में एकीकृत करने के लिए सीधे vllm टीम के साथ काम किया। अधिकांश लॉन्च फ्लैग्स स्टैंडर्ड वीएलएलएम विकल्प हैं. --max-model-len संदर्भ विंडो सेट करता है, -max-num-seqs समवर्ती अनुक्रमों को कैप करता है और -gpu-memory-utilization निर्धारित करता है कि GPU मेमोरी का कितना दावा कर सकता है। एकरसता टोपी जानबूझकर कम है क्योंकि मॉडल को निम्न-सहयोगी उपयोग के लिये डिज़ाइन किया गया है।

मॉडल-विशिष्ट झंडे वे हैं जो सबसे अधिक मायने रखते हैं:

  • --hf-overrides के साथ "diffusion_sampler": "entropy_bound" और "diffusion_entopy_bound": 0.1 denoising के दौरान टोकन चयन रणनीति को कॉन्फ़िगर करता है।
  • --diffusion-config '{"canvas_length": 256}' अपने प्रशिक्षित 256-टोकन कैनवास से मेल खाते हुए, एक बार में मॉडल के ब्लॉक आकार को सेट करता है।

एक बार चलाने के बाद, सर्वर मानक ओपनएआई-संगत स्थानीय एंडपॉइंट को उजागर करता है। इसका मतलब है कि API प्रारूप पर बनाया गया कोई भी उपकरण बिना किसी अन्य कोड परिवर्तन के नए एंडप्वाइंट की ओर इशारा करके डिफ्यूजनगेमा के साथ काम कर सकता है।

नमूनाकरण सेटिंग्स का क्या अर्थ है

Google प्रसार नमूनाकरण प्रक्रिया के लिए विशिष्ट अनुशंसित डिफ़ॉल्ट प्रकाशित करता है, और वे बताते हैं कि यह मॉडल एक निश्चित तापमान के साथ मानक LLM से अलग कैसे व्यवहार करता है। तापमान शेड्यूल अनिश्चित शुरू होता है और डेनोइजिंग प्रगति के रूप में अधिक निर्णायक हो जाता है, कैनवास को मिरर करते हुए शोर से हल किए गए पाठ तक बढ़ता है।

एंट्रॉपी-बाउंड टोकन चयन वह है जो मॉडल के स्व-सुधार व्यवहार का उत्पादन करता है। प्रत्येक पास पर हर टोकन की अनुमान को स्वीकार करने के बजाय, सैंपलर केवल उन टोकनों में ताला लगाता है जिनके बारे में मॉडल आश्वस्त होता है और बाकी को अगले चरण में संशोधन के लिए खुला छोड़ देता है। diffusion_entropy_bound मान 0.1 उस चयन रणनीति को नियंत्रित करता है.

एक उपयोगकर्ता के हार्डवेयर पर स्थानीय अनुमान के लिए, जहां एक सामान्य मॉडल मेमोरी बैंडविड्थ की प्रतीक्षा करते हुए कंप्यूटिंग निष्क्रिय छोड़ सकता है, यह डिज़ाइन व्यावहारिक बिंदु है। उच्च-समानता वाले क्लाउड सेवा के लिए ऑटोरेग्रेसिव पीढ़ी की परिपक्व बैचिंग कहानी अभी भी जीतती है, और Google इस मॉडल के बारे में बहुत कुछ कहता है।

आम गलतियाँ

  • 5.11.0 से पुराने ट्रांसफार्मर का उपयोग करना. ब्लॉक प्रसार के लिए आवश्यक मॉडल वर्ग गायब हैं, इसलिए लोडिंग विफल हो जाती है।
  • AutoModelForCausalLM के साथ लोड करना. DiffusionGemmaForBlockDiffusion का उपयोग करें क्योंकि denoising लूप को विशेष पीढ़ी तर्क की आवश्यकता होती है।
  • उच्च समवर्ती क्लाउड प्रदर्शन की अपेक्षा करना. मॉडल को कम-समानता उपयोग के लिए डिज़ाइन किया गया है, और vLLM सेटअप --max-num-seqs कम रखता है.
  • इसे छवि जनरेटर के रूप में व्यवहार करना क्योंकि यह प्रसार का उपयोग करता है। प्रसार पाठ आउटपुट पक्ष पर लागू होता है; चित्र और वीडियो इनपुट अभी भी केवल टेक्स्ट उत्पन्न करते हैं.
  • तर्क चैनल छुपा रहा है. यदि आप सोच मोड आउटपुट देखना चाहते हैं, तो skip_special_tokens=False के साथ डिकोड करें.
  • कैनवास आकार को 256 से दूर बदलना. अनुशंसित vLLM विन्यास मॉडल के प्रशिक्षित 256-टोकन कैनवस से मेल खाता है.
  • नीति नोटों को अनदेखा करना. अपाचे 2.0 अनुमेय है, लेकिन ग्राहक-सामने तैनाती से पहले जेमा की निषिद्ध उपयोग नीति की जांच करनी चाहिए।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.