FLUX.3 Image Klein अब डिफ्यूज़र में उपलब्ध है

Black Forest Labs ने FLUX.3 Image Klein संग्रह में दो खुले चेकपॉइंट उपलब्ध कराए हैं, और उपयोगकर्ता एक Hugging Face अंतरिक्ष के माध्यम से तुरंत छवियां उत्पन्न कर सकते हैं। आसुत जांच बिंदु H100 पर लगभग 2 सेकंड में 1024 × 1024 छवि का उत्पादन करता है, जबकि वही मॉडल text-to-image पीढ़ी, बहु-संदर्भ image-to-image कार्य और बाउंडिंग-बॉक्स लेआउट नियंत्रण का समर्थन करता है। क्वांटिज़्ड NVFP4 और FP8 भार को छोटे GPUs के लिए ∀from_single_file` के साथ लोड किया जा सकता है, कम रैंक अनुकूलन ( LoRA ) प्रशिक्षण स्क्रिप्ट दोनों text-to-image और इमेज एडिटिंग को कवर करती है, और पाइपलाइन बिल्डर ब्लॉक को हटा या अपना जोड़ सकते हैं ।

तीन छवि कार्यों के लिए एक मॉडल

text-to-image संकेतों के लिए, FLUX.3 एक पूर्ण दृश्य विवरण का सबसे अच्छा जवाब देता है जो विषय, सेटिंग, प्रकाश, रचना और शैली को नामित करता है। Black Forest Labs से आधिकारिक प्रोमोटिंग गाइड में अधिक टिप्स हैं। आसुत चेकपॉइंट डिफ़ॉल्ट रूप से 16 चरणों में 1024 × 1024 छवि उत्पन्न करता है, और ∀height`, ⌒width` या ゙num_inference_steps` उन सेटिंग्स को बदल सकता है।

image-to-image कार्य के लिए, उपयोगकर्ता एक संदर्भ छवि या कई छवियों को ∀image` तर्क के साथ पास करते हैं और अनुरोधित परिवर्तन सहित वांछित छवि के कैप्शन के रूप में प्रॉम्प्ट लिखते हैं।<ref_image_0>`, ゙<ref_image_1>`, और इसी तरह क्रम में वे पारित कर रहे हैं करने के लिए image.

लेआउट-नियंत्रण पथ कैप्शन के बाद क्षेत्रों की एक JSON सूची जोड़ता है। प्रत्येक क्षेत्र में ∀id`, a ≠bbox` और a ゙desc` शामिल हैं, और कैप्शन में क्षेत्र का उल्लेख किया गया है जैसे कि<पहचान>`. बक्से को 0 से 1000 तक के मानकीकृत पैमाने पर, पहले y के साथ लिखा जाता है, इसलिए एक ही बॉक्स किसी भी छवि आकार में काम करता है। संपादनों के लिए, प्रत्येक क्षेत्र रिकॉर्ड करता है कि इसकी सामग्री कहां से आती है, संदर्भ में ∀src_bbox⌒ का उपयोग करके और जहां यह आउटपुट में ゙tgt_bBox□ का उपयोग कर जाती है। एक समान स्रोत और लक्ष्य बक्स वाले क्षेत्र जहाँ हैं वहीं रहते हैं। रिलीज़ उदाहरण पृष्ठभूमि, चट्टान, सुई, ड्रैगन और आग को पिन करते हुए बुना हुआ शूरवीर ऊपर और बाईं ओर ले जाता है।

बेस चेकपॉइंट वर्गीकरण-मुक्त मार्गदर्शन के साथ 50 चरणों को चलाता है और इसे ठीक करने वाला एक होता है। आसुत जांच बिंदु समय और ऊपर दिए गए उदाहरणों के लिए उपयोग किया जाने वाला त्वरित मार्ग है।

Smaller GPUs, एकल फाइलें, और कस्टम LoRA प्रशिक्षण

Black Forest Labs Transformer को bf16 में एक एकल फ़ाइल के रूप में और दो क्वांटिज़्ड प्रारूपों में भी भेजता हैः ∀fp8r`, rowwise FP8, and ≠nvfp4∂. उनमें से किसी को भी ゙from_single_file∂ के साथ लोड किया जा सकता है, फिर अन्य घटक नाम द्वारा लोड किए जाते हैं ताकि बीएफ 16 Transformer दोबारा डाउनलोड न हो। अनक्वांटिज्ड सिंगल फाइल के लिए, उपयोगकर्ता मॉडल रिपॉजिटरी Hugging Face में ∂model.safetensors∂ की ओर इशारा कर सकते हैं और ड्रॉप ∂quantization_config∂ ।

Because FLUX.3 दोनों text-to-image और image-to-image के लिए काम करता है, यह कस्टम LoRA एडेप्टरों के लिए एक आधार के रूप में कार्य कर सकता है। ∀diffusers` जहाजों ड्रीमबूथ LoRA , दोनों कार्यों के लिए प्रशिक्षण लिपियों, और उपयोगकर्ताओं को भी Ostris 'के साथ प्रशिक्षित कर सकते हैं AI Toolkit. रिलीज से पता चलता है कि एक उदाहरण text-to-image , जो एक टैरो-कार्ड शैली सीखता है मल्टिमोडलर्ट / 1920 रेडर-वेइट-टैरोट-सार्वजनिक डोमेन∂ dataset , ट्रिगर किया गया ∂trtcrd∂. मेमोरी का उपयोग कम करने के लिए, उदाहरण सुझाव देता है ∂ - ग्रेडिएंट_चेक पॉइंटिंग∂, ∂- कैश_लैटेन्ट्स∂, और ∂ प्रयोग 8 बिट ∂ एडम । ∂ प्रवर्तक चेक प्वाइंटिंग∂ बैकवर्ड पास में सक्रियण recomputes, जो वीडियो उपयोग RAM (AMVR) को धीमा करता है लेकिन प्रशिक्षण थोड़ा धीमा बनाता है; ̋ पूर्व-कैश कोड्स∂ और फ़्री एन्कोडिंग∂ छवियाँ

विभिन्न LoRA रैंक और ऑप्टिमाइज़र के साथ एक ही टैरो शैली को प्रशिक्षित करने वाले एडेप्टरों की ग्रिड, और एडाप्टर हब पर उपलब्ध हैं ∀diffusers-modular/flux3-tarot- LoRA `। अधिक प्रशिक्षण सुविधाओं और कॉन्फ़िगरेशन DreamBooth FLUX.3 README में प्रलेखित किए गए हैं। निर्देश आधारित संपादन के लिए, संदर्भ-छवि, लक्ष्य-छवी और अनुदेश ट्रिपलट्स पर स्क्रिप्ट ट्रेन करता है।<ref_image_0>README सभी विकल्पों और पूर्ण image-to-image उदाहरण को भी कवर करता है।

मेमोरी अनुभाग GPU दबाव को कम करने के तीन तरीके देता हैः एक क्वांटिज़्ड Transformer लोड करें, टेक्स्ट एनकोडर को अलग से चलाएं और इसे मुक्त करें या स्वचालित CPU ऑफलोडिंग चालू करें। पाठ एन्कोडर डेनोइजिंग से पहले प्रति छवि केवल एक बार चलता है, यही कारण है कि रिलीज़ में Encode once, generate many GPU पैटर्न का वर्णन किया गया है। Automatic CPU ऑफ़लोडिंग प्रत्येक घटक को चलाने के दौरान ही GPU पर ले जाता है, लेकिन रिलीज नोट करता है कि यह पथ बेंचमार्क नहीं था।

गति, वास्तुकला और tokens कैसे चलता है

डिस्टिल्ड चेकपॉइंट के लिए एंड-टू-एंड टाइमिंग 16 चरणों का उपयोग करते हैं, एक एकल NVIDIA H100 80 जीबी GPU पर वार्मअप के बाद तीन रन में औसत किया जाता है, जिसमें कोई ऑफलोडिंग और डिफ़ॉल्ट ध्यान बैकेंड नहीं होता है। एक संदर्भ छवि लगभग समय को दोगुना कर देती है। संदर्भ tokens टेक्स्ट और उत्पन्न होने वाली छवि के समान अनुक्रम में शामिल हो जाते हैं, इसलिए 1024 × 1024 संदर्भ प्रत्येक Transformer कॉल में 4,096 tokens जोड़ता है।

FLUX.3 तीन प्रकार के tokens लेता हैः पाठ, शोर छवि उत्पन्न हो रही है और वैकल्पिक संदर्भ छवियां। यह छवि पीढ़ी के लिए एक गुप्त-स्थान प्रवाह मॉडल है। डेनोइज़र इनपुट के रूप में लैंटेंट्स लेता है और आउटपुट के तौर पर लैंट्स का उत्पादन करता है, और वीएई उन लुप्त तत्वों को पिक्सेल में वापस डिकोड करता है। फ्लेक्स 3 फ्लक्स 2 की तरह ही VAE आर्किटेक्चर का उपयोग करता है. फ़्लक्स 2 VAE 32 चैनलों में प्रत्येक दिशा में 8 बार एक छवि को संपीड़ित करती है, फिर 128 चैनलों के साथ एकल token में उस छिपे हुए हर 2 द्वारा 2 पैच पैक करती है। एक token 16 × 16 पिक्सल पैच को कवर करता है , इसलिए एक × 1024 छवि tokens के 64 x 64 ग्रिड बन जाती है। शोरदार आकस्मिक छवि ठीक उसी संदर्भ आकार के शोर के रूप से शुरू होती है और अपने स्वयं के आकार को बनाए रखते हुए एक ही छवि VAE एन्कोडर और पैकिंग के माध्यम से गुजरती है।

टेक्स्ट एन्कोडर Qwen3-VL है, एक विजन-लैंग्वेज मॉडल. FLUX.3 केवल अपनी अंतिम परत का उपयोग नहीं करता है। यह 36 परतों में से आठ की छिपी हुई स्थितियों को पढ़ता है, विशेष रूप से परतें 4, 8, और 32 के माध्यम से जारी रहता है, फिर उन्हें ढेर कर देता है ताकि प्रत्येक पाठ token 8 द्वारा 2560 बराबर हो जाए 20,480 - आयामी वेक्टर इससे पहले कि एक रैखिक परत इसे Transformer की चौड़ाई तक प्रोजेक्ट करे 3072. यह Transformer को मॉडल भाषा की कई गहराइयों से सुविधाएँ प्रदान करता है. प्रॉम्प्ट 80 tokens के एकाधिक पर पैड किया गया है, और image-to-image 3 भी पैडिंग पर ध्यान देता है, यही कारण है कि पाइपलाइन प्रति प्रोमोट कॉल एक लेता है।

Transformer दो चरणों में tokens को संसाधित करता है। चरण 1 प्रति-मोड ब्लॉकों का उपयोग करता हैः पाठ के अपने 5 ब्लॉक होते हैं, शोर वाली छवि के पास अपने 5 ब्लॉक्स होते हैं और संदर्भ छवियों के अपने पांच ब्लॉक. चरण 2 धाराओं को एक अनुक्रम में जोड़ता है, ` [पाठ छवि संदर्भ । ] ', और उन्हें 28 ब्लॉकों के माध्यम से भेजता है जो वजन के एक सेट को साझा करते हैं। चरण अलग-अलग होते हैं कि कौन किसकी देखभाल कर सकता है। स्टेज 1 में, प्रत्येक स्ट्रीम केवल खुद की देखभाल करता है, इसलिए प्रत्येक token प्रकार पहले अपनी शर्तों पर परिष्कृत किया जाता है। स्तर 2, सब कुछ हर चीज का ध्यान रखता है, जिससे छवि पाठ और संदर्भों से सीख सकती है। तुलनात्मक रूप से, FLUX.2 के डबल-स्ट्रीम ब्लॉक भी टेक्स्ट और इमेज वेट्स देते हैं लेकिन उन्हें शुरू से ही एक दूसरे की देखभाल करने दें; फिर FLUx.3 पहली धाराएं पूरी तरह से अलग रखती है, उनका पाठ विलय करती है। अंत में, रेफरेंस को छोड़ दिया जाता है और केवल 889000 परतें होती हैं

दोनों चरणों में प्रत्येक ब्लॉक का एक ही आकार होता हैः ध्यान और बहुपरत पर्सेप्ट्रॉन समान सामान्यीकृत इनपुट पर समानांतर रूप से चलते हैं, और उनका योग शेष प्रवाह में वापस जोड़ा जाता है। प्रत्येक ब्लॉक एक लेयरनॉर्म के साथ शुरू होता है जिसमें कोई सीखा हुआ पैमाने या शिफ्ट नहीं होता है। इसके बजाय स्केल, शिफ्ट और गेट टाइमस्टेप embedding से आते हैं, एक प्रक्रिया जिसे रिलीज़ मॉड्यूलेशन कहती है। ध्यान के अंदर, क्वेरी और कुंजी रूट-मीडियन-स्क्वायर नॉर्मलाइज्ड होती हैं और रोटरी पोजीशन embeddings , या RoPE प्राप्त करती हैं। संयुक्त ब्लॉक में, सभी tokens समान वजन साझा करते हैं, लेकिन टेक्स्ट, इमेज और रेफरेंस tokens , प्रत्येक को अपना स्वयं का पैमाना, बदलाव और गेट मिलता है।

FLUX.1 और FLUX.2 प्रत्येक token को मॉड्यूल करने के लिए एक टाइमस्टेप embedding का उपयोग करते हैं। फ्लक्स 3 बदलता है कि: शोर वाली छवि tokens वर्तमान समय चरण t द्वारा मॉड्यूलेट की जाती है, जबकि टेक्स्ट और संदर्भ tokens हमेशा टाइम्सटेप 0 द्वारा मॉड्युलेट किए जाते हैं, जिसका अर्थ है साफ, यहाँ कुछ भी नहीं करना. यहां तक कि एक संदर्भ जो आउटपुट के समान दिखता है उसे दिए गए संदर्भ के रूप में चिह्नित किया जाता है, न कि उत्पन्न होने वाले किसी चीज़ के तौर पर। आसुत चेकप्वाइंट एक प्रवाह मानचित्र होता है और यह भी बताया जाता है कि हर कदम किस समय तक कूदता है। वह दूसरा टाइम स्टेप अपना खुद का embedding प्राप्त करता है, जिसे हर token के मोड्यूलेशन में जोड़ा जाता है ताकि इसके 16 चरणों में से प्रत्येक बड़ा छलांग बना सके।

ध्यान अकेले यह नहीं जानता कि token कहाँ है, एक गुण जिसे क्रमपरिवर्तन समकक्षता कहा जाता है। RoPE प्रत्येक क्वेरी और कुंजी को उस राशि से घुमाकर ठीक करता है जो token की स्थिति पर निर्भर करती है। FLUX.3 चार स्थान अक्षों का उपयोग करता है, ∀t, h, w, l)` समय के चरण, ऊंचाई, चौड़ाई और अनुक्रम की लंबाई के लिए, और प्रत्येक अक्ष को हर 128-आयामी ध्यान सिर का एक चौथाई या 32 आयाम देता है। पाठ tokens पंक्ति में l के साथ लाइन अप होता है, जैसे किसी वाक्य में शब्द। छवि और संदर्भ 2 डी ग्रिड हैं एच और डब्ल्यू, एक दूसरे से अलग होते हुए एल. क्योंकि एक संदर्भ आउटपुट के रूप में समान एच और वी निर्देशांक का उपयोग करते हैं, इसलिए संदर्भ में उसी जगह का मॉडल के लिए एक सटीक अर्थ है, जो ∂src_bbox∂ और ∂gtt_बॉक्स∂ संपादन व्यवहार का समर्थन करता है।

डीनोइजिंग लूप शुद्ध शोर से शुरू होता है। प्रत्येक 50 चरणों में, Transformer एक वेग का अनुमान लगाता है, शोर की दिशा से स्वच्छ छवि की ओर और शेड्यूलर इसके साथ एक कदम लेता है। हर चरण में, उपयोगकर्ता अंतिम छवि के मॉडल के वर्तमान अनुमान को पढ़ सकते हैं। रिलीज में एक लोमड़ी उदाहरण दिखाया गया है जहां लोमडी, इसकी मुद्रा और प्रकाश पहले से ही 10 चरण तक जगह पर हैं, जबकि शोर स्तर अभी भी 0.97 बर्फ से भरी शाखाएं और फर की बनावट केवल पिछले कुछ चरणों के दौरान दिखाई देती है। FLUX.3 का शेड्यूलर एक बड़े समय शिफ्ट6.93 का उपयोग करता है, जो अधिकांश रन के लिए शोर के स्तर को उच्च रखता हैः 44 50 चरण सिग्मा समकक्ष ऊपर होते हैंः 0.5 रिलीज़ कहती है कि पाइपलाइन में एक छोटा ब्लॉक जोड़कर बनाया गया था, जो डिजाइन को भी इंगित करता है Modular Diffusers

पाठक आगे क्या कर सकते हैं

व्यावहारिक मार्ग छोटा हैः नवीनतम ∀diffusers` और ▽ Transformers ゙ पैकेज स्थापित करें, जिसमें Qwen3-VL टेक्स्ट एन्कोडर के लिए समर्थन शामिल है, फिर आसुत चेकपॉइंट लोड करें और एक छवि उत्पन्न करें। रिलीज वर्कफ़्लो से भी जुड़ा हुआ है, नए लोगों को शुरुआती-अनुकूल प्रवाह मिलान ट्यूटोरियल और वीडियो की ओर इशारा करता है, और दो FLUX.3 Image Klein चेकप्वाइंट्स को Hugging Face स्पेस के माध्यम से पहुँचा जा सकता है। उन टीमों के लिए जो पाइपलाइन का निरीक्षण या परिवर्तन करना चाहते हैं, फ़्लक्सएक्सएनयूएमएक्स एक पाइप लाइन के रूप में जहाज करते हैं, इसलिए ब्लॉक हटाए या प्रतिस्थापित किए जा सकते हैं। सबसे बड़े GPUs के बिना उपयोगकर्ताओं के लिए, एकल-फाइल क्वांटिज़ेड चेकप्वाईट और मेमोरी-सेविंग विकल्प मॉडल को अधिक सुलभ बनाते हैं, जबकि LoRA स्क्रिप्ट इसे कस्टम संपादन शैलियों या व्यवहार को प्रशिक्षित करने के लिए संभव बनाती हैं।