Mistral लार्ज 4, उपनाम ले चोंक, अब Hugging Face पर उपलब्ध है
Mistral Large 4, Le Chonk, एक 1T ओपन-वेट multimodal मॉडल है जिसमें 49B एक्टिव, 1M कॉन्टेक्स्ट के लिए cybersecurity, कोडिंग और fine-tuning, पर Hugging Face है।
मुख्य जानकारी
- Mistral Large 4, उपनाम 89890001, 89 एक मल्टीमोडल, बहुभाषी मिश्रण-विशेषज्ञ मॉडल है जिसमें लगभग 1T कुल पैरामीटर, 49B सक्रिय पैरामीटर और 1M-टोकन संदर्भ विंडो हैं।
- यह दो स्पार्सिटी तंत्रों को जोड़ती हैः एमओई रूटिंग प्रति टोकन 128 विशेषज्ञों में से 4 का चयन करता है, साथ ही एक साझा विशेषज्ञ, जबकि विरल ध्यान प्रति क्वेरी 2,048 प्रमुख टोकन पदों तक चुनता है; दृश्य इनपुट 1.6B पिक्सट्रल एन्कोडर द्वारा संसाधित किया जाता है।
- यह मॉडल विशेष रूप से साइबर सुरक्षा, कोडिंग एजेंट और ज्ञान कार्य के लिए तैनात किया गया है, जिसमें Artificial Analysis Cyber Index पर कमजोरियों की प्रतिकृति और पैचिंग के लिए 82% का स्कोर दिया गया है।
- Mistral Ecosystem Open-Weight License के तहत एक ओपन-वेट रिलीज़ के रूप में, यह डिफेंडरों को स्थानीय स्तर पर मॉडल चलाने, निरीक्षण करने और ठीक करने की अनुमति देता है, जिससे API प्रदाताओं पर निर्भरता कम हो जाती है और पारदर्शी सुरक्षा मूल्यांकन सक्षम होता है।
- यह ट्रांसफार्मर, vLLM और llama.cpp के लिए दिन-शून्य अनुमान समर्थन के साथ जहाज करता है, जिसमें FP8, NVFP4, और समुदाय द्वारा उत्पादित GGUF क्वांटिज़ेशन विभिन्न तैनाती आवश्यकताओं के लिए उपलब्ध हैं।
Mistral ने Mistral Large 4 जारी किया है, जिसका कोड नाम "Le Chonk", एक multimodal, बहुभाषी मिश्रण-विशेषज्ञ मॉडल जो इनपुट के रूप में पाठ और छवियों को लेता है और पाठ उत्पन्न करता है। मॉडल लगभग 49B सक्रिय मापदंडों के साथ 1T कुल पैरामीटर और एक 1M- token context window ले जाता है। यह Unsloth और llama.cpp टीम द्वारा निर्मित अतिरिक्त GGUF क्वांटिज़ेशन के साथ दो आधिकारिक वेरिएंट FP8 और NVFP4 में शिप करता है। भारों को Mistral Ecosystem Open-Weight License के तहत वितरित किया जाता है, एक एमआईटी व्युत्पन्न जो मॉडल-ए-सर्विस प्रसाद पर सीमाएं रखता है।
ओपन-वेट इकोसिस्टम को ट्रैक करने वाले पाठकों के लिए, रिलीज़ इसके आकार के लिए कम मायने रखता है जो यह सक्षम करता हैः एक फ्रंटियर-क्लास मॉडल जिसे डिफेंडर अपने स्वयं के बुनियादी ढांचे पर चला सकते हैं, निरीक्षण कर सकते हैं और ठीक कर सकते हैंः Mistral पद Mistral Large 4 विशेष रूप से cybersecurity, कोडिंग एजेंटों और बहुआयामीता के लिए।
एक वास्तुकला में दो प्रकार की दुर्लभता
Mistral Large 4 विशेषज्ञों का एक बड़ा पूल जोड़े हैं जिनके पास कम ध्यान और पिक्सट्रल दृष्टि एन्कोडर है। भाषा मॉडल प्रत्येक token के लिए विशेषज्ञों का एक छोटा समूह चुनता है, जबकि इसका ध्यान सूचकांक यह चयन करता है कि कौन से पहले वाले token पदों पर ध्यान देना चाहिए। ये विरलता के दो भिन्न रूप हैंः एक फ़ीड-फॉरवर्ड नेटवर्क का चयन करता है, दूसरा संदर्भ स्थितियों को चुनता है।
पाठ डिकोडर में 72 परतें, 6,144 का एक छिपा आयाम और 64 ध्यान सिर हैं। इसके ध्यान ब्लॉक मल्टी-हेड Latent Attention (एमएलए) को एक DeepSeek Sparse Attention (डीएसए) इंडेक्सर के साथ जोड़ते हैं, जो GLM और 5.3 जैसे मॉडलों में भी देखा जाता है। एमएलए एक संपीड़ित केवी प्रतिनिधित्व रखता है, और डीएसए प्रत्येक क्वेरी के लिए 2,048 प्रमुख पदों का चयन करता है। प्रत्येक डिकोडर ब्लॉक 3:1 RoPE से NoPE पैटर्न का अनुसरण करता है: तीन डिकोडर्स परतें RoPE और हर चौथी परत NoPE का उपयोग करती हैं। यह मॉडल विभिन्न स्तरों पर केवी स्थिति को भी साझा करता है।
पहली डिकोडर परत एक घने फीड-फॉरवर्ड नेटवर्क का उपयोग करती है। अन्य 71 परतें MoE ब्लॉक का उपयोग करती हैं, जिसमें एक सॉफ्टमैक्स router प्रत्येक token के लिए 128 विशेषज्ञों में से चार को चुनता है। एक साझा विशेषज्ञ हमेशा चयनित विशेषज्ञों के साथ चलता है, token पर कुल पांच सक्रिय विशेषज्ञ। स्थानिक एन्कोडिंग के लिए, Mistral लेरोप का उपयोग करता है, जो प्रति आवृत्ति एक सीखे गुणक के साथ YaRN-स्केल्ड RoPE है।
दृश्य पक्ष को 30 परतों के साथ 1.6B पिक्सट्रल एन्कोडर द्वारा संभाला जाता है, एक छिपा आयाम 2,048 और 16 ध्यान सिर। यह 14 × 14 पैच और स्थानिक मर्ज आकार 2 के साथ एक पैच-विलय प्रोजेक्टर का उपयोग करता है।
cybersecurity : प्रजनन भेद्यता बिंदु है
Mistral Large 4 ने Artificial Analysis Cyber Index परीक्षण पर 82% स्कोर किया है, जो एक मॉडल को open-source में वास्तविक भेद्यता पुनः पेश करने के लिए कहता है और फिर software पैच करता है। Mistral रिपोर्ट करता है कि कई बंद सीमा मॉडल एक ही परीक्षण पर शून्य के करीब स्कोर करते हैं क्योंकि वे काम करने का प्रयास करने से इनकार करते हैं। यह अंतराल रक्षकों के लिए महत्वपूर्ण है: एक भेद्यता को ठीक करने के लिए आमतौर पर इसे पहले पुनः पेश करना आवश्यक होता है।
Mistral के आंतरिक परीक्षण में, यह मॉडल malware विश्लेषण, कमजोरियों को प्राथमिकता देने और पता लगाने के नियमों को लिखने के लिए भी उपयोगी था - ऐसे कार्य जिनके लिए इसे स्पष्ट रूप से प्रशिक्षित नहीं किया गया था। कंपनी मुख्य रूप से रक्षात्मक सुरक्षा कार्यों के लिए मॉडल की स्थिति रखती है। भेद्यता अनुसंधान और घटना प्रतिक्रिया अक्सर मॉडल इनपुट में हमलों की तरह दिखते हैं, इसलिए बंद-स्रोत फ़िल्टर उन्हें अवरुद्ध कर सकते हैं, और API पर निर्भर एक टीम किसी घटना के बीच पहुंच खो सकती है। खुले भार उपयोग नीति और तैनाती दोनों को उपयोगकर्ता के नियंत्रण में डाल देते हैं।
मॉडल अभी भी हानिकारक अनुरोधों को अस्वीकार करता है। Mistral के अनुसार, जेलब्रेकबेंच, स्ट्रॉन्गरेजेक्ट और एजेंटहार्म से साइबर संकेतों पर इसकी औसत अस्वीकार दर किसी भी अन्य open-weight model की तुलना में अधिक है। खुले भार भी शोधकर्ताओं को एक प्रदाता के विवरण पर भरोसा करने के बजाय अस्वीकृति व्यवहार को सीधे मापने की अनुमति देते हैं। सामुदायिक बिल्डरों के लिए, रिलीज़ डाउनस्ट्रीम पथ खोलता हैः fine-tuning छोटे मॉडल Mistral Large 4 पटरियों पर टीआरएल के साथ जो एक विशिष्ट कोड बेस को पैच करते हैं, या पुनरुत्पादित-तब-पैच कार्यों का उपयोग कर रहे हैंजो सत्यापन योग्य इनाम लेते हैं जैसे कि आरएल वातावरण छोटे सुरक्षा मॉडलों को प्रशिक्षित करने के लिए।
कोडिंग, साइबर और एजेंटों में बेंचमार्क परिणाम
29 अक्टूबर तक, 2026, Mistral Large 4 Artificial Analysis Intelligence सूचकांक पर पांचवां सबसे अच्छा open-weight model है। कोडिंग पर, यह डीपएसडब्ल्यूई v1.1, 59.4% एसडब्लूई-एटलस-क्यूएनए और 28.3% टर्मिनल बेंच 4 पर 61.7% प्राप्त करता है। इसका संयुक्त Coding Agent Index स्कोर 49.8% इसे DeepSeek V4 Pro 0813 और Qwen3.8 मैक्स से आगे रखता है। कोडिंग क्षमताओं का विस्तार ज्ञान कार्य तक है, जिसमें 59.9% ऑटोमेशनबेंच पर और 1,393 एएलओ एए-ब्रेफकेस पर हैं, जो व्यावसायिक वर्कफ़्लो और दीर्घकालिक पेशेवर कार्यों का मूल्यांकन करते हैं।
cybersecurity बेंचमार्क पर, तीन परिणाम सामने आते हैं। Mistral Large 4 मॉडल की कमजोरियों को खोजने और ठीक करने की क्षमता का एक स्वतंत्र मूल्यांकन, Artificial Analysis Cyber Index पर विश्व स्तर पर शीर्ष पांच मॉडलों में से एक है। यह सूचकांक के भीतर उस परीक्षण पर उच्चतम रिपोर्ट किए गए स्कोर को प्राप्त करता है 82% जांच और उपचार दोनों का परीक्षण। और यह साइबेंच पर सुरक्षा प्रतियोगिताओं से खींची गई 40 चुनौतियों के एक सूट का 93% हल करता है। मॉडल लेकेरा के बी3 बेंचमार्क पर 93.3% हमले प्रतिरोध का भी प्रदर्शन करता है, जो त्वरित इंजेक्शन हमलों के खिलाफ मजबूती का सबूत जोड़ता है।
दिन शून्य से अनुमान समर्थन
Mistral Large 4 को Transformers, vLLM और llama.cpp के लिए दिन-0 समर्थन के साथ भेज दिया गया। जीजीयूएफ क्वांट्स जीजीयुएफ और लामा.सीपीपी टीम से उपलब्ध हैं, और उपयोगकर्ता Inference Endpoints के साथ दूरस्थ रूप से तैनात कर सकते हैं या Inference Providers के माध्यम से सर्वरलेस अनुमान का उपयोग कर सकते है।
Transformers में, कार्यान्वयन AutoModelForMultimodalLM प्रदान करता है, जिसमें ऑटोप्रोसेसर वार्तालाप और छवि इनपुट तैयार करते हैं। मॉडल तर्क प्रयास के रूप में निम्न, मध्यम या उच्च स्वीकार करता है। डिफ़ॉल्ट उच्च है, और तर्क को अक्षम नहीं किया जा सकता. reasoning_effort को शून्य पर सेट करना अभी भी high का उपयोग करेगा.
vLLM NVFP4 चेकपॉइंट का समर्थन करता है, जिसमें एक छोटा मेमोरी पदचिह्न होता है और NVIDIA Blackwell GPUs. की आवश्यकता होती है। मॉडल भी अतिरिक्त गति-अप के लिए DSpark ड्राफ्टर के साथ vLLM. Llama.cpp और Llama App पहले से ही मॉडल का समर्थन करते हैं; server शुरू करने के बाद, उपयोगकर्ता अंतर्निहित वेबयूआई के माध्यम से चैट करने के लिए localhost:9931 पर जा सकते हैं, अनुमान के लिए छवियां जोड़ सकते हैं और तर्क लीवर को समायोजित कर सकते हैं। लामा.सीपीपी टीम आगे के रूपांतरणों के लिए IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0 और BF16 क्वांट्स भेजती है। 2-बिट क्वांट एकल Apple Silicon Ultra कंप्यूटर पर 512 GB एकीकृत RAM के साथ चलते हैं; अन्य को वितरित अनुमान की आवश्यकता है और कई 889000 या AMD कार्ड पर चल सकता है।
व्यवहार में, एकल M3 Ultra पर Q2_K चलाने से लगभग 90 tokens प्रति सेकंड का प्रीफिल थ्रूपुट और 15 tokens / सेकेंड की उत्पादन गति प्राप्त होती है। 4 x आरटीएक्स6000 PRO पर, अवलोकन किए गए परिणाम थेः एनवीएफपी4 32K संदर्भ आकार के साथ 130 5 590 tokens प्रति सेकंड और लगभग 10 tokens / सेकंड की पीढ़ी; IQ2_XXS 800K संदर्भ आकार में 500 tokens / सेकेंड की प्रीफिलिंग और लघु संदर्भों में 30 tokens per second की पीढ़ी, 129 tokens prefill प्रति सेकेंड और 3 tokens long contexts के लिए गिरती है।
fine-tuning और तैनाती विकल्प
टीआरएल समर्थन दिन शून्य पर पहुंचे। Transformers, trl, और peft के नवीनतम संस्करणों को अपग्रेड करना ही आवश्यक है. Mistral का उदाहरण फाइन-ट्यून मॉडल को बहुभाषी सोच सिखाता है, इसलिए ट्यून किया गया मॉडल सिस्टम प्रॉम्प्ट अनुरोधों की जो भी भाषा में तर्क कर सकता है; स्क्रिप्ट 8xB300s के नोड पर FP8 संस्करण पर चलती है।
Mistral Large 4 भी 8 x NVIDIA H200 GPUs पर तैनात करने के लिए तैयार नुस्खा के साथ Inference Endpoints पर उपलब्ध है। रेसिपी vLLM चलाती है जिसमें FP8 भार सभी आठ GPUs में विभाजित होते हैं, टेंसर और विशेषज्ञ समानांतरवाद का उपयोग करते हुए, और अनुमानित डिकोडिंग के माध्यम से तेज पीढ़ी के लिए मॉडल के अंतर्निहित DSpark ड्राफ्ट हेड का उपयोग करता है। यह 131K tokens तक संदर्भ की सेवा करता है और एक समय में 16 अनुरोधों को संसाधित करता है। अवलोकन किए गए परिणामः एक एकल अनुरोध को 1K- token संकेत के लिए लगभग 0.6 सेकंड का समय मिलता है और प्रति सेकंड लगभग 65 tokens की पीढ़ी की गति, 120 13 138 tokens तक पहुंच जाती है जहां डीएसपार्क के ड्राफ्ट स्वीकार किए जाते हैं। सोलह हजार token संकेत, एक समय में चार, कुल मिलाकर लगभग 4,300 tokens प्रति सेकंड पर प्री-फिल किए जाते हैं, जिसमें 899 सेकंड का पहला token होता है। लोड के तहत, एंडपॉइंट 1,000 ShareGPT वार्तालापों में लगभग 480 tokens प्रति सेकंड की कुल पीढ़ी प्रदान करता है। एंडपॉइंट OpenAI -संगत API को उजागर करता है; तर्क_प्रयास फ़ील्ड नियंत्रित करता है कि उत्तर देने से पहले मॉडल कितना कारण देता है, और जवाब विकल्पों में तर्क के साथ वापस आता है [0]. संदेश. सामग्री। उपकरण कॉल, संरचित आउटपुट, छवि इनपुट और स्ट्रीमिंग मानक Chat Completions क्षेत्रों के माध्यम से समर्थित हैं।
Dell AI Servers (NVIDIA H200, B200, GB200, या GB300) के लिए, Dell -ai CLI Mistral Large 4 के लिए एक अनुकूलित नुस्खा स्थापित करता है, उदाहरण के लिए NVIDIA B300 नोड पर। अधिक विवरण Dell Enterprise Hub में उपलब्ध हैं.
क्या देखें
भार Mistral Large 4 संग्रह में उपलब्ध हैं, स्थानीय रन के लिए GGUFs और होस्ट किए गए परिनियोजन के लिए Inference Endpoints के साथ। सुरक्षा टीमों के लिए तत्काल प्रश्न यह है कि क्या एक open-weight model जो भेद्यता प्रजनन का प्रयास करेगा, उनकी घटना-प्रतिक्रिया प्लेबुक को बदल देगा; निर्माताओं के लिए तात्कालिक सवाल ये है कि Mistral Large 4 पटरियों पर कितनी बारीकियां छोटे, सस्ते सुरक्षा मॉडल को धक्का दे सकती हैं। Mistral समुदाय को हब पर फाइन-ट्यून, क्वांट्स और अन्य कलाकृतियों को साझा करने के लिए आमंत्रित कर रहा है।

Comments (0)