Intern Lumina U2 ऑम्नी-विजुअल समझ और छवि पीढ़ी के लिए कई कोडबुक के साथ एक प्रसार LLM है।
Intern Lumina U2 एक असतत प्रसार LLM के माध्यम से छवि उत्पादन और संपादन के साथ छवि, वीडियो और 3 डी समझ को एकीकृत करता है।
मुख्य जानकारी
- Intern Lumina U2 एक 16.9B मिश्रण-विशेषज्ञ प्रसार LLM है जिसमें 1.4B सक्रिय मापदंड हैं, जो छवि, वीडियो और 3 डी समझ को text-to-image पीढ़ी के साथ एकीकृत करता है।
- यह दृश्य सामग्री को बहु-कोडबुक असतत tokens के साथ मॉडल करता है, प्रति दृश्य स्थिति 8 एटोकेन कोड पैक करता है और लंबे अनुक्रमों के बिना विस्तार में सुधार करने के लिए समानांतर प्रसार डिकोडिंग प्लस एक हल्के ऑटोरेग्रेसिव हेड का उपयोग करता है।
- वी-सत्यापन के साथ इसका पठार-हॉल्टन नमूनाकरण कथित तौर पर छवि पीढ़ी के लिए 4.45x एंड-टू-एंड स्पीडअप प्रदान करता है, जो पुनरावर्ती प्रसारण डेनोइजिंग की लागत को कम करता है।
- बेंचमार्क परिणाम कुछ बड़े मॉडलों की तुलना में बहुत कम सक्रिय मापदंडों का उपयोग करते हुए प्रतिस्पर्धी पीढ़ी के स्कोर के साथ दृश्य समझ, वीडियो, 3 डी और text-to-image कार्यों पर मजबूत प्रदर्शन दिखाते हैं।
- मॉडल को 1,024 आरोही 910B एनपीयू पर अंत-से-अंत तक प्रशिक्षित और मूल्यांकन किया गया था, अतिरिक्त NVIDIA सत्यापन के साथ, जो त्वरक प्लेटफार्मों में व्यावहारिक लचीलेपन का संकेत देता है।
Intern Lumina U2 एक एकल एकीकृत मॉडल है जो text-to-image पीढ़ी और छवि संपादन के साथ-साथ छवि, वीडियो और 3 डी समझ को संभालता है। यह केवल 1.4B सक्रिय मापदंडों के साथ एक 16.9B मिश्रण-विशेषज्ञ ( MoE ) प्रसार large language model है, और इसके डेवलपर्स इसे पहले फैलाव LLM (dLLM) के रूप में वर्णित करते हैं जो पूरी तरह से असतत अंतरिक्ष में बहु-कोडबुक दृश्य tokens का मॉडलिंग करता है।
रिलीज़ महत्वपूर्ण है क्योंकि अधिकांश "ओम्नी" सिस्टम आज एक भाषा की रीढ़ पर एक अलग निरंतर छवि जनरेटर बोल्ट करते हैं। Intern Lumina U2 इसके बजाय समझ, पीढ़ी और संपादन को एक बैकबोन, एक token इंटरफ़ेस और एक मुखौटा-प्रसार उद्देश्य पर रखता है।
छवियों, वीडियो और 3 डी के लिए एक रीढ़
मॉडल कार्यों में भार का एक एकल सेट साझा करता है। छवि, वीडियो और 3 डी समझ, text-to-image पीढ़ी और छवि संपादन सभी एक ही मुखौटा-प्रसार प्रशिक्षण उद्देश्य के माध्यम से चलते हैं, जिसमें कोई अलग निरंतर जनरेटर संलग्न नहीं है।
वह डिजाइन multimodal AI में लंबे समय से चले आ रहे विभाजन को लक्षित करता हैः मॉडल जो छवियों को अच्छी तरह से पढ़ते हैं, अक्सर उन्हें खराब रूप से उत्पन्न करते हैं, और इसके विपरीत। प्रत्येक मोडलिटी के लिए एक असतत token इंटरफ़ेस का उपयोग करके, Intern Lumina U2 पीढ़ी को अलग पाइपलाइन की बजाय समझ का प्राकृतिक विस्तार बनाने की कोशिश करता है।
बहु-कोडबुक tokens बिना लंबे अनुक्रम के विस्तार जोड़ें
Intern Lumina U2 में प्रत्येक दृश्य स्थिति 8 AToken कोड लेती है। यह डिजाइन का मल्टी-कोडबुक हिस्सा हैः सूक्ष्म दृश्य विवरण को पकड़ने के लिए अनुक्रम को खींचने के बजाय, मॉडल एक ही स्थान पर कोडों में अतिरिक्त जानकारी पैक करता है।
डिकोडिंग दो चरणों में काम करता है। प्रसार रीढ़ की हड्डी समानांतर रूप से पदों को डिकोड करती है, जबकि एक हल्का ऑटोरेग्रेसिव (एआर) सिर प्रत्येक स्थिति के भीतर कोड का अनुमान लगाता है। परिणाम अपरिवर्तित अनुक्रम लंबाई पर समृद्ध दृश्य विवरण होता है, जो गणना लागत को गुब्बारा रखने से रखता है।
पठार-हॉल्टन नमूनाकरण और वी-सत्यापन के साथ तेजी से नमूने
पीढ़ी की गति को वी-सत्यापन (पीएचवी) के साथ प्लेटो-हॉल्टन नमूनाकरण से बढ़ावा मिलता है, जो डेवलपर्स छवि उत्पादन के लिए 4.45 × एंड-टू-एंड स्पीडअप प्रदान करता है। तेजी से नमूने फैलाव मॉडल के लिए एक व्यावहारिक चिंता का विषय है, क्योंकि पुनरावर्ती डिनोइजिंग आमतौर पर पाइपलाइन का सबसे धीमा हिस्सा होता है।
1,024 Ascend 910B NPU पर प्रशिक्षित और परीक्षण किया गया
Intern Lumina U2 को प्रशिक्षित किया गया, अनुमान लगाया गया और 1,024 आरोही 910B एनपीयू पर अंत तक मूल्यांकन किया गया। टीम ने प्लेटफार्मों में व्यवहार की जांच करने के लिए NVIDIA सत्यापन पास भी चलाया। यह तैनाती की योजना बनाने वाली टीमों के लिए एक उल्लेखनीय विवरण है, क्योंकि यह दर्शाता है कि पूर्ण स्टैक का अभ्यास केवल NVIDIA GPUs के बजाय Ascend hardware पर किया गया था।
बेंचमार्क परिणामः समझ
छवि की समझ पर, Intern Lumina U2 10 में से 6 बेंचमार्क पर सबसे अच्छा या सबसे अच्छा जुड़ा हुआ है, और 8 में एक ही रीढ़ की हड्डी LLaDA2.0-Uni को हराता है। रिपोर्ट किए गए स्कोर में CharXiv-DQ 85.9, HallusionBench 64.6, MathVision 36.5 और DynaMath 63.6 शामिल हैं।
वीडियो और 3 डी के लिए, मॉडल सभी तीन वीडियो बेंचमार्क पर सबसे अच्छा है: Video-MME 56.7, MLVU 62.1 और MVBench 61.8. यह 3D विशेषज्ञों ShapeLLM और PointLLM से आगे 3D MM-Vet 50.5 भी पोस्ट करता है।
बेंचमार्क परिणामः text-to-image
एकीकृत मॉडलों में, Intern Lumina U2 डीपीजी-बेंच (87.79), यूनीजेनबेन्च (86.11) और टीआईआईएफ-बैंक (88.57 / 87.08 शॉर्ट / लॉन्ग) पर सबसे अच्छा है, और जेनेवल (89) पर सर्वश्रेष्ठ को बांधता है। यह FLUX.1 -dev से बेहतर प्रदर्शन करता है, तथा लगभग 14 गुना कम सक्रिय मापदंडों का उपयोग करते हुए जेनवेल, युनिजेनबेंच और टीआइआईएफ बेंच पर Qwen - इमेज को पार कर जाता है।
कि पैरामीटर अंतर दक्षता-दिमाग टीमों के लिए शीर्षक दावा हैः प्रतिस्पर्धी पीढ़ी सक्रिय कंप्यूटिंग का एक अंश पर स्कोर।
वैज्ञानिक आरेख और परीक्षा-शैली भौतिकी
दो संकीर्ण परिणाम बाहर खड़े हैं। VeriphyT2IBench पर, मॉडल GPT-Image-1 और Gemini 2.5 Flash Image से ऊपर 76.58 पर सबसे अच्छा स्थानीय स्कोर लेता है। GenExam-Physics पर, यह 44.8 पर सामान्य प्रयोजन एकीकृत मॉडलों के बीच उच्चतम आरामदायक स्कोर दर्ज करता है। दोनों ही आरेख-भारी और तर्क-भरी छवि कार्यों की ओर इशारा करते हैं, जहां एकीकृत मॉडल अक्सर विशेष प्रणालियों से पीछे रह जाते हैं।
पाठकों के लिए इसका क्या अर्थ है
यदि दावे सही हैं, तो Intern Lumina U2 से पता चलता है कि एक एकल असतत प्रसार रीढ़ की हड्डी एक अलग जनरेटर के बिना दृश्य सामग्री को पढ़ने, उत्पन्न करने और संपादित कर सकती है और बहु-कोडबुक tokens प्लस पीएचवी नमूनाकरण एक ही समय में विस्तार और गति प्राप्त करने के लिए व्यवहार्य तरीके हैं। Ascend प्रशिक्षण रन यह भी संकेत देता है कि स्टैक एक त्वरक विक्रेता से बंधा नहीं है।
खुले प्रश्न व्यावहारिक हैंः वास्तविक संपादन कार्यप्रवाह पर मॉडल कैसे व्यवहार करता है, बेंचमार्क संकेतों के बाहर पीएचवी नमूनाकरण कितना स्थिर है और क्या 1.4B सक्रिय पैरामीटर तैनात होने के बाद वास्तविक लागत बचत में अनुवाद करते हैं। टीम का कहना है कि सवाल और प्रतिक्रिया स्वागत योग्य हैं, इसलिए स्वतंत्र परीक्षण अगली चीज है जिसे देखना चाहिए।
Comments (0)