उपकरण समीक्षाएँ

वीएलएम-इमेज दृश्य बुद्धि के उद्देश्य से एक एकीकृत छवि पीढ़ी मॉडल है।

वीएलएम-इमेज एकल GPU के लिए एक साझा अनुक्रम के माध्यम से समझ, पीढ़ी, संपादन और बहु-संदर्भ संश्लेषण को एकीकृत करता है।

वीएलएम-इमेज दृश्य बुद्धि के उद्देश्य से एक एकीकृत छवि पीढ़ी मॉडल है।

मुख्य जानकारी

  • वीएलएम-इमेज एक एकीकृत छवि foundation model है जो एकल GPU उपभोक्ता APP तैनाती के लिए multimodal समझ, text-to-image पीढ़ी, निर्देश-निर्देशित संपादन और बहु-संदर्भ संश्लेषण को जोड़ती है।
  • यह एक मिश्रित अनुक्रम के रूप में संकेतों, संदर्भ छवियों और लक्षित छिपे हुए को संसाधित करता है जो साझा ध्यान के साथ Transformers की मेरुदंड का उपयोग करते हैं लेकिन कार्य हस्तक्षेप को कम करने के लिए अलग-अलग समझ और पीढ़ी पैरामीटर।
  • मॉडल विरल मिश्रण-विशेषज्ञ क्षमता का उपयोग करता हैः यह 31.7 अरब मापदंडों को संग्रहीत करता है लेकिन प्रति लक्षित गुप्त token पर केवल लगभग 5.4 बिलियन पीढ़ी पैरामीटर सक्रिय करता है।
  • इसका प्रशिक्षण एक पीढ़ी-उन्मुख डेटा इंजन, द्विभाषी एनोटेशन, सत्यापित संपादन पर्यवेक्षण, देशी 1.5K संकल्प समर्थन और नीति आसवन से पहले उत्पादन और संपादन के लिए अलग पुरस्कार अनुकूलन को जोड़ती है।
  • 1536-रिज़ॉल्यूशन संस्करण PRISM-बेंच, Qwen -इमेज-बैंक और यूनिकबेन्च पर मूल्यांकन किए गए open-source मॉडलों के बीच पहले स्थान पर है, जबकि WeLM-Image-Turbo एक एकल NVIDIA H20 GPU पर 4.98 सेकंड में 1024×1024 छवि उत्पन्न करता है।

वीएलएम-इमेज एक एकीकृत छवि foundation model है जो multimodal की समझ को text-to-image पीढ़ी, निर्देश-निर्देशित संपादन और बहु-संदर्भ संश्लेषण के साथ जोड़ती है। यह WeChat के बड़े पैमाने पर उपभोक्ता अनुप्रयोगों में एकल- GPU तैनाती के लिए डिज़ाइन किया गया है। ग्राहक apps में इमेज जनरेशन और एडिटिंग सुविधाओं का निर्माण करने वाली टीमों के लिए व्यावहारिक मूल्य साझा पाइपलाइन है जो प्रॉम्प्ट्स और संदर्भों को समझ सकता है, छवियां उत्पन्न कर सकती है, उन्हें निर्देशों के साथ संपादित कर सकता है और विशेष प्रणालियों के बीच स्विच किए बिना कई संदर्भ छवियों को मिला सकता है।

WeLM-Image is a unified image generation model aimed at visual intelligence.

समझ और पीढ़ी के लिए एक साझा अनुक्रम

मॉडल पाठ, संदर्भ छवियों और लक्ष्य लैंटेंट को एक इंटरलेवेड अनुक्रम के रूप में संसाधित करता है। इसका मतलब है कि एक ही इनपुट स्ट्रीम प्रॉम्प्ट, स्रोत छवियां और उत्पन्न या संपादित होने वाली छवि प्रतिनिधित्व ले जा सकता है। समझने और पीढ़ी को अलग-अलग रीढ़ की हड्डी माना जाता है जिन्हें एक साथ सिलाई करने की आवश्यकता होती है, WeLM-Image उन्हें Transformers बैकबोन के मिश्रण के माध्यम से जोड़ता है।

रीढ़ की हड्डी साझा ध्यान का उपयोग करती है, जबकि समझ और पीढ़ी स्वतंत्र मापदंडों को रखती है। उस डिजाइन विकल्प का उद्देश्य अनुकूलन हस्तक्षेप को सीमित करना हैः जब एक मॉडल छवियों को समझने के लिए सीखता है और उसी समय चित्र बनाता है, तो दो कार्य अन्यथा अलग-अलग दिशाओं में साझा भार खींच सकते हैं। टास्क-विशिष्ट पैरामीटर को अलग रखने से दोनों कार्यों को सीधे प्रतिस्पर्धा करने के लिए मजबूर किए बिना एकीकृत प्रणाली के लाभों को संरक्षित करने का एक तरीका है।

प्रत्येक पथ पर रखे गए विशेषज्ञों के मिश्रण मॉड्यूल द्वारा विरल क्षमता को संभाला जाता है। रिपोर्ट की गई कुल 31.7 बिलियन संग्रहीत पैरामीटर हैं, लेकिन प्रति लक्षित गुप्त token केवल लगभग 5.4 अरब पीढ़ी पैरामीटर सक्रिय होते हैं। एक उत्पादन प्रणाली के लिए, यह अंतर मायने रखता हैः संग्रहित पैरामीटर मॉडल के आकार का वर्णन करते हैं, जबकि सक्रिय पैरामीटर किसी विशेष token के लिए आवश्यक कंप्यूटिंग का विवरण देते हैं। large model को जरूरी नहीं कि हर चरण के लिए इसकी सभी क्षमता का उपयोग किया जाए।

training data और संपादन पर्यवेक्षण

वीएलएम-इमेज एक पीढ़ी उन्मुख डेटा इंजन के आसपास बनाया गया है। यह अर्थपूर्ण कवरेज और संपादन कार्यों को संतुलित करने के लिए बड़े पैमाने पर दृश्य क्लस्टरिंग के साथ ज्ञान आधारित दृश्य शब्दावली का संयोजन करता है। व्यावहारिक रूप से, डेटा रणनीति कई दृश्य अवधारणाओं को कवर करने की कोशिश करती है जबकि मॉडल को पर्याप्त उदाहरण भी देती है कि छवियों को कैसे बदला जा सकता है, न कि JUST बनाए गए हैं।

प्रशिक्षण-समय मूल्यांकन पुनरावर्ती डेटा परिशोधन को निर्देशित करता है। यह मॉडल द्विभाषी एनोटेशन और सत्यापित संपादन पर्यवेक्षण का भी उपयोग करता है ताकि देशी 1.5K रिज़ॉल्यूशन तक प्रगतिशील प्रशिक्षण का समर्थन किया जा सके। द्विभाषिक लेबल भाषाओं में अनुदेशों के बाद सुधार कर सकते हैं, जबकि सत्यापित संपादित निगरानी सिस्टम को अधिक विश्वसनीय संकेत देती है कि कैसे एक संपादन दिखना चाहिए।

प्रशिक्षण प्रक्रिया पीढ़ी और संपादन अनुकूलन को भी अलग करती है। WeLM-Image प्रत्येक कार्य के लिए रूब्रिक और चेकलिस्ट आधारित पुरस्कार का उपयोग करता है, फिर शोर-जागरूक नीति पर आसवन के माध्यम से विशेष नीतियों को समेकित करता है। यह एक बहु-चरण दृष्टिकोण हैः पहले इनाम संकेतों के साथ उत्पादन और संपादन का अनुकूलन करें, फिर उन कार्य-विशिष्ट व्यवहारों को अधिक एकीकृत नीति में लाएं।

बेंचमार्क परिणाम और तेज टर्बो संस्करण

रिपोर्ट की गई समग्र तुलनाओं में, 1536-रिज़ॉल्यूशन मॉडल PRISM-बेंच पर मूल्यांकन किए गए open-source -मॉडलों के बीच पहले स्थान पर है, Qwen -इमेज-बैंक और यूनिकबेन्च। उन परिणामों को प्रत्येक संभावित छवि कार्य या तैनाती परिदृश्य के बारे में एक दावे के रूप में नहीं, बल्कि मॉडल रिपोर्ट के हिस्से के तौर पर प्रस्तुत किया गया है। छवि मॉडलों की तुलना करने वाले पाठकों के लिए, बेंचमार्क नाम महत्वपूर्ण विवरण हैंः वे दिखाते हैं कि जहां 1536 रिज़ोल्यूशन संस्करण का मूल्यांकन किया गया था और किस प्रकार की तुलना इसके भीतर स्थित है।

काम की एक ही पंक्ति में Mean Flow-आधारित कुछ-चरण आसवन के माध्यम से उत्पादित वीएलएम-इमेज-टर्बो भी शामिल है। टर्बो संस्करण को आठ मार्गदर्शन मुक्त चरणों का उपयोग करके एकल NVIDIA H20 GPU पर 4.98 सेकंड में एक 1024 बार 1024 छवि उत्पन्न करने के रूप में वर्णित किया गया है। यह इसे सबसे ठोस विलंबता संबंधित विवरण बनाता हैः एक छोटी कदम गिनती, एक निश्चित रिज़ॉल्यूशन और एक GPU लक्ष्य।

छवि प्रणालियों के लिए यह क्यों महत्वपूर्ण है

उपभोक्ता छवि सुविधाओं का निर्माण करने वाली टीमों के लिए, मुख्य सवाल यह नहीं है कि क्या एक मॉडल एक अच्छी छवि बना सकता है, लेकिन क्या वह संदर्भों को समझ सकता है, संपादन का पालन कर सकता है और व्यावहारिक सेवा बजट के भीतर रह सकता है। WeLM-Image की एकीकृत इनपुट प्रारूप, विरल क्षमता और एकल GPU परिनियोजन लक्ष्य सभी उस परिचालन उद्देश्य की ओर इशारा करते हैं।

देखने के लिए अगली चीजें यह हैं कि रिपोर्ट की गई बेंचमार्क रैंकिंग मूल्यांकन सेट से बाहर कैसे रहती है, संपादन-भारी उपयोग में मूल 1.5K आउटपुट कैसा प्रदर्शन करता है, और क्या 4.98-सेकंड टर्बो परिणाम hardware पर स्थिर इंटरैक्टिव अनुभवों में अनुवादित होता है जो NVIDIA H20 GPU के समान है। सबसे ठोस टेकअवे आर्किटेक्चर ही हैः एक अनुक्रम, दो विशेष पैरामीटर पथ, विरल सक्रियण, और पीढ़ी के लिए तेजी से आसुत संस्करण।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.