उपकरण समीक्षाएँ

LFM2.5-VL-DSpark: दृश्य भाषा मॉडल के लिए एक तेज़ दृष्टिकोण

Liquid AI ने अपने LFM2.5-VL-3B विजन-लैंग्वेज मॉडल के लिए DSpark ड्राफ्ट मॉडलों को जारी किया, Apple Silicon पर 3.13x और H100 GPU पर 2.66x तक डिकोडिंग समय में कटौती करने के लिए सट्टा डीकोडिंग का उपयोग करते हुए। हल्का ~280M-पैरामीटर ड्राफ़्टर लक्ष्य मॉडल की छिपी हुई स्थितियों को टैप करता है और एक दृष्टि-भाषा एसएफटी मिश्रण के साथ प्रशिक्षित किया गया था। लामा.सीपीपी, एमएलएक्स-वीएलएम और एसजीएलएन्ग के लिए डे-वन समर्थन के साथ वजन Hugging Face पर हैं, और आउटपुट बिल्कुल लक्ष्य मॉडल के बराबर रहता है।

Liquid AI ने अपने LFM2.5-VL-3B विजन-लैंग्वेज मॉडल के लिए DSpark ड्राफ्ट मॉडलों को जारी किया, जो एप्पल सिलिकॉन पर 3.13x और एक H100 GPU पर 2.66x तक डिकोडिंग समय में कटौती करता है। इस रिलीज में लामा.सीपीपी, एमएलएक्स-वीएलएम और एसजीएलएन्ग के लिए पहले दिन का समर्थन शामिल है, और वजन सेफटेंसर्स और जीजीयूएफ प्रारूपों में Hugging Face पर उपलब्ध हैं।

यदि आप एज डिवाइस या जीपीयू पर विजन-लैंग्वेज मॉडल चलाते हैं, तो यह पोस्ट बताती है कि नया ड्राफ्टर कैसे काम करता है, आपके हार्डवेयर पर क्या गति की उम्मीद करनी चाहिए और शुरुआत कैसे करें।

एक दृष्टि मॉडल के लिए अनुमानित डिकोडिंग क्या जोड़ता है

ड्राफ्टर Liquid AI के पाठ-केवल LFM2.5-DSpark ड्राफ्टर्स की तरह ही डिज़ाइन का अनुसरण करता है। यह लक्षित मॉडल की छिपी हुई स्थितियों को परतों के एक निश्चित सेट पर टैप करता है और उनका उपयोग k उम्मीदवार टोकन के ब्लॉक का प्रस्ताव करने के लिए करता है, जिसे लक्ष्य मॉडल तब सत्यापित करता है. क्योंकि छवि पैच और टेक्स्ट टोकन उन परतों से पहले साझा प्रतिनिधित्व में प्रोजेक्ट किए जाते हैं, ड्राफ़्टर हमेशा उसी आयाम के छिपे हुए राज्य वैक्टर के साथ काम करता है इसलिए निष्कर्ष एल्गोरिथ्म पाठ मॉडलों के लिए इस्तेमाल किया जाने वाला समान होता है।

ड्राफ्टर हल्का है: लगभग 280M पैरामीटर, 3B लक्ष्य मॉडल के शीर्ष पर केवल 8.9% जोड़ते हैं।

इसे कैसे प्रशिक्षित किया गया था

Liquid AI ने अपने डीएसपार्क नुस्खा के साथ ड्राफ्टर को प्रशिक्षित किया, जिसमें विजन-लैंग्वेज एसएफटी डेटा का मिश्रण अपेक्षित वर्कलोड की ओर भारित किया गया था। 3, 4 और 5 परतों में एब्लेशन्स के बाद, टीम एक सरलीकृत ध्यान-केवल ड्राफ़्टर पर बस गई जिसमें 4 परतें थीं और ब्लॉक आकार 9 था। प्रशिक्षण 10 युगों तक चला, प्रत्येक युग के बाद मापा जाने वाले स्वीकृति दरों के साथ कमी लौटने से पहले अधिक प्रशिक्षण टोकन के साथ सुधार हुआ। अनुमान समय पर, Liquid AI हार्डवेयर के आधार पर 8 या 9 के ब्लॉक आकार की सिफारिश करता है।

उपकरण पर मापा गतिवर्धन और GPU

दोनों कॉन्फ़िगरेशनों ने 8 के डीएसपार्क ब्लॉक आकार का उपयोग किया और एमएमस्पेक बेंचमार्क के बाद छह दृष्टि-आधारित कार्यों पर मूल्यांकन किया गयाः सामान्य वीकेए, पाठ वीकेई, छवि कैप्शनिंग, चार्ट वीकेआई, जटिल तर्क और बहु-मोड़ वार्तालाप।

ऑन-डिवाइस (एप्पल सिलिकॉन) के रूप मेंः. . .

  • M5 Max पर एमएलएक्सः डिकोडिंग 2.30x से 3.13x तक तेजी से कार्य करता है; एंड-टू-एंड विलंबता 1.56x से 2.62x में सुधार करती है।
  • M3 Ultra पर llama.cpp: डिकोडिंग 1.57x से 2.14x तक बेहतर है; एंड-टू-एंड 1.30x से 1.77x तक सुधार करता है।

GPU (H100) के बारे मेंः- - - -: - - .

  • डिकोडिंग सबसे अच्छे रूप में 2.66x तेज़ चलती है (स्रोत भी 20.4x आंकड़े को डिकोड करने के लिए सूचीबद्ध करता है), 1.64x से 2.27x तक एंड-टू-एंड सुधारों के साथ।

क्यों डिकोड speedups पूरी तरह से अंत-से-अंत लाभ के लिए अनुवाद नहीं करते

अनुमानित डीकोडिंग केवल डिकोड चरण को तेज करता है दृष्टि एन्कोडर या प्रीफिल नहीं। विजन-भाषा मॉडल में, एक छवि पहले एक दृष्टि एनकोडर से गुजरती है, और भाषा रीढ़ की हड्डी तब पाठ संकेत के साथ सैकड़ों दृश्य टोकन संसाधित करती है। एज डिवाइसों में डेटासेंटर जीपीयू की तुलना में बहुत कम कंप्यूटिंग होती है, इसलिए प्रीफिल्ड वहां एंड-टू-एंड विलंबता का अधिक हिस्सा खपत करता है (हालांकि एम 5 के प्रति-कोर GPU तंत्रिका त्वरक इस अंतर को कम करते हैं) ।

यह अमदाल का कानून व्यवहार में हैः जब प्रीफिल पहले से ही दीवार के समय पर हावी होता है, तो यहां तक कि एक बड़ा डिकोड त्वरण केवल एक मामूली अंत-से-अंत सुधार देता है।

इसे कैसे चलाया जाए

  • SGLang: LFM2 लक्ष्यों के लिए DSpark समर्थन के साथ एक निर्माण की आवश्यकता है (PR #40651लक्षित लक्ष्य को प्रारूप के साथ लॉन्च करें, फिर http://localhost:30000/v1 पर ओपनएआई-संगत एंडपॉइंट क्वेरी करें। ब्लॉक आकार ड्राफ्ट config.json से पढ़ा जाता है।
  • लामा. सीपीपी: संबंधित llama.cpp निर्माण की आवश्यकता है (PR #29339)
  • MLX-VLM: संबंधित निर्माण की आवश्यकता है (पीआर)#2280ब्लॉक का आकार साइडकार मेटाडेटा से आता है, जिसमें n-max संलग्न होता है।

एक महत्वपूर्ण गारंटी: अनुमानित डिकोडिंग यहाँ सटीक है। लक्ष्य मॉडल प्रत्येक प्रस्तावित टोकन को सत्यापित करता है, इसलिए लालची आउटपुट अकेले लक्ष्य चलाने के समान होता है। प्रति-प्रतिक्रिया समय रिपोर्ट draft_n / draft_N_accepted.

किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए

इसका उपयोग करें यदि आप LFM2.5-VL-3B को एप्पल सिलिकॉन या H100 GPUs पर तैनात करते हैं और आपके कार्यभार डिकोड-भारी होते हैं मल्टी-टर्न वार्तालाप, कैप्शनिंग, और लंबी पीढ़ियों का सबसे अधिक लाभ होगा। लामा.सीपीपी, एमएलएक्स और एसजीएलएंग में ओपन-वेट, एक दिन के समर्थन से गोद लेना सरल हो जाता है।

अभी के लिए इसे छोड़ दो यदि आपके कार्यभार में प्रीफिल का वर्चस्व है कम्प्यूटिंग-सीमित उपकरणों पर बड़ी छवियों के साथ जोड़े गए छोटे संकेत, क्योंकि इन मामलों में एंड-टू-एंड लाभ मामूली होंगे।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.