उपकरण समीक्षाएँ

क्रॉस-लेयर लैंटेंट वेक्टर क्वांटिज़ेशन प्रत्येक परत से embeddings के चरम संपीड़न को सक्षम करता है।

ऑप्टिक जेमा 4 embeddings को साझा कोड के साथ लगभग 100 बार संपीड़ित करता है, 97.8% bfloat16 प्रदर्शन बनाए रखता है और GPU मेमोरी 29.7% कम कर देता है।

क्रॉस-लेयर लैंटेंट वेक्टर क्वांटिज़ेशन प्रत्येक परत से embeddings के चरम संपीड़न को सक्षम करता है।

मुख्य जानकारी

  • ऑप्टिक लगभग 100x द्वारा जेम्मा 4 प्रति-परत एम्बेडिंग को संपीड़ित करता है जबकि बेंचमार्क में बीएफ 16 के प्रदर्शन का 97.8% बनाए रखता है।
  • यह प्रत्येक टोकन को परतों में एक एकल साझा क्वांटिज़्ड कोड असाइन करता है, जिसमें आवश्यक एम्बेडिंग का पुनर्निर्माण करने वाले लेयर-विशिष्ट एफिन डिकोडर होते हैं।
  • विधि केवल पुनर्निर्माण त्रुटि के बजाय गेट और आउटपुट प्रक्षेपण के बाद जैसे डाउनस्ट्रीम मॉडल प्रभावों के खिलाफ संपीड़न को अनुकूलित करती है।
  • कॉम्पैक्ट कोड से BF16 E4B की सेवा GPU मेमोरी को 29.7% तक कम करती है, RTX 4090 पर अधिकतम 0.40% की एक छोटी विलंबता वृद्धि के साथ।
  • ऑप्टिक बैकबोन वेट क्वांटिज़ेशन के साथ भी काम कर सकता है, जिससे मेमोरी-सीमित तैनाती के लिए बड़ी एम्बेडिंग टेबल अधिक व्यावहारिक हो जाती हैं।

मेटा विवरण: ऑप्टिक जेम्मा 4 प्रति लेयर एम्बेडिंग को लगभग 100 × संपीड़ित करता है, 97.8% बीएफ 16 प्रदर्शन को बनाए रखता है और थोड़ा अतिरिक्त विलंबता लागत के साथ GPU स्मृति 29.7% काटना।

टैगः Gemma 4, एम्बेडिंग संपीड़न, ऑप्टिक, भाषा मॉडल सेवा, BF16

विशेष रुप से प्रदर्शित छवि: कॉम्पैक्ट साझा कोड का अमूर्त मैत्रीपूर्ण चित्रण जो स्तरित एम्बेडिंग वेक्टरों में विस्तार कर रहा है, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं, कोई पाठ नहीं

भाषा मॉडल स्केलिंग को ट्रैक करने वाले पाठकों के लिए, ऑप्टिक नामक एक नई विधि जेम्मा 4 में एम्बेडिंग संपीड़न को संभालने का एक व्यावहारिक तरीका प्रदान करती है। यह प्रति-परत एम्बेडमेंट (PLE) को लक्षित करता है, जो E4B के मापदंडों में से 35.2% के लिए जिम्मेदार हैं, और दिखाता है कि अत्यधिक संपीडन अधिक मेमोरी-अनुकूल सेवा करते हुए अधिकांश मापा प्रदर्शन को संरक्षित कर सकता है।

क्यों सम्मिलित संपीड़न मामलों

हाल के कार्य एक उपयोगी स्केलिंग दिशा की ओर इशारा करते हैंः एम्बेडिंग क्षमता बढ़ाने से भाषा मॉडल में सुधार हो सकता है। कैच तैनाती मेमोरी है। जैसे-जैसे अधिक क्षमता एम्बेडिंग तालिकाओं में जाती है, सीमित वातावरणों में सेवा करने के लिए मॉडल कठिन होता जाता है। यह अत्यधिक संपीड़न को तेजी से महत्वपूर्ण बनाता है, क्योंकि लक्ष्य मॉडेल को सीमित स्मृति में फिट करते हुए बड़े एम्बेडेशन के लाभों को बनाए रखना है।

जेम्मा 4 में, पीएलई घटक मॉडल का एक प्रमुख हिस्सा है। 100 × संपीड़न पर, प्रत्येक टोकन-लेयर वेक्टर के लिए केवल पांच बाइट शेष रहते हैं। यदि हर वेक्टर को स्वतंत्र रूप से एन्कोड किया जाता है, तो प्रत्येक को एक छोटा कोड प्राप्त होता है, लेकिन यह दृष्टिकोण एक महत्वपूर्ण अवसर खो देता हैः विभिन्न परतें समान जानकारी को दोहराने के बजाय भंडारण साझा करने में सक्षम हो सकती हैं।

कैसे ऑप्टिक स्तरों के पार एक कोड साझा करता है

OPTIC प्रत्येक टोकन को एक एकल क्वांटिज़्ड कोड देकर उस पैटर्न को बदलता है जो सभी परतों में साझा किया जाता है। फिर, लेयर-विशिष्ट एफिन डिकोडर उस साझा किए गए कोड से विभिन्न PLE वेक्टर का पुनर्निर्माण करते हैं। दूसरे शब्दों में, विधि प्रति टोकन एक कॉम्पैक्ट प्रतिनिधित्व संग्रहीत करती है और प्रत्येक परत को उसकी आवश्यकता के संस्करण को पुनः प्राप्त करने देती है।

यह दृष्टिकोण अनुकूलन लक्ष्य को भी समायोजित करता है कि मॉडल वास्तव में एम्बेडिंग का उपयोग कैसे करता है। केवल पुनर्निर्माण त्रुटि के लिए संपीड़ित करने के बजाय, ऑप्टिक गेट और आउटपुट प्रक्षेपण के बाद अपने प्रभाव के लिए प्रतिनिधित्व फिट बैठता है। इससे संपीड़न उद्देश्य वास्तविक मॉडल व्यवहार के करीब हो जाता है।

Cross-layer latent vector quantization enables extreme compression of embeddings from each layer.

100× संपीड़न क्या रखता है

लगभग 100 × पीएलई संपीड़न पर, ऑप्टिक सात बेंचमार्क में बीएफ 16 ई 4 बी प्रदर्शन का 97.8% रखता है। यह उत्पाद क्वांटिज़ेशन की तुलना में एक बड़ा अंतर है, जो मूल्यांकन की समान शैली के तहत 66.3% को बरकरार रखता है ।

सेवा परिणाम भी व्यावहारिक हैं. कॉम्पैक्ट कोड से सीधे BF16 E4B की सेवा GPU मेमोरी को 29.7% तक कम करती है। समय लागत छोटी हैः एक ही 1 गीगाबाइट कुंजी-मूल्य कैश के साथ RTX 4090 पर, दीवार का समय अधिकतम 0.40% बढ़ जाता है।

ऑप्टिक केवल तालिकाओं को एम्बेड करने तक ही सीमित नहीं है। यह रीढ़ की हड्डी वजन क्वांटिज़ेशन के साथ भी काम करता है, जिसका अर्थ है कि संपीड़न बाकी मॉडल भारों के क्वांटिकेशन के साथ जोड़ा जा सकता है।

पाठक आगे क्या देख सकते हैं

इस रिलीज़ में एक पेपर, कोड और विधि वॉकथ्रू और 100 × PLE आर्टिफैक्ट शामिल हैं। पाठकों के लिए महत्वपूर्ण बात यह है कि साझा-कोड संपीड़न बड़ी एम्बेडिंग तालिकाओं को मेमोरी-सीमित सेवा सेटअप में अधिक उपयोग करने योग्य बना सकता है बिना अधिकांश बेंचमार्क प्रदर्शन का त्याग किए।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.