क्रॉस-लेयर लैंटेंट वेक्टर क्वांटिज़ेशन प्रत्येक परत से embeddings के चरम संपीड़न को सक्षम करता है।
ऑप्टिक जेमा 4 embeddings को साझा कोड के साथ लगभग 100 बार संपीड़ित करता है, 97.8% bfloat16 प्रदर्शन बनाए रखता है और GPU मेमोरी 29.7% कम कर देता है।
ऑप्टिक जेमा 4 embeddings को साझा कोड के साथ लगभग 100 बार संपीड़ित करता है, 97.8% bfloat16 प्रदर्शन बनाए रखता है और GPU मेमोरी 29.7% कम कर देता है।