भाग 2 Transformer वास्तुकला के विकास को वैनिला Transformers से आधुनिक LLMs तक ट्रैक करता है।
यह क्वेरी, कुंजी, मूल्य ध्यान, ऑटोरेग्रेसिव पीढ़ी, KV Cache पुनः उपयोग, GPU मेमोरी वृद्धि और MQA, GQA, MLA को LLM सेवा लागत में कमी के कारण समझाता है।
Transformers
पता करें कि क्या आपका मॉडल AWS Trainium पर चलता है
एक टॉर्च-न्यूरोनएक्स स्पेस AWS Trainium पर परीक्षण किए गए Transformers मॉडल को सूचीबद्ध करता है, जिसमें PASS परिणाम, कोर, समय, मेमोरी, स्क्रिप्ट और परीक्षणों को फिर से चलाने के चरण दिखाए जाते हैं।