पता करें कि क्या आपका मॉडल AWS Trainium पर चलता है

मेटा विवरण: टॉर्च-न्यूरोनक्स मॉडल सपोर्ट स्पेस दिखाता है कि कौन से Transformers मॉडल ट्रैनियम पर चल रहे हैं, कोर काउंट्स, रन टाइम्स, मेमोरी और टेस्ट स्क्रिप्ट के साथ।

टैगः ट्रेनियम, मशाल-न्यूरोनक्स, Transformers , AWS Neuron, मॉडल समर्थन

विशेष रुप से प्रदर्शित छवि: मॉडल कार्ड और ट्रेनियम कोर का अमूर्त चित्रण, मैत्रीपूर्ण शैली, कोई लोग नहीं, कोई लोगो नहीं, न ही पाठ

लेखन के समय, टॉर्च-न्यूरोनक्स मॉडल समर्थन स्पेस डेवलपर्स को बताता है कि क्या हब से लोकप्रिय Transformers मॉडल AWS Trainium पर अपरिवर्तित चल रहे हैं और यह प्रत्येक परीक्षण को पुनः पेश करने के लिए उपयोग की जाने वाली स्क्रिप्ट देता है। यह टोरच न्यूरॉन के पहले परिचय का अनुसरण करता है, जो 8900000 के लिए देशी PyTorch बैकएंड है, जिसे टॉर्च न्यूरॉन्क्स के रूप में पैक किया गया था। उस बैकएन्ड के साथ, Transformers अपने स्वयं के मॉडलिंग कोड को ट्रेनीम पर चलाता है, जैसा कि अन्य उपकरणों पर होता है, इसलिए कई हब मॉडल उम्मीदवार हो सकते हैं। अंतरिक्ष इस व्यापक संभावना को परीक्षण परिणामों की एक खोज योग्य सूची में बदल देता है.

अंतरिक्ष सबसे पहले क्या दिखाता है

स्पेस चयनित दृश्य में खुलता है। उस दृश्य में डाउनलोड और ट्रेंडिंग स्कोर द्वारा हब के शीर्ष मॉडल से चुने गए मॉडलों का एक क्यूरेटेड समूह होता है। प्रत्येक पंक्ति परिणाम देती है, Trainium कोर की संख्या जो कि मॉडल को शार्डेड किया जाता है, संकलन सहित रन का वॉल समय और पीक डिवाइस मेमोरी। यह संरचना उपयोगकर्ताओं को परिणाम और इसे प्राप्त करने के लिए उपयोग किए जाने वाले संसाधनों दोनों को देखने में मदद करती है।

किसी दिए गए मॉडल को देखने के लिए, ट्रेंडिंग या डाउनलोड्स दृश्य पर स्विच करें और इसके नाम का हिस्सा टाइप करें। ये दृश्य हब की अपनी रैंकिंग का अनुसरण करते हैं, एक समय में एक कार्य, चाहे कोई मॉडल परीक्षण किया गया था या नहीं। जब कोई मॉडल जानबूझकर छोड़ दिया गया था, तो स्पेस बताता है कि क्यों; ज्यादातर समय इसे प्राथमिकता नहीं दी गई थी, और कभी-कभी यह वास्तव में असंगत होता है। उपयोगकर्ता न्यूरॉन कंपाइलर, neuronx-cc और Transformers के संस्करणों को भी चुन सकते हैं।

लेखन के समय, केवल Transformers मॉडल का परीक्षण किया जाता है, और चयन पाठ-उत्पादन और छवि-पाठ से टेक्स्ट मॉडलों तक सीमित है। अंतरिक्ष विसारकों, वाक्य Transformers , और अन्य Transformers कार्यों में विस्तार करने की योजना बना रहा है।

PASS क्या उपाय करता है

स्पेस में एक PASS का अर्थ है कि एक मॉडल Trainium2 उदाहरण पर चलाया गया, जिसे trn2 के रूप में दिखाया गया है, और चेक आउटपुट उत्पन्न किया। प्रत्येक परीक्षण के लिए, मॉडल को ट्रिनियम 2 इंस्टेंस पर लोड किया जाता है और इसके वजन को पकड़ने के लिए आवश्यक सबसे कम ट्रेनीम कोरों में फैलाया जाता है। अधिकांश मॉडलों को टेंसर समानांतरवाद का उपयोग करके टुकड़े-टुकडे कर दिया जाता है । जब विशेषज्ञों के मिश्रण वाले मॉडल में कोई टैंसर-समानांतर योजना नहीं होती है, तो अंतरिक्ष केवल विशेषज्ञ समानतावाद का प्रयोग करता है।

एक एकल-कोर रन के लिए, स्पेस tokens की तुलना उसी चेकपॉइंट के CPU रन से आउटपुट के साथ करता है। छंटनी वाले रनों के लिए एक छोटा न्यायाधीश मॉडल यह जांचता है कि क्या आउटपुट धाराप्रवाह अंग्रेजी है या नहीं।

परिणाम एक कार्यात्मक जांच है, न कि प्रदर्शन बेंचमार्क। वर्तमान कवरेज उन मॉडलों पर बंद हो जाता है जो 4 Trainium2 उपकरणों या अधिकतम 16 कोर पर फिट होते हैं। एक PASS थ्रूपुट नहीं दिखाता है या लंबी पीढ़ियों के लिए व्यवहार की भविष्यवाणी करता है।

कैसे Trainium2 पर एक परीक्षण फिर से चलाने के लिए

एक मॉडल का चयन दिखाता है कि इसे कैसे चलाया जाए। स्पेस न्यूरॉन स्टैक को सूचीबद्ध करता है जिस पर मॉडल का परीक्षण किया गया था, इसके ऊपर स्थापित करने के लिए पैकेज और रन.पीआई स्क्रिप्ट जो चल रही थी।

run.py उसी सेटअप का उपयोग करता है जिसे TorchNeuron घोषणा में वर्णित किया गया था। यह मॉडल को लोड करने के लिए from_pretrained से कॉल करता है, जब आवश्यक हो तो शार्डिंग लागू करता है और torch.compile ((backend="neuron") के तहत एक स्थिर कैश के साथ उत्पन्न होता है।

उपयोगकर्ता Trainium2 उदाहरण पर एक ही स्क्रिप्ट चला सकते हैं, जिसे trn2 के रूप में दिखाया गया है, जिसमें सूचीबद्ध स्टैक है। एक उदाहरण वातावरण AWS Neuron Deep Learning कंटेनर है। सूचीबद्ध पैकेजों को स्थापित करने के बाद, लिपि चलाएं। टॉर्चरन की कोई आवश्यकता नहीं हैः जब मॉडल शेर्ड किया जाता है तो लिपि अपने स्वयं के टोरच.डिस्ट्रीब्यूटेड रैंक लॉन्च करती है।

पहला निष्पादन संकलन के माध्यम से मॉडल ग्राफ बनाता है। यदि उपयोगकर्ता उस प्रतीक्षा से बचना चाहते हैं, तो वे स्पेस परीक्षण के दौरान एक ही कंपाइलर द्वारा बनाए गए ग्राफ़ का पुनः उपयोग कर सकते हैं। ये ग्राफ़ सार्वजनिक एनईएफएफ कैश बाल्टी से उपलब्ध हैं, और अंतरिक्ष कंपिलर संस्करण के लिए मिलान आदेश प्रदान करता है।

परीक्षण के परिणाम एक dataset के रूप में खुले हैं

इंटरफेस सार्वजनिक AWS -न्यूरॉन/टॉर्च-न्यूरोनएक्स मॉडल-समर्थन dataset पर बनाया गया है। dataset , न्यूरॉनएक्स-सीसी और लाइब्रेरी संस्करणों की प्रत्येक जोड़ी के लिए एक पार्केट फ़ाइल संग्रहीत करता है।

प्रत्येक रिकॉर्ड में परीक्षण परिणाम, रन विफल होने पर त्रुटि, स्टैक बनाने वाले संस्करण और उपयोग किए गए run.py शामिल हैं। डेवलपर्स सीधे dataset से पूछताछ कर सकते हैं। dataset कार्ड प्रत्येक परिणाम का सटीक अर्थ देता है।

पाठकों के लिए, मुख्य मूल्य यह तय करने का एक तेज़ तरीका है कि क्या कोई मॉडल Trainium पर कोशिश करने लायक है। यह थ्रूपुट परीक्षण या उत्पादन सत्यापन की जगह नहीं लेता है। अगले विस्तार में और अधिक मॉडल प्रकार जोड़े जाने चाहिए, जबकि वर्तमान 32- token परीक्षणों को लोकप्रिय Transformers वर्कलोड्स के लिए त्वरित संगतता जांच बनी हुई है। स्पेस जब भी Trainium अनुकूलता प्रश्न में हो तो इसे देखा जाना चाहिए।