TorchNeuron यह पहले से कहीं अधिक आसान बनाता है AWS Trainium पर Hugging Face मॉडल चलाने के लिए

मेटा विवरणः TorchNeuron 20 अक्टूबर से Hugging Face पुस्तकालयों में PyTorch Trainium समर्थन जोड़ता है, उत्सुक निष्पादन के साथ, torch.compile, FSDP और टेंसर समानांतरवाद। 2026

टैगः टॉर्च न्यूरॉन, ट्रैनियम, PyTorch , Hugging Face AWS

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक अमूर्त मैत्रीपूर्ण चित्रण जिसमें PyTorch परतों को लाइब्रेरी Hugging Face के माध्यम से ट्रैनियम चिप्स से जोड़ते हुए दिखाया गया है, बिना लोगों, लोगो या पाठ के।

TorchNeuron के लिए एक PyTorch प्लगइन है AWS Trainium जो 20 अक्टूबर को सार्वजनिक बीटा में प्रवेश करने के लिए निर्धारित किया गया है। 2026 यह न्यूरॉन को एक देशी PyTorch डिवाइस के रूप में पंजीकृत करता है और शोधकर्ताओं और डेवलपर्स को पुराने पर भरोसा किए बिना उत्सुक निष्पादन, टॉर्च.कॉम्पाइल, पूरी तरह से शार्डेड डेटा समानांतर (एफएसडीपी) और टेंसर समांतरता का मार्ग देता है Hugging Face Optimum Neuron रैपर स्थापना पाइप इंस्टॉल टॉर्च-न्यूरोनक्स के माध्यम से की योजना बनाई गई है पाठकों के लिए, व्यावहारिक परिवर्तन सरल हैः Hugging Face Transformers , डिफ्यूज़र, एक्सेलेरेट, पीईएफटी और टीआरएल के लिए स्क्रिप्ट जल्द ही ट्रेनीमियम पर चल सकती हैं जैसे वे अन्य त्वरक पर चलते हैं, जबकि अभी भी मानक जांच बिंदुओं का उत्पादन करते हैं जिन्हें अन्य hardware पर स्थानांतरित किया जा सकता है।

कम्पाइलर-पहले अनुभव से लेकर मूल उपकरण तक

अब तक, AWS Trainium और इन्फेरेंसिया के लिए Hugging Face मार्ग को ऑप्टिमम-न्यूरॉन द्वारा संभाला गया है। ट्रेनियम और इंफेरेन्सिया AI चिप्स हैं जो क्रमशः लागत प्रभावी प्रशिक्षण और पैमाने पर अनुमान के लिए डिज़ाइन किए गए हैं। इष्टतम न्यूरॉन लाइब्रेरी टॉर्च-न्यूरोनक्स का उपयोग करती है, जिसे बनाया गया है PyTorch XLA । यह दृष्टिकोण जब इसे पेश किया गया था तो समझ में आया, लेकिन इसने उपयोगकर्ताओं से एक कंपाइलर की तरह सोचने के लिए कहा। टेंसर उत्सुक होने के बजाय आलसी थे, आकार स्थिर होना चाहिए था, और प्रत्येक ग्राफ ब्रेक एक पुनर्मिलन को ट्रिगर कर सकता था Optimum Neuron आंशिक रूप से उस जटिलता को छिपाने के लिए मौजूद थी, और उसने कस्टम मॉडलिंग कक्षाओं, प्रशिक्षकों और अन्य कोड को बनाए रखकर ऐसा किया।

TorchNeuron उस कार्य को PyTorch में ही स्थानांतरित करता है। प्लगइन न्यूरॉन को एक उपकरण के रूप में उजागर करता है जिसे PyTorch , पहचान सकता है, फिर इसे उत्सुक निष्पादन और डीटीएनसर और एफएसडीपी 2 सहित PyTorch की अपनी वितरित आदिमियों से जोड़ता है। यह टॉर्च.कॉम्पाइल का भी समर्थन करता है।AWS Trainium लाइब्रेरी Trainium को एक अन्य डिवाइस के तौर पर व्यवहार कर सकती हैं, जिसका अर्थ है कि उपयोगकर्ता किसी मॉडल वर्ग के न्यूरन-विशिष्ट कांटा पर निर्भर होने के बजाय न्यूरोन को एक मॉडल या प्रशिक्षक को दे सकते हैं। अद्यतन Transformers , डिफ्यूज़र, एक्सेलेरेटर, पीईएफटी और टीआरएल का उपयोग करने की सलाह देता है सीधे न्यूरान उपयोगकर्ताओं के लिए, इसके माध्यम से रूटिंग के बजाय2026

टेक्स्ट जनरेशन को व्यापक मॉडल कवरेज मिलता है

सबसे स्पष्ट मापने योग्य परिवर्तनों में से एक Transformers में टेक्स्ट-जनरेशन समर्थन है। टॉर्च न्यूरॉन बॉक्स के बाहर शीर्ष 100 सबसे अधिक उपयोग किए जाने वाले पाठ-जनरेटिंग मॉडल आर्किटेक्चर को कवर करता है, जबकि Optimum Neuron v0 4.5 कवर किया गया 46% । उपयोगकर्ता device_map=neuron पास करके Neuron उपकरणों पर एक मॉडल स्थानांतरित कर सकते हैं।

अद्यतन एक पूर्ण न्यूरॉन उदाहरण का उपयोग करने के तरीके के रूप में टेंसर समानांतरता को भी उजागर करता है। पीढ़ी के लिए, अनुशंसित दृष्टिकोण में अभी भी स्थिर कैश शामिल है क्योंकि लगातार पुनर्मूल्यांकन न्यूरन पर एक ज्ञात मुद्दा है। दूसरे शब्दों में, वर्कफ़्लो सामान्य PyTorch कोड के करीब है, लेकिन प्रदर्शन-सचेत सेटिंग्स महत्वपूर्ण बनी हुई हैं।

fine-tuning परिचित औजारों और कम विशेष झंडे के साथ

Trainium पर प्रशिक्षण के लिए अब एक समर्पित न्यूरॉन ट्रेनर या कस्टम मॉडल कार्यान्वयन की आवश्यकता नहीं है। SFTTrainer पर निर्मित एक मानक TRL fine-tuning स्क्रिप्ट किसी को भी परिचित दिखना चाहिए जिसने GPUs पर TRL के साथ एक मॉडल को ठीक से ट्यून किया हो । यह स्क्रिप्शन वही Hugging Face लाइब्रेरी का उपयोग करता है जो अन्य त्वरक का उपयोग करते हैं, और इसका वजन लोड होने पर मॉडल वितरित किया जाता है। इस लिपि में कुछ भी Trainium से बंधा हुआ नहीं है, और समान कोड किसी भी hardware पर चलाया जा सकता है।

समानांतरता को Transformers के अंदर model_init_kwargs में रखे गए DistributedConfig के माध्यम से कॉन्फ़िगर किया जाता है। SFTTrainer उस विन्यास को from_pretrained पर पास करता है, और लोडिंग के दौरान मॉडल शेर्ड होता है। क्योंकि ट्रेनर पहले से वितरित मॉडल देखता है, यह इसे फिर से लपेट नहीं लेता है। इससे उदाहरण कार्यप्रवाह में --fsdp फ्लैग या एक अलग Accelerate FSDP विन्यास की आवश्यकता समाप्त हो जाती है।

Several Trainium-विशिष्ट विवरण अभी भी मायने रखते हैं। उदाहरण torch.compile में स्वचालित गतिशील आकृतियों को अक्षम करता है और tokens तक के अनुक्रमों का उत्पादन करने के लिए लपेटे हुए पैकिंग का उपयोग करता है। TRL संस्करण 1.16 या बाद में, न्यूरॉन पर बैच 128 की कई गुना हो जाते हैं tokens , इनपुट आकारों की संख्या सीमित करना और संकलित ग्राफों को उसी आकार के साथ बाद के चरणों के लिए पुनः उपयोग करने की अनुमति देना। संकलन सक्षम करना --torch_compile पास करने जितना सरल है; ट्रैनियम इंस्टेंस पर, टॉर्च.कॉम्पाइल डिवाइस का पता लगाता है और स्वचालित रूप से न्यूरन बैकएंड चुनता है।

एक वर्तमान सीमा Transformers में अंतर्निहित अतुल्यकालिक भार लोडिंग है, जो न्यूरॉन पर समर्थित नहीं है. अभी के लिए, यह HF_DEACTIVATE_ASYNC_LOAD = 1 के साथ निष्क्रिय है।

प्रशिक्षण कमांड एक प्रक्रिया प्रति न्यूरॉनकोर शुरू करने के लिए torchrun का उपयोग करता है। TP_SIZE और FSDP_SIZA समानांतरता लेआउट को परिभाषित करते हैं, और उनका उत्पाद प्रक्रियाओं की संख्या के बराबर होता है। उदाहरण में, 4 x 8 = 32, मिलान --nproc_per_node. 32 प्रक्रियाएं एक 4 × 8 ग्रिड बनाती हैं। टेंसर समांतरता प्रत्येक परत को 4 कोरों में एक टेंजर-समानांतर समूह में विभाजित करती है, जबकि एफएसडीपी शेड्स पैरामीटर, ग्रेडिएंट और ऑप्टिमाइज़र राज्य को 8 टेन्सर-समानान्त समूहों में वितरित करती है। परीक्षण 8 ट्रेनीम 2 चिप्स पर चलाया गया था, जो 32 न्यूरोनकोर्स और आधे trn2.48xlarge इंस्टेंस के बराबर है। जब प्रशिक्षण समाप्त हो जाता है, तो trainer.save_model एक मानक Transformers चेकपॉइंट लिखता है जिसे Hugging Face Hub पर धकेल दिया जा सकता है और अन्य hardware पर लोड किया जा सकता हैः

डिफ्यूज़र, टेंसर समानांतरता और कस्टम कर्नेल

डिफ्यूज़र पाइपलाइन अद्यतन का एक और हिस्सा हैं। कई पाइप लाइनें ईगर मोड और संकलित मोड में टॉर्चन्यूरोन के साथ संगत हैं। FLUX.1 -dev, FLUX.2, Qwen -इमेज, Qwen इमेज-2.1 और एच 3 भी न्यूरॉन उपकरणों का बेहतर उपयोग करने के लिए टेंसर समानांतरता का समर्थन करते हैं। उदाहरण NEURON_LOGICAL_NC_CONFIG=2 और torchrun --nproc_per_node=8 के साथ चलता है।

यदि किसी उपयोगकर्ता की पसंदीदा पाइपलाइन अभी तक संगत नहीं है, तो अपडेट में उल्लिखित गाइड बताता है कि समर्थन कैसे जोड़ा जाए।

हब पर न्यूरॉन टीम के कर्नेल भी देखने लायक हैं। मॉडलों को गति देने के लिए और अधिक कर्नल उपलब्ध होने की उम्मीद है। इन कोरों को Neuron Kernel Interface (एनकेआई) के साथ लिखा जा सकता है, जो संचालन का अनुकूलन करने के लिए निम्न-स्तरीय नियंत्रण देता है। यह उपयोगकर्ताओं को कस्टम ऑपरेशन चलाने और उन्हें हब में साझा करने देता है. एक उदाहरण के रूप में, ट्रैनियम पर x2.4 फैक्टर तक विजन Transformers को तेज करने के लिये एक कर्नर का उल्लेख किया गया है।

पाठकों को आगे क्या देखना चाहिए

सार्वजनिक बीटा 20 अक्टूबर 2026 को शुरू होता है, इसलिए तत्काल सवाल यह है कि मूल पथ पुराने Optimum Neuron वर्कफ़्लो की जगह कितनी दूर ले सकता है। समर्थित मॉडल कवरेज, परिचित टीआरएल स्क्रिप्ट, मानक चेकपॉइंट और व्यापक डिफ्यूज़र संगतता उस दिशा में इंगित करती हैं। शेष वॉच आइटम पाइपलाइनों की संख्या हैं जो अंततः टेंसर समानांतरवाद का समर्थन करते हैं, न्यूरॉन कर्नेल रिलीज़ की गति, और उपयोगकर्ता उत्पादन प्रशिक्षण में स्थिर-आकार और पुनर्मूल्यांकन बाधाओं को कैसे संभालते हैं। अद्यतन भी टॉर्चन्यूरन पर अपने काम के लिए टीम AWS को श्रेय देता है और एकीकरण Hugging Face को यथासंभव अच्छा बनाने के लिए प्रतिक्रिया देने के लिए।