Hugging Face Transformers : अनलॉकिंग open-source AI के साथ Python

मेटा विवरणः Hugging Face Transformers Python डेवलपर्स को पाठ, दृश्य, ऑडियो और multimodal कार्य के लिए PyTorch पर हजारों पूर्व प्रशिक्षित open-source AI मॉडल चलाने में मदद करता है।

टैगः Hugging Face Transformers, PyTorch , पाइपलाइन, मॉडल कार्ड

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> Python कोड, मॉडल कार्ड और AI पाइपलाइनों का सार मैत्रीपूर्ण चित्रण, कोई लोग, लोगो या पाठ नहीं।

Real Python द्वारा प्रकाशित एक ट्यूटोरियल में Hugging Face Transformers को Python लाइब्रेरी के रूप में वर्णित किया गया है, जिसे Hugging Face ने बनाया है जो डेवलपर्स, शोधकर्ताओं, व्यवसायों और अन्य पाठकों को हजारों पूर्व-प्रशिक्षित open-source AI मॉडल डाउनलोड करने, हेरफेर करने और चलाने की अनुमति देता है। पुस्तकालय में natural language processing , computer vision , ऑडियो और multimodal लर्निंग शामिल हैं, और ट्यूटोरियल बताता है कि संस्करण 5 केवल PyTorch पर चलता है। उन पाठकों के लिए जो उन्हें स्क्रैच से प्रशिक्षण दिए बिना tokenizer मॉडलों का उपयोग करना चाहते हैं, मुख्य टेकअवे सरल हैः Transformers Facebook मॉडल के बड़े कैटलॉग को कोड में बदल देता है जिसका परीक्षण, संशोधित और तैनात किया जा सकता है।

ट्यूटोरियल में कहा गया है कि पूर्व-प्रशिक्षित open-source मॉडल लागत को कम कर सकते हैं, खरोंच से मॉडलों को प्रशिक्षित करने के लिए आवश्यक समय बचा सकते हैं और उपयोगकर्ताओं को तैनाती पर अधिक नियंत्रण दे सकते हैं। यह Python और लोकप्रिय deep learning लाइब्रेरी जैसे PyTorch की एक मध्यवर्ती समझ मानता है। यह पाठकों को मुफ्त नमूना कोड भी इंगित करता है जो दिखाता है कि multimodal में AI के साथ पुस्तकालय का उपयोग कैसे किया जाए, और एक इंटरैक्टिव प्रश्नोत्तरी जो सीखने की प्रगति को ट्रैक करने में मदद के लिए एक स्कोर देता है। सामग्री हाथों पर उदाहरणों के साथ वैचारिक पृष्ठभूमि को जोड़ती है, पाठक को अपने स्वयं के उपयोग मामलों के लिए मॉडलों का उपयोग शुरू करने के लिये आवश्यक ज्ञान और उपकरण देने के घोषित लक्ष्य के साथ।

Hugging Face एक मॉडल कैटलॉग से अधिक है

लाइब्रेरी से पहले, ट्यूटोरियल Transformers को व्यापक Hugging Face पारिस्थितिकी तंत्र के अंदर रखता है। Hugging Face को अत्याधुनिक AI मॉडलों के लिए एक हब के रूप में वर्णित किया गया है, विशेषकर open-source Transformer आधारित मॉडल जो natural language processing , computer vision और ऑडियो कार्यों में अच्छा प्रदर्शन करते हैं। पारिस्थितिक तंत्र समुदाय-संचालित है, लेकिन इसमें उन संगठनों की सेवाएं भी शामिल हैं जिन्हें निजी होस्टिंग, सहयोग और समर्थन की आवश्यकता होती है।

पहला घटक Model Hub है। यह पूर्व प्रशिक्षित AI मॉडलों का एक विशाल भंडार होस्ट करता है जो आसानी से सुलभ और अत्यधिक अनुकूलन योग्य हैं। ट्यूटोरियल में सूचीबद्ध कार्यों में पाठ वर्गीकरण, टेक्स्ट जनरेशन, अनुवाद, speech recognition , और छवि वर्गीकरण शामिल हैं। कोई भी मॉडल योगदान कर सकता है, जिसका अर्थ है कि कैटलॉग समुदाय के योगदानों से बढ़ता है।

दूसरा घटक datasets है। Hugging Face प्रशिक्षण, बेंचमार्किंग और मॉडल को बढ़ाने के लिए हज़ारों की एक लाइब्रेरी प्रदान करता है। ट्यूटोरियल श्रृंखला का वर्णन छोटे पैमाने पर बेन्चमार्क से लेकर विशाल वास्तविक दुनिया तक करते हुए विभिन्न प्रकार के डोमेन सहित पाठ, छवि और ऑडियो डेटा को कवर करने के रूप में बताता है। मॉडलों की तरह ही, datasets , पुस्तकालय समुदाय योगदान का समर्थन करता है और उपयोगकर्ताओं को machine learning परियोजनाओं में खोज, डाउनलोड और उपयोग करने के लिए उपकरण देता है।

तीसरा घटक स्पेस है। ट्यूटोरियल बताता है कि स्पेस उपयोगकर्ताओं को machine learning एप्लिकेशन को सीधे Hugging Face वेबसाइट पर तैनात और साझा करने की अनुमति देता है। यह स्ट्रीमलाइट, ग्रेडियो और जुपिटर नोटबुक सहित विभिन्न प्रकार के फ्रेमवर्क और इंटरफेस का समर्थन करता है। इससे स्पेस मॉडल क्षमताओं को प्रदर्शित करने, इंटरेक्टिव डेमो होस्टिंग और शैक्षिक परियोजनाओं के लिए उपयोगी होता है जहां उपयोगकर्ता वास्तविक समय में मॉडलों के साथ बातचीत कर सकते हैं।

चौथा घटक भुगतान किए गए प्रसाद है। ट्यूटोरियल में प्रो खाता, टीम और एंटरप्राइज़ योजनाएं और Inference Endpoints सूचीबद्ध हैं। ये सेवाएँ उद्यमों और उन्नत उपयोगकर्ताओं के लिए लक्षित हैं और निजी मॉडल होस्टिंग, उन्नत सहयोग उपकरण और समर्पित समर्थन प्रदान करती हैं ताकि संगठनों को प्रभावी ढंग से AI संचालन करने में मदद मिल सके।

इन संसाधनों को AI परियोजनाओं में तेजी लाने और समुदाय के भीतर सहयोग और नवाचार को प्रोत्साहित करने, नौसिखिया प्रयोग से लेकर उद्यम पैमाने पर तैनाती तक के तरीकों के रूप में प्रस्तुत किया गया है।

मॉडल कार्ड Transformers का उपयोग करने के लिए प्रवेश बिंदु हैं

ट्यूटोरियल कहता है कि Transformers Model Hub में किसी भी मॉडल के बारे में JUST चला सकता है, लेकिन एक मॉडल का उपयोग करने से पहले, पाठकों को मॉडल कार्ड समझने की आवश्यकता होती है। मॉडल कार्ड फाइलें हैं जो प्रत्येक मॉडल के साथ आती हैं और उपयोगी जानकारी प्रदान करती हैं। वे Model Hub के मुख्य घटक हैं और खोज योग्य मॉडल लिस्टिंग और कामकाजी कोड के बीच व्यावहारिक पुल हैं।

मॉडल पृष्ठ के बाईं ओर, उपयोगकर्ता अपनी आवश्यकता के कार्य के आधार पर मॉडल कार्ड की खोज कर सकते हैं। ट्यूटोरियल एक उदाहरण के रूप में शून्य-शॉट पाठ वर्गीकरण देता है। Natural Language Processing अनुभाग के तहत, Zero-Shot Classification बटन का चयन सात सौ से अधिक अलग-अलग शून्य-शूट टेक्स्ट वर्गीकरण मॉडल लौटाता है, और संख्या बढ़ती रहती है। ट्यूटोरिअल शून्य शॉट वर्गीकरण को परिभाषित करता है जहां भाषा मॉडल स्पष्ट प्रशिक्षण या किसी भी उदाहरण को देखे बिना पाठ को लेबल सौंपते हैं।

खोज परिणामों के ऊपरी-दाएं कोने में, उपयोगकर्ता मॉडल पसंद, डाउनलोड, निर्माण तिथियां, अद्यतन तिथियाँ और लोकप्रियता रुझानों द्वारा सूचियों को सॉर्ट कर सकते हैं। प्रत्येक मॉडल कार्ड बटन मॉडल का कार्य, अंतिम अपडेट की तारीख और डाउनलोड और पसंद की संख्या दिखाता है। एक मॉडल कार्ड पर क्लिक करने से पूरा पृष्ठ खुल जाता है। ट्यूटोरियल Facebook /bart-large-mnli उदाहरण मॉडल के रूप में उपयोग करता है।

हालांकि एक मॉडल कार्ड लगभग कुछ भी प्रदर्शित कर सकता है, ट्यूटोरियल का कहना है कि Hugging Face ने जानकारी को रेखांकित किया है जो एक अच्छा मॉडल कार्ड प्रदान करना चाहिए। इसमें मॉडल के बारे में विस्तृत जानकारी, इसके उपयोग और सीमाएं, प्रशिक्षण पैरामीटर और प्रयोग विवरण, dataset शामिल हैं जिसका उपयोग मॉडल को प्रशिक्षित करने के लिए किया जाता है, और मूल्यांकन प्रदर्शन। उच्च गुणवत्ता वाले कार्डों में मेटाडेटा जैसे लाइसेंस की जानकारी, training data के संदर्भ और शोध पत्रों के लिंक शामिल हो सकते हैं जो मॉडल का वर्णन करते हैं। कई कार्ड Inference Providers द्वारा संचालित साइडबार विजेट, API सर्वरलेस Hugging Face, और उसके भागीदारों द्वारा होस्ट किए जाते हैं, ताकि उपयोगकर्ता इसे डाउनलोड करने से पहले तैनात मॉडल का परीक्षण कर सकें।

पुस्तकालय डेवलपर्स को तीन तरीके देता है

ट्यूटोरियल मॉडल कार्ड से काम कर रहे मॉडल के लिए एक सरल मार्ग प्रस्तुत करता है। पहला पथ पाइपलाइन है। यह कहता है कि पाइप लाइन कोड की कुछ पंक्तियों में एक मॉडल चला सकती है, और Model Hub पर मॉडल कार्ड उपयोगकर्ता को बताता है जो प्रत्येक मॉडल इनपुट की आवश्यकता होती है। वर्गीकरण या पाठ पीढ़ी जैसे कार्यों पर पूर्व प्रशिक्षित मॉडल का परीक्षण करने के लिए डेवलपर्स के लिए यह सबसे तेज़ तरीका है।

दूसरा पथ ऑटो कक्षाएं हैं। ट्यूटोरियल में AutoTokenizer और AutoModelForSequenceClassification का उदाहरण दिया गया है जो एक पाइपलाइन के अंदर tokenizer और मॉडल परतों तक पहुंच प्रदान करते हैं। A tokenizer टेक्स्ट को संख्यात्मक प्रतिनिधित्व में परिवर्तित करता है जिसे एक मॉडल संसाधित कर सकता है। शुरुआती लोगों के लिए, पाइप लाइन () इन चरणों को छिपा सकती है; अधिक उन्नत कार्य के लिए ऑटो वर्ग अनुकूलन के लिए आवश्यक घटकों को उजागर करते हैं.

तीसरा पथ hardware नियंत्रण है। ट्यूटोरियल कहता है कि पासिंग डिवाइस=0 से पाइपलाइन (() GPU पर एक मॉडल चलाता है। यह रिपोर्ट करता है कि CPU अनुमान 89001 के मुकाबले बीस गुना अधिक तेज हो सकता है। इस विवरण का महत्व इसलिए है क्योंकि मॉडल आकार और विलंबता जल्दी ही व्यावहारिक चिंताएं बन जाती हैं जब नोटबुक से किसी एप्लिकेशन में स्थानांतरित होती है।

पाठकों को ट्यूटोरियल से क्या लेना चाहिए

ट्यूटोरियल Hugging Face Transformers को व्यापक Hugging Face पारिस्थितिकी तंत्र में एक व्यावहारिक प्रवेश बिंदु के रूप में फ्रेम करता है। इसकी इंटरैक्टिव प्रश्नोत्तरी को लाइब्रेरी की समझ का परीक्षण करने के लिए वर्णित किया गया है जो Transformer , computer vision और अन्य machine learning अनुप्रयोगों में Transformer मॉडल के साथ काम करने का एक लोकप्रिय विकल्प है।

व्यावहारिक अगला कदम एक कार्य चुनना, प्रासंगिक Model Hub फ़िल्टर खोलना, मॉडल कार्ड की तुलना करना और एक छोटा पाइपलाइन चलाना है। जो पाठक अधिक नियंत्रण चाहते हैं वे tokenizer और मॉडल कक्षाओं का निरीक्षण कर सकते हैं, और जिन्हें गति की आवश्यकता होती है वे डिवाइस = 0 को 89001 पर जांच सकते हैं। नमूना कोड और प्रश्नोत्तरी यह जांचने का एक तरीका प्रदान करते हैं कि क्या ये अवधारणाएं अटक गई हैं।