यह मार्गदर्शिका बताती है कि विकासकर्ताओं के लिए मॉडल आसवन का क्या अर्थ है।

मेटा विवरण: जानें कि कैसे मॉडल आसवन PyTorch , एमएनआईएसटी, सॉफ्ट लेबल और मूल्यांकन का उपयोग करके एक बड़े शिक्षक मॉडल से छोटे छात्र मॉडल में ज्ञान को स्थानांतरित करता है।

टैगः मॉडल आसवन, ज्ञान आसवन PyTorch , MNIST,AI संपीड़न

विशेष रुप से प्रदर्शित छवि: एक छोटे छात्र मॉडल को सॉफ्ट लेबल देने वाले बड़े neural network का अमूर्त मैत्रीपूर्ण चित्रण।

डेवलपर्स और AI चिकित्सकों के लिए जिन्हें तैनात मॉडल की आवश्यकता होती है, मॉडल आसवन एक ऐसी विधि है जो बड़े शिक्षक मॉडल की नकल करने के लिए छोटे छात्र मॉडल को प्रशिक्षित करती है। स्रोत तकनीक की व्याख्या करता है और इसे PyTorch और MNIST dataset के साथ प्रदर्शित करता है, जिसमें हस्तलिखित अंकों की लगभग 70,000 ग्रेस्केल छवियां शामिल हैं।

मौखिक ज्ञान से आदर्श आसवन तक

प्राचीन मेसोपोटामिया (आधुनिक इराक) में लेखन के आविष्कार से पहले, कानून, इतिहास, मिथकों, गीतों और अन्य सूचनाओं को निर्देश या कहानी के माध्यम से पीढ़ी दर पीढ़ी स्थानांतरित किया गया था, विशेष रूप से लोक कथाएं और घटनाएँ जो समय के साथ जमा हुईं।

एक अन्य लंबे समय तक चलने वाला मार्ग शिक्षक-छात्र शिक्षा है, औपचारिक या अनौपचारिक। बाइबल में दर्ज किया गया है कि यीशु के बारह शिष्य थे जिन्हें उन्होंने अपने मिशन की शुरुआत से लेकर अपनी मृत्यु तक दैनिक रूप से पढ़ाया था। सुकरात ने प्लेटो को सिखाया। प्लेटो ने एथेंस में एक अकादमी स्थापित की और बीस साल तक अरस्तू को पढ़ाया। अरस्तु ने विज्ञान, तर्क और राजनीति में क्रांति ला दी।

21 वीं शताब्दी के उस वंश का एक संस्करण deep learning है। 20 वीं सदी AI की सर्दियों के दौरान, जब neural networks को व्यापक रूप से मृत अंत के रूप में माना जाता था, शिक्षक-छात्र निरंतरता ने इस विचार को जीवित रखा । Geoffrey Hinton , जिसे पिता Yann LeCun Ilya Sutskever और अन्य लोगों द्वारा पढ़ाया जाने वाला लैब चलाया गया था।

मानव ज्ञान हस्तांतरण परिचित है. मशीन-से-मशीन स्थानांतरण को मॉडल आसवन कहा जाता है, जिसे ज्ञान आसवन के रूप में भी जाना जाता है।

बड़े AI मॉडल के लिए आसवन की आवश्यकता क्यों है

मॉडल आसवन एक बड़े, अत्यधिक सटीक मॉडल के सीखे व्यवहार को एक छोटे, कम्प्यूटेशनल रूप से कुशल मॉडल में स्थानांतरित करता है जिसे तैनात करना आसान होता है। यह एक संपीड़न तकनीक हैः छात्र मॉडल एक बड़े और अधिक जटिल शिक्षक मॉडल के आउटपुट की नकल करना सीखता है। लक्ष्य काफी कम मापदंडों के साथ निकट-शिक्षक प्रदर्शन है।

स्रोत नोट करता है कि बंद-स्रोत और open-source मॉडल दोनों को ट्रिलियनों मापदंडों पर प्रशिक्षित किया जाता है। पैरामीटर आंतरिक विन्यास चर होते हैं जो मॉडल training data से सीखते हैं। उनकी भारी संख्या उचित वित्तपोषण के बिना प्रशिक्षण और चल रहे मॉडलों को कठिन और महंगा बनाती है। बड़े मॉडल महत्वपूर्ण ऊर्जा की खपत करते हैं और महंगे hardware की आवश्यकता होती है। आसवन इन सीमांत मॉडलों के सीखने को छोटे मॉडल में स्थानांतरित कर देता है, जिससे उनका उपयोग करना आसान और सस्ता हो जाता है

ज्ञान हस्तांतरित करने के चार तरीके

आसवन विधि इस बात पर निर्भर करती है कि कौन सा ज्ञान स्थानांतरित किया जाता है। कुछ दृष्टिकोण केवल अंतिम भविष्यवाणी को स्थानांतरित करते हैं। अन्य आंतरिक प्रतिनिधित्व, ध्यान मानचित्र, तर्क चरणों या शिक्षक मॉडल के पूरे व्यवहार को हस्तांतरण करते हैं.

प्रतिक्रिया-आधारित आसवन मूल रूप से Geoffrey Hinton द्वारा neural network में पेपर डिस्टिलिंग द नॉलेज में पेश किया गया था। यह हार्ड लेबल और सॉफ्ट लेबल्स की तुलना करता है। एक कठिन लेबल एक निश्चित श्रेणीगत लक्ष्य हैः यदि कुत्ते के चित्र को कुत्ते, बिल्ली और घोड़े के बीच वर्गीकृत किया जाता है, तो परिणाम हो सकता है कुत्ता ((1), घोड़ा ((0)), और बिल्ली ()) । एक नरम लेबल संभावना रखता है। स्रोत उदाहरण में, उसी तस्वीर को एक कुत्ता होने की 0.85 संभावना प्राप्त हो सकती है, एक बिल्ली होने की 0.10 संभावना, और एक घोड़ा होने की 0.5 संभावना।

प्रतिक्रिया-आधारित आसवन में, छात्र न केवल अंतिम वर्ग बल्कि शिक्षक के संभाव्यता वितरण को भी सीखता है। इस अतिरिक्त संकेत को अंधेरे ज्ञान कहा जाता है। यह छोटे मॉडल को उच्च प्रदर्शन बनाए रखते हुए बड़े मॉडल के व्यवहार की प्रतिलिपि बनाने देता है। दृष्टिकोण लागू करना आसान, स्थिर और छवि वर्गीकरण के लिए उपयोगी है। इसकी कमजोरी यह है कि यह केवल आउटपुट परत पर दिखती है। छात्र का शिक्षक के साथ एक ब्लैक बॉक्स रिश्ता होता हैः वह शिक्षकों द्वारा तय किए गए निर्णयों को जानता है, न कि शिक्षक कैसे निर्णय लेते हैं।

फ़ीचर-आधारित आसवन शिक्षक के आंतरिक सुविधा प्रतिनिधित्व को स्थानांतरित करता है, न कि केवल अंतिम आउटपुट। एक सरल सादृश्य एक गणित ट्यूटर है। यदि ट्यूटर केवल अंतिम उत्तर दिखाता है, तो छात्र परिणामों को याद कर सकता है। अगर ट्यूटर नोटबुक खोलता है और चरणों का खुलासा करते हैं, तो विद्यार्थी तर्क प्रक्रिया सीखता है। प्रशिक्षण के दौरान, छात्र को छिपी हुई परत सक्रियण बनाने के लिए कहा जाता है जो शिक्षक की सक्रियताओं से मेल खाते हैं Mean Squared Error । जब उसका आंतरिक कार्य प्रणाली शिक्षक के साथ मेल नहीं खाता है तो छात्र को दंडित किया जाता है। यह विधि कन्वोल्यूशियल neural networks , विजन Transformers और ऑब्जेक्ट डिटेक्शन में भारी उपयोग की जाती है। लागत अधिक हैः छात्रों को प्रत्येक प्रशिक्षण पुनरावृत्ति पर शिक्षक की आंतरिक सुविधा मानचित्र को निकालना और संग्रहीत करना चाहिए, इसलिए स्मृति और बिजली की खपत जल्दी से बढ़ सकती है।

ध्यान आसवन के लिए छात्र को प्रत्येक न्यूरॉन की नकल करने की आवश्यकता नहीं होती है। इसके बजाय, छात्र यह देखता है कि बड़ा मॉडल कहां ध्यान देता है और उन हिस्सों की प्रतिलिपि बनाता है। Transformer मॉडलों में, जो केवल व्यक्तिगत शब्दों के बजाय एक वाक्य का अर्थ निकालने की कोशिश करते हैं, ध्यान मानचित्र इंगित करता है कि भविष्यवाणी के लिए कौन सा इनपुट या क्षेत्र सबसे अधिक मायने रखते हैं। छात्र उन नक्शों या शिक्षक के वितरण को पुनः पेश करने की कोशिश करता है, सीखता है कि समस्या को हल करते समय कहाँ देखना है। नुकसान प्रशिक्षण समय और hardware संसाधनों में पर्याप्त ओवरहेड है क्योंकि Mean Squared Error और कुलबैक-लीबलर विचलन की गणना की जानी चाहिए। ये मैट्रिक्स हानि कार्यों के रूप में कार्य करते हैं जो मापते हैं कि छात्र की भविष्यवाणी या आंतरिक प्रतिनिधित्व शिक्षक से कितना दूर है। बड़े पैमाने पर ध्यान Tensors भर में उन्हें कंप्यूटिंग करने से संसाधन खपत बढ़ जाती है।

सेल्फ-डिस्टिलेशन एक मॉडल को खुद को प्रशिक्षित करने देता है। ज्ञान मॉडल के पहले संस्करण से बाद के संस्करण में, या नेटवर्क की विभिन्न परतों के बीच स्थानांतरित हो सकता है। लाभ यह है कि मॉडल आकार में वृद्धि किए बिना सुधार कर सकता है, जिससे छात्र को प्रशिक्षण देने के लिए बड़े मॉडल का उपयोग करने की लागत कम हो जाती है।

MNIST के लिए A PyTorch Workflow

कार्यान्वयन PyTorch , MNIST dataset और एक वर्गीकरणकर्ता कार्यप्रवाह का उपयोग करता है। परियोजना का पालन करने के लिए, स्रोत कई पूर्व शर्तों को सूचीबद्ध करता हैः पूर्ण कार्यान्वयन के साथ एक GitHub रिपॉजिटरी, Python और ऑब्जेक्ट-उन्मुख programming के साथ बुनियादी परिचितता, deep learning मूलभूतताओं जैसे कि युग, आगे प्रसार और हानि कार्यों की अवलोकन, PyTorch टेंसर और प्रशिक्षण लूप्स के साथ आधारभूत परिचित, एक विकास वातावरण जिसमें tokens स्थापित है, और एक मानक CPU क्योंकि OpenAI अपेक्षाकृत छोटा है। स्रोत संपादक के रूप में Visual Studio Code का उपयोग करते हैं, लेकिन किसी भी संपादक या आईडीई का उपयोग किया जा सकता है।

आवश्यक Python पैकेजों में भवन निर्माण और प्रशिक्षण के लिए टार्च neural networks , datasets और इमेज यूटिलिटीज़ के लिए टॉर्चविज़न, संख्यात्मक गणनाओं और सरणी संचालन के लिए नम्पी, ग्राफ्स की योजना बनाने और परिणामों को देखने के लिए मैटप्लॉटलिब तथा प्रशिक्षण के दौरान प्रगति बार के लिए टीक्यूडीएम शामिल हैं।

परियोजना को एक ज्ञान-निष्कासन फ़ोल्डर के रूप में व्यवस्थित किया गया है जिसमें data/, models.py , engine.py, losses.py .train_teacher.py train_student.py evaluate.py visualize.py utils.py plots.py requirements.txt और README.md शामिल हैं। डेटा फोल्डर में MNIST dataset होता है। मॉडल्स.पीआई फ़ाइल प्रोजेक्ट में उपयोग किए जाने वाले प्रत्येक neural network की वास्तुकला को परिभाषित करती है। इसमें शिक्षक नेटवर्क वर्ग और छात्र नेटवर्क क्लास होते हैं, जिनमें से प्रत्येक परतों को परिभाषित करता है, आगे प्रसार और कैसे डेटा नेटवर्क के माध्यम से बहता है।

स्रोत में दिखाया गया शिक्षक नेटवर्क 28 x 28 इनपुट को समतल करता है और इसे 1024, 512, 256 और 128 इकाइयों की रैखिक परतों के माध्यम से गुजरता है, फिर 10 लॉजिट आउटपुट करता है। अंतिम परत से पहले सुधारित रेखीय इकाई सक्रियण का उपयोग किया जाता है। छात्र नेटवर्क एक छोटा neural network है।

कार्यप्रवाह पहले शिक्षक को प्रशिक्षित करता है, फिर इसे शिक्षकों से हार्ड लेबल और सॉफ्ट टारगेट दोनों का उपयोग करके छात्र को प्रशिक्षण देते हुए फ्रीज कर देता है। AI एक अपेक्षाकृत छोटा dataset है, आसवन लाभ बड़ा नहीं हो सकता है। परियोजना अभी भी आसवन वर्कफ़्लो प्रदर्शित करती है और बड़े datasets चलाने के लिए उपयोगी पृष्ठभूमि देती है। मूल्यांकन और विज़ुअलाइज़ेशन समान प्रशिक्षण फ़ाइलों का पालन करते हैं, evaluate.py और visualize.py जाँच परिणाम, और plots.py तथा utils.py समर्थन विश्लेषण के साथ।

सामान्य त्रुटियाँ और संपीड़न विकल्प

सामान्य त्रुटियों में छोटे MNIST परिणाम को इस बात के प्रमाण के रूप में शामिल करना है कि आसवन हर मॉडल पर बड़े लाभ का उत्पादन करेगा, छात्र प्रशिक्षण के दौरान शिक्षक को फ्रीज करने के लिए भूल जाना, जब छात्र को आंतरिक संरचना की आवश्यकता होती है तो केवल अंतिम भविष्यवाणियों पर भरोसा करना और फीचर-आधारित या ध्यान आधारित हस्तांतरण की मेमोरी और कंप्यूटिंग लागत को कम आंकना। एक अन्य गलती यह मान रही है कि teacher training cost, internal maps के भंडारण या मूल्यांकन ओवरहेड की जांच किए बिना आसवन हमेशा तैनाती को सस्ता बनाता है।

स्रोत मॉडल आकार को कम करने के लिए अन्य दृष्टिकोणों की भी सूची देता हैः क्वांटिज़ेशन, प्रूनिंग और लो-रैंक फैक्टराइजेशन। ये विधियां आसवन का पूरक हो सकती हैं, लेकिन वे शिक्षक से छात्र ज्ञान हस्तांतरण के बजाय विभिन्न तंत्रों के माध्यम से तैनाती समस्या को हल करते हैं।