Python का उपयोग कर स्क्रैच से एक GLM -5.3-फ्लैश मॉडल विकसित और प्रशिक्षित करें।
CPU Python कोर्स एक छोटे GLM -5.3-फ्लैश मॉडल का निर्माण करता है, जो ध्यान, विशेषज्ञों, दृष्टि और आरएल को कवर करता है।
मुख्य जानकारी
- एक freeCodeCamp पाठ्यक्रम में दिखाया गया है कि केवल एक CPU का उपयोग करके Python में स्क्रैच से 25 मिलियन-पैरामीटर GLM - 5.3 फ्लैश multimodal मॉडल को कैसे बनाया और प्रशिक्षित किया जाए।
- मॉडल में कॉम्पैक्ट बाइट-स्तरीय शब्दावली, एक संक्षिप्त 192- token संदर्भ, रैखिक और विरल ध्यान, विशेषज्ञों के मिश्रण डिजाइन का उपयोग किया गया है, और एक छोटा दृश्य एन्कोडर जो 32x32 छवियों को 16 tokens में बदल देता है।
- पाठ्यक्रम में मुख्य multimodal प्रशिक्षण विवरणों की व्याख्या की गई है, जिसमें छवि पैच के लिए 2 डी आरओपीई, विशेषज्ञों को token रूटिंग और डेटा विविधता, इंटरलेविंग और पाठ्यचर्या सीखने का पूर्व-प्रशिक्षण पर कैसे प्रभाव पड़ता है।
- reinforcement learning पाठों में इनाम फ़ंक्शंस, GRPO-स्टाइल लाभ, अंतिम परत अद्यतन और ट्यूनिंग समूह का आकार, तापमान और बीज शामिल हैं।
- reinforcement learning के बाद, मॉडल 24 में से 0 को हल करने से सुधार कर रहा है।
मेटा विवरणः
यह freeCodeCamp पाठ्यक्रम दिखाता है कि एक CPU पर एक छोटा GLM -5.3-फ्लैश मॉडल कैसे बनाया जाए, जिसमें ध्यान, विशेषज्ञों, दृष्टि और reinforcement learning शामिल हैं।
टैगः
GLM -5.3-फ्लैश, freeCodeCamp, भाषा मॉडल, multimodal AI, reinforcement learning
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string>
एक छोटे multimodal भाषा मॉडल, CPU चिप और छवि पैच के सार अनुकूल चित्रण, कोई पाठ नहीं
एक छोटा मॉडल, एक व्यावहारिक पाठ्यक्रम
freeCodeCamp JUST ने अपने YouTube चैनल पर 44 मिनट का एक कोर्स प्रकाशित किया है। यह उन पाठकों के लिए लक्षित है जो खरोंच से GLM - 5.3-फ्लैश multimodal भाषा मॉडल बनाना और प्रशिक्षित करना चाहते हैं, जिसमें पूर्व प्रशिक्षण और पोस्ट-प्रशिक्षण दोनों शामिल हैं। पाठ्यक्रम @vukrosic से है, और सभी कोड, स्लाइड्स और प्रयोग वीडियो विवरण में जुड़े GitHub रिपॉजिटरी में हैं।
GLM -5.3-फ्लैश में रैखिक और विरल ध्यान, विशेषज्ञों के मिश्रण डिजाइन और कई प्रकार के प्रतिबंधित हाइपरकनेक्शन शामिल हैं। यह कोर्स दिखाता है कि कैसे 25 मिलियन मापदंडों के साथ एक स्केलेड डाउन संस्करण को Python में बनाया जा सकता है और मानक पर प्रशिक्षित किया जाता है CPU।
संक्षिप्त शब्दावली, संदर्भ और दृष्टि tokens
यह मॉडल 260- token बाइट स्तर की शब्दावली और 192- token संदर्भ का उपयोग करता है। एक बाइट-स्तरीय शब्दकोश का अर्थ है कि मॉडल एक बड़ी शब्द सूची के बजाय बाइट अनुक्रमों के साथ काम करता है, जिससे मॉडल छोटा रहता है। इसमें एक छोटे विजन एन्कोडर का भी उपयोग किया जाता है जो 32x32 छवि को 16 tokens में बदल देता है।
इस कोर्स में टोकनीकरण और embeddings को शामिल किया गया है, जिसमें एक छोटे मॉडल को छोटी शब्दावली की आवश्यकता क्यों होती है और कैसे वजन बांधने से embeddings और आउटपुट हेड के बीच एक मैट्रिक्स साझा होता है। यह रैखिक और विरल ध्यान को भी कवर करता है। रेखीय ध्यान हाल ही में tokens की निश्चित आकार की स्मृति रखता है, जबकि हर चौथी परत दूरस्थ विवरणों को खोजने के लिए सूचकांक के साथ विरलै ध्यान का उपयोग करती है।
रूटिंग विशेषज्ञ और छवि समझ जोड़ना
विशेषज्ञों के मिश्रण अनुभाग में बताया गया है कि कैसे tokens को कुछ चुने हुए विशेषज्ञों और साथ ही एक साझा विशेषज्ञ जो प्रत्येक token के लिए सामान्य जानकारी सीखते हैं। विजन सेक्शन बताता है कि छवियों को 2 डी आरओपीई, छवि पैच के लिए एक पोजीशनल एन्कोडिंग विधि के साथ पैच में विभाजित किया जाता है, और छवि में मर्ज कर दिया जाता है ताकि मॉडल अंकों को पहचान सके।
पूर्व-प्रशिक्षण प्रयोगों से पता चलता है कि डेटा विविधता, इंटरलेविंग और पाठ्यक्रम सीखने को कैसे प्रभावित करते हैं। इस कोर्स में कहा गया है कि इंटरलीविंग विनाशकारी भूलने को रोकने में मदद करता है, एक समस्या जहां बाद के प्रशिक्षण के दौरान पहले की सीख खो सकती है।
reinforcement learning और मापा लाभ
reinforcement learning सबक में शामिल है कि कैसे इनाम फ़ंक्शंस को डिज़ाइन किया जाए, GRPO के रूप में लाभ की गणना करें, केवल अंतिम परतों को अपडेट करें और समूह का आकार, तापमान और बीज का परीक्षण करें। पाठ्यक्रम परिणाम देता हैः reinforcement learning के बाद, मॉडल 24 Python कार्यों में से 0 को हल करने से 16 पर जाता है।
उन पाठकों के लिए जो बड़े कंप्यूटिंग संसाधनों की आवश्यकता के बिना भाषा मॉडल प्रशिक्षण को समझना चाहते हैं, पाठ्यक्रम मॉडल घटकों से पोस्ट-प्रशिक्षण परिणामों तक एक कॉम्पैक्ट पथ प्रदान करता है। पूर्ण 44 मिनट का घड़ी freeCodeCamp.org YouTube चैनल पर उपलब्ध है, जिसमें रिपॉजिटरी सामग्री हाथों पर अनुवर्ती के लिए जुड़ी हुई है।

Comments (0)