केवल अपने CPU का उपयोग खरोंच से एक 25M-पैरामीटर LLM बनाएँ और ट्रेन
एक ट्यूटोरियल इमारत, पूर्व प्रशिक्षण और fine-tuning को दिखाता है CPU पर 25M-पैरामीटर LLM, जिसमें वास्तुकला, हानि और reinforcement learning शामिल हैं।
मुख्य जानकारी
- एक freeCodeCamp ट्यूटोरियल दिखाता है कि केवल CPU या मानक laptop का उपयोग करके 25 मिलियन पैरामीटर भाषा मॉडल को कैसे बनाया जाए, पूर्व-प्रशिक्षित और ठीक किया जाए।
- यह मॉडल बाइट-स्तरीय शब्दावली का उपयोग करता है, जिससे भारी टोकनकरण से बचा जाता है और कच्चे पाठ या कोड पर त्वरित स्थानीय प्रशिक्षण की अनुमति मिलती है।
- यह कोर LLM विचारों जैसे हाइब्रिड रैखिक/छोटे ध्यान, mixture of experts , बंधे हुए embeddings और multimodal छवि पैच इनपुट की व्याख्या करता है।
- पूर्व-प्रशिक्षण यादृच्छिक वर्णों से शुरू होता है और क्रॉस-एन्ट्रॉपी हानि के माध्यम से धीरे-धीरे Python वाक्यविन्यास सीखता है।
- reinforcement learning पूर्व-प्रशिक्षण के बाद यह प्रदर्शित करने के लिए जोड़ा जाता है कि कैसे इनाम डिजाइन उपयोगी और सुसंगत आउटपुट का मार्गदर्शन कर सकता है।
मेटा विवरण: एक नया freeCodeCamp.org वीडियो दिखाता है कि कैसे laptop या मानक CPU पर 25 मिलियन पैरामीटर भाषा मॉडल का निर्माण, पूर्व-प्रशिक्षण और ठीक करना है।
टैगः freeCodeCamp ट्यूटोरियल, 25 मिलियन पैरामीटर
विशेष रुप से प्रदर्शित छवि: laptop के आकार का एक छोटा सा neural network कोड लिखना सीख रहा है, जिसमें चमकता हुआ tokens और CPU चिप मोटिफ है, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं, कोई पाठ नहीं
freeCodeCamp.org YouTube चैनल पर हाल ही में प्रकाशित एक freeCodeCamp ट्यूटोरियल डेवलपर्स, छात्रों और जिज्ञासु बिल्डरों के उद्देश्य से है जो GPU क्लस्टर के बिना आधुनिक large language models को समझना चाहते हैं। यह दिखाता है कि laptop या मानक CPU पर 25-मिलियन पैरामीटर भाषा मॉडल का निर्माण, पूर्व-प्रशिक्षण और फाइन-ट्यून कैसे करें। बिंदु सीमा-स्केल परिणाम की नकल करना नहीं है, बल्कि सामान्य hardware पर चलने के दौरान समान मूल विचारों को दृश्यमान बनाना है।
क्यों 25 लाख पैरामीटर मॉडल वास्तविक LLM विचारों को सिखा सकते हैं
फ्रंटियर लैब्स अरबों मापदंडों के साथ विशाल प्रणालियों को प्रशिक्षित करते हैं, और वे बड़ी प्रणाली अक्सर एक अलग विज्ञान की तरह लगती है। ट्यूटोरियल एक अलग धारणा से शुरू होता हैः कोर आर्किटेक्चर, गणित और वर्कफ़्लोज़ बड़े पैमाने पर और छोटे स्तर पर मौलिक रूप से समान होते हैं। पैरामीटर समायोज्य वजन हैं जो एक मॉडल प्रशिक्षण के दौरान सीखता है। 25 मिलियन पैरामीटर मॉडल सीमांत सिस्टम की तुलना में छोटा है, लेकिन यह अभी भी प्रकट कर सकता है कि token भविष्यवाणी, हानि और इनाम आकार देने का काम कैसे करता है।
वीडियो में एक कॉम्पैक्ट बाइट-स्तरीय शब्दावली का उपयोग किया गया है। बाइट स्तर के सेटअप में, मॉडल बड़े क्यूरेटेड शब्द सूची पर भरोसा करने के बजाय बाइट्स या पाठ के छोटे टुकड़ों की भविष्यवाणी करता है। यह पाइपलाइन को सरल रखता है और मॉडल को भारी वजन tokenizer के बिना दुर्लभ पात्रों या टूटे हुए टेक्स्ट को संभालने में मदद करता है । आर्किटेक्चर को 25 मिलियन पैरामीटर तक स्केल करके, ट्यूटोरियल महंगे क्लाउड कंप्यूटिंग की आवश्यकता को दूर करता है और प्रशिक्षण लूप CPU पर सेकंड में स्थानीय रूप से चलाने देता है।
यह गति सीखने के लिए मायने रखती है। जब एक प्रशिक्षण लूप जल्दी से समाप्त होता है, तो पाठक डेटा पाठ्यक्रमों, हानि कार्यों या इनाम डिजाइन को बदल सकता है और वास्तविक समय में मॉडल व्यवहार परिवर्तन देख सकते हैं। ब्लैक बॉक्स की तरह मॉडल का इलाज करने के बजाय, ट्यूटोरियल इसे छोटे प्रयोग बेंच में बदल देता है।
freeCodeCamp वीडियो क्या कवर करता है
सामग्री तीन व्यावहारिक क्षेत्रों के आसपास आयोजित की जाती हैः आधुनिक वास्तुकला, शून्य से पूर्व प्रशिक्षण और reinforcement learning (आरएल) के साथ पोस्ट-प्रशिक्षण। आरएल वह प्रशिक्षण है जो मॉडल को पहले से ही डेटा में बुनियादी पैटर्न सीखने के बाद बेहतर आउटपुट को प्रोत्साहित करने के लिए इनाम संकेतों का उपयोग करता है।
आधुनिक LLM वास्तुकला
वीडियो बताता है कि कैसे अत्याधुनिक तकनीकें हुड के नीचे काम करती हैं, जिसमें हाइब्रिड रैखिक / बिखरे हुए ध्यान, mixture of experts ( MoE ), बंधे embedding वजन और multimodal छवि पैच इनपुट शामिल हैं। ध्यान वह तंत्र है जो एक मॉडल को इनपुट के प्रासंगिक हिस्सों पर ध्यान केंद्रित करने देता है। एक संकर रेखीय/विघटित दृष्टिकोण पूरी तरह से घने संस्करण की तुलना में उस ध्यान की लागत को कम करता है। MoE एक ऐसा डिज़ाइन है जिसमें मॉडल में कई छोटे विशेषज्ञ सबनेटवर्क होते हैं, लेकिन किसी दिए गए आगत के लिए उनमें से केवल कुछ ही सक्रिय होते हैं। बांधे embedding भार का मतलब है कि इनपुट और आउटपुट प्रतिनिधित्व पैरामीटर साझा कर सकते हैं, जिससे मेमोरी कम हो जाती है।
शून्य से पूर्व प्रशिक्षण
ट्यूटोरियल मॉडल यादृच्छिक वर्णों का उत्पादन करने के साथ शुरू होता है। यह तब क्रॉस-एन्ट्रॉपी हानि का उपयोग करके Python वाक्यविन्यास और संरचना चरण-दर-चरण सीखता है। क्रॉस एंट्रोपी नुकसान मापने का एक सामान्य तरीका है कि मॉडल द्वारा भविष्यवाणी किए गए अगले पात्र सही पाठ से कितने दूर हैं। इस प्रक्रिया को शून्य से पठनीय कोड में स्थानांतरित करते हुए देखना शैक्षिक मूल्य का दिल हैः यह दर्शाता है कि भाषा की क्षमता दोहराई गई अगली- token पूर्वानुमान से उभर सकती है, न कि किसी एकल जादुई नियम से।
reinforcement learning के साथ पोस्ट-प्रशिक्षण (आरएल)
आधार मॉडल पाठ पैटर्न सीखने के बाद, वीडियो एक हल्के आरएल लूप का निर्माण करता है जहां मॉडल कोड लिखता है। लक्ष्य यह दिखाना है कि कैसे इनाम डिजाइन सरल अगले- token सटीकता से परे व्यवहार को निर्देशित कर सकता है। यह भाग सीधे व्यावहारिक चिंताओं से जुड़ा हुआ हैः मॉडलों को अक्सर आउटपुट की ओर मार्गदर्शन की आवश्यकता होती है जो उपयोगी, सुरक्षित और सुसंगत होते हैं, न कि केवल सांख्यिकीय रूप से संभावित होते हैं।
चरण-दर-चरण कार्यप्रवाह
ट्यूटोरियल को प्रयोगों के एक अनुक्रम के रूप में समझा जा सकता है जिसे पाठक मानक कंप्यूटर पर अनुसरण कर सकते हैं।
- laptop या मानक CPU पर एक छोटा मॉडल सेट करें। वीडियो 25 मिलियन पैरामीटर भाषा मॉडल का उपयोग करता है, इसलिए प्रारंभिक बिंदु GPU क्लस्टर के बिना प्रशिक्षित करने के लिए पर्याप्त छोटी प्रणाली है।
- बाइट-स्तरीय इनपुट प्रारूप का उपयोग करें. क्योंकि मॉडल एक बड़ी शब्दावली के बजाय बाइट्स के साथ काम करता है, यह भारी टोकनकरण के बिना कच्चे पाठ से सीख सकता है। इससे शिक्षण सेटिंग में दुर्लभ पात्रों और गलत तरीके से तैयार किए गए टेक्स्ट को संभालना भी आसान हो जाता है।
- प्रशिक्षण से पहले वास्तुकला का निरीक्षण करें। ट्यूटोरियल में हाइब्रिड रैखिक / छिटपुट ध्यान, MoE , बंधे हुए embedding भार और multimodal छवि पैच इनपुट शामिल हैं। ये घटक विपणन सुविधाओं के रूप में प्रस्तुत नहीं किए गए हैं, लेकिन गति, स्मृति और व्यवहार को प्रभावित करने वाले तंत्र हैं।
- शून्य से एक पूर्व-प्रशिक्षण लूप चलाएं। मॉडल यादृच्छिक वर्णों को उत्पन्न करके शुरू होता है। क्रॉस-एन्ट्रोपी हानि अद्यतन का मार्गदर्शन करती है, और वीडियो दिखाता है कि यह धीरे-धीरे Python वाक्यविन्यास और संरचना कैसे सीखता है।
- प्रारंभिक कोड पैटर्न का निरीक्षण करें। जैसे-जैसे प्रशिक्षण प्रगति करता है, मॉडल इंडेंटेशन, कीवर्ड और सामान्य कोड आकारों को पुनः पेश करना शुरू कर देता है। यह कदम उपयोगी है क्योंकि यह यादृच्छिक शोर से वाक्यविन्यास में संक्रमण को दृश्यमान बनाता है।
- पूर्व-प्रशिक्षण के बाद reinforcement learning जोड़ें। ट्यूटोरियल एक हल्का आरएल लूप बनाता है जहां मॉडल कोड लिखता है और इनाम सिग्नल प्राप्त करता है। यह पोस्ट-ट्रेनिंग को दूसरे चरण के रूप में दर्शाता है, पहले के लिए प्रतिस्थापन नहीं।
- डेटा पाठ्यक्रमों को बदलें और प्रभाव देखें. चूंकि CPU पर प्रशिक्षण लूप सेकंड में चलते हैं, पाठक training data को बदल सकते हैं और देख सकते हैं कि मॉडल की आउटपुट शैली कैसे बदलती है।
- ट्यून हानि फ़ंक्शंस और इनाम डिजाइन. एक ही छोटे से सेटअप पाठकों की तुलना करने देता है कि कैसे एक अलग नुकसान समारोह या पुरस्कार आकार व्यवहार को बदलता है। यह वह जगह है जहां ट्यूटोरियल डेमो से परे जाता है और हाथों पर मानसिक मॉडल बन जाता है।
पाठकों के लिए इसका क्या अर्थ है
उन पाठकों के लिए जिनके पास केवल laptop है, ट्यूटोरियल एक सामान्य बाधा को हटा देता हैः यह विश्वास कि LLM आंतरिक को समझने के लिए क्लाउड GPUs की आवश्यकता होती है। यह दावा नहीं करता है कि 25-मिलियन पैरामीटर मॉडल सीमांत प्रणालियों से मेल खाता है, लेकिन यह उसी बुनियादी विचारों को उस रूप में दिखाता है जिसे जल्दी से निरीक्षण, बदला और पुनः प्रशिक्षित किया जा सकता है।
छात्रों और डेवलपर्स के लिए, मूल्य व्यावहारिक है। यह डिबगिंग संकेतों में मदद कर सकता है, यह समझ सकता है कि टोकन क्यों मायने रखते हैं, यह देखते हुए कि हानि फ़ंक्शंस टेक्स्ट को कैसे आकार देते हैं, और सीखते हैं कि इनाम डिजाइन आधुनिक मॉडल ट्यूनिंग का हिस्सा क्यों है। शिक्षकों के लिए वीडियो लैब बजट के बिना आर्किटेक्चर और प्रशिक्षण वर्कफ़्लो सिखाने का एक कॉम्पैक्ट तरीका प्रदान करता है। जिज्ञासु पाठकों के लिये, यह स्पष्ट तस्वीर देता है कि कोड जनरेशन मॉडल यादृच्छिक वर्णों से संरचित Python तक कैसे जाते हैं।
आम गलतियाँ
- 25 मिलियन पैरामीटर मॉडल को एक सीमा प्रणाली के रूप में व्यवहार करने की अपेक्षा करना। ट्यूटोरियल तंत्रों को समझने के लिए है, न कि बड़े पैमाने पर क्षमता से मेल खाने के लिए।
- बाइट-स्तरीय शब्दावली को केवल एक प्रदर्शन चाल के रूप में व्यवहार करना. यह प्रशिक्षण सेटअप को भी सरल करता है, लेकिन यह शब्द-स्तर tokenizer की तुलना में आउटपुट कम पॉलिश कर सकता है।
- डेटा पाठ्यक्रम, हानि फ़ंक्शंस और इनाम डिजाइन को एक बार में बदलना। त्वरित पुनरावृत्ति केवल तभी उपयोगी होती है जब परिवर्तनों का परीक्षण एक-एक करके किया जाता है.
- पूर्व-प्रशिक्षण चरण को अनदेखा करना। आरएल लूप यह देखने के बाद समझने में आसान है कि मॉडल पहले क्रॉस-एन्ट्रोपी हानि से वाक्यविन्यास कैसे सीखता है।
- Assuming CPU प्रशिक्षण उत्पादन परिणामों के लिए एक शॉर्टकट है. यह छोटे प्रयोगों के लिये तेज़ है, बड़े पैमाने पर बुनियादी ढांचे का प्रतिस्थापन नहीं।
Comments (0)