शुरुआती मूल बातें

चार अरब मापदंडों के साथ Qwen3 पर रिवर्स प्रजनन, AdamW और रैंक-8 Low-Rank Adaptation का परीक्षण करने से पता चलता है कि AI वास्तव में कैसे सीखता है।

एक गाइड वजन से लेकर कम रैंक के एडेप्टर तक तंत्रिका सीखने का पता लगाता है, जिसमें दिखाया गया है कि Qwen3-4B पूर्ण fine-tuning को 68.87 GB VRAM की आवश्यकता होती है जबकि वे तेजी से प्रशिक्षण लेते हैं।

चार अरब मापदंडों के साथ Qwen3 पर रिवर्स प्रजनन, AdamW और रैंक-8 Low-Rank Adaptation का परीक्षण करने से पता चलता है कि AI वास्तव में कैसे सीखता है।

मुख्य जानकारी

  • यह लेख बताता है कि कैसे तंत्रिका नेटवर्क चरण-दर-चरण सीखते हैं, एक स्केलर वजन से शुरू होते हुए और Qwen3- 4B का उपयोग करके व्यावहारिक उदाहरण के रूप में ट्रांसफॉर्मर, एडमडब्ल्यू, बैकप्रोपेगेशन और लोरा तक निर्माण करते हैं।
  • Qwen3-4B का पूर्ण मिश्रित-सटीक ठीक ट्यूनिंग के लिए लगभग 68.87 GB VRAM की आवश्यकता होगी क्योंकि यह सभी 4.02 बिलियन वजन को अपडेट करता है और ऑप्टिमाइज़र राज्यों को संग्रहीत करता है, जो इसे कई उपभोक्ता GPUs के लिए अव्यावहारिक बनाता है।
  • रैंक-8 लो-Rank Adaptation (LoRA) केवल लगभग 16.52 मिलियन भार को प्रशिक्षित करता है, मोटे तौर पर 0.41% आधार मॉडल का और बिना अनुमान विलंबता जोड़ने के वापस मर्ज होता है।
  • एक पूरी तरह से नए तथ्य को पढ़ाना यदि मॉडल ने इसे कभी नहीं देखा है तो भ्रम पैदा कर सकता है, जबकि आक्रामक पूर्ण फाइन-ट्यूनिंग भी विनाशकारी भूलने के माध्यम से सामान्य भाषा और तर्क क्षमताओं को नुकसान पहुंचाने का जोखिम उठाता है।
  • टुकड़ा Qwen3- 4B की वास्तुकला को तोड़ता है, यह दर्शाता है कि कैसे ध्यान परतें, एमएलपी स्तर, एम्बेडिंग और सामान्यीकरण इसके 4,022,468,096 मापदंडों में संयोजन करते हैं।

Arun Prabhakaran के @LatentAILabs ने पहले सिद्धांतों का एक वॉकथ्रू प्रकाशित किया है कि कैसे एक तंत्रिका नेटवर्क सीखता है, Qwen/Qwen3-4B-Instruct-2507 का उपयोग करके NVIDIA RTX PRO 6000 Blackwell GPU (94.97 GiB of VRAM) पर टेस्टबेड के रूप में। हेडलाइन नंबरः पाठ्यपुस्तक मिश्रित परिशुद्धता 4,022,468,096 पैरामीटर मॉडल की पूरी बारीकी से ट्यूनिंग करने के लिए 68.87 GB वीआरएएम की आवश्यकता होगी, जबकि रैंक -8 लोरा एडाप्टर केवल 16.52 मिलियन भार को प्रशिक्षित करता है 0.41% मॉडल आधार 21.92 सेकंड में और शून्य अतिरिक्त अनुमान विलंबता के साथ वापस मर्ज होता है।

Testing backpropagation, AdamW, and rank-8 Low-Rank Adaptation on Qwen3 with four billion parameters shows how AI actual

काम एपिसोड 7 है कैसे AI वास्तव में काम करता है श्रृंखला, और यह पूर्ण स्टैक का पता लगाता हैः एक एकल स्केलर वजन, एक पर्सेप्ट्रॉन, एक एमएलपी, लॉजिट्स और सॉफ्टमैक्स, क्रॉस-एन्ट्रोपी हानि, बैकप्रोपागरेशन, विलुप्त होने वाली ढाल समस्या और अवशिष्ट कनेक्शन, एडमडब्ल्यू के पीछे 16-बाइट मिश्रित-सटीक मेमोरी लेआउट, और अंत में कम रैंक वाले एडाप्टर मैट्रिक्स जो एक पर ठीक ट्यूनिंग फिट करते हैं GPU।

क्यों एक नया तथ्य सिखाना 24 GB कार्ड को पार कर सकता है

bfloat16 में 2 बाइट प्रति पैरामीटर पर लोड किया गया, Qwen3- 4B किसी भी आधुनिक 12 GB से 16 GB उपभोक्ता GPU पर आराम से अनुमान लगाता है। समस्या तब शुरू होती है जब आप चाहते हैं कि यह कुछ ऐसा याद रखे जिसे उसने पूर्व-प्रशिक्षण में कभी नहीं देखा था।

प्रदर्शन संकेत एक काल्पनिक अंतरिक्ष यान ट्रांससीवर के बारे में पूछता हैः "हेलियोस -9 स्पेसक्राफ्ट ट्रांसीवर में, स्टेटस कोड एचएक्स -407 किस सटीक गलती को इंगित करता है और वसूली कार्रवाई क्या है?" ग्राउंड-ट्रूथ विनिर्देश बताता है कि HX-407 42 केल्विन से ऊपर क्रायोकोलर पीज़ो-वाल्व प्रतिध्वनि बहाव को दर्शाता है, जो ऑक्स-बस-बी पर लेजर पूर्वाग्रह स्विच करके बरामद किया गया है।

अप्रशिक्षित, मॉडल एक धाराप्रवाह भ्रम का उत्पादन करता है उच्च आवृत्ति थरथरानवाला मॉड्यूल में विफलता, एक नरम रीसेट, एक नैदानिक क्योंकि किसी भी वजन ने कभी विनिर्देश को एन्कोड नहीं किया। सभी 4.02 बिलियन भारों को अपडेट करके इसे तथ्य सिखाना दो दीवारों में चला जाता है।

पहला मेमोरी है. BF16 ग्रेडिएंट, FP32 मास्टर वेट्स और FP32, AdamW पहले और दूसरे पल की स्थितियों में 4.02 अरबों पैरामीटर उपभोग करते हैं 64.36 GB प्रति पैरामीटर 16 बाइट्स पर, प्लस 4.51 GB फॉरवर्ड सक्रियण के लिए 68.87 GB कुल 8.57 × अनुमानित वजन पदचिह्न। लेखक नोट करता है कि यह आंकड़ा 16-बाइट लेआउट से गणना की जाती है साथ ही एक अनुमानित 4.51 GB, सक्रियण का नहीं मापा गया रन। किसी भी तरह से, यह 24 GB या 48 GB GPU क्या पकड़ सकता है।

दूसरा व्यवहारिक है। आक्रामक घने अद्यतनों को सीधे पूर्व-प्रशिक्षित वजन मैट्रिक्स में धकेलने से सामान्य भाषा और तर्क क्षमता को संग्रहीत करने वाली दिशाएं बदल जाती हैं। विनाशकारी भूलना दस्तावेज जोखिम (बिडरमैन एट अल., 2024) है, हालांकि लेखक यह कहने के लिए सावधान है कि यहां लघु रन इसे नहीं दिखाया गया था।

एक सिंगल लर्नेबल वेट से शुरू

अरबों मापदंडों को छूने से पहले, वॉकथ्रू एक स्केलर कनेक्शन को अलग करता है। इनपुट x = 2.0 को लक्ष्य y_true = 1.00 के खिलाफ वजन w = 0.40 उत्पन्न करने के लिए गुणा किया जाता है। चुकता त्रुटि (0.80 - 1.00) 2 = 0.04 है, इसलिए भविष्यवाणी 0.20 बहुत कम है। L = (w · x − y _ true) 2 का विभेदन dL / dw = 2· ((y − y_ true) · x = −0.80, और सीखने की दर 0.125 के साथ एक ग्रेडिएंट कदम आगे बढ़ता है, जिसके बाद पास ठीक वापस आता है 1.00 और नुकसान शून्य है।

Testing backpropagation, AdamW, and rank-8 Low-Rank Adaptation on Qwen3 with four billion parameters shows how AI actual

एक एकल भार केवल मूल के माध्यम से एक विशेषता को माप सकता है। एक पर्सेप्ट्रॉन दो चीजें जोड़ता हैः एक वजन वेक्टर w जो प्रत्येक d इनपुट निर्देशांक को अपने स्वयं के वजन से गुणा करता है, और एक पूर्वाग्रह b जो निर्णय सीमा को स्थानांतरित करता है ताकि न्यूरॉन तब भी फायर कर सके जब इनपुट शून्य से ऑफसेट हो जाते हैं। तीसरा घटक एक गैर-रेखीय सक्रियण जैसे कि ReLU ((z) = max (0, z) या SiLU (z)) = z·sigmoid () । इसके बिना, 36 रैखिक मैट्रिक्स स्टैकिंग बीजगणितीय रूप से एक फ्लैट मैट्रिस में ढह जाता है और गहराई कुछ नहीं खरीदती है।

कई Perceptrons को समानांतर में व्यवस्थित करना ताकि प्रत्येक एक ही इनपुट वेक्टर पढ़ता है, उनके वजन वैक्टरों को 2 डी मैट्रिक्स की पंक्तियों में स्टैक करता है। एक मल्टी- Layer Perceptron श्रृंखलाओं का विस्तार मैट्रिस, एक तत्ववार गैर-रैखिकता और प्रक्षेपण मैट्रिक्स, अवशिष्ट धारा पर लौटने से पहले नेटवर्क को सुविधाओं के गैर-रेखीय संयोजन की अनुमति देता है।

Qwen3-4B की पैरामीटर गणना के अंदर

लेख मॉडल के `learning_results.json̅ को खोलता है और hidden_size = 2,560 के साथ 36 ट्रांसफार्मर परतों में हर वजन का लेखा-जोखा रखता है।

स्व-ध्यान प्रत्येक टोकन को क्वेरी, कुंजी और मानों में प्रोजेक्ट करता है ताकि टोकन सॉफ्टमैक्स ((Q·KT/√d_k) · वी के माध्यम से संदर्भ को रूट कर सकें। Qwen3- 4B 2,560/32 = 80 की बजाय एक स्पष्ट head_dim = 128 सेट करता है, इसलिए इसके 32 प्रश्न हेड q_proj के अंदर छिपी हुई स्थिति को 32 × 128 = 4,096 आयामों तक विस्तारित करते हैं, एक 4,096 × 2,560] मैट्रिक्स होल्डिंग 10,485,760 वजन ।Eight KV सिर k_proj और v_proj आकार देते हैं 1,024 × 2,560, या 2,621,440 भार प्रत्येक, और o_proj परियोजनाएं [2,560 × 4,096] दूसरे के साथ 10,485,760 भार. प्रत्येक परत भी 128 मापदंडों पर प्रति प्रमुख RMSNorm वैक्टर qnorm और k_norm लेती है।

MLP एक गेटेड SwiGLU down_proj(SiLU ((gate_proj)) up_proj))) है जिसमें मध्यवर्ती आकार = 9,728, एक 3.8 × विस्तार होता है। गेट, ऊपर और नीचे के प्रक्षेपण प्रत्येक में 24,903,680 वजन होते हैं, प्रति परत 74,711,040 एमएलपी भार के लिए।

प्रति परत जो कुल है 26,214,400 ध्यान वजन + 74,711,040 एमएलपी भार + 5,376 मानदंड भार = 100,930,816 पैरामीटर. 36 परतों में: 3,633,509,376, या मॉडल के 90.33%। बंधे हुए 151,936 × 2,560 टोकन एम्बेडिंग और आउटपुट हेड जोड़ते हैं 388,956,160 मापदंड (9.67%), और अंतिम आरएमएसएनॉर्म जोड़ता है 2,560 पर पहुंचने वाले 4,022,468,096 पैरामीटर, या bfloat16 में 8,044,936,192 बाइट्स।

Testing backpropagation, AdamW, and rank-8 Low-Rank Adaptation on Qwen3 with four billion parameters shows how AI actual

Logits, Softmax, और क्यों नुकसान एक लॉगरिदम है

प्रत्येक टोकन पोजीशन पर मॉडल सभी 151,936 शब्दावली प्रविष्टियों में अपने अंतिम छिपे हुए वेक्टर को प्रोजेक्ट करता है ताकि लॉजिट नामक कच्चे स्कोर का उत्पादन किया जा सके। सॉफ्टमैक्स उन्हें संभावनाओं में बदल देता है, और क्रॉस-एन्ट्रोपी नेट्स में L = -ln ((P_correct) के रूप में सही टोकन स्कोर करता है।

भाग 1 ने एक निरंतर स्केलर लक्ष्य के लिए वर्ग त्रुटि का उपयोग किया। अगला टोकन भविष्यवाणी इसके बजाय 151,936-मार्ग असतत वर्गीकरण समस्या है, और सॉफ्टमैक्स प्लस क्रॉस-एन्ट्रोपी एक हानि सतह उत्पन्न करती है जो लॉजिट्स के संबंध में उत्तल होती है और हमेशा [−1, 1] के भीतर dL/dz_i = P_i − 1 {i == सही} देता है।

एचएक्स -407 विनिर्देश के पहले 10 उत्तर टोकन में मापा गया, तीन शासन दिखाई देते हैं। आत्मविश्वास-और-सही शासन में, एक बार उपसर्ग "स्थिति कोड एच" को प्रॉम्प्ट पर सशर्त कर दिया जाता है, तो मॉडल संभावना 99.9% (0.001 नट्स), "एच" 82.6% (0.19 नट्स) और "कोड" 80.6% (58) नट्स पर "एक्स" की भविष्यवाणी करता है। 151,936 टोकन भर में अनुमान लगाने की समान आधार रेखा की लागत 11.9 नट्स होगी; उद्घाटन टोकन "स्टेटस" पर मॉडल असाइन करता है 0.81%, या 4.82 नट्स। आत्मविश्वास और गलत शासन में दंड अबाधित हैः जब ग्राउंड ट्रूथ "क्रियोकूलर इंगित करता है", तो टोकन लागत का संकेत देता है "25.1 नट्स, और अनदेखा डोमेन चिल्ला टोकन "10−12" से नीचे गिरता है, मूल्यांकन स्क्रिप्ट को हिट करता है −10{\\displaystyle \\max}

पूर्ण लक्ष्य अनुक्रम में, अप्रशिक्षित Qwen3- 4B औसत 4.37 नट्स (भ्रम exp(4.3724) = 79.24, एक ज्यामितीय-औसत टोकन संभावना 1.26% और एक अंकगणितीय-आमतौर पर लक्ष्य टोकन की संभावना 56.0%), के खिलाफ सामान्य नैदानिक अंग्रेजी वाक्यों पर 2.79 नट (भ्रामकता 16.36) ।

एक रिवर्स पास में पीछे की ओर प्रजनन

बैकप्रोपेगेशन चेन नियम को उल्टा लागू करता है, परत 35 पर स्केलर नुकसान से वापस लेयर 0 तक। एक रैखिक परत y = W · x + b के लिए, प्रत्येक वजन ढाल अपस्ट्रीम आउटपुट संवेदनशीलता और सहेजे गए फॉरवर्ड इनपुट सक्रियण का उत्पाद हैः dL / DW = (dL / dy) × T. नेटवर्क में हर मैट्रिक्स को एकल पिछड़े स्वीप में इसका सटीक ढाला मिलता है, जो कि 16-बाइट मेमोरी बिल को पूर्ण रूप से ठीक-ट्यूनिंग में इतना बड़ा बनाता है ग्रेडिएंट्स और ऑप्टिमाइज़र राज्य सभी 4.02 बिलियन भारों के लिए मौजूद होना चाहिए।

LoRA में क्या परिवर्तन होते हैं, और 21.92-सेकंड रन क्या दिखाता है

रैंक -8 लोरा पथ दोनों दीवारों को दरकिनार करता है। W_0 अपडेट करने के बजाय, यह अद्यतन का एक निम्न-रैंक अपघटन सीखता है, और एडाप्टर का बी मैट्रिक्स शून्य पर आरंभ किया जाता है ताकि प्रशिक्षण पूर्व प्रशिक्षित फ़ंक्शन से शुरू हो जाए। मापा जाने वाले रन में,16.52 मिलियन एडेप्टर वेट्स 198.18 MB FP32 एडॉप्टर प्लस AdamW स्टेट 21.92 ट्रेन 21.92 सेकंड में ब्लैकवेल परRTX PRO 6000 फिर बिना किसी अतिरिक्त अनुमान विलंबता के आधार भार में वापस मर्ज करें।

अपने स्वयं के फाइन-ट्यूनिंग योजनाओं का वजन करने वाले पाठकों के लिए, व्यावहारिक टेकअवे अनुपात हैः 0.41% पैरामीटर, लगभग 1/244 वीं पूर्ण ठीक ट्यूनिंग अनुमान की मेमोरी दबाव और एक मर्ज चरण जो तैनाती को अपरिवर्तित छोड़ देता है। पूरा 25-मिनट का साथी वीडियो @LatentAILabs पर YouTube पर है, जिसमें रैंक -8 लोरा और 60 सेकंड का छोटा कवर शामिल है कि बी शून्य से क्यों शुरू होता है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.