विरल ऑटोएनकोडर्स विशेषज्ञों के मिश्रण मॉडल की व्याख्या करते हैं यह प्रकट करके कि उनके विशेषज्ञ मानव-व्याख्या योग्य बारीक दानेदार विशेषज्ञता का प्रदर्शन करते हैं
यह रिलीज़ Qwen3 MoE विशेषज्ञों को निजी, बारीक दानेदार विशेषताओं, कोड जारी करने और एक विशेषज्ञ अन्वेषक दिखाने के लिए विरल ऑटोएन्कोडर का उपयोग करता है।
मुख्य बिंदुओं का सारांश
- शोधकर्ताओं ने पहले से परिभाषित लेबलों के बिना प्रत्येक विशेषज्ञ क्या करता है, यह प्रकट करने के लिए परत 4, 30 और 46 पर Qwen3-30B-A3B MoE आउटपुट पर 2 ^ 20 लैंटेंट्स और k = 100 के साथ टॉपके स्परस ऑटोएनकोडर को प्रशिक्षित किया।
- सटीक एट्रिब्यूशन काम करता है क्योंकि एसएई एन्कोडर आत्मीय होता है और MoE आउटपुट विशेषज्ञों के आउटपुट का एक भारित योग होता है, जो 1.5B tokens का उपयोग करके सक्रिय विशेषज्ञों पर गुप्त सक्रियण को विघटित करने की अनुमति देता है।
- विशेषज्ञ अत्यधिक केंद्रित और ज्यादातर निजी विशेषज्ञता दिखाते हैंः अधिकांश लैंटेंट में केवल एक या दो प्रमुख विशेषज्ञ होते हैं, और ये प्रमुख सेट गेटिंग/रूटिंग तंत्र की तुलना में अधिक ध्यान केंद्रित करते हैं।
- विशेषज्ञता व्यापक विषय क्षेत्रों की तुलना में अधिक सूक्ष्म है, जिसमें जावा बनाम फ्रंट-एंड वेब कोड और ज्यामिति बनाम अंकगणित और बहुपदों जैसे कार्यों के लिए अलग-अलग विशेषज्ञ हैं, जिनमें पाठ रूप, भाषा और संस्थाओं जैसे गैर-विषय पैटर्न शामिल हैं।
- इस रिलीज़ में कोड, तीन एसएई और सभी 128 लेयर -30 विशेषज्ञों के लिए एक इंटरैक्टिव एक्सप्लोरर शामिल है, जो इस विचार का समर्थन करता है कि MoE मॉडल मानव-परिभाषित श्रेणियों की बजाय बारीक दानेदार, विशेषज्ञ-स्वामित्व वाले पैटर्न में ज्ञान को व्यवस्थित करते हैं।
मॉडल व्याख्याशीलता में रुचि रखने वाले पाठकों के लिए, एक रिलीज़ एक टॉपके स्परस ऑटोएनकोडर (एसएई) को प्रशिक्षित करने का वर्णन करती है, जो कि 2 ^ 20 लैंटेंट्स और k = 100 के साथ मॉडल सक्रियण से MoE ब्लॉक आउटपुट पर Qwen3-30B-A3B की परतों 4, 30 और 46. MoE, या मिश्रण-विशेषज्ञ, कई विशेषज्ञ ब्लॉकों के बीच गणना विभाजित करते हैं। रिलीज दिखाता है कि प्रत्येक Qwen 3 MoE विशेषज्ञ पूर्वनिर्धारित डोमेन लेबल के बिना क्या करता है।

विशेषज्ञों के बीच सटीक श्रेय
एसएई एन्कोडर सहसंबंधी है, और MoE आउटपुट विशेषज्ञों के आउटपुट का एक भारित योग है। इस संरचना के कारण, प्रत्येक गुप्त की सक्रियता सक्रिय विशेषज्ञों पर ठीक से विघटित होती है। 1.5B tokens पर इस अपघटन को जोड़ने से हर विशेषज्ञ को मुख्य रूप से ड्राइव करने वाले लुप्त तत्वों का एक प्रमुख सेट मिलता है।
विशेषज्ञ, व्यापक क्षेत्र नहीं
विश्लेषण से पता चलता है कि योगदान गेटिंग की तुलना में कहीं अधिक केंद्रित है। गेटिंग वह रूटिंग तंत्र है जो यह तय करता है कि इनपुट के लिए किन विशेषज्ञों का उपयोग किया जाता है। अधिकांश लुप्त तत्वों में केवल एक या दो प्रमुख होते हैं, और प्रमुख सेट प्रत्येक विशेषज्ञ के लिए काफी हद तक निजी होते हैं।
विशेषज्ञ मोटे डोमेन के नीचे विशिष्ट होते हैं। एक जावा विशेषज्ञ फ्रंट एंड वेब कोड के लिए एक अलग विशेषज्ञ के बगल में बैठता है, और एक ज्यामिति विशेषज्ञ अंकगणित और बहुपदों के लिए दूसरे के पास रहता है। परत 30 के 128 विशेषज्ञों को समूहीकृत करने से बहुत असमान आकार के 11 डोमेन मिलते हैं। कुछ डोमेन बिल्कुल भी विषय क्षेत्र नहीं हैं, जैसे कि पाठ रूप, भाषा और संस्थाएं और पहचानकर्ता।
निरीक्षण के लिए जारी
इस रिलीज़ में कोड, तीन एसएई और लेयर 30 के सभी 128 विशेषज्ञों का एक इंटरैक्टिव एक्सप्लोरर शामिल है।
मॉडल व्याख्यात्मकता का अनुसरण करने वाले पाठकों के लिए, मूल्य ठोस हैः यह दुर्लभ सुविधाओं के साथ विशेषज्ञ रूटिंग को जोड़ने का एक तरीका प्रदान करता है, और यह सुझाव देता है कि MoE मॉडल स्वच्छ, मानव-परिभाषित श्रेणियों के बजाय बारीक दानेदार, विशेषज्ञ स्वामित्व वाले पैटर्न में ज्ञान व्यवस्थित कर सकते हैं।
Comments (0)