सक्रियण कार्य एक AI सहायक के व्यवहार को प्रभावित करते हैं
सक्रियण कार्य AI सहायक व्यावसायिक प्रश्नों का उत्तर कैसे देते हैं; निर्णय प्रकार के आधार पर आंतरिक और आउटपुट सक्रियण चुनें।
मुख्य जानकारी
- सक्रियण कार्य आंतरिक विशेषता परिवर्तन और व्यावसायिक आउटपुट के प्रारूप दोनों को प्रभावित करके एक AI सहायक के व्यवहार को आकार देते हैं।
- डिज़ाइन को ReLU या GELU जैसे नामकरण कार्यों के बजाय व्यावसायिक प्रश्न प्रकारों-हाँ/नहीं, बहुविकल्पीय, रैंकिंग या स्पष्टीकरण से शुरू करना चाहिए।
- ReLU, GELU, SiLU और SwiGLU जैसे आंतरिक सक्रियण Transformer परतों के अंदर काम करते हैं जबकि सिग्मोइड और सॉफ्टमैक्स जैसे आउटपुट सक्रियण अंतिम निर्णय प्रारूप निर्धारित करते हैं।
- Transformer में, सॉफ्टमैक्स का उपयोग ध्यान और आउटपुट परतों में किया जाता है ताकि स्कोर को संभावना वितरण में परिवर्तित किया जा सके, जबकि फीड-फॉरवर्ड सक्रियण नियंत्रित करते हैं कि सीखी गई विशेषताओं को कैसे संसाधित किया जाए।
- कार्य आवश्यकताओं के लिए सक्रियण विकल्पों को मिलान करने से वास्तुकला त्रुटियों को रोकने में मदद मिलती है और मॉडल डिजाइन पर प्रतिबद्ध होने से पहले अधिक स्पष्ट हितधारक चर्चा का समर्थन करता है।
जब एक AI सहायक का निर्माण किया जाता है, तो मॉडल के अंदर गणितीय विकल्प - विशेष रूप से सक्रियण फ़ंक्शंस - सीधे तौर पर आकार देते हैं कि यह व्यावसायिक प्रश्नों को कैसे संभालता है जैसे "क्या इस व्यय की अनुमति है?" या "कौन सा विभाग इसे संभालना चाहिए? यह मार्गदर्शिका बताती है कि सक्रियण कार्य Transformer में कहां बैठते हैं, आंतरिक और व्यवसाय-आउटपुट सक्रियताओं को अलग करता है, और दिखाता है कि हां / नहीं निर्णय, रैंकिंग, एकाधिक पसंद और स्पष्टीकरण जैसे प्रकार के सवालों के लिए फ़ंक्शन विकल्प कैसे मिलान करें। आपको मॉडल वास्तुकला के प्रति प्रतिबद्ध होने से पहले हितधारकों के साथ डिजाइन चर्चाओं के लिए एक व्यावहारिक ढांचा मिलेगा।
व्यापारिक प्रश्नों से शुरू करें, शब्दावली से नहीं
कार्य खोज के दौरान, पहली वार्तालाप ReLU, GELU या SwiGLU से शुरू नहीं होनी चाहिए। इसके बजाय, अपने सहायक को निष्पादित करने वाले गणितीय कार्यों की पहचान करें। नमूना प्रश्न आवश्यक आउटपुट का आकार प्रकट करते हैंः
- "क्या यह व्यय स्वीकार्य है?" हाँ/नहीं निर्णय
- कई विकल्पों में से चयन
- "हमारी छुट्टी नीति क्या है?
- "Compare Plan ए और प्लान बी" रैंकिंग या तुलना
- बहु-चरण की सिफारिश
कुछ प्रश्नों को कई विकल्पों (बहुविकल्पीय) से एक ही उत्तर की आवश्यकता होती है; अन्य लोगों को एक साथ कई उत्तरों की जरूरत होती है (चेकबॉक्स प्रकार); फिर भी दूसरों को उच्च से निम्न या स्पष्टीकरण उत्पन्न करने के लिए रैंकिंग की आवश्यकता हो सकती है। इस तरह से सवालों का वर्गीकरण Transformer वास्तुकला और संभावित सक्रियण कार्यों दोनों को निर्धारित करने में मदद करता है।
दो भिन्न सक्रियण समस्याएँ
एक उपयोगी अंतर दो श्रेणियों में सक्रियण कार्यों को अलग करता हैः
आंतरिक सक्रियण कार्य नियंत्रण कैसे सुविधाओं नेटवर्क के अंदर बदलते हैं। उदाहरणों में शामिल ReLU, GELU, SiLU, जीएलयू और SwiGLU. नियंत्रण का प्रवाह हैः Inside Transformer → आंतरिक सुविधाओं को कैसे परिवर्तित किया जाना चाहिए?
व्यापार-आउटपुट सक्रियण कार्य व्यापार निर्णय के परिणाम को नियंत्रित करें। उदाहरणों में सिग्मोइड और सॉफ्टमैक्स शामिल हैं। प्रवाह हैः Business Output → किस प्रकार का उत्तर आवश्यक है?
इन्हें अलग रखने से एक आम डिज़ाइन त्रुटि को रोका जाता है: आंतरिक सक्रियणों को ट्यूनिंग करते हुए आउटपुट परत की अनदेखी करना जो वास्तव में यह निर्धारित करता है कि सहायक संभावना, वर्ग या रैंक सूची लौटाता है।
न्यूनतम Transformer पाइपलाइन
Python में लिखा गया एक छोटा Transformer इन चरणों को शामिल करता हैः token embeddings , पोजीशनल एन्कोडिंग, स्व-ध्यान, फीड-फॉरवर्ड परतें, अवशिष्ट कनेक्शन, सामान्यीकरण और आउटपुट परतें।
कोर पाइपलाइन चलती हैः tokens → embedding → स्थितिगत सूचना → स्व-ध्यान → अवशिष्ट + सामान्यीकरण → फ़ीड-फॉरवर्ड नेटवर्क → अवशेष + सामान्यकरण → आउटपुट प्रतिनिधित्व।
सक्रियण से संबंधित निर्णय पांच स्थानों पर होते हैंः ध्यान सॉफ्टमैक्स, फीड-फॉरवर्ड सक्रियण, वैकल्पिक गेटिंग, कार्य-विशिष्ट आउटपुट सक्रियण और अंतिम शब्दावली सॉफ़्टमैक्स।
Transformer को एक Feature Factory के रूप में सोचें
"क्या कोई कर्मचारी अप्रयुक्त अवकाश को आगे ले जा सकता है?" जैसे प्रश्न के लिए, Transformer छिपी हुई विशेषताओं वाले एक आंतरिक प्रतिनिधित्व का निर्माण करता हैः कर्मचारी नीति = मजबूत, छुट्टी = बहुत मजबूत, आगे ले जाना = बहुत शक्तिशाली, पेरोल = कमजोर, समाप्ति = कमज़ोर, अपवाद नियम = मध्यम, पात्रता = मजबूत।
इस छिपे हुए प्रतिनिधित्व को h कहें। एक ही प्रतिनिधित्व विभिन्न व्यावसायिक उद्देश्यों को खिला सकता हैः हाँ/नहीं सिर, इरादा सिर, पुनर्प्राप्ति स्कोर और भाषा पीढ़ी। Transformer पुनः प्रयोज्य प्रासंगिक सुविधाएँ बनाता है; व्यवसाय प्रमुख तय करते हैं कि वे विशेषताएं क्या बनती हैं। यही कारण है कि आउटपुट सक्रियण विकल्प उतना ही महत्वपूर्ण है जितना आंतरिक सक्रियण पसंद।
जहां सॉफ्टमैक्स ध्यान में बैठता है
ध्यान ब्लॉक गणना करता है Q = XWQ, K= XWK, V=XWV, फिर AttentionScores = QK^T / sqrt(dk), तो AttentionWeights = सॉफ्टमैक्स ((AttentionScors), तब आउटपुट = Attentionweights × V.
ध्यान एक प्रतियोगिता है: सभी tokens के बीच, ध्यान कहाँ वितरित किया जाना चाहिए? वाक्य "कर्मचारी ने चालान प्रस्तुत किया क्योंकि यह अतिदेय था", शब्द "यह" 0.72 पर चालान में भाग ले सकता है, 0.09 पर कर्मचारी, 0.07 पर प्रस्तुत किया गया और 0.12 पर विलंबित। ये मान लगभग 1a संभावना वितरण को जोड़ते हैं। सॉफ्टमैक्स कच्चे स्कोर (लॉगिट्स) को उस वितरण में परिवर्तित करता है।
एक चित्रात्मक ध्यान फ़ंक्शन token embedding प्लस स्थिति, QKV प्रक्षेपण, डॉट-उत्पाद समानता, कारण मास्क और सॉफ्टमैक्स, अनमास्क्ड ध्यान और भारित मूल्य संयोजन के माध्यम से चलता है। प्रत्येक चरण में एक अलग काम हैः
- token embedding + पद शब्दों को संख्यात्मक वेक्टरों में परिवर्तित करता है और स्थानिक जानकारी जोड़ता है, जो शब्द क्रम का सम्मान करते हुए गणितीय प्रसंस्करण सक्षम बनाता है।
- क्वेरी, कुंजी और मूल्य (क्यूकेवी) यह अलग करता है कि क्या देखना है (Q), किसके साथ तुलना करना है (K) और कौन सी जानकारी प्रदान करनी है (V), आउटपुट डिलीवरी से पुनः प्राप्ति को विघटित करते हुए।
- डॉट-उत्पाद समानता चौड़ाई के वर्गमूल से विभाजित डॉट उत्पाद द्वारा क्वेरी और कुंजी वैक्टरों के बीच संगतता को मापता है, स्कोर परिमाण को नियंत्रित करता है।
- कारण मुखौटा + सॉफ्टमैक्स भविष्य के पदों को अवरुद्ध करता है और समानता स्कोर को ध्यान भार में परिवर्तित कर देता है जो 1 तक पहुंचता है।
- बेदाग ध्यान भविष्य-स्थिति मास्किंग के बिना ध्यान की गणना करता है.
- भारित मूल्य संयोजन मूल्य वेक्टरों को ध्यान भार से गुणा करता है और उन्हें जोड़ता है, संदर्भ-जागरूक प्रतिनिधित्व का उत्पादन करता है।
फ़ीड-फ़ॉरवर्ड नेटवर्क: आपने जो पाया उसके साथ क्या करना है
ध्यान उत्तर देता है "मुझे कहाँ देखना चाहिए?" फ़ीड-फॉरवर्ड नेटवर्क जवाब देता है, "मेरे पास अब जो जानकारी है उसके साथ मुझे क्या करना चाहिए?
एक सरल फीड-फॉरवर्ड ब्लॉक है FFN ((x) = W2 ((ReLU ((W1x + b1)) + b2. यहाँ ReLU को GELU, SiLU से बदल दिया जा सकता है या SwiGLU का उपयोग करके फिर से डिज़ाइन किया गया ब्लॉक। यह वह जगह है जहां सक्रियण स्तर के प्रयोग एफएफएन के साथ होते हैं।
सरल समस्याओं के लिए ReLU
एचआर सहायक को डिजाइन करते समय, "कितने आकस्मिक अवकाश उपलब्ध हैं?", "क्या छुट्टी आगे बढ़ाई जा सकती है", "यात्रा प्रतिपूर्ति की मंजूरी कौन देता है? ", और "नोटिस अवधि क्या है?" जैसे प्रश्न ज्यादातर तथ्यात्मक, संकीर्ण, संरचित और अपेक्षाकृत कम अस्पष्टता में होते हैं। ऐसे मामलों के लिए ReLU एक उचित आधार रेखा हैः ReLU ((x) = अधिकतम (0, x)) ।
यदि leave_policy = +3.2, termination = -1.4, salary_revision = -0.8, तो ReLU के बाद: leave_police = [10), termination=0, salary _ revision = 0. अंतर्ज्ञानः उपयोगी सकारात्मक विशेषताएं रखें, बाकी को दबाएं। कम लागत वाली प्रणाली के लिए यह पर्याप्त हो सकता है, हालांकि इसे माना जाने की बजाय परीक्षण किया जाना चाहिए।
संख्यात्मक रूप से सक्रियण कार्यों की तुलना करना
सिग्मोइड, रेलु, गेलू और सिलू के लिए उपयोगिता कोड इनपुट पर चलता है -3.0 से 3.0। सूत्र हैंः
- ReLU(x) = अधिकतम ((0, x)
- GELU ((x) = x * सामान्य सीडीएफ ((x))
- SiLU(x) = x * सिग्मोइड ((x)
- सिग्मोइड ((x) = 1 / (1 + exp(-x))
आउटपुट तालिका दिखाती है कि प्रत्येक फ़ंक्शन इनपुट रेंज में कैसे व्यवहार करता हैः
| इनपुट | ReLU | जेलू | सीएलयू | सिग्मोइड |
|---|---|---|---|---|
| -3.00 | 0.0000 | -0.0040 | -0.1423 | 0.0474 |
| -2.00 | 0.0000 | -0.0455 | -0.2384 | 0.1192 |
| -1.00 | 0.0000 | -0.1587 | -0.2689 | 0.2689 |
| -0.50 | 0.0000 | -0.1543 | -0.1888 | 0.3775 |
| 0.00 | 0.0000 | 0.5000 | ||
| 0.50 | 0.5000 | 0.3457 | 0.3112 | 0.6225 |
| 1.00 | 1.0000 | 0.8413 | 0.7311 | 0.7311 |
| 2.00 | 2.0000 | 1.9545 | 1.7616 | 0.8808 |
| 3.00 | 3.0000 | 2.9960 | 2.8577 | 0.9526 |
तालिका ट्रेड-ऑफ को दृश्यमान बनाती हैः ReLU हार्ड क्लिप्स नकारात्मक शून्य, GELU और SiLU छोटे ऋणात्मक मानों की अनुमति देता है जो ढाल संकेत को संरक्षित करते हैं, और सिग्मोइड संभावना आउटपुट के लिए उपयुक्त 011 सीमा में सब कुछ संपीड़ित करता है।
एक मिनी Transformer अभ्यास चलाना
कोड अभ्यास लक्ष्यों के साथ संकेतों का उपयोग करता हैः "बिल्ली पीते हैं" को लक्षित करते हुए "दूध", "कुत्तों को पीना" पानी, और "मुझे पसंद है" लक्ष्यीकरण "चाय"। मिनी_ Transformer मॉड्यूल ACTIVATION_NAMES, NEXT_WORDS, count_feed_forward_parameters, format_vector और run_ Transformer को उजागर करता है। एक-शब्द लक्ष्य के लिए, हानि की गणना -ln (लक्ष्य को सौंपी गई संभावना) के रूप में की जाती है), यह देखने का एक सीधा तरीका है कि सक्रियण विकल्प अगले सही शब्द को आवंटित करने की संभावना को कैसे प्रभावित करता है.
सहायक डिजाइन के लिए इसका क्या अर्थ है
व्यावहारिक टेकअवे एक दो-परत निर्णय है। आंतरिक सुविधा रूपांतरण के लिए, ReLU, GELU, SiLU और SwiGLU में से चुनें कि आप कितने नकारात्मक मूल्य संकेत को संरक्षित करना चाहते हैं और आप कितना कंप्यूटिंग खर्च कर सकते हैं। व्यावसायिक आउटपुट के लिए हाँ/नहीं संभावनाओं के लिए सिग्मोइड का चयन करें और ध्यान वितरण उत्पन्न करने या पारस्परिक रूप से अनन्य विकल्पों के बीच चयन करने के लिए सॉफ्टमैक्स। पहले इन आउटपुट आकारों पर अपने हितधारकों के प्रश्न मैप करें; आंतरिक सक्रियण पसंद मॉडल आर्किटेक्चर और बजट से मिलती है। परीक्षण की बजाय यह मान लें उपरोक्त संख्यात्मक तालिका दिखाता है कि फ़ंक्शंस -1 से 1 रेंज में सबसे अधिक भिन्न होते हैं, जो वास्तव में जहां कई व्यवसाय-प्रासंगिक विशेषताएं रहती हैं।

Comments (0)