कैसे neural networks कार्य और क्यों रैखिक संबंध अकेले पर्याप्त नहीं हैं

मेटा विवरणः सुश्री पॉली एक साधारण neural network में ReLU और Sigmoid का उपयोग करती है गैर-रैखिकता को मॉडलिंग करने के लिए और 58 परीक्षा अंकों की भविष्यवाणी करने और शुरुआती लोगों के लिए उत्तीर्ण या असफल परिणाम।

टैगः ReLU, सिग्मोइड, neural networks , गैर-रैखिकता, deep learning

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> Rectified Linear Unit और सिग्मोइड वक्रों में झुकने वाली एक सीधी रेखा का अमूर्त मैत्रीपूर्ण चित्रण, बिना किसी वास्तविक लोगों के, कोई लोगो या पाठ के।

यह मार्गदर्शिका उन पाठकों के लिए है जो neural networks में गैर-रैखिकता को समझना चाहते हैं। neural networks कैसे काम करता है सीधे रेखा समीकरण (y=ax+b) का उपयोग करके समझाया गयावह इस धारणा से शुरू होती है कि परीक्षा के अंक अध्ययन किए गए घंटों के प्रत्यक्ष अनुपात में बढ़ते हैं, फिर अंकों और पास-या-फेल परिणाम की भविष्यवाणी करने के लिए ReLU और सिग्मोइड कार्यों के साथ एक सरल neural network का उपयोग करती है। मान ली गई पृष्ठभूमि बुनियादी रैखिक कार्य और गहरी neural networks के साथ परिचितता है।

व्यावहारिक परिणाम संक्षिप्त हैः ReLU-आधारित मॉडल 5 घंटे के अध्ययन मामले के लिए 60 अंकों की भविष्यवाणी करता है, जो वास्तविक 58 के करीब है, और ReLU और सिग्मोइड मॉडल उदाहरण में सभी छात्रों के लिए पास-या-फेल परिणाम को वर्गीकृत करते हैं।

क्यों एक सीधी रेखा निशानों से मेल नहीं खा सकती

एक सीधी रेखा सभी इनपुट मानों पर एक नियम लागू करती है। समीकरण y=ax+b में, y आउटपुट चर और x इनपुट चर है; a बताता है कि जब x बदलता है तो y कितना बदल जाता है, और b तब y का मूल्य होता है जब x 0 होता है.

सुश्री पॉली के लिए, y स्कोर किए गए अंक बन जाते हैं, x अध्ययन किए जाने वाले घंटों की संख्या बन जाती है, a प्रत्येक घंटे के लिए अंकों में वृद्धि हो जाती है और b न्यूनतम अंक बन जाता है जो हर छात्र बिना पढ़ाई के स्कोरिंग करने में सक्षम होता है। वह एक कारक के आसपास एक अध्ययन योजना बनाती हैः प्रति सप्ताह अध्ययन किए गए घंटो की संख्या। तिमाही परीक्षा के बाद, वह अपने छात्रों का साक्षात्कार करती है, रिकॉर्ड करती है कि उन्होंने प्रति सप्ताह कितने घंटे गणित का अध्ययन किया, और डेटा को प्लॉट करता है।

सरल सूत्र एकत्रित आंकड़ों के साथ संरेखित नहीं होता है, जो दिखाता है कि वास्तविक जीवन का डेटा शायद ही कभी सीधे व्यवहार करता है। सुश्री पॉली एक पैटर्न नोटिस करती हैः केवल कुछ घंटों के लिए अध्ययन करने वाले छात्रों में बहुत सुधार नहीं हो सकता है। एक बार जब वे एक निश्चित बिंदु को पार कर लेते हैं, तो अतिरिक्त अध्ययन के साथ अंक बढ़ना शुरू हो जाते हैं। एक और बिंदु के बाद, अंक काफी स्थिर रहते हैं।

इस संबंध को तीन भागों में विभाजित किया जा सकता हैः

• t1 घंटे से कमः अंक स्थिर रहते हैं
• टी1 से टी2 घंटे: अध्ययन समय के साथ अंक बढ़ते हैं
• 2 घंटे से अधिकः अंक स्थिर रहते हैं

इसका मतलब है कि अलग-अलग समीकरणों की आवश्यकता हैः

• y = पहला समीकरण, x < t1
• y = दूसरा समीकरण, t1 <= एक्स < टी2
• y = तीसरा समीकरण, x >= t2

एक सिंगल सीधी रेखा अपर्याप्त है क्योंकि व्यवहार विशिष्ट बिंदुओं पर बदलता है।

ReLU टुकड़ावार रैखिक नियमों को नेटवर्क परत में बदल देता है

उदाहरण को सरल रखने के लिए, सुश्री पॉली पहले दो क्षेत्रों का उपयोग करती हैः

• क्षेत्र 1: अध्ययन के घंटे < t1
• क्षेत्र 2: अध्ययन के घंटे >= t1

पहले क्षेत्र में, मान एक विशेष स्तर के आसपास मंडराते हैं। वे पूरी तरह से एक पंक्ति में नहीं होते हैं, लेकिन उन्हें ढलान = 0 वाली रेखा द्वारा अनुमानित किया जा सकता है, यह दर्शाता है कि अंक मोटे तौर पर समान रहते हैं। दूसरे क्षेत्र में एक सकारात्मक झुकाव होता है, इसलिए एक और सीधी-रेखा समीकरण का उपयोग खड़ी ऊपर की ओर झुकने वाली लाइन के लिए किया जाता है।

व्यक्तिगत रूप से, ये सीधी रेखा समीकरण हैं. साथ में, समग्र संबंध अब एक सीधी लाइन नहीं है. जब x एक निश्चित मूल्य को पार करता है, तो समीकरण बदल जाता है. यह एक टुकड़ा रैखिक फ़ंक्शन हैः इनपुट की विभिन्न श्रेणियों के लिए अलग-अलग नियम।

यह विचार ReLU में प्रकट होता है, जो neural networks में सबसे व्यापक रूप से उपयोग किए जाने वाले सक्रियण कार्यों में से एक है।

• y = ReLU(x) = अधिकतम ((0,x)

यह सकारात्मक आदानों को अपरिवर्तित रखता है और नकारात्मक इनपुट को शून्य में बदल देता है. व्यक्तिगत टुकड़ा रैखिक होता है, लेकिन पूरा कार्य गैर-रैखिक है, इसलिए यह एक न्यूरॉन को विभिन्न इनपुट रेंज पर अलग तरह से प्रतिक्रिया करने की अनुमति देता है।

अंक-भविष्यवाणी मामले के लिए, सुश्री पॉली मैन्युअल रूप से चुने गए भार और पूर्वाग्रहों के साथ एक अप्रशिक्षित नेटवर्क का उपयोग करती है। इनपुट परत को अध्ययन किए गए घंटों की संख्या प्राप्त होती है, x. छिपी हुई परत एक रैखिक परिवर्तन लागू करती है और ReLU:

• z = w1x + b1 = x - 3, जिसमें w1=1 और b1=-3
• h = ReLU(z) = max(0, z)

आउटपुट परत छिपी हुई परत के आउटपुट पर एक रैखिक परिवर्तन लागू करने के बाद चिह्नों की भविष्यवाणी करती हैः

• ŷ = w2h + b2 = 10h + 40, जिसमें w2=10 और b2=40

एक छात्र के लिए जो 5 घंटे अध्ययन करता है, उसके लियेः - 1 वर्ष की अवधि

• z = 5 - 3 = 2
• h = अधिकतम ((0, 2) = 2
• ŷ = 10(2) + 40 = 60

नेटवर्क 60 अंकों की भविष्यवाणी करता है, जबकि dataset में वास्तविक अंक 58 है।

वास्तविक और पूर्वानुमानित अंक ठीक से मेल नहीं खाते हैं, लेकिन वे करीब हैं। अंक बढ़ते रहते हैं और अंत में समतल नहीं होते क्योंकि ReLU सीमा के बाद मूल्य बढ़ता रहता है। यह दर्शाता है कि कैसे ReLU डेटा में गैर-रैखिक संबंधों को मॉडल करने में मदद करता है।

सिग्मोइड एक चिकनी संभावना आकार जोड़ता है

टुकड़े-टुकड़े की रैखिक फिट में अभी भी एक क्षेत्र से दूसरे में तेज संक्रमण है। सुश्री पॉली ने सरलता के लिए केवल दो क्षेत्रों पर विचार किया, भले ही वितरण को तीन क्षेत्रों में विभाजित किया जा सकता हो। वह सभी बिंदुओं के माध्यम से लगभग एक चिकनी वक्र खींचती है।

यह वक्र लगभग समतल रहता है जब एक छात्र t1 घंटे तक अध्ययन करता है। t1 से t2 तक, अधिक अध्ययन के घंटों में स्कोर किए गए अंकों को बढ़ाया जाता है, जिससे ढलान बनता है। टी 2 के बाद, यह फिर से सपाट हो जाता है। संक्रमण धीरे-धीरे और निरंतर होता है, टुकड़ा रैखिक वक्र के विपरीत, जो सरल सीधी रेखाओं का उपयोग करके दिशा बदल देता है।

इस आकृति को गणितीय रूप से सिग्मोइड फ़ंक्शन द्वारा दर्शाया जा सकता है। एक सिग्मॉइड किसी भी वास्तविक-मूल्य वाले इनपुट को स्वीकार करता है और इसे 0 और 1 के बीच के मूल्यों पर मैप करता है। वक्र 0 के पास शुरू होता है, मध्य में तेजी से बढ़ता है, और 1.

• y = σ(x) = 1 / (1 + exp(-x))

neural networks में, सिग्मोइड फंक्शन उपयोगी है क्योंकि यह गैर-रैखिकता का परिचय देता है जबकि 0 और 1 के बीच आउटपुट को भी प्रतिबंधित करता है। इससे यह उपयुक्त हो जाता है जब आउटपुट एक संभावना का प्रतिनिधित्व करने की आवश्यकता होती है, जैसे कि किसी छात्र द्वारा परीक्षा उत्तीर्ण होने की संभावना। उच्च सिग्मॉइड आउटपुट पास होने की अधिक संभावना दर्शाता है, और निम्न आउटपुट कम संभावना दर्साता है।

पास-या-फेल भविष्यवाणी के लिए, सुश्री पॉली मानती है कि एक छात्र को उत्तीर्ण होने के लिए न्यूनतम 50 अंकों की आवश्यकता होती है। नेटवर्क का उपयोग करता हैः

• इनपुट लेयरः अध्ययन किए गए घंटों की संख्या, x
• छिपी हुई परतः z1 = w1x + b1 = x - 4, जिसमें w1=1 और b1=-4
• h = ReLU(z1) = अधिकतम ((0, z1)
• आउटपुट परत: z2 = w2h + b2 = 2h - 1, जिसमें w2=2 और b2=-1
• p = σ(z2) = 1 / (1 + exp ((-z2))
• ŷ = पास, यदि p >= 0.5
• ŷ = असफल, यदि p < 0.5

एक छात्र के लिए जो 3 घंटे का अध्ययन करता है, उसके लिएः - 1 घंटा।

• z1 = 3 - 4 = -1
• h = अधिकतम ((0, -1) = 0
• z2 = 2(0) - 1 = -1
• p = 1 / (1 + exp(-(-1))) ≈ 0.269

0.269 के बाद से < 0.5, पूर्वानुमानित परिणाम विफल है.

एक छात्र के लिए जो 5 घंटे अध्ययन करता है, उसके लियेः - 1 वर्ष की अवधि

• z1 = 5 - 4 = 1
• h = अधिकतम ((0, 1) = 1
• z2 = 2(1) - 1 = 1
• p = 1 / (1 + exp(-1)) ≈ 0.731

0.731 के बाद से > 0.5, पूर्वानुमानित परिणाम पास है.

इस छोटे से उदाहरण में प्रत्येक छात्र को सही ढंग से वर्गीकृत किया गया है। जैसे-जैसे अध्ययन के घंटे 4 से अधिक बढ़ते हैं, पूर्वानुमानित स्कोर बढ़ जाता है, जिससे पास भविष्यवाणी की संभावना बढ़ती है। उदाहरण दिखाता है कि सिग्मोइड इसे एक संभाव्यता पर मैप करने से पहले ReLU इनपुट को कैसे बदल देता है।

आम गलतियाँ और आगे क्या देखना है

उदाहरण तीन सामान्य गलतियाँ दिखाता है। पहला, पाठक मान सकते हैं कि y=ax+b हर संबंध का वर्णन कर सकता है, लेकिन वास्तविक डेटा अलग-अलग इनपुट रेंज में व्यवहार को बदल सकता है। दूसरा, वे ReLU से आउटपुट को समतल करने की उम्मीद कर सकते हैं; मार्क मॉडल में, अनुमानित अंक 8 घंटे पर 90 तक पहुंच जाते हैं क्योंकि रैखिक आउटपुट ReLU थ्रेसहोल्ड के बाद जारी रहता है। तीसरा, वे मैन्युअल रूप से चुने गए भार और पूर्वाग्रहों को एक तैयार मॉडल के रूप में मानते हैं। वे केवल चित्रण के लिए हैं।

व्यवहार में, सुश्री पॉली स्वयं पैरामीटर नहीं चुनती हैं। एक वास्तविक नेटवर्क प्रशिक्षण के दौरान बार-बार भविष्यवाणी किए गए मूल्यों की तुलना वास्तविक मूल्यों से करके और त्रुटि को कम करने के लिए मापदंडों को समायोजित करके भार और पूर्वाग्रह सीखता है। पास या विफल मामला यह भी दर्शाता है कि सिग्मोइड क्यों मायने रखता हैः यह संख्यात्मक संकेत को 0 और 1 के बीच संभावना में बदल देता है, फिर थ्रेसहोल्ड को अंतिम परिणाम तय करने देता है।

पाठकों के लिए, टेकअवे यह है कि गैर-रैखिकता neural networks को उन पैटर्नों को सीखने देती है जिन्हें एक सीधी रेखा वर्णित नहीं कर सकती। ReLU और सिग्मोइड उस व्यवहार को पेश करने के दो सरल तरीके हैं, और उन्हें तब जोड़ा जा सकता है जब किसी मॉडल को बदलती सीमाओं और संभाव्यता आउटपुट दोनों की आवश्यकता होती है।