मैंने डेटा को संपीड़ित करने के लिए एक छोटे नेटवर्क को प्रशिक्षित किया, और यह पेंटागन खींचने में समाप्त हो गया।

मेटा विवरण: NumPy एक Towards Data Science पोस्ट के अनुसार, हाथ से व्युत्पन्न ढाल और कोई उधार संख्याओं के साथ सुपरपोजिशन Anthropic Toy Models को पुनः उत्पन्न करता है।

टैगः NumPy, एंथ्रोपिक, सुपरपोजिशन के खिलौना मॉडल, टिनी नेटवर्क, मशीन लर्निंग बेसिक्स

विशेष रुप से प्रदर्शित छवि: संपीड़ित रेखाओं के साथ पेंटागन बनाने वाले छोटे जुड़े नोड्स का एक अमूर्त, मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं, कोई लोगो और कोई पाठ नहीं।

यह उन पाठकों के लिए है जो एक स्पष्ट, न्यूनतम तरीके से देखना चाहते हैं Anthropic Toy Models का Superposition NumPy पुनरुत्पादन नमी मूल्य पर पूर्ण ढांचे को लेने के बिना। Towards Data Science पोस्ट संख्यात्मक सरणियों के लिए पायथन लाइब्रेरी NumPy का उपयोग करके एंथ्रोपिक के "Toy Models of Superposition" के स्क्रैच-पुनर्निर्माण का वर्णन करता है। पोस्ट पहली बार Towards Data Science पर दिखाई दिया, लेकिन अंश लेखक का नाम नहीं देता या प्रकाशन की तारीख नहीं देता है। इसमें कहा गया है कि काम में हाथ से व्युत्पन्न ग्रेडिएंट और कोई उधार नंबर नहीं थे।

प्रजनन क्यों उपयोगी है

सुपरपोजिशन का नाम "Toy Models of Superposition" सरलीकृत तंत्रिका नेटवर्क सेटअप की ओर इशारा करता है जिसका उपयोग सुपरपोज़िशन के अन्वेषण के लिए किया जाता है। सुपरपॉजिशन यह विचार है कि एक नेटवर्क कई सुविधाओं को सक्रियण पैटर्न साझा करने देकर न्यूरॉन्स से अधिक सुविधाएँ संग्रहीत कर सकता है। गैर-विशेषज्ञों के लिए, जो अमूर्त लग सकते हैं।

मूल्य केवल परिणाम में नहीं है. यह पथ में है. जब एक मॉडल को खरोंच से पुनर्निर्माण किया जाता है, तो पाठक गणना का आकार देखता हैः इनपुट, भार, सक्रियण, हानि और अद्यतन चरण। जो अवधारणा को ऑडिट करने के लिए एक बड़ी पूर्वनिर्मित पाइपलाइन की तुलना में आसान बनाता है। यह पाठकों को नोटिस करने में भी मदद करता है कि कौन से हिस्से विचार के लिए आवश्यक हैं और कौन से भाग सिर्फ फ्रेमवर्क प्लंबिंग हैं।

हाथ-व्युत्पन्न ढाल का क्या अर्थ है

हाथ से व्युत्पन्न ग्रेडिएंट्स एक मॉडल के मापदंडों के लिए अपडेट सिग्नल हैं, जो केवल स्वचालित विभेदन इंजन पर भरोसा करने के बजाय कोड लिखने वाले व्यक्ति द्वारा काम किया जाता है। NumPy सरणियों और मैट्रिक्स संचालन की गणना कर सकता है, लेकिन यह उच्च-स्तरीय ढांचे के तरीके में कस्टम मॉडल के लिए स्वतः रूप से एक ग्रेडियेंट टेप का निर्माण नहीं करता है। नेटवर्क को प्रशिक्षित करने के लिए, लेखक को बैकवर्ड पास लिखना पड़ा।

यह महत्वपूर्ण है क्योंकि ग्रेडिएंट्स जहां कई व्याख्यात्मकता प्रयोग रहते हैं। यदि कोई पाठक व्युत्पन्न चरण का पालन कर सकता है, तो वे देख सकते हैं कि प्रशिक्षण के दौरान एक सुविधा एक या दूसरे तरीके से क्यों चलती है। अंश में कहा गया है कि प्रजनन ने उधार ली गई संख्याओं से भी बचा था, हालांकि यह उस वाक्यांश को और परिभाषित नहीं करता है। सादे शब्दों में, इससे पता चलता है कि लेखक ने किसी अन्य कार्यान्वयन से संख्यात्मक मूल्यों की प्रतिलिपि नहीं बनाई थी। एक पाठक के लिए, जो कोड को पैच-साथ डेमो की तुलना में काम करने वाले उदाहरण की तरह बनाता है।

पेंटागन परिणाम

पोस्ट का शीर्षक है "I Trained a Tiny Network to Compress Data. It Drew a Pentagon. " यह शीर्षक पाठकों को बताता है कि आउटपुट दृश्य था। डेटा को संपीड़ित करने के लिए प्रशिक्षित एक छोटे से नेटवर्क ने पेंटागन खींचा। अंश में यह नहीं बताया गया है कि किस डेटा का उपयोग किया गया था, क्या नुकसान फ़ंक्शन लागू हुआ था, या क्या पेंटैगॉन लक्ष्य या उभरते हुए साइड इफेक्ट था।

फिर भी, एक सरल ड्राइंग एक उपयोगी चेकपॉइंट है। यह पाठकों को यह पूछने का एक तरीका देता है कि क्या छोटा मॉडल कुछ पहचानने योग्य कर रहा है, न कि केवल संख्या को कम करने के लिए। यदि संपीड़ित प्रतिनिधित्व एक स्वच्छ आकार बना सकता है, तो इससे संकेत मिलता है कि नेटवर्क कैसे कई इनपुट सिग्नल को उपयोगी दिशाओं के छोटे सेट में बदल सकते हैं। वह कनेक्शन वास्तव में अंतर्ज्ञान खिलौना मॉडलों की तरह प्रदान करना है।

पाठक इसके साथ क्या कर सकते हैं

पाठकों NumPy प्रजनन एक सीखने के लक्ष्य के रूप में इलाज कर सकते हैं. वे प्रत्येक भाग को समझने की जाँच करके शुरू करेंः मॉडल वास्तुकला, हानि,the gradient और अद्यतन नियम। फिर अतिरेक के विचार के लिए व्यवहार की तुलना करें। यदि कई सुविधाओं को एक ही छोटे नेटवर्क में संग्रहीत किया जाता है, तो कोड दिखा सकता है कि कैसे सक्रियण ओवरलैप करते हैं।

पोस्ट एक सीमा भी दिखाती है। एक छोटा प्रजनन एक बड़े शोध कार्यक्रम के समान नहीं है। यह अंतर्ज्ञान बनाने के लिए पर्याप्त हो सकता है, लेकिन यह एंथ्रोपिक की मूल स्थापना के हर विवरण को कैप्चर नहीं कर सकता है। अंश कोड, डेटा, प्रशिक्षण लंबाई या अंतिम हानि मान प्रदान नहीं करता है, इसलिए पाठकों को यह मानने से बचना चाहिए कि यह एक विशिष्ट परिणाम साबित करता है।

मशीन लर्निंग सीखने वाले लोगों के लिए, टेकअवे व्यावहारिक हैः एक से-स्क्रैच बिल्ड एक डरावनी व्याख्यात्मकता विषय को पठनीय प्रयोग में बदल सकता है। शोध दावों का मूल्यांकन करने वालों AI के लिए समान दृष्टिकोण पारदर्शिता की परीक्षा हो सकती है। यदि कोई दावा कुछ सरणियों और हाथ से लिखे गए ढाल तक कम किया जा सकता है, तो यह सवाल करना, संशोधित करना और समझना आसान हो जाता है।