large language models दैनिक AI डाक के यांत्रिकी के अंदर

मेटा विवरणः सीखें कि ChatGPT कैसे काम करता है: छोटा कोड, भारी वजन, token टुकड़े, embeddings , और क्यों यह विचारों को समझा सकता है लेकिन सादे अंग्रेजी में अक्षरों की गिनती से चूक जाता है।

टैगः ChatGPT , large language models , tokens , embeddings , AI साक्षरता

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> token ब्लॉकों का अमूर्त मैत्रीपूर्ण चित्रण एक चमकदार उत्तर बुलबुला बना रहा है, कोई लोग नहीं हैं, कोई लोगो नहीं हैं और न ही कोई पाठ।

उन पाठकों के लिए जो रोजाना ChatGPT का उपयोग करते हैं लेकिन इसे समझा नहीं सकते, यह व्याख्याकार व्यावहारिक शरीर रचना देता हैः ChatGPT एक छोटे निष्पादन कार्यक्रम को सीखे गए भारों के बहुत बड़े संग्रह के साथ जोड़कर काम करता है। प्रोग्राम, जिसे कभी-कभी AI शोधकर्ता Andrej Karpathy द्वारा run.c के रूप में वर्णित किया जाता है, सादे C की लगभग 500 पंक्तियां होती हैं। वेट, पैरामीटर.बिन में, अरबों सीखी गई संख्याओं को पकड़ते हैं, अक्सर दर्जनों गीगाबाइट्स होते हैं, और उन्हें सत्तर बिलियन स्लाइडर के तौर पर कल्पना की जा सकती है। एक साथ वे वेब पेजों, पुस्तकों, कोड, अनुसंधान पत्रों और फोरम पोस्ट के लगभग 10 से 15 टेराबाइट को 140 गीगाबाईट्स के मापदंडों में संपीड़ित करते हैं। यह एक ऐसे प्रश्न का व्यावहारिक उत्तर है जिससे लोग वर्षों से बच रहे हैंः सिस्टम किसी मकान मालिक को गुस्से वाले ईमेल को फिर से तैयार कर सकता है, खुले ओट दूध के शेल्फ लाइफ की गणना, Python बेटा डिबग, एक ड्राफ्ट कोड स्टाइल John Donne , क्वांटनेट कु

मशीन दो फाइलें हैं, दिमाग नहीं

कार्पाथी की परिभाषा उपयोगी है क्योंकि यह रहस्यवाद को हटा देती है। large language model एक जीवित मन नहीं है जो server के खेत से जुड़ा हुआ है। यह दो फाइलें हैं। वह फ्रेमिंग दो चरम सीमाओं से बचता हैः संवेदना का दावा और शुद्ध ऑटोकम्पलीट की बर्खास्तगी।

run.c नेपोलियन, रोटी या गुरुत्वाकर्षण नहीं जानता है। यह संख्याओं को लोड करता है, उन्हें गुणा करता है और जोड़ता है, सरल गणित कार्यों को लागू करता है तथा एक शब्द प्रिंट करता है। parameters.bin ज्ञान-जैसी संरचना रखता है। प्रशिक्षण के दौरान, कोई भी इंजीनियर स्लाइडर नंबर 4,912,014 से 0.042 सेट नहीं करता है इसलिए मॉडल याद रखता है कि रोम इटली की राजधानी है। स्टैटिस्टिकल सुधारों द्वारा धक्का दिए गए पाठ के लिए बार-बार एक्सपोज़र के माध्यम से स्लाइडर चले जाते हैं, जैसे हवा द्वारा आकार देने वाले रेत के कंकड़।

अगले-शब्द की भविष्यवाणी क्रैंक है; स्पष्ट समझ उभरते गियर है। परिणाम को JUST ऑटोकम्पलीट कहते हुए इंजीनियरिंग छलांग छूट जाती है. यह बोइंग 787 एक तेज साइकिल के रूप में कहने के करीब हैः अगला - token अनुमान लगाने का मूल विचार सरल लगता है, लेकिन पैमाने बदलता है कि मशीन क्या कर सकती है।

पूर्व-प्रशिक्षण पैटर्न को संपीड़ित करता है, पृष्ठों को नहीं

प्रीट्रेनिंग मानव पाठ के एक विशाल ढेर को लेता है और इसे वजन में बदल देता है। स्रोत पाठ लगभग 10 से 15 टेराबाइट्स का होता है, और आउटपुट लगभग 140 गीगाबाईट्स होता है - 100-1 के करीब संपीड़न अनुपात Ted Chiang की वाक्यांश, वेब का एक धुंधला जेपीईजी, फिट बैठता है क्योंकि छवि संपीडन पैटर्न को संरक्षित करता है जबकि सटीक पिक्सेल को छोड़ देता है.

परिणाम दुनिया के सबसे शिक्षित झटके के करीब हैः यह युद्ध और शांति के पृष्ठ 214 का पाठ नहीं करता है, लेकिन यह जवाब दे सकता है कि Pierre Bezukhov की शादी दुखी थी, पेरिस फ्रांस में है, शराब के गिलास टाइल पर टूट जाते हैं, और माफी अक्सर गलतियों का पालन करती है। इसने पुस्तकालय के आकार को अवशोषित किया, न कि शब्द द्वारा लाइब्रेरी शब्द।

Stephen Wolfram की बात इससे संबंधित हैः मानव भाषा में एक आश्चर्यजनक रूप से चिकनी गणितीय संरचना है, अर्थिक गति का एक निहित भौतिकी, जैसा कि Isaac Newton ने कानूनों को पाया जो तोप के गोले और चंद्रमाओं का वर्णन करते हैं।

tokens स्ट्रॉबेरी विफलता की व्याख्या करें

स्ट्रॉबेरी में आर के बारे में प्रारंभिक 2024 प्रश्न ने एक गहरे डिजाइन विकल्प को उजागर किया। मॉडल अक्षरों को नहीं देखते हैं। tokenizer लगभग 100,000 tokens की शब्दावली से मानकीकृत टुकड़ों में पाठ काटता है। स्ट्राबेरी [str][aw][berry] बन सकती है, जो तीन पूर्णांक आईडी जैसे [496, 675, 15717 ] के रूप में आती है। बेरी के अंदर R पत्र छिपा हुआ है, इसलिए आर की गिनती करने के लिए मॉडल पूछना किसी को सील किए गए पानी के गिलास के भीतर परमाणुओं का निरीक्षण करना चाहता है।

यह एक स्विस पनीर क्षमता प्रोफ़ाइल बनाता है: एक मॉडल क्वांटम क्रोमोडायनामिक्स के बारे में शेक्सपियरियन एकलव्य लिख सकता है क्योंकि वह उच्च-स्तरीय अवधारणाओं का उपयोग करता है, फिर भी अक्षरों की गिनती या दशमलव तुलना पर ठोकर खाता है क्योंकि tokens सतह के रूप को खराब कर देता है। छेद मूर्खता का प्रमाण नहीं हैं; वे मशीन की शारीरिक रचना के निशान हैं।

embeddings शब्दों को भूगोल में बदलें

कंप्यूटर कुत्ते को बिल्ली से गुणा नहीं कर सकते हैं, इसलिए मॉडल प्रत्येक token को एक संख्यात्मक स्थान में मैप करता है। Meaning City के बारे में सोचें, जहां बिल्ली, बिल्ली और बिल्ली का बच्चा एक दूसरे के पास रहते हैं, जबकि मूल्यह्रास और त्रैमासिक आय वित्तीय जिले में बैठते हैं। आधुनिक large language models में, उस नक्शे में 8,192 आयाम हो सकते हैं।

यह मॉडल मानवीय अर्थों में नहीं समझता, लेकिन उस स्थान पर आस-पास की दिशाएं उपयोगी तर्क का समर्थन कर सकती हैं: एक हत्या के रहस्य के अगले शब्द की भविष्यवाणी करने के लिए आवश्यक है कि हत्यारा कौन हो सकता है, software पैच की भविष्यवाणियों को तर्क, स्मृति और वाक्यविन्यास की आवश्यकता होती है, और यह अनुमान लगाना कि डॉक्टर भयभीत रोगी को कैसे जवाब देता है सहानुभूति, ट्रीएज और बेडसाइड व्यवहार जैसे कुछ चाहिए।

रोजमर्रा के उपयोग में इसका क्या अर्थ है

एक कच्चा पूर्व-प्रशिक्षित मॉडल दस्तावेज़ सपने देखने वाला है, सहायक नहीं। यदि आप उससे पूछते हैं कि "ऑस्ट्रेलिया की राजधानी क्या है?" तो यह न्यूजीलैंड, कनाडा और South Africa के बारे में प्रश्नों को सूचीबद्ध कर सकता है क्योंकि internet में कई प्रश्नोत्तरी शामिल हैं। अगर आप चिकित्सा जांच चिपकाते हैं, तो यह टूटे हुए HTML , नकली उपयोगकर्ता नाम और हर्बल चाय तर्कों के साथ एक फोरम धागे का भ्रम पैदा कर सकती है।

उपयोगकर्ताओं के लिए, व्यावहारिक टेकअवे उत्तरों को ड्राफ्ट के रूप में व्यवहार करना है जो संरचना पर मजबूत और सतह विवरण पर कमजोर हो सकते हैं। उपकरण Google या Wikipedia के बिना दो फ़ाइलों से ऑफ़लाइन चल सकता है, लेकिन इसकी दक्षता संपीड़ित सांख्यिकीय पैटर्न से आती है, न कि आपके प्रॉम्प्ट पढ़ने वाले व्यक्ति से। जब टीमें टूल को दैनिक बुनियादी ढांचे में बदल देती हैं तो यह अंतर महत्वपूर्ण होता है।