Stanford Neural Cache Model 31 गुना तेज़ी से पाठ उत्पन्न करने के लिए एक नई विधि प्रस्तुत करता है।
स्टैनफोर्ड के शोधकर्ताओं ने Next-Concept Modeling, एक टेक्स्ट-जनरेशन विधि पेश की जो पहले मोटे अमूर्त स्तरों पर उत्तर का स्केच करती है और फिर विवरण जोड़ती है। अनुक्रमिक रूप से प्रत्येक token उत्पन्न करने के बजाय, यह प्रति पास एक स्तर बनाता है, इसलिए 1,024 tokens को 32 पारियों में उत्पादित किया जा सकता है। हेडलाइन स्पीडअप प्रसार भाषा मॉडल की तुलना में 31 गुना तेज है, उत्पादन ऑटोरेग्रेसिव चैट मॉडल नहीं। NVIDIA GPU पर परीक्षण उपयोगी आउटपुट और कम लागत पर फैलाव-मॉडल गुणवत्ता का बहुत कुछ दिखाया गया, लेकिन समान आकार के ऑटोरैग्रेसिव मॉडलों ने अभी भी Perplexity और अनुवाद स्कोर में बेहतर पाठ का उत्पादन किया। इसलिए समानांतर, स्तर-वार पीढ़ी के लिए एक आशाजनक तीसरा दृष्टिकोण है, खासकर जब गति चरम गुणवत्ता से अधिक मायने रखती है।
मुख्य जानकारी
- एनसीएम पहले मोटे कल्पना कोड का उत्पादन करके पाठ उत्पन्न करता है, फिर उन्हें स्तर-दर-स्तर परिष्कृत करते हुए अनुक्रमिक पास को प्रति टोकन एक से घटाकर प्रत्येक अमूर्तता स्तर पर कम कर देता है।
- 3131x तेज दावा एनसीएम की तुलना प्रसार भाषा मॉडल से करता है, न कि चैटजीपीटी जैसे मुख्यधारा के उत्पादन एलएलएम से।
- समान आकार के ऑटोरेग्रेसिव मॉडल अभी भी बेहतर पाठ उत्पन्न करते हैं, और एनसीएम में सीमाएं होती हैं जैसे कि कोई स्ट्रीमिंग आउटपुट नहीं, निश्चित पीढ़ी की गहराई, और बड़े मॉडलों के लिए अस्पष्ट स्केलिंग।
- अब तक एनसीएम के सबसे मजबूत फायदे प्रशिक्षण दक्षता और संरचित कार्यों पर प्रदर्शन हैं जहां पूरे उत्तर सभी भागों पर निर्भर करता है।
- लैपटॉप-जीपीयू रन से पता चला कि एनसीएम आउटपुट केवल अंतिम परिष्करण स्तरों के पास पठनीय पाठ बन जाते हैं।
स्टैनफोर्ड के शोधकर्ताओं ने Next-Concept Modeling (NCM) जारी किया है, एक टेक्स्ट जनरेशन विधि जो विस्तार स्तर द्वारा स्तर जोड़ने से पहले मोटे तौर पर पूरे उत्तर का स्केच करती है, अनुक्रमिक पास की संख्या को टोकन प्रति एक से घटाकर प्रत्येक अमूर्तता स्तर तक कम कर देती है। OpenWebText पर यह पद्धति 1,024 के बजाय 32 पारियों में1,024 टोकन उत्पन्न करती है और पेपर31s शीर्षक 3131x तेज faster आंकड़ा प्रसार भाषा मॉडल के साथ तुलना को संदर्भित करता है, न कि ChatGPT जैसे उत्पादन चैटबॉट्स के साथ।
यह लेख उन सभी के लिए है जो इस बात पर विचार कर रहे हैं कि क्या एनसीएम ऑटोरेग्रेसिव एलएलएम या टेक्स्ट जनरेशन के लिए फैलाव मॉडल का एक व्यावहारिक विकल्प है, और पाठकों के लिए जो समझना चाहते हैं कि रिलीज़ किए गए चेकपॉइंट वास्तव में उपभोक्ता हार्डवेयर पर क्या करते हैं। यह बताता है कि NCM कैसे काम करता है, स्पीड क्लेम वास्तव में क्या उपाय करता है और जब जारी कोड और चेकप्वाइंट को चलाया गया था तो क्या हुआ NVIDIA RTX 4060 Laptop GPU
क्यों वर्तमान पाठ पीढ़ी कतार में प्रतीक्षा करता है
Concept Modeling दैनिक उपयोग में Chat चैटजीपीटी, मिथुन, लामा ऑटोरेग्रेसिव है। यह एक समय में एक टोकन की भविष्यवाणी करता है, और प्रत्येक नया टोकन इससे पहले लिखी गई हर चीज पर निर्भर होता है, इसलिए चरण 501 तब तक शुरू नहीं हो सकता जब तक कि कदम 500 समाप्त न हो जाए। ए GPU समानांतर में बहुत काम कर सकता है, लेकिन ऑटोरेग्रेसिव डिकोडिंग इसे कतार में इंतजार करता रहता है, जो लंबे उत्तरों को धीमा महसूस करने का एक प्रमुख कारण है।
फैलाव भाषा मॉडल उस कतार पर सीधे हमला करते हैं। रिक्तियों को भरने वाले परीक्षा पत्र के बारे में सोचें: यह मॉडल पूरे उत्तर से शुरू होता है और प्रत्येक दौर में एक बार में कई खाली स्थानों को भरता है, जो पहले की गलतियों को सही करता है। Google DeepMind s प्रयोगात्मक Gemini Diffusion प्रति सेकंड लगभग 1,479 टोकन पर नमूने। लागत यह है कि प्रसार को कई राउंड की आवश्यकता होती है, और हर दौर में पूरा जवाब फिर से देखा जाता है; समय बचाने के लिए गुणवत्ता गिरती है। एमडीएलएम (170M पैरामीटर, ओपनवेबटेक्स्ट पर प्रशिक्षित) का एक रन उसी संकेत के साथ और बीज 1,024-टोकन कैनवास पर व्यापार-ऑफ स्पष्ट रूप से दिखाया गया थाः 48 राउंड 5.38 सेकंड लिया और वाक्य का उत्पादन किया, जबकि 8 राउंड 1.38 ले गए और शब्द सलाद का निर्माण किया। एनसीएम को तीसरे मार्ग के रूप में प्रस्तुत किया गया है जो दोनों टोकन द्वारा टोकन कतार और कई-राउंड क्वालिटी ऑफ से बचाता है।
दो मॉडल, एक कंप्रेसर और एक लेखक
एनसीएम वास्तव में एक साथ काम करने वाले दो मॉडल हैं। कंप्रेसर पाठ का एक टुकड़ा लेता है और इसे कोड नामक संख्याओं की सूची में निचोड़ता है एक कोड केवल मेनू पर 4,096 व्यंजनों के साथ एक रेस्तरां में आइटम नंबर द्वारा ऑर्डर करने जैसी सूची में एक स्थिति है। कोड स्तरों में आते हैंः पहले स्तर में केवल कुछ कोड होते हैं और मोटे तौर पर सार होता है, और उसके बाद प्रत्येक स्तर अधिक कोड होता है और केवल स्टोर करता है जो पिछले स्तर चूक गए थे। अंतिम स्तर तक सटीक शब्दों को पुनर्प्राप्त करने के लिए पर्याप्त विवरण होता है , और कम्प्रेसर कार्य के आधार पर समय के ठीक 98.8 से 100% मूल पाठ का पुनर्निर्माण करता है।
नाम में 'अवधारणा' का यही अर्थ है - एक मानव विचार या वाक्य नहीं, बल्कि शीर्ष स्तरों पर स्थित जानकारी।
लेखक जनरेटिव आधा है। जैसे कि LLM जो केवल टोकन आईडी को आउटपुट करता है, यह केवल कोडों को बाहर निकालता है. यह एक बार में स्तर 1 के सभी कोड लिखता है, फिर स्तर 2 के सारे कोड, और इसी तरह; एक स्तर के अंदर कुछ भी लाइन में इंतजार नहीं करता, और एकमात्र प्रतीक्षा स्तरों के बीच होती है क्योंकि प्रत्येक स्तर इसके ऊपर सही होता है। अंतिम स्तर के बाद, कंप्रेसर का डिकोडर किसी भी पाठ के अस्तित्व के पहले क्षण में कोड को शब्दों में बदल देता है। इसलिए पास की संख्या स्तरों की संख्या के बराबर होती है, न कि टोकन की संख्या, जो गति का पूरा स्रोत है।
क्या 31x आंकड़ा वास्तव में तुलना करता है
31 31x तेज़ संख्या वास्तविक है लेकिन व्यापक रूप से गलत व्याख्या की गई है। एक्ससम सारांश पर एनसीएम सबसे मजबूत प्रसार मॉडल ROUGE-L (28.0 बनाम 26.6) के साथ मेल खाता है, जबकि एक प्रयोगात्मक तेज विधि दूसरे को हराकर 31 गुना तेज होती है। किसी भी उत्पादन के साथ कोई तुलना नहीं है Concept Modeling
एक ही आकार का LLM अभी भी बेहतर पाठ लिखता है। ओपनवेबटेक्स्ट पर सामान्य ऑटोरेग्रेसिव मॉडल एनसीएम20] के मुकाबले 35.45 की पीढ़ी को उलझन में डाल देता है, जहां कम बेहतर होता है; अनुवाद पर अंतर 25.2 BLEU बनाम 22.6 है। अब तक प्रशिक्षित सबसे बड़ा NCM पैरामीटर हैं, और कोई नहीं जानता कि यह लोगों द्वारा दैनिक रूप से उपयोग किए जाने वाले मॉडलों के आकार पर पकड़ रखता है या नहीं। स्ट्रीमिंग भी नहीं हैः चैट ऐप्स तेज महसूस करते हैं क्योंकि टोकन लिखे गए होते हैं, लेकिन NCM के शुरुआती स्तर पठनीय शब्द नहीं हैं, इसलिए उपयोगकर्ता अंतिम स्तर समाप्त होने तक कुछ भी नहीं देखता है। निश्चित गहराई एक अन्य सीमा है यहां तक कि एक छोटी प्रतिक्रिया हर स्तर से गुजरती है।
जहां एनसीएम आशाजनक दिखता है वह प्रशिक्षण दक्षता और संरचित पहेलियाँ हैं। इसके परिणामों तक पहुंचने के लिए ओपनवेबटेक्स्ट (127B बनाम 500B+) पर लगभग 4x कम प्रशिक्षण टोकन की आवश्यकता थी, और यह उन पहेलियों पर बहुत अच्छा करता है जहाँ उत्तर का हर हिस्सा प्रत्येक अन्य भाग पर निर्भर करता है।
एक लैपटॉप पर जारी किए गए चेकपॉइंट क्या करते हैं GPU
नीचे दिए गए रन में स्टैनफोर्ड द्वारा जारी कोड और चेकपॉइंट का उपयोग किया गया है NVIDIA RTX 4060 Laptop GPU, रिपोजिटरी के आधिकारिक मूल्यांकन के समान डिकोडिंग सेटिंग्स के साथ। XSum चेकप्वाइंट को लोड करना बीबीसी समाचार पर एक लेख से एक-पंक्ति सारांश लिखने के लिए प्रशिक्षित करने का अर्थ है दोनों आधे, कंप्रेसर और लेखक. जांच बिंदु प्रति स्तर [4, 6, 10, 14, 20, 26, 32, 40, 48], नौ पास, 48 कोड की सारांश लंबाई और 88M-पैरामीटर राइटर के कोड रिपोर्ट करता है। नौ स्तरों का मतलब है पूरे सारांश के लिए नौ पासः स्तर 1 में 4 कोड हैं, अंतिम स्तर में 48.
एक बीबीसी लेख के लिए उपवास-शैली वाले आहार के बारे में जिसने चूहों में अग्नाशय को खुद को ठीक करने में मदद की, डिकोडर को हर स्तर को शब्दों में बदलने के लिए मजबूर किया जिससे तेज प्रक्रिया दिखाई दी। लेवल 1 (4 कोड) पढ़ता है dec दशकों - यूरोज़ोन लेख से कोई लेना देना नहीं है, यही कारण है कि स्ट्रीमिंग काम नहीं करती है. लेवल 6 (26 कोड) तक विषय थाः वैज्ञानिकों ने पाया कि आहार जो अग्न्याशय का कारण बनता है वह संभवतः मूल कारण होता है 2. 2. अंतिम स्तर 9 (48 कोड) पढ़ा गया: विज्ञानियों ने एक शाकाहारी आहार की खोज की है जो अग्नाशयी में हो सकता है - संभावित रूप से टाइप 2 मधुमेह के कारण होते हैं। [3 सार पड़ोस में है और विवरण बंद हैंः लेख एक फास्टिंग नकल भोजन का वर्णन करता है जो एक वैगन डाइट जैसा दिखता है और अग्नाशोथ कोशिकाओं को पुनर्जीवित करने में सहायता करता है, जबकि एनसीएम कहता है कि एक वैगान डाइट टाइप २ मधुमेय पैदा करता है। यह सब कुछ
बीबीसी के अपने सारांशों के खिलाफ दस लेख
एक लेख एक किस्सा है, इसलिए एक्ससम टेस्ट सेट के पहले दस लेखों की तुलना सारांश बीबीसी द्वारा वास्तव में लिखी गई थी। सभी दस को हाथ से गिनते हुएः 10 में से 8 ने विषय को सही सही लोग, स्थान और घटना प्राप्त किया और 2 में से 10 भ्रमित थे। एसीलर और लक्ज़ोटिका विलय के बारे में अनुच्छेद 5, आविष्कार किए गए ब्रांड नामों के रूप में बाहर आया; अनुच्छेद 7 एक कॉफी शॉप बन गया। यहां तक कि अच्छे लोगों ने तथ्यों को मोड़ दिया: एनसीएम ने कहा कि राइडर Wendy Houvenaghel को बर्खास्त कर दिया गया था British Cycling, जबकि बीबीसी सारांश ने उन्हें यह कहते हुए उद्धृत किया कि किसी भी कीमत पर "पदक" दृष्टिकोण ने भय की संस्कृति का निर्माण किया; NCM के पास सेल्टिक सामना करना पड़ा Queens Park Rangers, जबकि BBC संक्षिप्तता ने उन्हें League Cup सेमीफाइनल में रेंजर्स से मुलाकात करने के लिए रखा था। प्रत्येक मार्ग के माध्यम से सारांश समय 0.32 से 0.36 9 सेकंड था।
अपनी प्रशिक्षण दुनिया के बाहर, और जहां यह चमकता है
प्रशिक्षण वितरण के बाहर से दो इनपुट ने सीमाओं को उजागर किया। वॉयेजर 1 (574 टोकन, जिनमें से मॉडल 512 पढ़ता है) के बारे में एक संक्षिप्त लेख का उत्पादन अंतरिक्ष नासा एजेंसी की नवीनतम प्रक्षेपण - नासा के अंतरिक्ष यात्री अंतरिक्ष यान मिशन - ने अपने लॉन्च लॉन्च को नासा स्पेस एस्ट्रोनॉट्स-एस्ट्रोनाट और मानव रहित अंतरिक्ष मिशन से शुरू कर दिया है। [3 एनसीएम पेपर (30,810 टोकन जो कि मॉडल 512) द्वारा उत्पादित किए गए हैं ऐसी-ऐसी-क्विबल और एनालिटिकलोक्रोग्राफीड, टेस्ट, अद्वितीय दृश्यों, डिजिटल प्रौद्योगिकी और टैबलेट्स। दो सबक इस प्रकार हैंः मॉडल एक विशेषज्ञ है, क्योंकि एक अंतरिक्ष आलेख लांच लॉन्च ... अंतरिक्ष यात्री बन जाता है और एक शोध पत्र बकवास हो जाता है; और यह केवल पहले 512 टोकन को पढ़ा जाता है, इसलिए टायटल पेज और सारांश के हिस्से को याद करना आसान होता है यदि आप केवल आउटपुट पर देखते थे।
तस्वीर सुडोकू में बदलती है, जहां उत्तर का हर हिस्सा दूसरे भाग पर निर्भर करता है और स्तर-दर-स्तर सुधार योजना के साथ काम करने के लिए सबसे अधिक है। यही वह सेटिंग है जो पेपर हाइलाइट करती है, और यह एनसीएम को देखने के लिए मजबूत तर्क है कि आप आज जिस चैटबॉट का उपयोग करते हैं उसके बजाय इसे ड्रॉप-इन प्रतिस्थापन के रूप में इलाज करें।
क्या देखना है
खुले प्रश्न हैं कि क्या दृष्टिकोण पैरामीटर की गिनती से बहुत ऊपर है 725M, क्या अनुपलब्ध स्ट्रीमिंग को इंटरैक्टिव उपयोग के लिए काम किया जा सकता है, और क्या प्रशिक्षण-टोकन दक्षता (127B बनाम 500B+ पर OpenWebText) उत्पादन पैमाने पर जीवित रहती है। अभी के लिए, एनसीएम एक शोध परिणाम है जिसमें जारी किए गए चेकपॉइंट्स हैं जो लैपटॉप पर आराम से चलते हैं GPU, समान गुणवत्ता वाले प्रसार मॉडल पर वास्तविक गति लाभ, और उसी आकार के ऑटोरेग्रेसिव मॉडलों के खिलाफ स्पष्ट गुणवत्ता अंतर। इसका मूल्यांकन करने वाले पाठकों को 31x हेडलाइन को प्रसार-बनाम-प्रसार तुलना के रूप में इलाज करना चाहिए और उत्पादन उपयोग के बारे में निष्कर्ष निकालने से पहले अपने स्वयं के डोमेन पर जांच बिंदुओं का परीक्षण करना चाहिए।

Comments (0)