AI काम के लिए

लूपफिल पाइपलाइन किए गए मल्टी- token के लिए अनुमानित डिकोडिंग प्रदान करता है Looped Transformers

LoopFill pipelines suffix और shallow-loop drafts को एक पेड़ में, Ouro-2.6B पर 5.85× speedup के साथ लूप किए गए LLM डिकोडिंग विलंबता को कम करता है।

लूपफिल पाइपलाइन किए गए मल्टी- token के लिए अनुमानित डिकोडिंग प्रदान करता है Looped Transformers

मुख्य जानकारी

  • LoopFill लूप LLMs के लिए एक प्रशिक्षण-मुक्त सट्टा डिकोडिंग विधि है जो एकल ड्राफ्ट ट्री में बहु- token प्रत्यय मसौदों और उथले-लूप भविष्यवाणियों को जोड़ती है।
  • यह कई भविष्य tokens पाइपलाइन में एक साथ प्रवेश करने की अनुमति देकर Looped Transformers में ऑटोरेग्रेसिव डिकोडिंग विलंबता को कम करता है, अनुक्रमिक प्रविष्टि बाधा को आसान बनाता है।
  • पूर्ण-गहन सत्यापन मॉडल के ऑटोरेग्रेसिव आउटपुट वितरण को संरक्षित करता है, इसलिए स्पीडअप बदलते जनरेशन व्यवहार की बजाय बेहतर पाइपलाइन उपयोग से आता है।
  • सात बेंचमार्क में, LoopFill Ouro-2.6B पर औसतन 5.85x और Huginn-990004 पर 5.13x की औसत गति प्राप्त करता है, जो क्रमशः 40% और 25% द्वारा सबसे मजबूत बेसलाइन लूपहेड से अधिक है।
  • इसका व्यावहारिक मूल्य इस बात पर निर्भर करता है कि साझा ड्राफ्ट ब्लॉक को अतिरिक्त सत्यापन लागत के बिना व्यस्त रखा जाए और क्या लाभ अन्य लूप किए गए LLMs और कार्यभारों में सामान्यीकृत हैं।

मेटा विवरण: LoopFill सात बेंचमार्क में Ouro-2.6B पर 5.85 × द्वारा लूप किए गए LLM डिकोडिंग को गति देने के लिए एक पेड़ में प्रत्यय ड्राफ्ट और उथले-लूप भविष्यवाणियों को जोड़ती है।

LoopFill Provides Pipelined Multi- token Speculative Decoding for Looped Transformers

टैग: LoopFill, अनुमानित डिकोडिंग, लूप Transformers, LLM विलंबता, Ouro-2.6B

चित्र: एक सत्यापन रेखा में विलय होने वाले शाखागत ड्राफ्ट पेड़ों का अमूर्त मैत्रीपूर्ण चित्रण; कोई लोगो, कोई पाठ, कोई लोग नहीं।

मूल दावा

LoopFill लूप LLMs के लिए एक प्रशिक्षण-मुक्त सट्टा डिकोडिंग algorithm है, और रिपोर्ट किए गए मूल्यांकन का कहना है कि यह कई भविष्य के tokens को पाइपलाइन में एक साथ प्रवेश करने देकर डीकोडिंग विलंबता पर हमला करता है।

LoopFill Provides Pipelined Multi- token Speculative Decoding for Looped Transformers

क्यों लूप LLMs स्टाल

लूप्ड Transformers एक ही Transformer परतों को बार-बार लागू करके पैरामीटर दक्षता में सुधार करता है। यह पुनः उपयोग प्रति पैरामीटर मॉडल को अधिक कुशल बना सकता है, लेकिन ऑटोरेग्रेसिव डिकोडिंग के दौरान प्रत्येक उत्पन्न token को इन परतों से कई अनुक्रमिक पास की आवश्यकता होती है। ऑटोरैग्रेसिव डीकोडिंग token द्वारा token : मॉडल अगले token, इसे क्रम में जोड़ता है, फिर शुरू होता है। वह अनुक्रम निर्भरता है जो विलंबता को छिपाने के लिए मुश्किल बनाता है, खासकर जब हर token, लूप संरचना से कई बार गुजरता है।

पाइपलाइन स्व-मौखिक विधियां उस प्रतीक्षा समय को कम करने की कोशिश करती हैं। वे एक ही बैच में विभिन्न लूपों पर tokens को संसाधित करने के लिए उथले-लूप भविष्यवाणियों का उपयोग करते हैं। प्रवेश नियम बोतलबंद हैः प्रत्येक token को अगले पाइप लाइन में प्रवेश करने से पहले ड्राफ्टिंग गहराई तक पहुंचना चाहिए। यह सिस्टम के कुछ हिस्सों को व्यस्त रखता है, लेकिन यह भी tokens को ऐसे तरीके से कतार में रखने के लिए मजबूर करता है जो एक बार में कितना काम किया जा सकता है।

कैसे LoopFill एक ड्राफ्ट पेड़ बनाता है

LoopFill दो प्रकार की भविष्यवाणियों को एक साझा ड्राफ्ट ट्री में डालकर प्रारूपण चरण बदलता है। एक ड्राफ्ट पेड़ कई संभावित निरंतरताओं का प्रतिनिधित्व करता है. एक ड्राफ़्टर बहु- token प्रत्यय मसौदों की आपूर्ति करता है। दूसरा उथले-लूप पूर्वानुमान प्रदान करता है, जो उथली लूप गहराई पर उत्पादित उम्मीदवार tokens हैं। चूंकि दोनों ड्राफटर एक पेड़ में योगदान करते हैं, इसलिए एक प्रत्यय खोज तुरंत एक उथला भविष्यवाणी बढ़ा सकती है, और कई भावी tokens, पाइपलाइन में एक साथ प्रवेश कर सकते हैं।

साझा ब्लॉक एक बैच में विभिन्न लूप गहराई पर उच्चतम स्कोरिंग ड्राफ्ट उम्मीदवारों की गणना करता है। पूर्ण-गहराई सत्यापन फिर मॉडल के लूप परतों के खिलाफ चयनित मसौदे को जांचता है। यह सत्यापन चरण मॉडल के ऑटोरेग्रेसिव आउटपुट वितरण को संरक्षित करता है, इसलिए स्पीडअप का मतलब उत्पादन को बदलने के बजाय पाइपलाइन के बेहतर उपयोग से आना है।

LoopFill Provides Pipelined Multi- token Speculative Decoding for Looped Transformers

रिपोर्ट किए गए गतिवर्धन

सात बेंचमार्क में, लालची ऑटोरेग्रेसिव डिकोडिंग पर औसत स्पीडअप 5.85 × ओरो-2.6B और 5.13 × हगिन -3.5B पर है। तुलना बिंदु लूपएहेड है, जिसे सबसे मजबूत आधार रेखा के रूप में वर्णित किया गया है। LoopFill की गति लोपअहेड से अधिक है जो कि 40% द्वारा Ouro- 2.6B और Huginn-3.5B पर 25% है।

इन संख्याओं से पता चलता है कि साझा ड्राफ्ट ट्री JUST एक छोटा शेड्यूलिंग ट्वीक नहीं है। लाभ लूप मॉडल की विभिन्न गहराइयों को एक ही समय में उम्मीदवारों का योगदान देने से आता है, जो निष्क्रिय समय को कम करता है जब प्रत्येक token को अगले token के पाइपलाइन में प्रवेश करने से पहले ड्राफ्टिंग गहराई तक पहुंचना चाहिए।

आगे क्या देखना है

विधि का व्यावहारिक मूल्य इस बात पर निर्भर करता है कि अतिरिक्त सत्यापन लागत जोड़ने के बिना एकल ड्राफ्ट ट्री साझा ब्लॉक को कितनी लगातार व्यस्त रख सकता है। Because LoopFill प्रशिक्षण-मुक्त है और पूर्ण गहराई से सत्यापन ऑटोरेग्रेसिव आउटपुट वितरण को संरक्षित करता है, रिपोर्ट किए गए डिज़ाइन का उद्देश्य मॉडल के व्यवहार को अपरिवर्तित रखते हुए विलंबता को कम करना है। पाठकों को यह देखना चाहिए कि क्या अन्य लूप LLMs और डिकोडिंग वर्कलोड्स के लिए एक ही स्पीडअप पैटर्न लागू होता है या नहीं।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.