उपकरण समीक्षाएँ

रियाडी हाइब्रिड रैखिक ध्यान large language models में सट्टा ड्राफ्टिंग के लिए गतिशील संदर्भ के रूप में आवर्ती राज्यों का उपयोग करता है।

ReaDy अनुमानित डिकोडिंग के लिए ड्राफ्ट पोजीशन रिकर्सिव-स्टेट संदर्भ देता है, Qwen3.8-27B और उच्च token स्वीकृति के साथ 3.16x स्पीडअप की रिपोर्ट करता है।

रियाडी हाइब्रिड रैखिक ध्यान large language models में सट्टा ड्राफ्टिंग के लिए गतिशील संदर्भ के रूप में आवर्ती राज्यों का उपयोग करता है।

मुख्य बिंदु

  • रियाडी एक अनुमानित डिकोडिंग विधि है जो लक्ष्य मॉडल की छिपी हुई विशेषताओं पर निर्भर होने के बजाय प्रत्येक ड्राफ्ट स्थिति को अपना संदर्भ लुकअप देती है।
  • यह हाइब्रिड रैखिक ध्यान मॉडल में कॉम्पैक्ट आवर्ती राज्यों से पूरक संदर्भ प्राप्त करता है, इन राज्यों को स्थिति-विशिष्ट इतिहास के एक कुशल स्रोत के रूप में मानता है।
  • डिज़ाइन में अतिरिक्त गणना और इनपुट/आउटपुट ओवरहेड को छोटा रखने के लिए सीखी हुई क्वेरी, निम्न-रैंक स्टेट रीड्स और फ्यूज्ड ऑपरेटर का उपयोग किया जाता है।
  • एक NVIDIA B200 GPU पर Qwen3.8-27B के साथ, ReaDy सात बेंचमार्क में ऑटोरेग्रेसिव डिकोडिंग की तुलना में औसतन 3.16x डीकोडिंग स्पीडअप रिपोर्ट करता है।
  • डीएसपार्क की तुलना में, रियाडी 7.97% द्वारा औसत थ्रूपुट और 8.50% द्वारा स्वीकृति लंबाई को बेहतर बनाता है, जो सुझाव देता है कि सुधार से पहले अधिक ड्राफ्ट किए गए tokens स्वीकार किए जाते हैं।

मेटा विवरण: रियाडी स्थिति-विशिष्ट संदर्भ को पुनः प्राप्त करने के लिए हाइब्रिड रैखिक ध्यान आवर्ती राज्यों का उपयोग करता है, Qwen3.8-27B के साथ 3.16 × औसत डिकोडिंग स्पीडअप प्राप्त करना।

ReaDy uses recurrent states as dynamic context for speculative drafting in hybrid linear attention large language models

टैगः रियाडी, अनुमानित डिकोडिंग, हाइब्रिड रैखिक ध्यान, GPU त्वरण, भाषा मॉडल

विशेष रुप से प्रदर्शित छवि: किसी वास्तविक व्यक्ति, लोगो या पाठ के बिना मसौदा tokens में स्थिति-विशिष्ट प्रश्नों को फ़ीड करने वाले आवर्ती राज्यों का अमूर्त मैत्रीपूर्ण चित्रण।

रियाडी क्या करती है

ReaDy एक अनुमानित डिकोडिंग विधि है जिसका उद्देश्य उन प्रणालियों को लक्षित करना है जो एकल चरण में कई tokens का मसौदा तैयार करके ऑटोरेग्रेसिव पीढ़ी को तेज करते हैं। इसका केंद्रीय परिवर्तन प्रत्येक ड्राफ्ट पोजीशन को केवल लक्ष्य मॉडल की छिपी हुई विशेषताओं पर भरोसा करने के बजाय अपना स्वयं का संदर्भ लुकअप देना है। इस पद्धति को पहले सट्टा डीकोडिंग दृष्टिकोण के रूप में प्रस्तुत किया गया है, लेखकों के सर्वोत्तम ज्ञान के लिए, स्थिति-विशिष्ट संदर्भ पुनर्प्राप्ति के लिए ड्राफ्टिंग के दौरान हाइब्रिड रैखिक ध्यान मॉडलों से आवर्ती राज्यों का उपयोग करें।

ReaDy uses recurrent states as dynamic context for speculative drafting in hybrid linear attention large language models

अनुमानित डिकोडिंग लक्ष्य मॉडल की जांच करने से पहले कई tokens का मसौदा तैयार करके ऑटोरेग्रेसिव पीढ़ी को तेज करता है। फीचर-आधारित ड्राफ्टर्स अक्सर लक्षित मॉडल से छिपी हुई विशेषताओं पर भरोसा करते हैं, लेकिन स्रोत एक संभावित बेमेल नोट करता हैः उन छिपी सुविधाओं द्वारा किए गए जोर प्रत्येक बाद के ड्राफ्ट पोजीशन की जरूरतों से मेल नहीं खा सकते हैं। हाइब्रिड रैखिक ध्यान मॉडल कॉम्पैक्ट आवर्ती राज्यों को संग्रहीत करते हैं जो ऐतिहासिक संघों को जमा करते हैं जिन्हें रियाडी पूरक संदर्भ के कुशल स्रोत के रूप में मानता है।

यह कैसे काम करता है

ReaDy प्रत्येक ड्राफ्ट पोजीशन को एक सीखी हुई क्वेरी से लैस करता है जो लक्षित मॉडल के प्रतिबद्ध आवर्ती राज्यों से सीधे पूरक संदर्भ प्राप्त करता है। इसके बाद एक हल्का राज्य पाठक अवशिष्ट अपडेट के माध्यम से ड्राफ्ट प्रतिनिधित्व में पुनर्प्राप्त संदर्भ को एकीकृत करता है. अतिरिक्त काम को छोटा रखने के लिए, डिज़ाइन कम रैंक वाले स्टेट रीड्स और फ्यूज्ड ऑपरेटरों का उपयोग करता है, जिससे अतिरिक्त गणना और इनपुट/आउटपुट ओवरहेड सीमित होता है।

यह विधि डीएसपार्क के समानांतर रीढ़ की हड्डी और अनुक्रमिक पूर्वानुमान सिर पर आधारित है। ReaDy एक हल्के दो-चरण अनुकूलन रणनीति का उपयोग करता है। इसके विकास ने ablation अध्ययनों के माध्यम से पाठक क्षमता, राज्य स्रोतों और अवशिष्ट प्लेसमेंट की भी जांच की, जिससे पता चलता है कि इन डिजाइन विकल्पों को निश्चित मान्यताओं के बजाय सिस्टम के ट्यून करने योग्य भागों के रूप में माना जाता है।

ReaDy uses recurrent states as dynamic context for speculative drafting in hybrid linear attention large language models

रिपोर्ट किए गए परिणाम

गणित, कोड जनरेशन और संवाद को कवर करने वाले सात बेंचमार्क में, रियाडी एक एकल NVIDIA B200 GPU पर Qwen3.8-27B के साथ जोड़े जाने पर ऑटोरेग्रेसिव डिकोडिंग की तुलना में औसतन 3.16 × डीकोडिंग स्पीडअप प्राप्त करता है। DSpark के साथ तुलना में, ReaDy रिपोर्ट किए गए सेट में हर बेंच मार्क पर बेहतर प्रदर्शन करता है. औसत पर, यह 7.97% द्वारा थ्रूपुट में सुधार करता है और 8.50% द्वारा स्वीकृति लंबाई स्वीकार्य लंबाई मापता है कि कितने ड्राफ्ट tokens को सट्टा चरण में स्वीकार किया जाता है, इसलिए कथित लाभ से पता चलता है कि मसौदाकार अपने प्रस्तावित tokens लक्ष्य का अधिक रख रहे हैं इससे पहले कि मॉडल उन्हें सही करना चाहिए।

यह क्यों मायने रखता है

उन पाठकों के लिए जो पीढ़ी की गति के बारे में परवाह करते हैं, ReaDy एक व्यावहारिक दिशा की ओर इशारा करता हैः प्रत्येक ड्राफ्ट स्थिति द्वारा आवश्यक संदर्भ को केवल लक्ष्य मॉडल की छिपी हुई विशेषताओं से निचोड़े जाने के बजाय अलग-अलग, कॉम्पैक्ट इतिहास राज्य से प्राप्त किया जा सकता है। नतीजा एक नया मॉडल या एक नया बेंचमार्क प्लेटफॉर्म नहीं है, बल्कि एक प्रारूपण तंत्र है जो मौजूदा लक्ष्य मॉडल का उपयोग करते समय तेजी से आउटपुट की रिपोर्ट करता है।

रिपोर्ट की गई सेटिंग अपेक्षाओं को निर्देशित करने के लिए पर्याप्त संकीर्ण हैः हेडलाइन स्पीडअप को एक NVIDIA B200 GPU पर Qwen3.8-27B के साथ मापा जाता है, और तुलना आधार रेखा DSpark है। रुचि का अगला बिंदु यह है कि क्या समान स्थिति-विशिष्ट राज्य पुनर्प्राप्ति अधिक लक्ष्य मॉडल, ड्राफ्टर्स और सेवा वातावरणों में लाभ को मिटाने के लिए काफी ओवरहेड जोड़ने के बिना मदद करता है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.