उपकरण समीक्षाएँ

SparseEngine: एक इन्फरेंस इंजन जो स्परसिटी के लिए बनाया गया है

SparseEngine LLM एजेंटों के लिए विरल ध्यान केंद्र बनाता है, जो 15 विधियों को कवर करता है, KV कैश लागत में कटौती करता है और दीर्घ-संदर्भ अनुमान और डिकोडिंग की गति बढ़ाता है।

SparseEngine: एक इन्फरेंस इंजन जो स्परसिटी के लिए बनाया गया है

मुख्य बिंदु

  • SparseEngine विशेष रूप से लंबे संदर्भ LLM एजेंटों के लिए बनाया गया है, जो मेमोरी और ध्यान लागत को कम करने के लिए एक ऐड-ऑन की बजाय कोर इंजन डिजाइन के रूप में स्पार्स एटेंशन का इलाज करता है।
  • यह चार श्रेणियों में 15 विरल ध्यान विधियों का समर्थन करता है और मल्टी-टर्न एजेंट कैश जीवनचक्रों को प्रबंधित करने के लिए Chain Cache और प्रीफिक्स-Cache Pruning जैसे तंत्र पेश करता है।
  • रिपोर्ट किए गए प्रदर्शन में केवी निष्कासन के साथ 10 गुना से अधिक थ्रूपुट, vLLM की तुलना में मिलान समवर्ती पर 2.5 गुना तेज डिकोडिंग और एजेंट बेंचमार्क पर 2x से अधिक एंड-टू-एंड स्पीडअप शामिल है।
  • प्रमुख इंजीनियरिंग मूल्य एक सामान्य कैश ढांचा है जो विभिन्न विरल विधियों को एजेंट अनुमान प्रणालियों के भीतर अधिक स्वच्छ रूप से काम करने देता है।
  • इसका मूल्यांकन करने वाली टीमों को स्वतंत्र रूप से विधियों, hardware , मॉडल आकार और उत्पादन-शैली के एजेंट कार्यभार में परिणाम सत्यापित करना चाहिए।

मेटा विवरणः SparseEngine लंबे संदर्भ वाले LLM एजेंटों को कम ध्यान देने के साथ तेजी से चलने में मदद करता है, 15 विधियों का समर्थन करता है और थ्रूपुट, डिकोडिंग और एजेंट बेंचमार्क में सुधार करता है।

SparseEngine: An Inference Engine Built for Sparsity

टैगः SparseEngine, दीर्घ-संदर्भ LLMs , विरल ध्यान, केवी कैश, AI एजेंट

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक एजेंट के रूप में संकुचित स्मृति कैश का अमूर्त दोस्ताना चित्रण एक लंबा दस्तावेज पढ़ता है, कोई लोग नहीं, कोई लोगो, कोई पाठ।

SparseEngine का उद्देश्य उन डेवलपर्स और इन्फेरेंस इंजीनियरों के लिए है जो LLM एजेंट को लंबे समय तक इंटरैक्शन हिस्ट्री के साथ चलाते हैं, और इसका मकसद मेमोरी और ध्यान की लागत को कम करना है क्योंकि यह एक वैकल्पिक ऐड-ऑन के बजाय इंजन के कोर डिज़ाइन के रूप में इलाज करता है। सिस्टम विवरण कहता है कि स्पार्सेइंजीन चार श्रेणियों में 15 विधियों का समर्थन करता है और KV निष्कासन के साथ 10x से अधिक थ्रूपुट रिपोर्ट करता है, vLLM की तुलना में मिलान समवर्ती पर 2.5 गुना तेज डिकोडिंग, और एजेंट बेंचमार्क पर 2x एंड-टू-एंड स्पीडअप।

क्यों लंबे समय एजेंट चैट तनाव अनुमान

LLM एजेंट आमतौर पर एक-शॉट प्रश्न का उत्तर नहीं देते हैं। वे योजना बनाते हैं, उपकरण बुलाते हैं, परिणाम प्राप्त करते हैं, संशोधित करते हैं और कई मोड़ों पर जारी रखते हैं। प्रत्येक मोड़ tokens को context window में जोड़ता है। Transformers एक केवी कैश या कुंजी-मूल्य कैश रखता है, इसलिए मॉडल इसे खरोंच से पुनः गणना करने के बजाय पहले की जानकारी का पुनः उपयोग कर सकता है। यह कैश इतिहास बढ़ने के साथ बढ़ जाता है। ध्यान गणना भी बढ़ती है क्योंकि अगले लोगों को उत्पन्न करते समय मॉडल को पूर्ववर्ती tokens पर विचार करने की आवश्यकता होती है।

विरल ध्यान हर token को समान रूप से महत्वपूर्ण नहीं मानकर इस लागत में कटौती करने की कोशिश करता है। पूर्ण इतिहास के लिए भाग लेने के बजाय, एक दुर्लभ विधि केवल चयनित tokens , खंडों या कैश प्रविष्टियों को रख सकती है। यह स्मृति और गणना कम कर सकता है। व्यावहारिक समस्या एकीकरण हैः अलग-अलग बिखरे हुए विधियां विभिन्न कैश लेआउट, विभिन्न जीवनचक्र नियमों और विभिन्न सेवा कार्यप्रवाहों की उम्मीद करती हैं। एक एजेंट सिस्टम तय करने के कई असंगत तरीकों के साथ समाप्त हो सकता है कि क्या रखना है, क्या छोड़ना है, और टूल कॉल के बाद कैसे फिर से शुरू किया जाए।

SparseEngine: An Inference Engine Built for Sparsity

SparseEngine का दृष्टिकोण: पहले कम ध्यान के लिए डिजाइन

विवरण SparseEngine को एक छिटपुट-पहले LLM एजेंट अनुमान इंजन के रूप में प्रस्तुत करता है। सादे शब्दों में, यह मानता है कि लंबे एजेंट सत्रों को शुरुआत से ही कम ध्यान देने की आवश्यकता होती है, बजाय इसके कि घने, सिंगल-टर्न अनुरोधों के लिए डिज़ाइन किए गए सर्विंग स्टैक पर कम ध्यान दिया जाए। स्पार्सइंजीन चार श्रेणियों में 15 विधियों का समर्थन करता है, जो सुझाव देता है कि लक्ष्य एक कागज या एक कैश रणनीति के लिए अनुकूलित करने के बजाय कई प्रकार की विरल ध्यान तकनीकों को कवर करना है।

पाठकों के लिए, महत्वपूर्ण बिंदु स्वयं संख्या 15 नहीं है। यह उन विधियों को एजेंट अनुमान इंजन के अंदर रहने के लिए एक सामान्य स्थान देने का प्रयास है। यदि विरल ध्यान विधियां कैश नियमों को साझा करती हैं, तो सिस्टम प्रत्येक नई तकनीक के लिए सेवा परत को फिर से लिखे बिना उन्हें स्विच या संयोजित कर सकता है।

चेन कैश और प्रीफिक्स-कैश छंटाई

SparseEngine विवरण में दो नामित तंत्र Chain Cache और प्रीफिक्स-Cache Pruning हैं। एजेंट सत्र मोड़ की एक श्रृंखला बनाते हैंः उपयोगकर्ता संदेश, मॉडल प्रतिक्रिया, टूल परिणाम, एक अन्य मॉडल चरण, आदि। Chain Cache, उन मोड़ों पर कैश स्थिति के समन्वय के लिए वर्णित तंत्र है। इसका उद्देश्य प्रत्येक विरल विधि को कस्टम कैश प्रबंधक में परिवर्तित किए बिना कई चरणों में उपयोग करने योग्य इतिहास बनाना है।

प्रीफिक्स-Cache Pruning लंबे सत्रों के दूसरे पक्ष को लक्षित करता हैः पुरानी उपसर्ग जानकारी। कई एजेंट वर्कलोड में, मॉडल नए कार्यों, टूल परिणाम या संशोधित योजनाओं पर चले जाने के बाद शुरुआती tokens कम उपयोगी हो सकता है। प्रीफ़िक्स-एक्सएनयूएमएक्सएक्स पुराने उपसर्ग कैश प्रविष्टियों को हटाने के लिए नामित तंत्र है। नतीजा एक ऐसा कैश है जो वर्तमान कार्य के लिए आवश्यक भागों को संरक्षित करते हुए पूर्ण प्रतिलेख से छोटा हो सकते हैं।

अंतर महत्वपूर्ण है क्योंकि लंबे संदर्भ केवल token -गणना समस्या नहीं है। यह एक जीवनचक्र की समस्या है। सिस्टम को तय करना होगा कि कब कैश प्रविष्टियां अभी भी सक्रिय हैं, जब वे संपीड़ित या निकाले जा सकते हैं और जब उन्हें त्याग दिया जा सकता है। SparseEngine के नामित तंत्र उस जीवन चक्र का जवाब हैं, न कि कच्चे मेमोरी-बचत चाल।

SparseEngine: An Inference Engine Built for Sparsity

रिपोर्ट किए गए स्पीडअप का क्या मतलब है

प्रदर्शन दावों विशिष्ट हैं. SparseEngine केवी निष्कासन के साथ 10x से अधिक थ्रूपुट की रिपोर्ट करता है। KV निष्काशन का मतलब है कि इंजन मेमोरी दबाव को नियंत्रण में रखने के लिए पुराने KV कैश प्रविष्टियों को हटा देता है या मुक्त कर देता है। उस सेटिंग में एक थ्रुपुट सुधार से पता चलता है कि जब कैश निकासी सक्रिय होती है तो इंजन उसी hardware के लिए और अनुरोधों या tokens को संसाधित कर सकता है।

vLLM एक व्यापक रूप से ज्ञात उच्च-थ्रूपुट अनुमान इंजन है, इसलिए तुलना का उद्देश्य खिलौना प्रणाली के बजाय एक मजबूत सेवा आधार रेखा पर है।

अंत में, विवरण एजेंट बेंचमार्क पर 2x से अधिक एंड-टू-एंड स्पीडअप की रिपोर्ट करता है। एंड-टु-एन्ड महत्वपूर्ण है क्योंकि एजेंट वर्कलोड में योजना, टूल कॉल, रीट्रीस और मल्टी-टर्न स्टेट शामिल हैं। एक डिकोडिंग स्पीड अप अकेले पूर्ण एप्लिकेशन को तेज़ नहीं साबित करता है. बेंचmark दावा सुझाव देता है कि प्रभाव पूरे एजेंट रन के दौरान दिखाई दे रहा है, न कि JUST अलग-थलग token पीढ़ी।

पाठकों को इससे क्या सीख लेनी चाहिए

टीम निर्माण एजेंटों के लिए, SparseEngine देखने लायक है कि क्या लंबे इतिहास, टूल लूप और KV कैश दबाव पहले से ही लागत या विलंबता को सीमित कर रहे हैं। रिपोर्ट किए गए लाभ बड़े हैं, लेकिन वे अभी भी सिस्टम की अपनी रिपोर्ट संख्या हैं। स्वतंत्र परीक्षण यह जांचने की आवश्यकता होगी कि 15 विधियों में से कौन सा उपयोग किया जाता है, किस hardware और मॉडल आकार का परीक्षण किया गया था, कौन से एजेंट बेंचमार्क चलाए गए थे, और क्या उत्पादन ट्रैफ़िक के लिए स्पीडअप पकड़े जाते हैं।

आकस्मिक chatbot उपयोगकर्ताओं के लिए, प्रभाव अदृश्य हो सकता है जब तक कि एजेंट लंबे समय तक यादें नहीं रखते हैं, अधिक टूल चरण चलाते हैं, या संचालित करने के लिए सस्ता बन जाते हैं। बुनियादी ढांचे के इंजीनियरों के लिए व्यावहारिक मूल्य कैश नियमों में हैः Chain Cache और प्रीफिक्स -Cache Pruning एक बड़ी समस्या का दृश्य भाग हैं, कैसे कई बारी की सेवा करें बिना KV कैश को बाधा बनने दें।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.