एजवाइज चुनिंदा क्लाउड प्रतिनियुक्ति के माध्यम से लंबी क्षितिज एजेंटों को किनारे पर लाता है।
एजवाइज स्थानीय एसएलएम से क्लाउड LLMs तक केवल महत्वपूर्ण होने पर लंबी क्षितिज के एजेंट चरणों को रूट करता है, जिससे SWE-Rebench पर 62% तक अनुमान लागत में कटौती होती है।
मुख्य जानकारी
- एजवाइज एक स्थानीय छोटी भाषा मॉडल और क्लाउड LLM के बीच लंबी क्षितिज एजेंट कार्यों को विभाजित करता है, केवल महत्वपूर्ण चरणों के लिए क्लाउद मॉडल का उपयोग करके।
- यह चयनात्मक क्लाउड प्रत्यायोजन कार्य प्रदर्शन को बनाए रखते हुए या सुधारते समय SWE-Rebench पर 62% और टर्मिनल-बेंच 2.1 पर34% तक अनुमान लागत कम करता है।
- फ्रेमवर्क चरण-स्तरीय reinforcement learning और न्यायाधीश आधारित प्रत्यायोजन का उपयोग करता है ताकि यह पता लगाया जा सके कि क्लाउड LLM में कब, कैसे और क्या बढ़ाया जाए।
- मुख्य व्यावहारिक अंतर्दृष्टि यह है कि सीमांत क्लाउड मॉडल को सीमित संसाधनों के रूप में माना जा सकता है, जिससे एजेंट वर्कलोड सस्ता हो जाता है जब कई चरण स्थानीय स्तर पर संभाले जा सकते हैं।
मेटा विवरणः एजवाइज एक स्थानीय छोटी भाषा मॉडल और क्लाउड LLM के बीच लंबे क्षितिज एजेंट कार्यों को विभाजित करता है, जिससे SWE-Rebench पर अनुमान लागत में 62% तक की कटौती होती है।
टैगः EdgeWise, एजेंट कार्य, क्लाउड LLM, अनुमान लागत, स्थानीय छोटी भाषा मॉडल
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक छोटे से स्थानीय मॉडल का अमूर्त मैत्रीपूर्ण चित्रण जो किसी बड़े क्लाउड LLM को कोई वास्तविक व्यक्ति, लोगो या पाठ के साथ टास्क पैकेट पास कर रहा है।
एजवाइज छोटे मॉडल और क्लाउड LLMs का उपयोग कर एजेंट लागत में कटौती करता है
प्रस्तावित एजवाइज फ्रेमवर्क लंबी क्षितिज एजेंट कार्यों में लागत की समस्या को संबोधित करता हैः यह अधिकांश चरणों के लिए एक स्थानीय छोटी भाषा मॉडल चलाता है और केवल महत्वपूर्ण कदमों को क्लाउड LLM तक बढ़ाता है। रिपोर्ट किए गए प्रयोगों के अनुसार, EdgeWise शुद्ध- LLM निष्पादन से मेल खाता है या बेहतर प्रदर्शन करता है जबकि SWE-Rebench पर 62% और टर्मिनल-बेंच 2.1 पर 34% तक अनुमान लागत कम कर देता है।
पूर्ण क्लाउड LLM रन महंगे क्यों हो जाते हैं
लंबी क्षितिज एजेंटों को अक्सर अच्छी तरह से प्रदर्शन करने के लिए सीमांत क्लाउड मॉडल की आवश्यकता होती है, लेकिन प्रत्येक चरण में एक सीमांत मॉडल को कॉल करना अनुमान लगाना महंगा बना सकता है। लंबे समय तक चलने वाले प्रक्षेपवक्र में, एजेंट किसी कार्य को समाप्त करने से पहले कई निर्णय ले सकते हैं। यदि हर निर्णय उसी सीमांकित मॉडल पर भेजा जाता है, तो लागत चरणों की संख्या के साथ बढ़ती है, भले ही कार्य कम सक्षम हैंडलिंग के साथ हल किया जा सके।
प्रत्येक चरण द्वारा आवश्यक क्षमता हमेशा समान नहीं होती है। कुछ चरणों में सबसे मजबूत मॉडल की आवश्यकता हो सकती है, जबकि अन्य को छोटे से संभाला जा सकता है। यह असंगति एजवाइज के लिए शुरुआती बिंदु हैः डिफ़ॉल्ट रूप से एक स्थानीय छोटी भाषा मॉडल का उपयोग करें और उन चरणों के लिए क्लाउड LLM आरक्षित करें जिन्हें इसकी ताकत की सबसे अधिक आवश्यकता होगी।
कैसे EdgeWise किनारे और क्लाउड के बीच कार्य करता है
EdgeWise एक एज-क्लाउड सहयोग ढांचा है। यह मुख्य सॉल्वर के रूप में स्थानीय डिवाइस पर एक छोटे से भाषा मॉडल का उपयोग करता है। जब किसी चरण को महत्वपूर्ण माना जाता है, तो फ्रेमवर्क उस कदम को स्थानीय स्तर पर चलाने के बजाय क्लाउड LLM में भेजता है। स्थानीय मॉडल प्रक्षेपवक्र को आगे बढ़ाता रहता है, और केवल तभी बादल मॉडल को बुलाया जाता है जहां इसकी उच्च क्षमता की उम्मीद होती है।
क्योंकि क्लाउड मॉडल को कम बार बुलाया जाता है, सिस्टम प्रत्येक चरण में इसके लिए भुगतान किए बिना मजबूत क्षमता उपलब्ध रख सकता है। यह पैटर्न एजेंट बिल्डरों के लिए लागत प्रश्न बदलता है। पूरे कार्य के लिए एक मॉडल का चयन करने के बजाय, प्रणाली तय करती है कि प्रत्येक चरण को कैसे रूट किया जाए।
फ्रेमवर्क की रिपोर्ट में पाया गया कि एक फ्रंटियर क्लाउड मॉडल अभी भी मजबूत परिणाम प्राप्त कर सकता है, भले ही इसका उपयोग केवल प्रमुख चरणों के छोटे उप-समूह के लिए किया जाए। यह खोज महत्वपूर्ण है क्योंकि यह कार्य गुणवत्ता को इस धारणा से अलग करता है कि प्रत्येक मॉडल कॉल सबसे शक्तिशाली उपलब्ध होना चाहिए।
सीखना कि कौन से कदम क्लाउड के योग्य हैं LLM
यह विधि एक चरण-स्तरीय reinforcement learning दृष्टिकोण का उपयोग करती है जो कार्य समाधान और प्रत्यायोजन को एक साथ अनुकूलित करता है। यह प्रत्येक व्यक्तिगत प्रत्यायन निर्णय के लिए ठीक दानेदारता के साथ श्रेय देता है, इसलिए सिस्टम सीख सकता है कि क्या किसी विशिष्ट क्लाउड कॉल ने परिणाम में सुधार किया था।
रूटिंग निर्णयों की जांच करने के लिए, फ्रेमवर्क एक बाहरी न्यायाधीश-आधारित प्रत्यायोजन रणनीति पेश करता है। यह चार व्यावहारिक डिजाइन प्रश्नों का पता लगाता हैः जब प्रत्यायन होना चाहिए, कैसे प्रत्यायोजन निर्णय किए जाने चाहिए, क्या संदर्भ क्लाउड LLM को पारित किया जाना चाहिए और कितनी बार क्लाऊड 8900000 का उपयोग किया जा सकता है।
ये प्रश्न एज क्लाउड एजेंट सिस्टम के लिए केंद्रीय हैं क्योंकि बहुत अधिक प्रत्यायोजन लागत बढ़ाता है, जबकि बहुत कम प्रदर्शन को कमजोर कर सकता है। जज-आधारित रणनीति उन व्यापारों का अध्ययन करने का एक तरीका प्रदान करती है जो केवल हाथ से लिखे गए रूटिंग नियम पर भरोसा नहीं करते हैं।
बेंचमार्क क्या दिखाते हैं
प्रयोगों से पता चलता है कि EdgeWise शुद्ध- LLM निष्पादन के समान या उससे बेहतर प्रदर्शन करता है, जबकि SWE-Rebench पर 62% तक और टर्मिनल-बेंच 2.1 पर 8 9 002 तक अनुमान लागत को कम कर देता है। ये बेंचमार्क नाम स्रोत में दिए गए विशिष्ट मूल्यांकन बिंदु हैं; अन्य कार्यों के बारे में कोई व्यापक दावों की आवश्यकता नहीं है। परिणाम बताता है कि चुनिंदा वृद्धि एजेंट वर्कलोड के लिए एक प्रभावी लागत नियंत्रण पैटर्न हो सकती है।
इस दृष्टिकोण को स्थानीय वर्कस्टेशन पर भी तैनात किया गया था, जहां यह एक व्यावहारिक किनारे-क्लाउड सेटिंग में तुलनीय लागत बचत का उत्पादन करता है। उस तैनाती विवरण ने विधि को बेंचमार्क अभ्यास से स्थानीय-से-क्लॉड कार्यप्रवाह में स्थानांतरित कर दिया है। पाठकों के लिए, व्यावहारिक प्रश्न बन जाता है कि क्या उनके एजेंट कार्यभार में पर्याप्त कदम हैं जिन्हें स्थानीय छोटी भाषा मॉडल द्वारा संभाला जा सकता है।
एजेंट तैनाती के लिए आगे क्या आता है
एजवाइज के परिणाम लंबी क्षितिज वाले एजेंटों के लिए एक संकीर्ण, अधिक परिचालन पथ की ओर इशारा करते हैंः सीमांत क्लाउड मॉडल को सीमित संसाधन के रूप में व्यवहार करें, न कि डिफ़ॉल्ट के तौर पर। स्रोत मूल्य निर्धारण आंकड़े, मॉडल संस्करण या तैनाती सीमा प्रदान नहीं करता है, इसलिए मुख्य सार्वजनिक साक्ष्य SWE-Rebench और टर्मिनल-बेंच 2.1 पर रिपोर्ट किए गए लागत में कमी है।
प्रैक्टिशनरों के लिए अगला कदम यह आकलन करना होगा कि क्या प्रत्यायोजन पैटर्न उनके अपने कार्य मिश्रण के लिए काम करता है, विशेष रूप से जहां लागत और रूटिंग व्यावहारिक चिंताएं हैं।

Comments (0)