कार्यप्रवाह और स्वचालन

लुप्त संदर्भ संपीड़न एजेंटों को पाठ में बोलने के लिए उपकरणों की आवश्यकता से बचने देता है।

कोका-कोला LLM एजेंट उपकरण अवलोकनों को गुप्त tokens में संपीड़ित करता है, उत्तर की गुणवत्ता उच्च रखते हुए tokens 70-89% और रनटाइम 24-56% काटता है।

मुख्य जानकारी

  • कोका-कोला LLM एजेंट उपकरण टिप्पणियों को लंबे पाठ के बजाय कॉम्पैक्ट गुप्त tokens में संपीड़ित करता है, निर्णय से संबंधित जानकारी को संरक्षित करते हुए प्रसंस्करण को कम कर देता है।
  • यह लक्ष्य एजेंट के व्यवहार को सुसंगत रखते हुए संपीड़ित और पूर्ण अवलोकनों के तहत एजेंट की अगली-कार्रवाई वितरण को संरेखित करने के लिए Action-Preserving Training का उपयोग करता है।
  • Qwen और GLM मॉडल परिवारों में चार वेब-खोज QA बेंचमार्क पर, यह token की खपत को 70.01% से 89.24% तक कम करता है और उत्तर ईएम और F1 स्कोर में सुधार करते हुए अंत-से-अंत रनटाइम को 24.45% से 8 9 005 तक छोटा कर देता है।
  • विधि एजेंट संदर्भ डिजाइन को पठनीय पाठ से निर्णय-तैयार संकेतों में स्थानांतरित करती है, जिससे परीक्षण किए गए क्यूए उत्तर की गुणवत्ता का त्याग किए बिना उपकरण अवलोकन पाइपलाइनें हल्का हो जाती हैं।
  • भविष्य के काम में अधिक एजेंट कार्यप्रवाहों को लुप्त उपकरण अवलोकन का विस्तार करने और यह निर्धारित करने की खोज की जाएगी कि टूल लेयर कितना सादे पाठ से परे जा सकता है।

कोका-कोला संपीड़ित करता है LLM एजेंट उपकरण अवलोकन, काटने tokens 70.01% करने के लिए 89.24%

मेटा विवरणः कोका-कोला LLM एजेंट टूल टिप्पणियों को कॉम्पैक्ट लुप्त tokens में बदल देता है , वेब खोज QA परीक्षणों में token का उपयोग 70.01% से 89.24% और रनटाइम 24.45% को 55.97% तक कम करता है

टैगः कोका-कोला, LLM एजेंट, संदर्भ संपीड़न, Qwen , GLM

विशेष रुप से प्रदर्शित छवि: पाठ अवलोकनों का अमूर्त अनुकूल चित्रण कॉम्पैक्ट छिपे हुए token ब्लॉकों में मोड़ दिया जा रहा है, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं हैं और न ही कोई पाठ।

एजेंट टूल अवलोकन के लिए एक नया मार्ग

कोका-Cola LLM एजेंट संपीड़न का उद्देश्य LLM एजेंटों के बिल्डरों पर है जो वेब-खोज उपकरण का उपयोग करते हैं। कोका-कोला, या Context Compression के माध्यम से Continuous Latent Tokens, को एक ऐसी विधि के रूप में पेश किया गया था जिससे एजेंट लंबे पाठ के बजाय कॉम्पैक्ट लैंटेंट प्रतिनिधित्व के तौर पर टूल टिप्पणियों का उपभोग कर सकते हैं। लाभ कम token प्रसंस्करण और छोटा एंड-टू-एंड रनटाइम होता है जबकि एजेंट के निर्णय व्यवहार को पूर्ण अवलोकन के साथ संरेखित रखा जाता है।

कैसे यह अगली कार्रवाई को संरक्षित करता है

विधि मूल उपकरण आउटपुट का पुनर्निर्माण करने की कोशिश नहीं करती है। इसके बजाय, यह उस जानकारी को संरक्षित करना सीखता है जो एजेंट के अगले निर्णय के लिए मायने रखती है। कोका-कोला पूर्ण और संपीड़ित अवलोकनों के तहत अगली कार्रवाई वितरण को संरेखित करने के लिए एक्शन-Preserving Training का उपयोग करता है जबकि लक्षित एजेंट को जमे हुए रखता है। व्यावहारिक रूप से, संपीडित अवलोकन को प्रशिक्षित किया जाता है ताकि एजेंट उसी प्रकार के अगले चरण का चयन कर सके।

बेंचमार्क क्या दिखाते हैं

चार वेब-खोज QA बेंचमार्क, Natural Questions, TriviaQA, 2WikiMultiHopQA और HotpotQA के पार, और दो मॉडल परिवारों में, Qwen और GLM , कोका-कोला 70.01% से 89.24% कम कुल एजेंट token खपत प्राप्त करता है और 24.45% तक 55.97% छोटा एंड-टू-एंड रनटाइम। यह प्रत्येक मूल्यांकन की गई सेटिंग में असम्पीडित एजेंट की तुलना में उच्च उत्तर ईएम और F1 भी हासिल करता है। ईएम तथा F1 सामान्य उत्तर गुणवत्ता मैट्रिक्स हैं।

LLM एजेंटों के लिए यह क्यों महत्वपूर्ण है

कई एजेंट कार्यप्रवाहों में, उपकरण अवलोकन लंबे होते हैं, लेकिन उनमें से केवल कुछ हिस्से ही अगली कार्रवाई को प्रभावित करते हैं। कोका-कोला डिज़ाइन बिंदु को पठनीय पाठ से निर्णय के लिए तैयार सिग्नल पर स्थानांतरित करता है। मुख्य विचार यह है कि टूल ऑब्जर्वेशन को एजेंट के फैसलों का समर्थन करने की आवश्यकता होती है; उन्हें पठनीय टेक्स्ट नहीं रहना पड़ता है। बिल्डरों के लिए, इसका मतलब है कि संदर्भ पाइपलाइन परीक्षण किए गए क्यूए सेटिंग्स में उत्तर गुणवत्ता छोड़ने के बिना हल्का हो सकती है।

खुले प्रश्न और आगे के कदम

फीडबैक और चर्चा का स्वागत है, विशेष रूप से अन्य एजेंट वर्कफ़्लो के लिए गुप्त उपकरण अवलोकनों को विस्तारित करने पर। व्यापक प्रश्न यह है कि एक एजेंट की टूल लेयर में से कितना पाठ के रूप में रहना चाहिए, और अगले कार्रवाई को संरक्षित करने वाले कॉम्पैक्ट गुप्त tokens में कितना रूपांतरित किया जा सकता है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.