संकेत

एक एंसेंबल रूटिंग विधि LLM अनुमान को शीघ्र-अनुकूली और लागत-सचेत बनाती है।

PISA और PISA-E मार्ग LLM लागत और गुणवत्ता के अनुसार संकेत देता है, वितरण में 36% और आउट ऑफ डिस्ट्रीब्यूशन पर 25% अनुमान लागत कम करता है।

एक एंसेंबल रूटिंग विधि LLM अनुमान को शीघ्र-अनुकूली और लागत-सचेत बनाती है।

मुख्य जानकारी

  • PISA एक लागत-जागरूक LLM router है जो प्रत्येक प्रॉम्प्ट पर एक ही मॉडल का चयन करता है, जबकि PISA-E प्रोम्प्ट-अनुकूली मॉडल चयन के साथ समूहों को रूटिंग देता है।
  • पीआईएसए-ई यह तय करता है कि कौन से और कितने मॉडलों को बुलाया जाना चाहिए, बिना किसी विशिष्ट प्रशिक्षण के व्यक्तिगत मॉडल क्षमता भविष्यवाणियों से समूह उपयोगिता का अनुमान लगाकर।
  • चार रूटिंग बेंचमार्क पर, PISA ने एकल-मॉडल राउटरों के बीच सबसे अच्छा लागत-प्रदर्शन हाइपरवॉल्यूम हासिल किया और PISA-E ने सर्वश्रेष्ठ गुणवत्ता-केंद्रित संयोजन प्रदर्शन प्राप्त किया।
  • PISA-E सबसे मजबूत प्रतिस्पर्धी समूहों की तुलना में लगभग 36% कम औसत अनुमान लागत वितरण और 25% कम आउट ऑफ डिस्ट्रीब्यूशन के साथ उच्च प्रदर्शन प्रदान कर सकता है।
  • व्यावहारिक निष्कर्ष यह है कि LLM रूटिंग अनुकूली हो सकती हैः एक router प्रॉम्प्ट और उपयोगकर्ता की लागत-गुणवत्ता वरीयता के आधार पर एक मॉडल या छोटे संयोजन का चयन कर सकता है।

पीआईएसए-ई LLM रूटिंग 36 और 25 प्रतिशत कम संयोजन लागत के साथ प्रदान करता है

An Ensemble Routing Method Makes LLM Inference Prompt-Adaptive and Cost-Aware.

मेटा विवरणः PISA और PISA-E मार्ग LLM संकेत देता है और लागत के अनुसार संयोजन करता है, औसत अनुमानित लागत में 36 प्रतिशत की कटौती वितरण और 25 प्रतिशत आउट ऑफ डिस्ट्रीब्यूशन।

टैगः LLM रूटिंग, PISA, पीआईएसए-ई, संयोजनों, अनुमान लागत

विशेष रुप से प्रदर्शित छवि: विभिन्न LLM मॉडलों में जाने वाले संकेतों का सार चित्रण और लागत और गुणवत्ता डायल के साथ एक समूह पैनल, कोई पाठ या लोगो नहीं।

An Ensemble Routing Method Makes LLM Inference Prompt-Adaptive and Cost-Aware.

यह कागज उन पाठकों के लिए है जो LLM रूटिंग का उपयोग करते हैं ताकि यह तय किया जा सके कि प्रत्येक प्रॉम्प्ट को कौन सा large language model जवाब देता है। इसमें PISA, एक लागत-जागरूक एकल मॉडल router , और PISA-E पेश किया गया है, जो प्रोम्प्ट-अनुकूली संरचना और आकार वाले समूहों में LLM मार्ग का विस्तार करता है।

रूटिंग और एंसेंबल अलग क्यों होते हैं
Most LLM रूटिंग दृष्टिकोण प्रत्येक प्रॉम्प्ट के लिए एक मॉडल का चयन करते हैं। एंसेंबलिंग एक और सवाल पूछता हैः कौन से मॉडलों को जोड़ा जाना चाहिए, और कितने कॉल करने लायक हैं। अधिक मॉडल गुणवत्ता में सुधार कर सकते हैं लेकिन अनुमान लागत बढ़ा सकते हैं, इसलिए router को प्रत्येक प्रोम्प्ट की लागत और गुणवत्ता को संतुलित करना होगा।

कैसे PISA-E मॉडल चुनता है
पीआईएसए एक लागत-जागरूक एकल-मॉडल router है। PISA-E व्यक्तिगत मॉडल क्षमता भविष्यवाणियों से समूह उपयोगिता का अनुमान लगाता है, बिना किसी विशेष प्रशिक्षण की आवश्यकता के। यह प्रॉम्प्ट और कॉन्फ़िगर करने योग्य लागत-गुणवत्ता वरीयता के आधार पर आह्वान किए जाने वाले मॉडलों का चयन करता है।

An Ensemble Routing Method Makes LLM Inference Prompt-Adaptive and Cost-Aware.

बेंचमार्क परिणाम
पेपर में इन-वितरण और आउट-ऑफ-डिस्ट्रीब्यूशन सेटिंग्स के तहत चार रूटिंग बेंचमार्क पर दोनों विधियों का मूल्यांकन किया गया है। पीआईएसए ने मूल्यांकन किए गए एकल-मॉडल राउटरों के बीच उच्चतम मैक्रो-औसत लागत-प्रदर्शन हाइपर वॉल्यूम हासिल किया। गुणवत्ता को प्राथमिकता देते हुए, पीआयएसए-ई ने सबसे अधिक मैक्रो औसत एसेम्बल टास्क प्रदर्शन प्राप्त किया। इसने लगभग 36 प्रतिशत कम औसत अनुमानित व्यय वितरण और 25 प्रतिशत कम औसतन अनुमान लागत से बाहर वितरण की तुलना में उच्च प्रदर्शन वाले ऑपरेटिंग बिंदुओं की भी पेशकश की।

पाठक क्या ले जा सकते हैं
LLM एप्लिकेशन चलाने वाली टीमों के लिए, व्यावहारिक विचार यह है कि रूटिंग को तय नहीं किया जाना चाहिए। एक router प्रॉम्प्ट और उपयोगकर्ता की लागत-गुणवत्ता सेटिंग के आधार पर एक मॉडल या एक छोटे से समूह का चयन कर सकता है। पेपर फीडबैक आमंत्रित करता है, विशेष रूप से ensemble-selection फॉर्मूलेशन और अनुकूली ensemble कार्डिनैलिटी पर।

किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए
LLM राउटर, एसेम्बल विधियों या लागत-गुणवत्ता के व्यापार का मूल्यांकन करने वाले पाठकों को इसका उपयोग करना चाहिए। केवल मॉडल प्रशिक्षण व्यंजनों या अंतिम उत्पाद बेंचमार्क की तलाश में पाठक इसे छोड़ सकते हैं।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.