फ्लाईड सटीक स्थिति फोर्किंग के माध्यम से निर्णय अनुमान में तेजी लाता है.
फ्लाईड निर्णय मॉडल के लिए एक open-source अनुमान इंजन है, जो दोहराया गणना को काटने और 9.5x गति तक दावा करने के लिए सटीक राज्य फोर्क का उपयोग करता है।
मुख्य जानकारी
- फ्लाईड जेव-जैसे निर्णय मॉडल के लिए एक open-source अनुमान इंजन है जो साझा स्थिति से संबंधित प्रश्नों की सेवा करके दोहराए गए गणना को कम करता है।
- इसकी मुख्य तकनीक, सटीक राज्य फोर्किंग, स्वतंत्र मूल्यांकन शब्दार्थ को संरक्षित करते हुए एक सामान्य स्थिति से कई निर्णय शाखाओं की अनुमति देती है।
- लेखकों ने अपने परीक्षणों में vLLM और एसजीएलएंग की तुलना में 9.5 गुना तेजी से अनुमान लगाने की सूचना दी, लेकिन इसे सर्वश्रेष्ठ परिणाम के रूप में प्रस्तुत किया।
- फ़्लाइड वर्तमान में Decision Index और 0.4.1 पर 30+ open-source निर्णय मॉडल का समर्थन करता है, अधिक मॉडलों की योजना बनाई गई है।
- यह परियोजना `pip install flide̅ के माध्यम से स्थापित की जा सकती है और सार्वजनिक कोड, प्रलेखन और समुदाय प्रतिक्रिया के लिए एक कागज प्रदान करती है।
फ्लाईड के लेखकों ने फ्लाइड, एक open-source अनुमान इंजन जारी किया है जिसका उद्देश्य Jev जैसे निर्णय मॉडल के साथ काम करने वाले डेवलपर्स और शोधकर्ताओं को लक्षित करना है। परियोजना साझा राज्य से कई संबंधित प्रश्नों की सेवा करने का एक तरीका प्रदान करती है, जिसका लक्ष्य निर्णय परिणामों को सुसंगत रखते हुए दोहराया गणना को कम करना है ।
प्रदर्शन के बारे में फ्लाईड क्या रिपोर्ट करता है
लेखकों का कहना है कि फ्लाईड अपने परीक्षण में vLLM और एसजीएलएंग की तुलना में 9.5 गुना तेज अनुमान तक पहुंचता है। परिणाम एक सर्वश्रेष्ठ-मामला दावा है, यह वादा नहीं है कि हर मॉडल, वर्कलोड या तैनाती को समान लाभ मिलेगा। वे Decision Index पर 30+ open-source निर्णय मॉडलों के लिए समर्थन की भी रिपोर्ट करते हैं।
क्यों सटीक राज्य विखंडन मामलों
निर्णय मॉडल अक्सर एक समान प्रारंभिक बिंदु से कई संबंधित प्रश्नों का मूल्यांकन करते हैं। यदि प्रत्येक प्रश्न स्क्रैच से उसी स्थिति को पुनः गणना करता है, तो सेवा समय और संसाधन उपयोग जल्दी बढ़ सकता है। सटीक राज्य फोर्किंग परियोजना का मुख्य विचार हैः शाखाएं स्वतंत्र मूल्यांकन के निर्णय अर्थशास्त्र को संरक्षित करते हुए सामान्य स्थिति से शुरू कर सकती हैं।
परियोजना तक कैसे पहुंचें
पैकेज एक आदेश: के साथ स्थापित किया जा सकता है
पाइप स्थापित करें फ्लाई
कोड https://github.com/OmniJev/Flide पर उपलब्ध है, प्रलेखन https://docs.flide.org/ पर और कागज https://arxiv.org/abs/2610.42148 पर। लेखक समुदाय से प्रतिक्रिया, प्रश्न और विचार आमंत्रित करते हैं।
आगे क्या देखना है
प्रमुख अनुवर्ती कार्य यह हैं कि क्या स्वतंत्र उपयोगकर्ता वास्तविक वर्कलोड में 9.5 × गति के दावे को पुनः पेश कर सकते हैं, 30+ मॉडल समर्थन Decision Index से परे कैसे विस्तारित होता है और क्या प्रलेखन और समुदाय की प्रतिक्रिया स्थिर उपयोग का समर्थन करती है।
मेटा विवरण: फ्लाईड लेखकों ने जेव-जैसे निर्णय मॉडल के लिए एक open-source अनुमान इंजन जारी किया, परीक्षणों में vLLM और एसजीएलएंग की तुलना में 9.5 गुना तेजी से अनुमान लगाने का दावा किया।
Tags: फ्लाईड, निष्कर्ष, निर्णय मॉडल, open-source, vLLM
विशेष रुप से प्रदर्शित छवि: निर्णय पथों की शाखाओं का अमूर्त मैत्रीपूर्ण चित्रण एक एकल त्वरित मार्ग में परिवर्तित हो रहा है, कोई लोग नहीं हैं, न ही लोगो और पाठ।

Comments (0)