उपकरण समीक्षाएँ

Granite Switch 4.1 एकल अंतबिंदु से चैट, निर्णय और भाषण का समर्थन करता है।

Granite Switch 4.1 एक मॉडल में चैट, भाषण और निर्णय को जोड़ती है, विशेषज्ञों को जोड़ते हुए GPU आवश्यकताओं को काटने के लिए कैश और एडेप्टर का पुनः उपयोग करती है।

Granite Switch 4.1 एकल अंतबिंदु से चैट, निर्णय और भाषण का समर्थन करता है।

मुख्य बिंदु

  • Granite Switch 4.1 Decision aLoRA, गार्जियन एलोरा और ग्रेनाइट-स्पीच-5.0-टर्बो-सीटीसी सहित बंडल किए गए एडेप्टरों के माध्यम से एक मॉडल में चैट, speech recognition और निर्णय लेने को जोड़ती है।
  • यह एक साझा KV कैश और कैश-कुशल सक्रिय LoRAs का उपयोग करता है, जबकि GPU मेमोरी आवश्यकताओं को आधार मॉडल के समान रखते हुए कार्यों के बीच जल्दी से स्विच करने के लिए।
  • यह मॉडल सामान्य प्रयोजन निर्णयों और विशेष अनुकूलकों दोनों का समर्थन करता है, जिससे टीमें कम लागत पर विशिष्ट कार्यों के लिए अधिक सटीकता जोड़ सकती हैं।
  • Prebuilt Granite-स्विच-4.1-8B और -30B मॉडल उपलब्ध हैं, और उपयोगकर्ता Granite Libraries से एडेप्टर का उपयोग करके कस्टम मॉडल बना सकते हैं।
  • भविष्य के समर्थन में Mellea में एक Adapter SDK शामिल है, जो कस्टम निर्णय, भाषा या कार्य-विशिष्ट वर्कफ़्लो के लिए समुदाय द्वारा बनाए गए एडेप्टर को सक्षम करता है।

मेटा विवरणः Granite Switch 4.1 डेवलपर्स को एक मॉडल में भाषण, चैट और निर्णय वर्कफ़्लो को जोड़ने की अनुमति देता है जबकि GPU आवश्यकताओं को कम करने के लिए आधार KV कैश का पुनः उपयोग करता है।

Granite Switch 4.1 supports chat, decisions, and speech from a single endpoint.

टैगः Granite Switch 4.1, निर्णय मॉडल, speech recognition , vLLM , Mellea

भाषण, चैट और निर्णय कार्यों के बीच एक AI मॉडल स्विचिंग का सार मैत्रीपूर्ण चित्रण

Granite Switch 4.1 का उद्देश्य डेवलपर्स और टीमों के निर्माण AI एप्लिकेशन है कि सामान्य चैट, स्वचालित speech recognition (एएसआर), और निर्णय लेने के कार्यों को संभालने के लिए एक एकल अंत बिंदु की जरूरत है। नई ग्रेनाइट-स्विच-4.1 - 8B और ग्रेनाईट-स्वीच- 4.1 - 30B मॉडल बंडल में एक आम निर्णय एडाप्टर, एक सुरक्षा केंद्रित निर्णय अनुकूलक, और एक भाषण प्रतिलेखन मॉडल एक पैकेज में. नतीजा एक ऐसा मॉडल है जो सादे आधार मॉडल से अधिक कर सकता है जबकि एक GPU पर लगभग उसी वीआरएएम का उपयोग करना ।

एक आधार मॉडल, तीन विशिष्ट कार्य

ग्रेनाइट-स्विच-4.1-8B और -30B संस्करणों में अंतर्निहित आधार मॉडल के शीर्ष पर तीन प्रौद्योगिकियां शामिल हैं। पहला एक नया निर्णय aLoRA है, जो सामान्य प्रयोजन निर्णय लेने के लिए एक एडाप्टर है, जैसे कि v1/systemone। दूसरा सुरक्षा से संबंधित निर्णय कार्यों के लिए विशेष गार्जियन एलोरा है। स्रोत का कहना है कि औसतन, यह गार्डियन एलॉरा उन कार्यों पर जेवी 1.13, Microsoft -डेसिशन-1, जीपीटी-लुना-डिसीजंस और क्लेफ-फ़्लैश को पीछे छोड़ देता है।

तीसरा ग्रेनाइट-स्पीच-5.0-टर्बो-सीटीसी, एक एएसआर मॉडल है जिसे ओपनएएसआर लीडरबोर्ड पर सबसे तेज़ ए एस आर मॉडल के रूप में वर्णित किया गया है। यह ट्रांसक्रिप्शन कार्यों में उपयोग के लिए एम्बेडेड है। तीनों प्रौद्योगिकियां एक मॉडल में बनाई गई हैं, इसलिए भाषण, चैट और निर्णय आउटपुट की आवश्यकता वाली तैनाती कॉम्पैक्ट रह सकती है। इसका मतलब है कि कम GPUs के साथ अधिक क्षमताएं।

Granite Switch 4.1 supports chat, decisions, and speech from a single endpoint.

साझा कैश के माध्यम से तेज़ स्विचिंग

प्रदर्शन का दावा एडेप्टरों के निर्माण पर निर्भर करता है। स्विच एडॉप्टर कैश-कुशल सक्रिय LoRAs हैं, और एक आधार मॉडल पीढ़ी से बनाए गए KV कैश को किसी भी बाद के अनुकूलक आधारित निर्णयों के लिए पुनः उपयोग किया जा सकता है। व्यावहारिक रूप से, मॉडल को स्क्रैच से शुरू नहीं करना पड़ता जब यह प्रश्न का उत्तर देने से लेकर निर्णय चरण चलाने या बोलने वाले इनपुट को संसाधित करने तक चलता है।

टीम ने अपने हालिया vLLM योगदानों को कम रैंक एडेप्टर अनुमान लगाने में तेजी लाने के लिए, साथ ही एक सह-स्थित ASR एन्कोडर की ओर भी इशारा किया। साथ में, ये Granite Switch 4.1 मॉडल को उच्च गति पर चैट अनुरोध, निर्णय अनुरोध और बोलने वाले अनुरोध के बीच स्विच करने की अनुमति देते हैं। स्रोत इस स्विचिंग का वर्णन तेज गति से करता है।

एक व्यावहारिक प्रदर्शन स्पीच-टूDecisions HF स्पेस है। उस वातावरण में, ग्रेनाइट-स्विच-4.1-8b ऑडियो ट्रांसक्रिप्ट करता है, सारांश उत्पन्न करता है और 15 अन्य उपयोगकर्ता द्वारा परिभाषित झंडे का परीक्षण करता है। स्रोत कहता है कि ये सभी कार्य वास्तविक समय में एकल एंडपॉइंट पर चलते हैं।

विशेषज्ञ बहुत अधिक लागत के बिना सटीकता जोड़ सकते हैं

निर्णय मॉडल नए नहीं हैं। पहले Granite Libraries रिलीज़ में विशेष निर्णय मॉडल एडाप्टर और अन्य विशिष्ट कार्य एडेप्टर शामिल थे जिन्हें कस्टम Granite Switch मॉडलों में संकलित किया जा सकता है। While Jev और अन्य बंद निर्णय मॉडल सामान्यता पर ध्यान केंद्रित करते हैं, स्रोत का कहना है कि कई विशेष ग्रेनाइटलिब अनुकूलक विशेष वर्गीकरण कार्यों पर सामान्यवादियों से बेहतर प्रदर्शन कर सकते हैं। जब ग्रैनिटाइलिब अनुकूलकों की तुलना विशेष वर्गीकृत कार्यों पर समग्र निर्णय मॉडल के साथ की जाती है, तो विशेषज्ञ उन संकीर्ण नौकरियों पर मजबूत हो सकते हैं जो मायने रखते हैं।

चूंकि एडेप्टर आधार मॉडल के KV कैश को साझा करते हैं, इसलिए एक सामान्यवादी निर्णय अनुकूलक के साथ विशेषज्ञों को जोड़ने में लगभग कुछ भी खर्च नहीं होता है। एक उपयोगकर्ता चयनित कार्यों पर सामान्यज्ञ से व्यापक कवरेज और विशेषताओं से उच्च सटीकता प्राप्त करता है। स्रोत इसे केंद्रित वर्गीकरण शक्ति के साथ विस्तृत निर्णय क्षमता को संयोजित करने के तरीके के रूप में फ्रेम करता है.

इस दृष्टिकोण का परीक्षण ग्रेनाइट-स्विच और जेव के बीच एक रेस में किया गया था। ग्रैनिट स्विच कॉन्फ़िगरेशन ने जमे हुए आधार ग्रेनाईट मॉडल प्लस 4 विशेष एएलओआरए का उपयोग किया है। जेव ने जमी हुई नींव Qwen मॉडल प्लस 1 सामान्य निर्णय LoRA का इस्तेमाल किया। वास्तविक दुनिया में, 5-चरण RAG वर्कफ्लो, ग्रेनेड स्विच - 4.1 जीवी की तुलना में कार्य को बहुत तेजी से पूरा करता है।

Granite Switch 4.1 supports chat, decisions, and speech from a single endpoint.

टीमें अपना स्वयं का Granite Switch मॉडल बना सकती हैं

जारी किए गए ग्रेनाइट-स्विच-4.1-8B और -30B मॉडल बैटरी के साथ आते हैं। वे सहायक एडेप्टरों के पूर्वनिर्धारित सेट के साथ प्रीकंपाइल Granite Switch मॉडल हैं। हालांकि, स्रोत का कहना है कि कोई भी विशिष्ट आवश्यकताओं को पूरा करने के लिए Granite Libraries से एडाप्टर मिश्रण और मिलान करके अपना स्वयं का Granite Switch मॉडल बना सकता है।

टीम को समुदाय के लिए कस्टम और तृतीय-पक्ष एडेप्टरों के साथ मॉडलों की रचना करने और विस्तारित करने का एक बड़ा अवसर दिखाई देता है। यह अन्य ट्यूटोरियल और Granite Switch समर्थन के साथ मेलिया में प्रशिक्षण अनुकूलकों के लिए एक Adapter SDK जारी करने की योजना बना रहा है। वे अनुकूलक निर्णय आधारित वर्कफ़्लो या विशेष भाषा कार्यों के लिए अनुकूलक बढ़ाने के लिए विशिष्ट वर्गीकरण अनुकूलक हो सकते हैं।

स्रोत एक चंचल उदाहरण देता हैः कस्टम एडेप्टर क्लासिक गेम डूम खेलने के लिए ग्रेनाइट के 3B पैरामीटर संस्करण को सिखा सकता है। Like Jev, कस्टम 3B पैरामीटर Granite Switch मॉडल ने डुम को नेविगेट करने के लिए स्प्लिट सेकंड फैसले किए। स्रोत का कहना है कि यह 60 - 100 निर्णय प्रति सेकंड पर किया गया था, जबकि जेव की रिपोर्ट में 10 निर्णय प्रति मिनट थे। Unlike Jev , यह Granite Switch मॉडल खेलते समय सवालों के जवाब भी दे सकता है और इसका उत्तर भी दे सकते हैं।

रिलीज़ क्या इंगित करता है

Granite Switch 4.1 महत्वपूर्ण है क्योंकि यह कई क्षमताओं को एक परिनियोजन आकार में पैकेज करता है। टीमों के लिए जो भाषण, चैट और निर्णय वर्कफ़्लोज़ चलाते हैं, साझा किए गए KV कैश और एडेप्टर संरचना बहु-कार्य अंत बिंदु के लिए आवश्यक GPUs की संख्या को कम कर सकती है। उन बिल्डर्स के लिए जिन्हें नियंत्रण चाहिए, Granite Libraries अनुकूलक और नियोजित Mellea SDK एक निश्चित उत्पाद के बजाय कस्टम मॉडल असेंबली की ओर मार्ग का सुझाव देते हैं।

स्रोत Granite Switch 4.1 Model Cards, स्पीच-टू Decisions Demo, Granite Switch GitHub Repo, Original Granite Switch और Granite Libraries Release Blog से लिंक करता है, और एक कोलाब जहां उपयोगकर्ता अपना खुद का aLoRA v LoRA रेस बना सकते हैं। स्रोत में उद्धृत जेव निर्णय दर आंकड़ा Typesafe ब्लॉग पोस्ट पर जुड़ा हुआ है https://typesafe.ai/blog/introducing-system-one-models-and-jev.

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.