एक बेंचमार्क Scikit- Ollama और Groq समर्थित Scikit- LLM की गति, लागत और सटीकता की तुलना करता है।
बेंचमार्क स्थानीय Scikit- Ollama और क्लाउड Scikit- LLM शून्य शॉट वर्गीकरणकर्ता, एक छोटी सी भावना पर गति, सटीकता, लागत और गोपनीयता की तुलना करते हैं।
मुख्य बिंदुओं का सारांश
- यह लेख एक ही शून्य-शॉट भावना वर्गीकरण कार्य और स्किट-लर्निंग शैली API का उपयोग करके क्लाउड Scikit-880000 के खिलाफ स्थानीय Scikit- Ollama को बेंचमार्क करता है।
- एक छोटे से पांच-उदाहरण dataset पर, स्थानीय लामा3-आधारित वर्गीकरणकर्ता ने 80% सटीकता प्राप्त की, जबकि दोनों पथों में रिपोर्ट किए गए सेटअप में $0 लागत दिखाई दी।
- स्थानीय पथ मजबूत गोपनीयता और कोई API लागत प्रदान करता है लेकिन Ollama सेटअप की आवश्यकता होती है और स्थानीय GPU / मेमोरी प्रदर्शन पर निर्भर करता है।
- क्लाउड ग्रोक-समर्थित पथ सेटअप बोझ को कम करता है और लगभग तत्काल हो सकता है, लेकिन भुगतान प्रदाताओं पर स्विच करने पर इसकी लागत बदल सकती है।
- मुख्य बात यह है कि बैकएंड ट्रेडऑफ़्स (गोपनीयता, विलंब, लागत और सेटअप ओवरहेड) का मूल्यांकन एक साझा बेंचमार्क सहायक के माध्यम से निष्पक्ष रूप से किया जा सकता है।
मेटा विवरणः स्थानीय Scikit- Ollama और क्लाउड Scikit- LLM की तुलना Groq शून्य शॉट वर्गीकरणकर्ताओं के साथ एक छोटी सी भावना dataset पर करें, जिसमें विलंबता, सटीकता, लागत और गोपनीयता शामिल है।
टैगः LLM बेंचमार्किंग, स्किट- Ollama , स्कीट - LLM , Groq API, शून्य शॉट वर्गीकरण
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक स्थानीय laptop पाइपलाइन और क्लाउड एंडपॉइंट पाइप लाइन का सार, मैत्रीपूर्ण चित्रण वर्गीकरणकर्ता परिणामों की तुलना करना, कोई वास्तविक लोग नहीं, कोई लोगो, कोई पाठ नहीं।
एक व्यावहारिक बेंचमार्क दिखाता है कि स्थानीय और क्लाउड LLM वर्गीकरणकर्ताओं को उसी एप्लिकेशन परिदृश्य के भीतर कैसे तुलना की जाए। वर्कफ़्लो एक स्थानीय Ollama मॉडल के लिए Scikit- Ollama का उपयोग करता है और Groq- समर्थित क्लाऊड एंडपॉइंट के लिए स्किट - LLM , फिर दोनों रास्तों के माध्यम से समान शून्य शॉट वर्गीकरण कार्य चलाता है। परीक्षण dataset में जमीनी सच्चाई लेबल वाले पांच भावना उदाहरण शामिल हैं, और स्थानीय रन ने पाँच में से चार अंक प्राप्त किए, 80%, जबकि रिपोर्ट किए गए सेटअप ने दोनों मार्गों के लिए $0 लागत दिखाई।
यह तुलना क्यों मायने रखती है
इस बेंचमार्क का मूल्य यह नहीं है कि दो उपकरण मौजूद हैं। यह है कि वे एक ही machine learning इंटरफेस के माध्यम से परीक्षण किया जा सकता है. दोनों स्थानीय और क्लाउड अनुमानकों scikit-learn शैली फिट ((() और भविष्यवाणी () तरीकों, जिसका अर्थ है कि एक टीम मूल्यांकन लूप को फिर से लिखने के बिना निष्कर्ष बैकएंड स्वैप कर सकते हैं ।
एक वर्गीकरणकर्ता बनाने वाले पाठकों के लिए, यह व्यापार का निरीक्षण करना आसान बनाता है। स्थानीय Ollama पथ मशीन पर या Google Colab सत्र के अंदर प्रसंस्करण करता रहता है, बाहरी servers और API लागतों से बचता है। क्लाउड पथ उसी कार्य को संगत एंडपॉइंट में रूट करता है, जो अधिकांश hardware भार को स्थानीय वातावरण से दूर कर देता है।
लेख गति, सटीकता और वास्तविक या संभावित लागत के आसपास परीक्षण को फ्रेम करता है। छोटे उदाहरण में, शुद्धता केवल एक सीमित संकेत है क्योंकि dataset में पांच उदाहरण शामिल हैं। स्पष्ट सबक गोपनीयता, विलंबता, सेटअप ओवरहेड के बारे में हैं, और क्या शर्तें बदलने पर एक मुफ्त क्लाउड एंडपॉइंट अभी भी मुक्त है।
सेटअप, dataset , और साझा सहायक
पहला कदम आवश्यक Python पुस्तकालयों को स्थापित करना है, मुख्य रूप से scikit- LLM और scikit-8 Ollama । यदि कोड एक नोटबुक में चलता है, तो सेटअप के लिए भी Ollama इंजन की आवश्यकता होती है ताकि open-source LLMs डाउनलोड किया जा सके और स्थानीय स्तर पर उपयोग किया जाए। अगर काम एक स्थानीय विकास वातावरण में होता है, Ollama अपनी वेबसाइट से अलग से स्थापित किया जाना चाहिए, और Llama3 मॉडल पहले से खींचा जाना चाहिए। किसी भी तरह से, कोड में निर्देश शामिल हैं कि पृष्ठभूमि में Ollama server शुरू करें और मॉडल खींचें।
एक बार वातावरण तैयार हो जाने के बाद, अगला कदम एक छोटा डमी dataset बनाना है। इसमें पाठ और उनके संबंधित ग्राउंड-सत्य भावना लेबल होते हैं, जिन्हें y_true के रूप में संग्रहीत किया जाता है। dataset , जानबूझकर बहुत छोटा होता है। स्रोत इसे न्यूनतम रखता है ताकि उदाहरण किसी के लिए भी सुचारू रूप से चलता रहे, लेकिन यह भी नोट करता है कि अधिक यथार्थवादी मूल्यांकन के लिए एक बड़े dataset की आवश्यकता होगी। अतिरिक्त उदाहरणों को उनके सच्चे लेबल के साथ बाद में जोड़ा जा सकता है।
कार्यप्रवाह का पुनः प्रयोज्य टुकड़ा एक सहायक फ़ंक्शन है जिसे benchmark_estimator कहा जाता है। यह फंक्शन पाइपलाइन(s फिट () और भविष्यवाणी () विधियों को संभालता है और निष्पादन समय और सटीकता को मापता है। दोनों अनुमानक, स्थानीय और क्लाउड, एक ही हेल्पर के माध्यम से पारित किए जाते हैं। वह केंद्रीकृत परीक्षण तर्क है जो प्रत्येक पथ को अलग-अलग मापन दिनचर्या का उपयोग करने की बजाय तुलना को उचित बनाता है।
स्थानीय और क्लाउड परिदृश्य चलाना
पहले परिदृश्य के लिए, बेंचमार्क Scikit- Ollama से एक ZeroShotOllamaClassifier को आरंभ करता है , जो पहले डाउनलोड किए गए Llama3 मॉडल को लक्षित करता है। वर्गीकरणकर्ता तब वर्णनात्मक नाम, वर्गीकृत उदाहरण, डेटा, ग्राउंड ट्रूथ लेबल और उम्मीदवारों में संग्रहीत मौजूदा वर्ग लेबल के साथ benchmark_estimator पर पारित किया जाता है।
यह रन पाइपलाइन के स्थानीय पक्ष का परीक्षण करता है। यह दर्शाता है कि मॉडल बाहरी servers पर निर्भर किए बिना पूरी तरह से एक स्थानीय मशीन, या Google Colab सत्र में ग्रंथों को वर्गीकृत कर सकता है। लागत स्वाभाविक रूप से $0 है क्योंकि सेटअप Ollama के माध्यम से मुफ्त, open-source स्थानीय मॉडलों का उपयोग करता है । पांच-उदाहरण परीक्षण में, मॉडल ने पाँच में से चार सही ढंग से स्कोर किया था, 80%। परिणाम प्रदर्शन के रूप में उपयोगी है, न कि विश्वसनीय सटीकता बेंचमार्क के लिए।
दूसरा परिदृश्य Scikit- LLM का उपयोग दूसरे शून्य शॉट वर्गीकरणकर्ता को परिभाषित करने के लिए करता है। स्थानीय रूप से चलाने के बजाय, यह SKLLMConfig.set_gpt_ URL () कस्टम एंडपॉइंट उपसर्गों के साथ एक संगत क्लाउड एंडप्वाइंट में स्किट - LLM s देशी ZeroShotGPTClassifier को रूट करता है । Groqs जैसे मुक्त बादल मॉडल का उपयोग करके खाता कोटा तालाबंदी से बचा जाता है और इस रिपोर्ट किए गए सेटअप में बेंचमार्क पूरी तरह से स्वतंत्र रहता है।
क्लाउड रन से पहले, Scikit- LLM को स्थापित करने की आवश्यकता हो सकती है। एक Groq API कुंजी भी आवश्यक है। इसे Groq वेबसाइट से प्राप्त किया जाना चाहिए और Google Colab में GROQ_ API _KEY नामक एक गुप्त चर में जोड़ा जाना चाहिए। बादल वर्गीकरणकर्ता तब उसी बेंचमार्क_एस्टीमेटर हेल्पर के माध्यम से निष्पादित किया जाता है, जिससे इसके परिणामों को समान माप तर्क का उपयोग करके स्थानीय रन के खिलाफ पढ़ा जा सके।
नतीजे क्या दिखाते हैं
लागत परिणाम सीधा हैः दोनों पथ उदाहरण में $0 दिखाते हैं। स्थानीय पथ मुक्त है क्योंकि यह open-source मॉडल के माध्यम से Ollama का उपयोग करता है। क्लाउड पथ निः शुल्क है क्योंकि Groq API को लेखन के रूप में उपयोग करने के लिए स्वतंत्र वर्णित किया गया है। इसका मतलब यह नहीं है कि हर बादल विकल्प स्थायी रूप से मुफ़्त है। बेंचमार्क नोट करता है कि यदि कोई उपयोगकर्ता एक अलग बादल प्रदाता, जैसे OpenAI पर स्विच करता है, तो प्रति अनुमान कॉल छोटी लागत लागू हो सकती है।
अधिक उपयोगी तुलना परिचालन व्यापार में है. स्थानीय, Ollama -आधारित समाधान में विलंबता मुख्य रूप से GPU ग्राफिक्स मेमोरी और मशीन पर उपलब्ध token पीढ़ी की गति द्वारा सीमित है। क्लाउड समाधान को निकट-तत्काल के रूप में वर्णित किया गया है क्योंकि यह समर्पित अनुमान इंजनों पर निर्भर करता है। सेटअप ओवरहेड भी बादल समाधान के लिए कम है, क्योंकि स्थानीय मार्ग को स्थापित करने और प्रबंधित करने और मॉडल खींचने की आवश्यकता होती है।
गोपनीयता वह जगह है जहां स्थानीय पथ का सबसे मजबूत लाभ होता है। बेंचमार्क कहता है कि Ollama के स्थानीय मॉडल का सबसे बड़ा फायदा कुल डेटा गोपनीयता है, जिसमें संभावित रूप से संवेदनशील डेटा कभी भी स्थानीय मेमोरी नहीं छोड़ता है। यह तब मायने रखता है जब वर्गीकरणकर्ता आंतरिक दस्तावेजों, ग्राहक संदेशों या अन्य डेटा को संसाधित करता है जो बाहरी एंडपॉइंट पर नहीं भेजे जा सकते हैं।
स्रोत सटीकता को अतिरंजित करने के लिए सावधान है। प्रयोग छोटा है, और यह स्थानीय स्कोर पर ध्यान देने से परे पांच-उदाहरण dataset पर सटीकता की तुलना करने का प्रयास नहीं करता है। व्यापक बिंदु यह है कि दोनों दृष्टिकोणों का मूल्यांकन एक ही scikit-learn इंटरफ़ेस के माध्यम से किया जा सकता है, तथा वास्तविक निर्णय इस बात पर निर्भर करता है कि टीम गोपनीयता, सेटअप सादगी, विलंबता या अनुमानित लागत को प्राथमिकता देती है या नहीं।
आम गलतियाँ
पहली गलती पांच-उदाहरण dataset को एक गंभीर सटीकता बेंचमार्क के रूप में मान रही है। पाँच में से चार का स्थानीय स्कोर, 80%, प्रदर्शन परिणाम है, न कि विश्वसनीय मॉडल माप। सटीक निष्कर्ष निकालने से पहले एक बड़े dataset की आवश्यकता होती है।
दूसरी गलती साझा सहायक को छोड़ना है. यदि स्थानीय और क्लाउड वर्गीकरणकर्ता अलग-अलग कोड पथों के माध्यम से मापा जाता है, तो तुलना असमान हो जाती है। बेंचमार्क_एस्टीमेटर फ़ंक्शन केंद्रीय है क्योंकि यह निष्पादन समय और सटीकता माप को सुसंगत रखता है.
तीसरी गलती यह मान रही है कि क्लाउड अनुमान हमेशा मुफ्त होता है। रिपोर्ट किए गए उदाहरण में ग्रोक-समर्थित सेटअप मुफ़्त है, लेकिन एक अन्य प्रदाता प्रति अनुमान कॉल पर छोटी लागत लागू कर सकता है। इससे लागत की तस्वीर बदल जाती है भले ही कोड समान दिखता हो।
चौथी गलती स्थानीय सेटअप आवश्यकताओं को अनदेखा कर रही है। Ollama को एक स्थानीय विकास वातावरण में अलग से स्थापित किया जाना चाहिए, और Llama3 मॉडल को खींचना होगा। एक नोटबुक में, open-source LLMs को डाउनलोड करने और स्थानीय रूप से उपयोग करने के लिए Python इंजन की भी आवश्यकता होती है।
पांचवीं गलती केवल गति की तुलना कर रही है। क्लाउड अनुमान तेज हो सकता है, जबकि स्थानीय अनुमान अधिक मजबूत गोपनीयता प्रदान कर सकते हैं। बेंचमार्क सबसे उपयोगी होता है जब विलंबता, सेटअप ओवरहेड, लागत और डेटा गोपनीयता को एक साथ माना जाता है।
Comments (0)