प्रतिनिधि राज्य हस्तांतरण APIs के रूप में Scikit- LLM पाइपलाइनों की सेवा करने के लिए FastAPI का उपयोग करें।
Scikit- LLM , Ollama और FastAPI के साथ एक स्थानीय शून्य-शॉट टेक्स्ट वर्गीकरणकर्ता बनाएँ, फिर इसे भुगतान किए गए क्लाउड APIs के बिना REST API के रूप में सेवा दें।
मुख्य बिंदुओं का सारांश
- लेख दिखाता है कि स्किट- LLM , फास्टएपीआई, और Ollama का उपयोग करके एक स्थानीय शून्य शॉट टेक्स्ट वर्गीकरण पाइपलाइन कैसे बनाएं और सेवा दें, भुगतान किए गए क्लाउड APIs और विक्रेता लॉक-इन से बचें।
- कार्यप्रवाह को दो फ़ाइलों में विभाजित किया गया है: ∀train.py` Scikit- LLM पाइपलाइन का निर्माण और क्रमबद्ध करता है, जबकि ≠ APP .py̅ इसे लोड करता है और FastAPI और Uvicorn के माध्यम से एक अतुल्यकालिक / पूर्वानुमानित अंत बिंदु को उजागर करता है।
- वर्गीकरणकर्ता LLM भारों को पुनः प्रशिक्षित या अद्यतन नहीं करता है; इसके बजाय, यह मॉडल को लेबल के एक निश्चित सेट से चुनने के लिए बाध्य करता है, जो अधिक अनुमानित, निर्धारात्मक आउटपुट का उत्पादन करता है।
- सामान्य मुद्दों में ∀ APP .py` चलाना शामिल है, जो कि pipeline को फिर से फिट किए बिना स्थानीय मॉडल सेटअप के साथ गायब है।
जिन डेवलपर्स को भुगतान किए गए क्लाउड API के बिना टेक्स्ट वर्गीकरण की आवश्यकता होती है, वे स्किट- LLM , फास्टएपीआई और Ollama का उपयोग कर सकते हैं। Scikit- LLM शून्य शॉट पाठ वर्गीकरण पाइपलाइन को एक अतुल्यकालिक REST API के रूप में बनाने और सेवा करने के लिए।
स्थानीय स्टैक और परियोजना फ़ाइलें
प्रदर्शन Python चलाने वाले एक आभासी वातावरण के साथ Visual Studio Code का उपयोग करता है। पर्यावरण में पांडा और स्किट-लर्न जैसे बुनियादी पुस्तकालय शामिल हैं, साथ ही स्किकिट - LLM कोड द्वारा आवश्यक विशेष लाइब्रेरी भी शामिल हैं। Ollama स्थानीय मॉडल परत प्रदान करता है; स्थापित करने के बाद Ollama , उपयोगकर्ता लामा 3 को खींचते हैं ताकि मॉडल मशीन पर उपलब्ध हो सके। लेख नोट करता है कि स्थापना आमतौर पर सरल होती है, लेकिन चयनित Python दुभाषिया के साथ संस्करण संगतता कोड चलाने से पहले जांच की जानी चाहिए।
एक LLM वर्गीकरणकर्ता को उत्पादन में डालने से लागत और विलंबता के मुद्दे पैदा हो सकते हैं जब यह भुगतान किए गए क्लाउड APIs पर निर्भर करता है। इस सेटअप ने मॉडल को स्वयं-होस्ट करके इसे संबोधित किया है। प्रोजेक्ट फ़ोल्डर में दो Python फाइलें हैंः ट्रेन.पाई और APP .पाई। train.py पाइपलाइन का निर्माण और सीरियलाइज़ करती है।
स्टैक open source हैः स्किट- LLM , फास्टएपीआई, और Ollama वर्गीकरणकर्ता को स्थानीय रखने के लिए एक साथ काम करते हैं और भुगतान किए गए क्लाउड APIs और वाणिज्यिक लॉक-इन से बचते हैं।
क्रम में कार्यप्रवाह
- Visual Studio Code में एक Python 3.11 आभासी वातावरण बनाएँ और ट्यूटोरियल कोड द्वारा आवश्यक पांडा, स्कीकिट-लर्निंग और पुस्तकालयों को स्थापित करें।
- Install Ollama और लामा 3 खींचें ताकि स्थानीय मॉडल का उपयोग Scikit- LLM द्वारा किया जा सके।
- एक नए परियोजना फ़ोल्डर में train.py और APP .py बनाएँ
- train.py में, सशुल्क क्लाउड API के बजाय स्थानीय Ollama मॉडल का उपयोग करने के लिए Scikit- LLM को कॉन्फ़िगर करें, एक-चरण पाइपलाइन बनाएं और पाठों के उदाहरण dataset से खींचे गए लेबल सेट पर शून्य-शॉट वर्गीकरणकर्ता संलग्न करें।
- प्रशिक्षण कोड चलाएँ. यह पाइपलाइन को परियोजना फ़ोल्डर में scikit_ LLM _model.joblib पर क्रमबद्ध करता है.
- सीरियलाइज्ड पाइपलाइन मौजूद होने के बाद APP .py चलाएँ. यह सेवा वातावरण के लिए Scikit- LLM कॉन्फ़िगरेशन को रीसेट और फिर से लागू करता है, एक FastAPI APP उदाहरण बनाता है, पूर्वानुमान अंतबिंदु को परिभाषित करते हैं, एक कॉल में कई इनपुट टेक्स्ट स्वीकार करते हैं और uvicorn के साथ server शुरू करते हैं।
यदि server सुचारू रूप से शुरू होता है, तो आउटपुट कंसोल रिपोर्ट करता है कि सेवा चल रही है. http://127.0.0.1:8000/docs खोलें, / भविष्यवाणी ब्लॉक का विस्तार करें, इसे आज़माएं पर क्लिक करें, ट्यूटोरियल उदाहरण या अपने स्वयं के पाठ नमूने अनुरोध शरीर फ़ील्ड में चिपकाएँ और निष्पादित करें पर क्लिक करे। स्थानीय मॉडल अनुरोध को संसाधित करता है और कुछ सेकंड के बाद पूर्वानुमान लौटाता है.
पाइपलाइन पूर्वानुमानित क्यों रहती है
वर्गीकरणकर्ता लामा के वजन को अद्यतन नहीं करता है। इसके बजाय, यह फिट विधि में पारित श्रेणियों का बंद सेट संग्रहीत करता है और प्रत्येक इनपुट को उन लेबलों में से एक पर मैप करने के लिए पूर्व-प्रशिक्षित मॉडल का उपयोग करता है । लेख इसकी तुलना बहुविकल्पीय प्रश्न से करता हैः मॉडल के पास व्यापक ज्ञान होता है, लेकिन वर्गीकरण कार्य आपूर्ति किए गए लेबल सेट तक सीमित होता है।
यह डिज़ाइन पाइपलाइन को पारंपरिक machine learning प्रणालियों के समान पूर्वानुमान योग्य आउटपुट देता है, जबकि LLM की भाषा समझ बनाए रखता है। स्रोत स्थानीय मॉडल का वर्णन एक निर्धारक पाठ लेबलर के रूप में करता है, जिसका अर्थ है कि उसी प्रकार का कार्य निश्चित श्रेणी सेट के भीतर सुसंगत लेबल विकल्प उत्पन्न कर सकता है। पाइपलाईन एक-चरण पाइप लाइन बनी हुई है, लेकिन scikit-learn ऑब्जेक्ट्स और सिंटैक्स के साथ फ्रेमवर्क की संगतता अतिरिक्त प्रीप्रोसेसिंग चरणों के साथ एक बड़ी पाइपલાઇન बनाना संभव बनाती है।
बंद दुनिया का व्यवहार डेमो के लिए केंद्रीय है। LLM को फिर से प्रशिक्षित नहीं किया जा रहा है। इसे एक निश्चित उत्तर स्थान से चुनने के लिए निर्देशित किया जाता है, जो आउटपुट को फ्री-फॉर्म उत्तर की तुलना में मानकीकृत करना आसान बनाता है।
आम गलतियाँ
- APP .py चलाने से पहले train.py ने scikit_ LLM _model.joblib बनाया है।
- Python 3.11, पांडा, स्किट-लर्न और विशेष पुस्तकालयों के बीच संस्करण संगतता समस्याओं को अनदेखा करना।
- पाइपलाइन स्थानीय मॉडल का उपयोग करने की कोशिश से पहले Ollama स्थापित करना या लामा 3 को खींचना भूल जाना।
- मान लें कि शून्य-शॉट वर्गीकरणकर्ता को प्रशिक्षित या अद्यतन मॉडल भार है।
- पाइपलाइन को फिर से फिटिंग और री-सीरियलाइज किए बिना लेबल सेट बदलना।
- केवल एक पाठ का परीक्षण करना जब एंडपॉइंट एकल कॉल में कई इनपुट ग्रंथों को स्वीकार कर सकता है।
- uvicorn server चलाने से पहले किसी ब्राउज़र या क्लाइंट से एंडपॉइंट को कॉल करना।
- http://127.0.0.1:8000/docs को सार्वजनिक उत्पादन पहुंच के रूप में व्यवहार करना, हालांकि लेख अंतबिंदु का वर्णन स्थानीय स्तर पर सुलभ होने के लिए करता है।
मेटा विवरण: Ollama और FastAPI के साथ स्थानीय रूप से एक Scikit- LLM शून्य शॉट टेक्स्ट वर्गीकरण पाइपलाइन की सेवा करना सीखें, भुगतान किए गए क्लाउड APIs और वाणिज्यिक लॉक-इन से बचें।
टैगः Scikit- LLM , Ollama , FastAPI, पाठ वर्गीकरण
विशेष रुप से प्रदर्शित छवि: एक स्थानीय server का अमूर्त मैत्रीपूर्ण चित्रण जो भाषा मॉडल, API एंडपॉइंट और टेक्स्ट लेबल को जोड़ता है, जिसमें कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है और कोई पाठ नहीं है।

Comments (0)