निम्न-Rank Adaptation का उपयोग करके Qwen2.5 को ठीक करने के लिए इस चरण-दर-चरण मार्गदर्शिका का पालन करें और Hugging Face पर अपना मॉडल प्रकाशित करें।
Qwen2.5-0.5B-फैशन के लिए प्रशिक्षित करने का एक गाइड JSON शिक्षक लेबल, निम्न रैंक अनुकूलन, Colab GPU और Hugging Face के माध्यम से विशेषता निष्कर्षण।
मुख्य जानकारी
- ट्यूटोरियल Qwen2.5-0.5B- कपड़ों के विवरणों को संरचित JSON फैशन विशेषताओं जैसे श्रेणी, रंग, सामग्री, फिट, पैटर्न, आस्तीन_लंबाई और नेकलाइन में परिवर्तित करने का निर्देश देता है।
- Qwen2.5-7B-Instruct का उपयोग शिक्षक मॉडल के रूप में किया जाता है ताकि a Google Colab T4 GPU पर 4-बिट क्वांटिज़ेशन वाले लेबल उत्पन्न किए जा सकें, जबकि छोटे छात्र मॉडल को पूर्ण fine-tuning के बजाय LoRA का उपयोग करके अनुकूलित किया गया है।
- एक सख्त आउटपुट स्कीमा और सावधानीपूर्वक परिभाषित प्रॉम्प्ट सुसंगत JSON -केवल प्रतिक्रियाओं को सुनिश्चित करने के लिए आवश्यक हैं और मॉडल को असमर्थित विशेषताओं का आविष्कार करने से रोकते हैं।
- कार्यप्रवाह में एक e-commerce उत्पाद को लोड करना और फ़िल्टरिंग करना शामिल है, लेबल जनरेशन से पहले दोहराए जाने योग्य ट्रेन/वैलिडेशन/टेस्ट स्प्लिट्स बनाना और मध्यवर्ती फ़ाइलों को सहेजना Google Drive।
- अंतिम LoRA एडाप्टर को Hugging Face पर कैटलॉग संवर्धन, उत्पाद फ़िल्टर, खोज और सिफारिश पाइपलाइन जैसे अनुप्रयोगों के लिए प्रकाशित किया जा सकता है।
मेटा विवरण: इस ट्यूटोरियल में शिक्षक लेबल, LoRA और a Google Colab T4 GPU का उपयोग करके फैशन विशेषता निष्कर्षण के लिए Qwen2.5-0.5B-Instruct को ठीक करना सीखें।
टैगः फैशन विशेषता निष्कर्षण, Qwen2.5, LoRA , Google Colab, Hugging Face
विशेष रुप से प्रदर्शित छवि: एक छोटे भाषा मॉडल के अनुकूल अमूर्त चित्रण जो कपड़े विवरण को laptop पर संरचित JSON फ़ील्ड में बदल देता है, जिसमें कोई लोग, लोगो या पाठ नहीं होते हैं।
यह ट्यूटोरियल डेवलपर्स और मशीन-लर्निंग शिक्षार्थियों के लिए है जो एक कॉम्पैक्ट फैशन एट्रिब्यूट एक्सट्रैक्टर चाहते हैं जो साधारण कपड़ों के विवरणों को संरचित JSON क्षेत्रों में परिवर्तित करता है। वर्कफ़्लो Qwen2.5-0.5B-Instruct द्वारा तैयार किए गए लेबल के साथ क्यूवेन 2.5-7B-इंस्ट्रक्ट का उपयोग करता है, a Google Colab GPU पर LoRA (कम रैंक अनुकूलन) का उपयोग करते हैं, और Hugging Face पर प्रकाशित एक एडॉप्टर के साथ समाप्त होता है। मूल प्रयोग भी एक GitHub नोटबुक प्रदान करता है और एक प्रकाशित मॉडल नाम Fashion Attribute Extractor पर Hugging Face.
निकालनेवाला क्या पैदा करता है
कार्य जानबूझकर संकीर्ण है। "लंबी आस्तीन के साथ आराम-फिट कपास हुडी, एक ड्रॉस्ट्रिंग हुड और सामने मुद्रित ग्राफिक" जैसे विवरण को श्रेणी, रंग, सामग्री, फिट, पैटर्न, स्लीव_लेंथ और नेकलाइन के साथ एक ऑब्जेक्ट लौटना चाहिए। उदाहरण में, श्रेणी हूडी है, सामग्री कपास है, फिट आराम से फिट है, पैट्रन प्रिंट किया गया है, sleeve_length लंबा है, जबकि रंग और neckline शून्य हैं।
प्रत्येक फ़ील्ड में या तो एक स्ट्रिंग या शून्य होना चाहिए। श्रेणी क्षेत्र का उपयोग नए परिधान प्रकार के आविष्कार करने के लिए नहीं किया जाता है; यह उत्पाद विवरण के साथ आपूर्ति की गई कैटलॉग श्रेणी को संरक्षित करता है। फैशन e-commerce मंच इन संरचित विशेषताओं का उपयोग सूची संवर्धन, उत्पाद फिल्टर, उत्पाद खोज और सिफारिश पाइपलाइनों के लिए कर सकता है।
चरण-दर-चरण निर्माण
- Google Colab में एक GPU के साथ शुरू करें। एक नई नोटबुक बनाएँ और, जब उपलब्ध हो, रनटाइम का चयन करें, रनिंग टाइप बदलें, और T4 GPU । Verify PyTorch और CUDA लोडिंग मॉडल से पहले। लेखक ने लगभग 14.56 GB की मेमोरी के साथ Tesla T4 का उपयोग किया था। ए GPU महत्वपूर्ण है क्योंकि शिक्षक मॉडल में 7 बिलियन पैरामीटर हैं और छात्र मॉडल में 0.5 बिलियन पैरामीटर्स हैं। कोलाब रनिंग टाइम उपलब्धता भिन्न हो सकती है।
- आवश्यक Python पैकेजों को स्थापित करें. सुव्यवस्थित पथ में Transformers , datasets , त्वरण, पेफ्ट, बिट्सएंडबाइट्स, HuggingFace _ हब और स्किट-लर्न का उपयोग किया जाता है। मूल नोटबुक ने तैयारी के दौरान टीआरएल, पांडा और पायरो का भी इस्तेमाल किया था, लेकिन सरलीकृत प्रशिक्षण मार्ग सीधे Transformers Trainer पर निर्भर करता है। सफल रन Transformers 5.20.2, datasets 5.0 .1, पीएफटी 0.21.2, त्वरण 1.15.0, और बिट एंड बाइट 0.50 का उपयोग करते हैं।2. सटीक प्रजनन के लिए, भविष्य के डिफ़ॉल्ट पर निर्भर होने के बजाय नोटबॉक में दर्ज किए गए संस्करणों को पिन करें।
- कोलाब सत्र डिस्कनेक्ट या रीसेट कर सकते हैं। लेखक ने मध्यवर्ती datasets , मॉडल चेकपॉइंट और मूल्यांकन फ़ाइलों को ड्राइव में एक फैशन-डिस्टिलेशन फ़ोल्डर के तहत सहेजा है। यह वैकल्पिक है, लेकिन उपयोगी है जब किसी परियोजना में कई डेटा-जनरेशन और प्रशिक्षण चरण होते हैं। महंगा काम हमेशा प्रशिक्षण नहीं होता है; शिक्षक लेबल बनाने और समीक्षा करने में काफी प्रयास किया गया था, इसलिए उस कार्य को संरक्षित करना महत्वपूर्ण था।
- उत्पाद dataset लोड करें. स्रोत का उपयोग किया गया Qdrant/hm_ ecommerce _products से Hugging Face, जिसमें उत्पाद के नाम, विवरण और कैटलॉग मेटाडेटा शामिल हैं। प्रशिक्षण विभाजन को स्ट्रीमिंग करके शुरू करें ताकि पूर्ण dataset को मेमोरी में लोड करने की आवश्यकता न हो। पहले कुछ रिकॉर्ड प्रिंट करें। यह महत्वपूर्ण है क्योंकि एक्सट्रैक्शन कार्य की जरूरतों से अधिक फ़ील्ड्स हैं।
- विवरणों को साफ़ और फ़िल्टर करें. कच्चे कैटलॉग डेटा में लापता वर्णन, दोहराए गए रिकॉर्ड, असंगत श्रेणियां और कार्य के दायरे से बाहर उत्पाद हो सकते हैं। लेखक ने 5,000 रिकॉर्ड का एक प्रारंभिक उपसमूह चुना और कई फिल्टरिंग चरण लागू किए। एक सरलीकृत फिल्टर गैर-खाली वर्णनात्मक और वैध श्रेणियों के साथ परिधान रिकॉर्ड रखता है। मूल साफ dataset में 21 श्रेणियाँ भर में परिधान विवरण शामिल थे। एक ताजा रन अलग गिनती उत्पन्न कर सकता है क्योंकि सरल फिल्टर प्रत्येक मूल डुप्लिकेट संघर्ष जांच या परिधान विशिष्ट सफाई नियम को लागू नहीं करता है।
- लेबल उत्पन्न करने से पहले डेटा को विभाजित करें। अलग प्रशिक्षण, सत्यापन और मूल्यांकन डेटा एक मॉडल को पहले से देखे गए उदाहरणों पर स्कोर किए जाने से रोकता है। लगभग 80/10/10 विभाजन बनाने के लिए रैंडम_स्टेट 42 के साथ पुनः प्रयोज्य ट्रेन-टेस्ट विभाजन का उपयोग करें। मूल प्रयोग में, 500 प्रशिक्षण पूल उदाहरणों के प्रारंभिक उपसमूह के लिए शिक्षक लेबल बनाए गए थे। बहिष्करण और समीक्षा के बाद, 485 लेबल वाले उदाहरण बने रहे। उन उदाहरणों को 436 छात्र-प्रशिक्षण उदाहरणों और 49 आंतरिक-सत्यापन उदाहरणों में विभाजित किया गया था। बाहरी परीक्षण पूल अंतिम अन्वेषणात्मक मूल्यांकन के लिए अलग रखा गया था.
- लेबल के लिए शिक्षक से पूछने से पहले आउटपुट स्कीमा को परिभाषित करें. वैध आउटपुट सभी सात कुंजियों, स्ट्रिंग्स या शून्य मानों के साथ एक JSON ऑब्जेक्ट होना चाहिए, कोई मार्कडाउन बाड़ नहीं है और कोई स्पष्टीकरण नहीं है। नियम यह भी कहते हैं कि आपूर्ति की गई कैटलॉग श्रेणी का उपयोग करने के लिए, असमर्थित विशेषताओं का आविष्कार करने से बचें, जब कोई विशेषता स्थापित न हो तो null का उपयोग करें, केवल अस्तर या ट्रिम के बजाय प्राथमिक परिधान सामग्री की पहचान करें, समग्र फिट के साथ कमर शैली को भ्रमित करने से बचाएं, और गर्दन के आकार के रूप में हुड का इलाज न करें। ट्यूटोरियल प्रॉम्प्ट छोटा किया गया है। मूल प्रयोग ने एक लंबी श्रेणी-जागरूक निर्देश प्रोम्प्ट का इस्तेमाल किया था, और सख्त प्रजनन को teacher_config. JSON में सहेजे गए संकेत का उपयोग करना चाहिए।
प्रॉम्प्ट मायने रखता है क्योंकि लक्ष्य कई विवरणों में सुसंगत निर्णय हैं, न कि केवल प्रशंसनीय अनुमान। उदाहरण के लिए, एक वर्णन जो मुद्रित ग्राफिक का उल्लेख करता है लेकिन कोई रंग नहीं हो सकता है जबकि रंग शून्य रहता है।
- शिक्षक मॉडल लोड करें. शिक्षक Qwen /Qwen2.5-7B-Instruct है। एक 7B मॉडल को सीधे पूर्ण 16-बिट परिशुद्धता में लोड करना T4 मेमोरी से अधिक हो सकता है, इसलिए लेखक ने nf4 वजन के साथ 4-बिट क्वांटिज़ेशन का उपयोग किया, फ्लोट 16 कंप्यूट डीटाइप और डबल क्वान्टिज़िकेशन। मात्रात्मक शिक्षक का उपयोग केवल लेबल तैयार करने के लिए अनुमान के लिए किया जाता है; यह इस कार्यप्रवाह में ठीक नहीं होता है।
- उम्मीदवार लेबल उत्पन्न करें. एक सहायक फ़ंक्शन शिक्षक को कैटलॉग श्रेणी और विवरण भेजता है, मॉडल के चैट टेम्पलेट को लागू करता है, 200 नए tokens तक पीढ़ी की सीमा रखता है, लालची डिकोडिंग का उपयोग करता है और प्रतिक्रिया को JSON के रूप में पार्स करता है। वास्तविक पाइपलाइन के लिए, पार्सिंग विफलताओं को पकड़ा जाना चाहिए और रिकॉर्ड को फिर से आज़माया या समीक्षा के लिए चिह्नित किया जाना चाहिए। प्रयोग में, शिक्षक भविष्यवाणियों को बैचों में संसाधित किया गया था, ड्राइव पर सहेजा गया था और संदिग्ध लेबल्स की समीक्षा की गई थी।
- छात्र मॉडल को प्रशिक्षित करें। छात्र Qwen2.5-0.5B-Instruct है, जिसे LoRA के साथ समीक्षा किए गए उदाहरणों पर प्रशिक्षित किया गया है। यह प्रयोग को पूर्ण fine-tuning से छोटा रखता है और अंतिम कलाकृति को एक एडाप्टर बनाता है जिसे प्रकाशित किया जा सकता है Hugging Face
- मूल्यांकन और प्रकाशन. छात्र मॉडल का मूल मॉडल के खिलाफ मूल्यांकन किया जाता है। GitHub नोटबुक डिबगिंग, दोहराए गए निष्पादन और वसूली चेकपॉइंट सहित वास्तविक प्रयोग को रिकॉर्ड करता है। ट्यूटोरियल चरण उस काम को एक क्लीनर लर्निंग पथ में पुनर्गठित करते हैं। क्योंकि कुछ डेटा-सफाई और एनोटेशन नियम सरलीकृत होते हैं, एक ताजा रन आवश्यक रूप से सटीक dataset या स्कोर को पुनः पेश नहीं करेगा।
पाठकों के लिए इसका क्या अर्थ है
यह परियोजना एक सामान्य फैशन सहायक नहीं है. यह एक व्यावहारिक आसवन अभ्यास हैः संरचित लेबल का मसौदा तैयार करने के लिए एक बड़े मॉडल का उपयोग करें, उनकी समीक्षा करें, फिर छोटे मॉडल को संकीर्ण JSON प्रारूप सिखाएं। वह पैटर्न तब उपयोगी होता है जब किसी कार्य में कई सुसंगत आउटपुट की आवश्यकता होती है लेकिन व्यापक वार्तालाप क्षमता की आवश्यकता नहीं होती है। पाठकों के लिए, मूल्य उत्पाद विवरण से लेकर छोटे तैनात मॉडल तक एक पुनरुत्पादित पथ है, जबकि देखते हुए कि शिक्षक लेबल, डेटा सफाई और स्कीमा नियम परिणाम को कैसे प्रभावित करते हैं।
आम गलतियाँ
- GPU चेक को छोड़ना और फिर एक 7B मॉडल लोड होने पर विफल होना।
- एक सख्त योजना के बिना लेबल उत्पन्न करना, जो बाद में मूल्यांकन को शोरमय बनाता है।
- संदिग्ध अभिलेखों की समीक्षा करने के बजाय शिक्षक के JSON को स्वचालित रूप से सही मानते हुए।
- उन उदाहरणों पर छात्र का मूल्यांकन करना जो पहले से ही प्रशिक्षण के हिस्से थे।
- श्रेणी निष्कर्षण को स्वतंत्र परिधान वर्गीकरण में बदलना।
- कोलाब रीसेट से पहले मध्यवर्ती datasets , लेबल, चेकपॉइंट और मूल्यांकन फ़ाइलों को सहेजना नहीं।
- मूल नोटबुक को पुनः उत्पन्न करने का प्रयास करते समय डिफ़ॉल्ट पैकेज संस्करणों पर भरोसा करना.
- सरलीकृत ट्यूटोरियल पथ से सटीक dataset गिनती या स्कोर की अपेक्षा करना।
Comments (0)