दृष्टि क्षमताओं को fine-tuning API तक लाना

यदि आप ऐसे अनुप्रयोगों का निर्माण करते हैं जो दृश्य समझ पर निर्भर होते हैं produ उत्पाद पहचान, दस्तावेज़ विश्लेषण, गुणवत्ता निरीक्षण, या कुछ भी जहां एक मॉडल को छवियों की व्याख्या करने की आवश्यकता होती है Open ओपनएआई के पास आपका ध्यान देने योग्य अद्यतन है। डेवलपर्स अब GPT-4o को इमेज और टेक्स्ट दोनों का उपयोग करके ठीक कर सकते हैं, जिसका अर्थ है कि आप अपने स्वयं के विजुअल डेटा पर मॉडल को प्रशिक्षण दे सकते हैं ताकि यह आपके विशिष्ट यूज़ केस में बेहतर हो सके।

वास्तव में क्या बदल गया

जीपीटी-4ओ की टेक्स्ट क्षमताओं के लिए फाइन-ट्यूनिंग कुछ समय से उपलब्ध है, जिससे डेवलपर्स उदाहरण वार्तालाप प्रदान करते हैं ताकि मॉडल एक विशेष स्वर, प्रारूप या डोमेन ज्ञान सीख सके। नया अपडेट इसे दृष्टि तक बढ़ाता है। केवल पाठ उदाहरणों के बजाय, अब आप प्रशिक्षण फ़ाइलें अपलोड कर सकते हैं जहां प्रत्येक उदाहरण में उन प्रतिक्रियाओं के साथ जोड़ी गई छवियां शामिल होती हैं जिन्हें आप चाहते हैं कि मॉडल उत्पन्न करे।

व्यवहार में, इसका मतलब है कि आप मॉडल को अपने ऐप के इंटरफेस के सैकड़ों लेबल किए गए स्क्रीनशॉट दिखा सकते हैं और इसे UI बग्स का पता लगाने के लिए सिखा सकते हैं। आप इसे एक उत्पादन लाइन से दोषपूर्ण भागों की तस्वीरें खिला सकता है और यह आपकी कंपनी की त्रुटि की परिभाषा सीख सकता है. आप इसे अधिक विश्वसनीय रूप से फ़ील्ड निकालने के लिए हस्तलिखित फॉर्म पर प्रशिक्षित कर सकते हैं. पहले, दृश्य कार्यों पर अनुकूलन के इस स्तर को प्राप्त करने का अर्थ आमतौर पर एक अलग, विशेष कंप्यूटर विजन मॉडल बनाने और बनाए रखने का होता था - अब आप सीधे सामान्य-उद्देश्य वाले मॉडल को अपना सकते हैं

छवियों के साथ फाइन-ट्यूनिंग क्यों मायने रखता है

बॉक्स के बाहर, GPT-4o पहले से ही एक मजबूत दृष्टि मॉडल है, लेकिन सामान्य-उद्देश्य प्रशिक्षण की सीमाएं हैं। आपके व्यवसाय में संभवतः दृश्य सम्मेलन, शब्दावली और किनारे के मामले हैं जो बेस मॉडल ने कभी नहीं देखे हैं। अस्पताल का स्कैन एनोटेशन, रिटेलर का शेल्फ-फोटो प्रारूप, लॉजिस्टिक्स कंपनी का क्षतिग्रस्त पैकेज उदाहरण - ये सभी ऐसी स्थितियां हैं जहां एक जेनेरिक मॉडल पर्याप्त रूप से काम करता है लेकिन विश्वसनीयता से नहीं।

छवियों के साथ फाइन-ट्यूनिंग इस अंतर को कुछ तरीकों से बंद करता हैः

• संकीर्ण कार्यों पर अधिक सटीकता। जब मॉडल आपके इनपुट के कई उदाहरण देखता है, तो यह उन पैटर्न को सीखता है जो मायने रखते हैं और अप्रासंगिक विवरणों से विचलित होना बंद कर देता है।
• प्रति अनुरोध कम टोकन। OpenAI नोट करता है कि एक ठीक-ट्यून किए गए GPT-4o अक्सर कम संकेतों के साथ दृश्य कार्यों को पूरा कर सकते हैं, क्योंकि अब आपको अपने प्रारूप का वर्णन करने वाले लंबे निर्देशों की आवश्यकता नहीं है। छोटे संकेतों का मतलब कम लागत और तेज प्रतिक्रियाएं होती हैं।
• सुसंगत आउटपुट संरचना। यदि आपको मॉडल को हमेशा एक विशिष्ट स्कीमा में परिणाम वापस करने की आवश्यकता है, तो इसे छवियों के साथ उदाहरण दिखाते हुए केवल प्रॉम्प्ट इंजीनियरिंग से अधिक विश्वसनीय स्वरूपण उत्पन्न होता है।

डेवलपर्स कैसे शुरू करते हैं

यह प्रक्रिया टेक्स्ट-आधारित फाइन-ट्यूनिंग के समान कार्यप्रवाह का अनुसरण करती है, एक प्रमुख अतिरिक्त के साथः आपके प्रशिक्षण उदाहरणों में अब छवि फ़ाइलें शामिल हो सकती हैं। डेवलपर्स एक JSONL प्रशिक्षण फाइल तैयार करते हैं जिसमें प्रत्येक पंक्ति में संदेश अनुक्रम होता है, और वे संदेश पाठ के साथ छवियों को संदर्भित कर सकते हैं। आरंभ करने के लिए न्यूनतम 10 उदाहरणों की आवश्यकता होती है, हालांकि ओपनएआई विशिष्ट मामलों में सार्थक सुधार के लिए लगभग 100 उच्च गुणवत्ता वाले उदाहरण प्रदान करता है।

प्रशिक्षण प्लेटफ़ॉर्म में फाइन-ट्यूनिंग डैशबोर्ड के माध्यम से चलता है, या प्रोग्रामेटिक रूप से API के जरिए। लागत मौजूदा ठीक ट्यूनिंग मूल्य निर्धारण संरचना का पालन करती हैः आप प्रशिक्षण के लिए भुगतान करते हैं (प्रक्रिया किए गए टोकन के आधार पर, छवियों को टोकन की तरह गिना जाता है) और फिर अनुमानित समय पर मानक या कम टोकन मूल्य निर्धारण। किसी भी बारीक मॉडल के साथ, प्रशिक्षण हेतु प्रस्तुत डेटा का उपयोग ओपनएआई के अपने मॉडलों को प्रशिक्षित करने के लिए नहीं किया जाता है।

ओपनएआई के अपने मार्गदर्शन से व्यावहारिक सलाह सीधी हैः छोटी शुरुआत करें, उदाहरणों के एक सेट पर परिणाम का मूल्यांकन करें और पुनरावृत्ति करें। उदाहरणों की गुणवत्ता मात्रात्मक मात्रा से अधिक मायने रखती है - गलत लेबल या असंगत प्रशिक्षण डेटा मॉडल को बिल्कुल गलत सबक सिखाएगा।

जहां यह अन्य विकल्पों के साथ फिट बैठता है

यह के बारे में स्पष्ट होने लायक है जब ठीक ट्यूनिंग सही उपकरण है. एक या दो उदाहरणों के साथ एक अच्छी तरह से लिखा संकेत पहले से ही आप की जरूरत परिणाम मिलता है, कि अभी भी सस्ता और तेज रास्ता है. शीघ्र इंजीनियरिंग कोशिश करने के लिए पहली बात बनी हुई है.

फाइन-ट्यूनिंग तब अपना काम करता है जब संकेत एक छत को छूते हैंः जब मॉडल लगातार आपके दस्तावेज़ लेआउट को गलत तरीके से पढ़ता है, जब यह आपकी डोमेन-विशिष्ट दृश्य शब्दावली को नहीं पहचानता है या जब इसे कठोर प्रारूप में आउटपुट का उत्पादन करने की आवश्यकता होती है जिसे प्रेरित करना विश्वसनीय रूप से लागू नहीं किया जा सकता। यह भी अच्छा फिट होता है जब आप अपने संकेतों को छोटा करना चाहते हैं learned निर्देशों के पृष्ठों को सीखे हुए व्यवहार से बदलना.

बहुत बड़े लेबल किए गए डेटासेट और सख्त विलंबता या लागत आवश्यकताओं वाली टीमों के लिए, एक उद्देश्य-निर्मित दृष्टि मॉडल अभी भी समझ में आ सकता है। लेकिन अधिकांश उत्पाद टीमें, अलग ML बुनियादी ढांचे को बनाए रखने के बजाय एक परिचित API का उपयोग करने की अपील पर्याप्त है।

उपलब्धता और क्या देखना है

GPT-4o के लिए इमेज फाइन-ट्यूनिंग सभी स्तरों पर डेवलपर्स को रोल आउट कर रहा है, और क्षमता मानक ठीक ट्यूनिंग जॉब्स इंटरफ़ेस के साथ काम करती है। हमेशा की तरह नई AI सुविधाओं के साथ, मूल्य निर्धारण विवरण और उपयोग सीमा बदल सकती है, इसलिए यह एक बड़े प्रशिक्षण कार्य के लिए प्रतिबद्ध होने से पहले आधिकारिक प्रलेखन की जांच करने लायक है।

AI के साथ मल्टीमोडल कस्टमाइज़ेशन बिल्डिंग का एक सामान्य हिस्सा बन रहा है। विजन मॉडल अब केवल कुछ ऐसा नहीं हैं जिसे आप कहते हैं, वे कुछ ऐसे होते हैं जिन्हें आप आकार देते हैं।

किसे इसका उपयोग करना चाहिए/किसी को इसे छोड़ना चाहिए: (a) कौन? डोमेन-विशिष्ट दृश्य डेटा के साथ काम करने वाली टीमें - दस्तावेज, उत्पाद फ़ोटो, स्क्रीनशॉट, निरीक्षण इमेजरी जिनके पास लेबल किए गए उदाहरणों का एक मामूली सेट भी है उन्हें यह कोशिश करनी चाहिए। यदि आपका दृश्य कार्य सामान्य (रसीद पढ़ना, स्टॉक फोटो का वर्णन करना) और संकेत पहले से ही अच्छी तरह से काम करता है, तो आप इसे छोड़ सकते हैं और प्रयास को बचा सकते हैं।