उपकरण समीक्षाएँ

fine-tuning इतना कठिन है कि यहां तक कि OpenAI भी इससे दूर जा रहा है।

OpenAI 23 अक्टूबर को जीपीटी-4.1-नैनो की फाइन-ट्यून प्रतियों को अक्षम कर देगा2026 और संकीर्ण स्व-सेवा fine-tuning पहुंच प्रदान करेगा। निर्णय से पता चलता है कि मजबूत आधार मॉडल कस्टम प्रशिक्षण की आवश्यकता को कम करते हैं, जबकि पुराने भारों के लिए बाध्य एडाप्टर जल्दी समाप्त हो जाते हैं। टीमों को डेटा गुणवत्ता, मूल्यांकन वर्कफ़्लोज़,GPU मेमोरी सीमाओं का पुनर्विचार करना चाहिए, और नए मॉडलों में माइग्रेट करने से पहले लागत धारणाएं।

fine-tuning इतना कठिन है कि यहां तक कि OpenAI भी इससे दूर जा रहा है।

मुख्य जानकारी

  • ओपनएआई फाइन-ट्यून किए गए जीपीटी-4.1-नैनो को सेवानिवृत्त कर रहा है और स्व-सेवा ठीक ट्यूनिंग को संकीर्ण करता है, यह दर्शाता है कि लंबी अवधि की डिफ़ॉल्ट रणनीति के बजाय एक सीमित पुल बन रहा है।
  • मूल मॉडल इतनी तेजी से विकसित हो रहे हैं कि पुराने भारों के साथ बंधे होने पर एडेप्टर और ठीक-ठीक प्रतियां अप्रचलित हो सकती हैं, जबकि मजबूत सामान्य मॉडल कस्टम प्रशिक्षण की आवश्यकता को कम करते हैं।
  • वास्तविक कठिनाई एक प्रशिक्षण रन शुरू करने में नहीं है, बल्कि उच्च गुणवत्ता वाले कार्य डेटा को बनाए रखने, उत्पादन-मिलान प्रारूपों और नए कौशल, पुराने कौशल और सुरक्षा के लिए कठोर मूल्यांकन।
  • पूर्ण फाइन-ट्यूनिंग GPU मेमोरी और सेवा लागतों द्वारा सीमित है, जो अनुकूलन, प्रतिधारण और सिस्टम जटिलता को संतुलित करते हुए लोरा और क्यूएलओआरए जैसी हल्की विधियों की ओर धकेलती हैं।

मेटा विवरणः ओपनएआई 23 अक्टूबर 2026 को फाइन-ट्यून किए गए जीपीटी-4.1-नैनो सेवानिवृत्त करता है और स्व-सेवा ठीक ट्यूनिंग को संकीर्ण कर देता है, जिससे टीमों को डेटा, evals, GPU स्मृति और लागत पर पुनर्विचार करने के लिए मजबूर किया जाता है।

Fine-tuning is so difficult that even OpenAI is moving away from it.

टैगः फाइन-ट्यूनिंग, ओपनएआई, जीपीटी-4.1-नैनो, GPU मेमोरी, मॉडल मूल्यांकन

विशेष रुप से प्रदर्शित छवि: मॉडल संस्करणों, प्रशिक्षण डेटा, मेमोरी चिप्स और मूल्यांकन डैशबोर्ड का अमूर्त अनुकूल चित्रण, बिना किसी व्यक्ति, लोगो या पाठ के।

ओपनएआई शुक्रवार, 23 अक्टूबर 2026 को जीपीटी-4.1-नैनो की हर फाइन-ट्यून कॉपी को अक्षम कर देगा, जो एक पथ समाप्त करता है जिसे कई टीमों ने संकीर्ण नौकरी के लिए सामान्य मॉडल को अनुकूलित करने का त्वरित तरीका माना था। यह कदम 7 मई 2026 को उन संगठनों के लिए ओपनएआई की स्व-सेवा फाइन-ट्यूनिंग बंद करने का अनुसरण करता है जिन्होंने इसका उपयोग कभी नहीं किया था, और OpenAI ने 6 जनवरी 2027 को सक्रिय मौजूदा ग्राहकों के लिए नए ठीक ट्यूनिंग नौकरियां बनाने के लिए कटऑफ के रूप में भी निर्धारित किया है। एक ट्यून किए गए मॉडल पर उत्पादन प्रणाली चलाने वाली टीम के लिए, अवमूल्यन सूचना तालिका में एक पंक्ति हो सकती है, लेकिन व्यावहारिक प्रभाव बड़ा हैः सुझाया गया प्रतिस्थापन एक और मॉडल है, इसलिए उदाहरणों, प्रशिक्षण और मूल्यांकन का पुनर्निर्माण करना होगा।

दिनांक ट्यून किए गए मॉडल के लिए एक छोटी खिड़की की ओर इशारा करते हैं

ओपनएआई के समय से पता चलता है कि फाइन-ट्यूनिंग को एक स्थायी उत्पाद के रूप में कम और अस्थायी पुल के तौर पर अधिक माना जा रहा है। टेस्ल द्वारा उद्धृत एक रिपोर्ट किए गए डेवलपर ईमेल ने सरल बिंदु के साथ दिशा की व्याख्या कीः जीपीटी- 5.5 जैसे नए आधार मॉडल पिछले मॉडलों की तुलना में निर्देशों और प्रारूपों का पालन करने में बेहतर हैं। यह कस्टम मॉडल को प्रशिक्षित करने के पुराने कारणों में से एक को कमजोर करता है, क्योंकि एक मजबूत सामान्य मॉडल अक्सर केवल संकेत से अधिक कर सकता है।

एक ही तर्क व्यापक आधार-मॉडल चर्न में दिखाई देता है। एक आधार मॉडल की शेल्फ लाइफ लगभग तीन महीने हो सकती है। मेटा ने 18 अप्रैल 2024 को लामा 3 जारी किया, 23 जुलाई 3.1 पर लामा, 25 सितंबर 3.2 और 6 दिसंबर 3.3 में लामा। आठ महीने से भी कम समय में चार संस्करण आए, जिसका अर्थ है कि लगभग हर दो या तीन महीनों में एक नया आधार मॉडल। एक लोरा एडाप्टर को उसी भार से बांधा जाता है जिस पर इसे प्रशिक्षित किया गया था, इसलिए लामा 3 के लिए निर्मित एक एडेप्टर Llama 3.1 में नहीं जाता।

होस्ट किए गए मॉडल भी समाप्त हो जाते हैं। 4 जनवरी 2024 को, OpenAI ने अपने मूल GPT-3 मॉडलों पर फाइन-ट्यूनिंग बंद कर दी और कहा कि /v1/fine-tunes API का उपयोग करके ठीक किए गए मॉडल अब सुलभ नहीं होंगे। जीपीटी-4 श्रृंखला के लिए इसकी अक्टूबर 2026 अधिसूचना में कहा गया है कि फाइन-ट्यून किए गए संस्करण उनके अंतर्निहित आधार मॉडल के समान शटडाउन शेड्यूल का पालन करते हैं। विशेषज्ञ प्रशिक्षण को भी आगे बढ़ाया जा सकता है। मार्च 2023 में, ब्लूमबर्ग ने 363-अरब टोकन वित्तीय डेटासेट पर प्रशिक्षित 50 बिलियन-पैरामीटर मॉडल BloombergGPT प्रकाशित किया। सख्ती से बोलते हुए, यह ठीक-ठाक करने के बजाय पूर्व प्रशिक्षण था, लेकिन क्वींस यूनिवर्सिटी और जे.पी. Morgan AI Research ने पाया कि चैटजीपीटी और जीपीटी-4 कई वित्तीय कार्यों पर फाइन-ट्यून किए गए वित्त मॉडल के साथ बेहतर प्रदर्शन करते हैं। सामान्य मॉडल विशेषज्ञ की तुलना में तेजी से पकड़ा गया था जो खुद के लिए भुगतान कर सकता है।

Fine-tuning is so difficult that even OpenAI is moving away from it.

डेटा की गुणवत्ता और मूल्यांकन तय करते हैं कि क्या एक मॉडल में सुधार हुआ है

सीएसवी और ट्रेन बटन की परिचित तस्वीर असली काम को छुपाती है। प्रशिक्षण रन छोटा है। अधिकांश समय उदाहरणों को इकट्ठा करने, कमजोर लोगों को त्यागने, लापता मामलों को लिखने, उत्पादन में मॉडल के सटीक प्रारूप से मेल खाने और परीक्षण के लिए एक अलग सेट वापस रखने पर खर्च किया जाता है।

मेटा का 2023 LIMA पेपर डेटा की गुणवत्ता के बारे में सबसे स्पष्ट चेतावनी है। शोधकर्ताओं ने केवल 1,000 सावधानीपूर्वक चुने गए उदाहरणों पर 65 बिलियन-पैरामीटर LLaMa को ठीक से ट्यून किया, ज्यादातर Stack Exchange और wikiHow जैसी साइटों के उत्तर, साथ ही कुछ सौ हाथ से लिखे। उन्होंने अपने निष्कर्ष को सतही संरेखण परिकल्पना कहा: मॉडल पूर्व-प्रशिक्षण के दौरान जो कुछ भी जानता है उसका अधिकांश भाग सीखता है, जबकि फाइन-ट्यूनिंग मुख्य रूप से शैली और प्रारूप को आकार देती है। इसका मतलब यह नहीं है कि हजारों बुरे उदाहरण हानिरहित हैं। यदि असंगत समर्थन प्रतिलेख सभी एक ही दोस्ताना लाइन के साथ समाप्त होते हैं, तो ट्यून किए गए मॉडल हर बार उस आदत की नकल कर सकते हैं। जब उदाहरणों की कमी होती है, तो कई टीमें एक बड़े मॉडल के साथ डेटा उत्पन्न करती हैं, फिर इसे फ़िल्टर कर देती हैं, जिससे मॉडल को अपनी गलतियों को सिखाने का जोखिम पैदा होता है; सिंथेटिक डेटा हैंडबुक और फाइन-ट्यूनिंग हैंडबुक्स उस प्रक्रिया को कवर करते हैं।

प्रशिक्षण के बाद, हारना सफलता का प्रमाण नहीं है। गिरने वाले नुकसान का मतलब हो सकता है कि मॉडल उदाहरणों को दोहरा रहा है, जो ओवरफिटिंग है। टीमों को एक आयोजित मूल्यांकन सेट, विश्वसनीय स्कोरिंग विधि और आधार मॉडल के साथ तुलना की आवश्यकता होती है। QLoRA पेपर दिखाता है कि कैसे अनिश्चित बेंचमार्क दावे हो सकते हैंः यह बताया गया कि गुआनाको ने एक GPU पर 24 घंटे की बारीकी से ट्यूनिंग के बाद विकुणा बेन्चमार्क पर चैटजीपीटी के प्रदर्शन का 99.3% तक पहुंच गया, जबकि यह भी कहा कि वास्तविक चैटबॉट गुणवत्ता का न्याय करने के लिए वर्तमान चैटबोट बेंच मार्क्स भरोसेमंद नहीं हैं।

भूलने की भी समस्या है। मैकक्लोस्की और कोहेन ने 1989 में विनाशकारी हस्तक्षेप का नाम दिया: कार्य बी पर प्रशिक्षित नेटवर्क कार्य ए खो सकता है। एक 2024 अध्ययन, LoRA Learns Less और Forgets Less, ने पाया कि लोरा पूर्ण ठीक-ट्यूनिंग की तुलना में आधार मॉडल के अन्य कौशल को अधिक रखता है, लेकिन नए कार्य से कम सीखता है। सुरक्षा उस व्यापार का सबसे संवेदनशील हिस्सा है। क्यूई और सहयोगियों द्वारा एक 2023 पेपर ने ओपनएआई के माध्यम से 10 विरोधी उदाहरणों पर जीपीटी- 3.5 टर्बो को ठीक किया $0.20 और पाया कि सुरक्षा गार्डरेल चले गए थे; साधारण हानिरहित डेटासेट भी उन्हें कमजोर कर देते हैं, बस कम। इसलिए एक गंभीर मूल्यांकन योजना को तीन सूट की आवश्यकता होती है: एक नए कार्य के लिए, दूसरा पुराने कौशल के लिए और तीसरा अस्वीकृति के लिए।

GPU मेमोरी, सेटिंग्स और सेवा लागत इसे एक प्रणाली में बदल देते हैं

खुले मॉडल के लिए, पहली व्यावहारिक सीमा GPU मेमोरी है। माइक्रोसॉफ्ट का ज़ीरो पेपर मानक पूर्ण फाइन-ट्यूनिंग रेसिपी को लगभग 16 बाइट प्रति पैरामीटर रखने के रूप में वर्णित करता हैः भार, ढाल, एक पूरी तरह से सटीक वजन की प्रतिलिपि और दो अनुकूलक औसत। एक 7B मॉडल को लगभग 112 GB की आवश्यकता होती है, जो 80 GB H100 से अधिक हो सकती है। एक 70B मॉडल को लगभग 1,120 GB की आवश्यकता होती है, सक्रियण के संग्रहीत होने से पहले चौदह H100 GPUs की मेमोरी।

यही कारण है कि हल्के तरीके आम हैं। लोरा मूल भारों को फ्रीज करता है और उनके बगल में छोटे निम्न-रैंक मैट्रिक्स को प्रशिक्षित करता है। जीपीटी-3 175B सेटिंग में, इसके लेखकों ने प्रशिक्षित मापदंडों को 10,000 गुना और GPU मेमोरी को 3 गुना कम कर दिया। यदि आधार मॉडल 16-बिट में आयोजित किया जाता है, तो 7B मॉडल को लगभग 14 GB और एक 70B मॉडल की आवश्यकता होती है 140 GB. क्यूएलओआरए 4 बिट्स में जमे हुए आधार को संग्रहीत करता है, जिससे 7B मॉडल लगभग 4990004 और एक 70B मॉडल लगभग 40 GB तक पहुंच जाता है; इसके लेखकों ने एक 48 GB GPU पर 65B मॉडल को ठीक किया। सक्रियण अधिक मेमोरी जोड़ते हैं क्योंकि बैच का आकार और अनुक्रम की लंबाई बढ़ती है, इसलिए हार्डवेयर किराए पर लेने से पहले GPU VRAM कैलकुलेटर का उपयोग किया जाना चाहिए।

Fine-tuning is so difficult that even OpenAI is moving away from it.

हाइपरपैरामीटर स्वच्छ रूप से स्थानांतरित नहीं होते हैं। पूर्व ओपनएआई CTO Mira Murati द्वारा स्थापित थिंकिंग मशीनों ने 2025 प्रयोग प्रकाशित किए, जिसमें पाया गया कि LoRA के लिए सबसे अच्छी सीखने की दर पूर्ण फाइन-ट्यूनिंग के लिए सर्वोत्तम दर का लगभग 10 गुना है। लोरा के लिए एक पूर्ण ठीक ट्यूनिंग नुस्खा का पुनः उपयोग करने से ऐसा मॉडल उत्पन्न हो सकता है जो लगभग कुछ भी नहीं सीखता है, और विफलता को डेटा पर दोष दिया जा सकता है। रैंक, लर्निंग रेट, युग, बैच आकार और वार्म-अप सभी बातचीत करते हैं, और प्रत्येक परीक्षण GPU बिल में जोड़ता है।

ओपनएआई की मूल्य सूची में, प्रशिक्षण जीपीटी-4.1-मिनी प्रति मिलियन टोकन $5 खर्च करता है। तीन युगों तक चलने वाले लगभग एक हजार टोकन के हजारों उदाहरण, तीन मिलियन टोकन और लगभग $15 पर आते हैं। शेष बिल बड़ा है। फाइन-ट्यून किए गए जीपीटी-4.1-मिनी की सेवा करने पर प्रति मिलियन टोकन में $0.80 और $3.20 का खर्च आता है, जबकि बेस मॉडल की लागत $0.40 और $1.60 के बीच होती है। यह हर अनुरोध के लिए सेवा मूल्य का दोगुना है। स्व-होस्टिंग API बिल को एक समर्पित GPU के साथ बदल देता है। सबसे बड़ी लागत लोग हैं: डेटा इकट्ठा करना और लेबलिंग, निर्माण evals, और चल रही स्वीप। एक ट्यून किए गए मॉडल को भी संस्करण संख्या, डेटा और सेटिंग्स का रिकॉर्ड, रोलबैक पथ, बहाव निगरानी और बेस-मॉडल सेवानिवृत्ति के लिए योजना की आवश्यकता होती है। यह एक एकल फ़ाइल के बजाय एक परिचालन पाइपलाइन है, और टीमें अपनी योजना को मॉडलिंग करने के लिए फाइन-ट्यूनिंग लागत अनुमानक का उपयोग कर सकती हैं।

सूक्ष्म-ट्यूनिंग का उपयोग केवल जब शीघ्र इंजीनियरिंग और पुनर्प्राप्ति विफल

फाइन-ट्यूनिंग अभी भी उपयोगी है, लेकिन यह अब डिफ़ॉल्ट उत्तर नहीं है। सबसे पहले, व्यवहार से ज्ञान को अलग करें। उत्पाद तथ्यों, दस्तावेजों और हाल की कीमतों का स्थान पुनर्प्राप्ति में है न कि भार में। फाइन-ट्यूनिंग प्रशिक्षण तिथि के अनुसार तथ्यों को संग्रहीत करता है, आसानी से स्रोतों का हवाला नहीं दे सकता और जब यह गलत हो तो जानकारी अपडेट या भूल नहीं सकता। LIMA की खोज के बिंदु एक ही दिशा में हैं: नए ज्ञान को जोड़ने के बजाय ज्यादातर आकारों को ठीक करना। पुनर्प्राप्ति-वर्धित पीढ़ी, या आरएजी, तथ्यों को संदर्भ खिड़की में रखता है और उन्हें अद्यतन कर सकता है।

दूसरा, प्रॉम्प्ट का परीक्षण करें. पांच काम किए गए उदाहरणों के साथ एक सावधानीपूर्वक सिस्टम प्रोम्प्ट पाँच हजार उदाहरण एकत्र करने से पहले पर्याप्त हो सकता है। यदि यह काम करता है, तो टीमें ट्यून की गई संपत्ति को फिर से बनाए बिना आधार मॉडल स्विच कर सकती हैं।

जब समस्या ज्ञान नहीं है और एक संकेत पर्याप्त नहीं है, तब भी तीन मामलों में ठीक-ठीक करना अपना स्थान अर्जित कर सकता है। यह वॉल्यूम पर एक निश्चित प्रारूप या आवाज को लागू कर सकता है, जैसे कि समान JSON आकार, घर शैली या वर्गीकरण लेबल लाखों बार, जहां एक लंबा उदाहरण संकेत टोकन और विलंबता का खर्च करता है। यह एक बड़े मॉडल के व्यवहार को छोटे, सस्ते और तेज़ मॉडल में विघटित कर सकता है। जनवरी 2025 में, डीपसेक ने बताया कि उसके आर 1 तर्क मॉडल से निकाले गए एक 1.5B मॉडल को मई 2024 के जीपीटी -40 स्नैपशॉट के लिए 9.3% की तुलना में एआईएमई 2024 मैथ्स बेंचमार्क पर 28.9% स्कोर किया गया था; यह दीपसेक का अपना नंबर है।

पाठकों के लिए, व्यावहारिक सीख सुर्खियों की तुलना में संकीर्ण है। ओपनएआई दिनांक से पता चलता है कि ट्यून किए गए प्रतियां एक निश्चित कार्यक्रम पर अनुपलब्ध हो सकती हैं। बड़ा सबक यह है कि फाइन-ट्यूनिंग के लिए एक टिकाऊ प्रणाली की आवश्यकता होती हैः क्यूरेटेड डेटा, भरोसेमंद मूल्यांकन, मेमोरी प्लानिंग, सेवा लागत नियंत्रण और अगले बेस मॉडल के लिए माइग्रेशन पथ। जब वह कार्य उचित नहीं होता है, तो पुनर्प्राप्ति और त्वरित इंजीनियरिंग आमतौर पर सबसे सस्ता पहला पड़ाव होते हैं।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.