Using GPT-4 से Uncover GPT-4 की त्रुटियाँ

मेटा विवरणः CriticGPT ओपनएआई का जीपीटी-4 आधारित मॉडल है जो चैटजीपीटी प्रतिक्रियाओं की आलोचना करता है, जिससे मानव प्रशिक्षकों को आरएलएचएफ प्रशिक्षण के दौरान त्रुटियों को पकड़ने में मदद मिलती है। यह कैसे काम करता हैः

टैगः ओपनएआई, क्रिटिकजीपीटी, चैट जीपीटी आरएलएचएफ AI प्रशिक्षण

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> दो रोबोट सहायकों का सार, मैत्रीपूर्ण चित्रण जो एक साथ दस्तावेज़ की समीक्षा कर रहे हैं, जिसमें से एक हाइलाइट किए गए अनुभाग को इंगित करता है कोई लोग नहीं, कोई लोगो नहीं, न ही पाठ।

यदि आप AI के विकास का अनुसरण करते हैं और यह समझना चाहते हैं कि ChatGPT जैसे मॉडल वास्तव में कैसे बेहतर होते हैं, तो यह आपके समय के कुछ मिनटों के लायक है। OpenAI ने CriticGPT पेश किया है, जो GPT-4 के शीर्ष पर बनाया गया एक बहुत ही विशिष्ट काम हैः चैटजीपीटी के उत्तर पढ़ना और गलतियों की ओर इशारा करने वाली आलोचनाएं लिखना। इसका उद्देश्य उन मानव प्रशिक्षकों का समर्थन करना है जो AI प्रतिक्रियाओं को रेट करते हैं, जिससे उनके लिए त्रुटियों को पकड़ना आसान हो जाता है जिन्हें वे अन्यथा याद कर सकते हैं। इस लेख में, आप सीखेंगे कि क्रिटिक जीपीटी क्या है, इसे क्यों बनाया गया था, और AI प्रशिक्षण के भविष्य के लिए इसका क्या मतलब है।

AI प्रशिक्षकों को दूसरी जोड़ी आंखों की आवश्यकता क्यों है

Modern AI ChatGPT जैसे सहायकों को काफी हद तक एक प्रक्रिया के माध्यम से आकार दिया जाता है जिसे reinforcement learning from human feedback, या RLHF कहा जाता है. सरल शब्दों में कहें तो लोग मॉडल के उत्तरों को देखते हैं, न्याय करते हैं कि वे कितने अच्छे हैं और यह फीडबैक मॉडल को अधिक मददगार, सटीक व्यवहार की ओर ले जाता है।

समस्या यह है कि जैसे-जैसे AI मॉडल अधिक सक्षम हो गए हैं, उनके आउटपुट लंबे और अधिक जटिल बन गए हैं। जब चैटजीपीटी कई पैराग्राफों में फैला हुआ कोड उत्पन्न करता है, या एक बहु-चरण स्पष्टीकरण के माध्यम से चलता है, तो छोटी त्रुटियां सादे दृष्टि में छिप सकती हैं। एक मानव समीक्षक जो लंबी, आत्मविश्वासपूर्ण प्रतिक्रिया को स्किम कर रहा है वह बस ध्यान नहीं दे सकता है कि कोड की एक पंक्ति गलत है या कोई दावा पहले के कथन का खंडन करता है।

यह एक सूक्ष्म प्रशिक्षण समस्या पैदा करता हैः यदि समीक्षक केवल उन त्रुटियों को चिह्नित करते हैं जो वे देख सकते हैं, तो उनके द्वारा प्रदान की जाने वाली प्रतिक्रिया धीरे-धीरे कम सटीक हो जाती है। इससे भी बदतर, जब मानव प्रशिक्षकों ने दोषपूर्ण उत्तर को निर्दोष के रूप में दर्जा दिया, तो मॉडल सीखता है कि ये खामियां स्वीकार्य हैं। समय के साथ, मनुष्य क्या मूल्यांकन कर सकता है और वास्तव में मॉडल क्या उत्पन्न करता है, इसके बीच का अंतर चौड़ा होता जा रहा है और यही वह अंतराल है जिसे क्रिटिकजीपीटी बंद करने के लिए डिज़ाइन किया गया है।

CriticGPT कैसे काम करता है

CriticGPT GPT-4 पर आधारित है, मॉडल का वही परिवार जो ChatGPT को शक्ति देता है। लेकिन सवालों के जवाब देने के लिए ट्यून किए जाने के बजाय इसे एक आलोचक के रूप में कार्य करने के लिए प्रशिक्षित किया गया है। आप इसे एक चैटजीपीटी प्रतिक्रिया देते हैं, और यह उस प्रतिक्रिया में त्रुटियों, असंगतताओं या समस्याओं को उजागर करते हुए लिखित आलोचना उत्पन्न करता है।

मुख्य विचार यह है कि एक दूसरे की जांच करने वाली दो प्रणालियाँ एक से अधिक मजबूत होती हैं। CriticGPT के साथ काम करने वाले मानव प्रशिक्षक को एक प्रकार की स्वचालित दूसरी राय मिलती हैः मॉडल लंबे उत्तर में एक विशिष्ट स्थान पर इंगित कर सकता है और वास्तव में कह सकता है, "यहाँ देखो, कुछ गड़बड़ है।" मनुष्य तब सत्यापित कर सकता था कि क्या वह आलोचना सही है या नहीं। न तो AI आलोचक और न ही मानव समीक्षक अपने आप में परिपूर्ण हैं, लेकिन वे अकेले दोनों की तुलना में अधिक गलतियां पकड़ते हैं।

आरएलएचएफ प्रशिक्षण के लिए इसका क्या अर्थ है

व्यावहारिक परिणाम यह है कि मानव प्रतिक्रिया आरएलएचएफ की रीढ़ अधिक विश्वसनीय हो जाती है। प्रशिक्षक छिपी हुई त्रुटियों के लिए लंबी प्रतिक्रियाओं के माध्यम से शिकार करने में कम समय व्यतीत करते हैं, और दोषपूर्ण उत्तरों को उत्तीर्ण ग्रेड के साथ फिसलने की संभावना कम होती है।

एक व्यापक निहितार्थ भी है। AI सिस्टम के रूप में अधिक पाठ हम हर दिन पढ़ते हैं, स्वतंत्र रूप से सब कुछ सत्यापित करने के लिए मनुष्यों की क्षमता सिकुड़ रही है. CriticGPT जैसे मॉडल उस चुनौती के लिए एक दृष्टिकोण का प्रतिनिधित्व करते हैंः AI को पर्यवेक्षण करने में मदद AI, मनुष्य अभी भी अंतिम कॉल बनाने के साथ उपयोग करें. यह एक मानव-इन-द-लूप सेटअप है, मानवीय निर्णय के लिए प्रतिस्थापन नहीं आलोचना प्रशिक्षकों की सहायता के लिए है, उन्हें बदलने के लिए नहीं

यह भी ध्यान देने योग्य है कि इस दृष्टिकोण में ईमानदार सीमाएं हैंः जीपीटी -4 पर निर्मित एक आलोचक अपनी गलतियां कर सकता है। एक आलोचना कुछ ऐसा हो सकती है जो वास्तव में ठीक है, या पूरी तरह से एक त्रुटि को छोड़ दें। यही कारण है कि डिजाइन मनुष्यों को समीक्षा प्रक्रिया में दृढ़ता से रखता है, निर्णय के बजाय मॉडल के आउटपुट का उपयोग करते हुए।

बड़ी तस्वीर

क्रिटिकजीपीटी एआई-असिस्टेड मूल्यांकन की बढ़ती प्रवृत्ति में फिट बैठता है, जहां मॉडल अन्य मॉडलों के काम को जांचने, ग्रेड करने या समीक्षा करने में मदद करते हैं। रोजमर्रा के उपयोगकर्ताओं के लिए लाभ अप्रत्यक्ष लेकिन वास्तविक हैः बेहतर चेक किए गए प्रशिक्षण प्रतिक्रिया का मतलब समय के साथ सहायक होना चाहिए जो कम त्रुटियां बनाते हैं और अपनी सीमाओं के बारे में अधिक ईमानदार होते हैं।

शोधकर्ताओं और चिकित्सकों के लिए, यह बहस में एक दिलचस्प डेटा बिंदु है कि कैसे शक्तिशाली मॉडल को मानव इरादों के साथ संरेखित किया जाए क्योंकि वे अधिक सक्षम हो जाते हैं। Traditional RLHF ने मान लिया कि मनुष्य विश्वसनीय रूप से मॉडल आउटपुट का न्याय कर सकते हैं क्रिटिकजीपीटी स्वीकार करता है कि इस धारणा को बनाए रखना कठिन होता जा रहा है, और अंतराल को पाटने के लिए एक उपकरण प्रदान करता है।

आम गलतियाँ (CriticGPT के बारे में पढ़ते समय)

• मान लीजिए कि CriticGPT मानव प्रशिक्षकों की जगह लेता है। यह नहीं यह मानव समीक्षा के लिए संभावित त्रुटियों को चिह्नित करके उनकी सहायता करता है।
• मान लीजिए कि यह कुछ भी आलोचना करता है। इसकी डिज़ाइन की गई भूमिका विशेष रूप से प्रशिक्षण के दौरान चैटजीपीटी-शैली प्रतिक्रियाओं की समीक्षा कर रही है, न कि अंतिम उपयोगकर्ताओं के लिए सामान्य उद्देश्य वाली तथ्य जांच।
• यह सोचकर कि आलोचक हमेशा सही होते हैं। किसी भी AI आउटपुट की तरह, आलोचनाएं गलत हो सकती हैं; मानव सत्यापन आवश्यक रहता है।
• यह एक नए ChatGPT रिलीज के साथ भ्रमित. CriticGPT एक GPT-4 आधारित प्रशिक्षण उपकरण है, न कि कोई नया उपभोक्ता चैटबॉट।