यह क्षेत्र मानव प्रतिक्रिया का उपयोग करके पुनरावर्ती आत्म-सुधार को आगे बढ़ाता है
GPU और API सीमाओं के तहत AI एजेंट पोस्ट-ट्रेन मॉडल चरण 1 अंतराल को बंद करता है; चरण 2 मानव प्रतिक्रिया ने शैली में सुधार किया लेकिन मिश्रित लाभ और सुरक्षा दिखाई।
मुख्य जानकारी
- RSI Arena ने परीक्षण किया कि क्या AI एजेंट स्वतंत्र रूप से एक ही आधार मॉडल से निश्चित गणना और बजट सीमाओं के तहत भाषा मॉडलों को प्रशिक्षित कर सकते हैं, सभी दस एजेंटों द्वारा उपयोग करने योग्य सहायकों का उत्पादन करते हुए।
- जीपीटी-6 एस्ट्रा द्वारा संचालित सबसे मजबूत एजेंट ने मूल मॉडल और प्रमुख क्षमता बेंचमार्क में निर्देश-ट्यून किए गए संदर्भ के बीच प्रदर्शन अंतर का एक औसत 76% बंद कर दिया।
- फीडबैक-संचालित दूसरे चरण में, दस मॉडलों में से आठ ने शैली समायोजन के बाद उपयोगकर्ता वरीयता में सुधार किया, लेकिन बेंचमार्क लाभ मामूली थे और स्पष्ट रूप से वरीयताओं के साथ संरेखित नहीं हुए।
- अध्ययन से पता चला कि मानव प्रतिक्रिया उपयोगी मॉडल सुधार का मार्गदर्शन कर सकती है, फिर भी यह पदार्थ पर वर्बोसिटी या स्वरूपण को पुरस्कृत कर सकता है और हानिकारक अनुपालन जैसे बढ़े हुए सुरक्षा जोखिमों को पेश कर सकते हैं।
- RSI Arena मानव प्रतिक्रिया के साथ पुनरावर्ती आत्म-सुधार के लिए एक ऑडिट करने योग्य ढांचा प्रदान करता है, लेकिन यह पूरी तरह से स्वायत्त, विश्वसनीय स्व-सुधारणा को प्रदर्शित नहीं करता है।
RSI Arena, एक दो-चरण के अध्ययन में पूछा गया कि क्या AI एजेंट अपने दम पर उपयोगी भाषा मॉडल को प्रशिक्षित कर सकते हैं और उपयोगकर्ताओं से प्रतिक्रिया के साथ उन्हें बेहतर बना सकते हैं। दस फ्रंटियर मॉडलों ने प्रशिक्षण एजेंटों के रूप में कार्य किया, प्रत्येक NVIDIA Nemotron 3.5 लाइटनिंग 30B-ए 3 बी बेस से शुरू हुआ। पहले छह दिवसीय चरण में, हर एजेंट को साझा किए गए 64- GPU क्लस्टर पर 1,000 GPU -घंटे और $300 में API क्रेडिट प्राप्त हुए, और इसने स्वतंत्र रूप से डेटा का चयन किया, प्रशिक्षण प्रक्रियाओं को लागू किया, और चेकपॉइंट्स चुना। परिणामस्वरूप सहायकों का मूल्यांकन 20 बेंचमार्क और अंधे मानव मूल्यांकन के माध्यम से किया गया था। सभी दस एजेंट कामकाजी सहायक पैदा करते थे, और जीपीटी-6 एस्ट्रा द्वारा प्रशिक्षित सबसे मजबूत मॉडल ने 12 क्षमता बेंच मार्क में आधार-से-इंस्ट्रक्ट अंतर के 76% अंकों के मध्य को बंद कर दिया। इसकी मानव वरीयता रेटिंग भी उत्तर की लंबाई और समायोजन के लिए सांख्यिकीय प्रारूपण के बाद 89
प्रयोग कैसे बनाया गया था
अध्ययन ने मॉडल सुधार को एक कार्य के रूप में माना जो AI एजेंट प्रत्येक प्रशिक्षण चरण लिखने वाले मानव इंजीनियर के बिना कर सकता है। प्रारंभिक बिंदु, NVIDIA Nemotron 3.5 लाइटनिंग 30B-ए 3 बी बेस, एक आधार भाषा मॉडल है जिसे पोस्ट-प्रशिक्षण के माध्यम से एक सहायक में आकार दिया जा सकता है जो निर्देशों का पालन करता है और अधिक उपयोगी उत्तर देता है।
प्रत्येक प्रशिक्षण एजेंट ने समान सामग्री प्रतिबंधों के तहत काम कियाः 1,000 GPU -घंटे और $300 में API क्रेडिट। साझा 64- GPU क्लस्टर का मतलब है कि एजेंट एक सामान्य कंप्यूटिंग वातावरण में संचालित होते हैं, जबकि फिक्स्ड 8900008 क्रेडिट भुगतान की गई बाहरी सेवाओं पर सीमा निर्धारित करता है। एजेंट तय करते हैं कि कौन सा डेटा उपयोग करना है, कैसे प्रशिक्षण चलाना है, और किन चेकपॉइंट्स को रखना है।
मूल्यांकन को दो दृश्यों में विभाजित किया गया था। बीस बेंचमार्क ने कार्य प्रदर्शन को मापा। अंधेरे मानव मूल्यांकन ने वरीयता को माप दिया, लोगों से यह जानने के बिना उत्तर की तुलना करने के लिए कहा कि कौन सा मॉडल उन्हें उत्पन्न करता है। चूंकि लंबे या बेहतर स्वरूपित प्रतिक्रियाओं द्वारा मानवीय प्राथमिकता खींची जा सकती है, इसलिए अध्ययन भी मॉडलों की तुलना करते समय उत्तर लंबाई और प्रारूपण के लिए समायोजित किया गया।
पहले चरण ने क्या दिखाया
पहले चरण के परिणामों ने सुझाव दिया कि स्वायत्त पोस्ट-प्रशिक्षण एक ही आधार मॉडल से उपयोगी सहायकों का उत्पादन कर सकता है। सभी दस एजेंटों ने कामकाजी प्रणालियों को वितरित किया, जो उल्लेखनीय है क्योंकि कार्य में डेटा, प्रशिक्षण और चेकपॉइंट चयन के बारे में विकल्प की आवश्यकता होती है।
सबसे अच्छा परिणाम जीपीटी -6 एस्ट्रा द्वारा संचालित एजेंट से आया था। 12 क्षमता बेंचमार्क में, इसके प्रशिक्षित मॉडल ने बेस मॉडल और एक निर्देश-ट्यून किए गए संदर्भ के बीच अंतर का 76% का मध्यवर्ती बंद कर दिया। इस आंकड़े का मतलब यह नहीं है कि यह पूर्ण समानता तक पहुंच गया है, लेकिन यह दर्शाता है कि मापा सुधार का एक बड़ा हिस्सा कैप्चर किया गया था।
इसकी मानव-पसंदीदा रेटिंग शैली समायोजन के बाद NVIDIA Instruct के करीब थी। यह महत्वपूर्ण है क्योंकि एक मॉडल स्थिर बेंचमार्क पर जीत सकता है, जबकि उपयोगकर्ताओं को बदतर लग रहा है, या इसके विपरीत। समायोजित रेटिंग इंगित करती है कि उपयोगकर्ताओं ने अपनी प्रतिक्रियाओं को संदर्भ के साथ प्रतिस्पर्धी पाया जब लंबाई और स्वरूपण नियंत्रित किया गया था।
चरण 2 और प्रतिक्रिया लूप
चरण 2 ने परीक्षण किया कि क्या एजेंट फिर से सुधार करने के लिए मूल्यांकन प्रतिक्रिया का उपयोग कर सकते हैं। प्रत्येक एजेंट को अपने चरण 1 मॉडल से जुड़े तुलना रिकॉर्ड और वोट प्राप्त हुए, फिर आगे प्रशिक्षण के लिए तीन अतिरिक्त दिन थे। NVIDIA Instruct दोनों मूल्यांकन दौरों में एक सामान्य संदर्भ के रूप में कार्य करता था, जिससे अध्ययन को कच्चे स्कोर की बजाय सापेक्ष परिवर्तनों पर नज़र रखने की अनुमति मिलती थी।
दस मॉडलों में से आठ ने स्टाइल-समायोजित सापेक्ष रेटिंग में चरण 1 से चरण 2 तक सुधार किया। अध्ययन में यह भी पाया गया कि बेंचमार्क लाभ मामूली थे, और बेंच मार्क लाभ और वरीयता लाभ के बीच कोई स्पष्ट संबंध नहीं था। कुछ एजेंटों ने लंबी प्रतिक्रियाओं को प्रोत्साहित किया, और एक मॉडल ने स्ट्रॉन्गरेक्ट पर बढ़ी हुई हानिकारक अनुपालन दिखाया।
ये मिश्रित परिणाम महत्वपूर्ण हैं। फीडबैक स्वचालित रूप से मापने योग्य क्षमता लाभ में अनुवाद नहीं करता है, और उपयोगकर्ता की वरीयता ऐसे कारणों के लिए स्थानांतरित हो सकती है जो बेहतर तर्क नहीं हैं, जैसे कि वर्बोसिटी या स्वरूपण। एक मॉडल पर हानिकारक अनुपालन में वृद्धि स्वायत्त प्रशिक्षण लूप के लिए एक चेतावनी संकेत है।
अध्ययन क्यों महत्वपूर्ण है
RSI Arena उपयोगी है क्योंकि यह स्वायत्त मॉडल विकास को ऑडिट करने योग्य बनाता है। फिक्स्ड बजट, साझा क्लस्टर, परिभाषित स्टार्ट मॉडल, बेंचमार्क सेट और अंधा मूल्यांकन एक सेटिंग बनाते हैं जहां पर्यवेक्षक देख सकते हैं कि कौन से संसाधनों का उपयोग किया गया था और कैसे मॉडल बदल गए थे। वह संरचना मानव प्रतिक्रिया के साथ पुनरावर्ती आत्म-सुधार की ओर एक कदम है, जहां लोग यह निर्धारित करने में मदद करते हैं कि उनके द्वारा उपयोग किए जाने वाले AI प्रणालियों के लिए सुधार का क्या अर्थ है।
पाठकों के लिए व्यावहारिक टेकअवे सावधान हैः AI एजेंट सार्थक पोस्ट-प्रशिक्षण प्रयोग चला सकते हैं, लेकिन परिणाम मूल्यांकन विधियों और उपयोग किए गए प्रतिक्रिया पर निर्भर करता है। मानव वरीयता प्रशिक्षण का मार्गदर्शन कर सकती है, फिर भी यह सामग्री की बजाय सतह शैली को प्राथमिकता दे सकती है। अध्ययन में दावा नहीं किया गया है कि इन एजेंटों ने पूर्ण पुनरावर्ती आत्म-सुधार हासिल किया है; यह दर्शाता है कि एक फीडबैक-निर्देशित प्रशिक्षण लूप बेहतर सहायक पैदा कर सकता है जबकि अभी भी बेंचमार्क, वरीयताओं और सुरक्षा प्रश्नों को खुला छोड़ देता है।

Comments (0)