तर्कसंगत संरेखण: कैसे विचार-विमर्श भाषा मॉडल को सुरक्षित बनाता है

यदि आपने कभी सोचा है कि AI कंपनियां वास्तव में अपने चैटबॉट्स को सुरक्षित कैसे बनाती हैं, तो OpenAI की एक नई विधि इस प्रक्रिया के लिए एक दुर्लभ खिड़की प्रदान करती है। कंपनी ने विचारशील संरेखण नामक एक तकनीक पेश की है, और यह अब तर्क मॉडलों की o1 श्रृंखला में बनाया गया है। केवल मॉडल को याद रखने के लिए प्रशिक्षित करने के बजाय जो प्रतिबंधित है, ओपनएआई उन्हें स्वयं सुरक्षा नियम सिखाता है और उत्तर देने से पहले उन नियमों के माध्यम से मॉडल को कारण देता है। यहाँ इसका क्या मतलब है, क्यों महत्वपूर्ण है और शुरुआती परिणाम क्या सुझाव देते हैं।

जानबूझकर गठबंधन क्या है?

AI मॉडल के लिए अधिकांश सुरक्षा प्रशिक्षण किसी को डॉस और डोंट की एक सूची सिखाने जैसा काम करता है। मॉडल पैटर्न सीखता है - कुछ प्रकार के अनुरोध अस्वीकार कर दिए जाते हैं - जरूरी नहीं कि क्यों समझें। विवेकाधीन संरेखण एक अलग मार्ग लेता है।

इस दृष्टिकोण के साथ, o1 मॉडल को सीधे लिखित सुरक्षा विनिर्देशों का एक सेट सिखाया जाता है। ये स्पष्ट दस्तावेज हैं जो वर्णन करते हैं कि मॉडल को क्या करना चाहिए और उन नियमों के पीछे तर्क नहीं देना चाहिए। जब मॉडल को संकेत मिलता है, तो यह केवल पैटर्न-मैच से मेल नहीं खाता है जिसे उसने पहले देखा था। इसके बजाय, यह अपनी तर्क क्षमताओं को सक्रिय करता है और उत्तर देने से पहले प्रासंगिक सुरक्षा विशिष्टताओं के माध्यम से सोचता है।

यहां कुंजी शब्द "विचारशील" है। मॉडल जानबूझकर नियमों से परामर्श करता है, उन्हें उपयोगकर्ता के अनुरोध के खिलाफ तौलता है, और फिर निर्णय लेता है कि कैसे प्रतिक्रिया देनी है। यह एक प्रशिक्षित कर्मचारी को कंपनी नीति मैनुअल का उपयोग करने की तुलना में अधिक निकट है कि कोई व्यक्ति विशुद्ध रूप से वृत्ति पर कैसे प्रतिक्रिया कर सकता है

तर्क से सुरक्षा का खेल क्यों बदल जाता है

ओ1 मॉडल ओपनएआई के तर्क मॉडल हैं, जिसका अर्थ है कि वे जवाब देने से पहले कदम-दर-कदम समस्याओं के माध्यम से काम करने के लिए डिज़ाइन किए गए हैं। OpenAI ने महसूस किया कि यह समान क्षमता केवल गणित या कोडिंग में नहीं बल्कि सुरक्षा पर भी इंगित की जा सकती है।

व्यवहार में, जब एक ओ 1 मॉडल को संभावित रूप से मुश्किल अनुरोध प्राप्त होता है, तो इसकी आंतरिक विचार श्रृंखला में मॉडल को याद करना और उस सुरक्षा विनिर्देशों को लागू करना शामिल हो सकता है जिस पर इसे प्रशिक्षित किया गया था। यह इस बारे में तर्क दे सकता है कि क्या कोई अनुरोध निषिद्ध श्रेणी को छूता है, किनारे के मामलों पर विचार करें, और दिशानिर्देश की भावना का पालन करने वाले उत्तर चुनें।

यह पिछले दृष्टिकोणों से अलग है जहां सुरक्षा व्यवहार को प्रशिक्षण डेटा के माध्यम से अप्रत्यक्ष रूप से बेक किया गया था। चूंकि विनिर्देश स्पष्ट हैं और मॉडल उन पर तर्क देता है, ओपनएआई का तर्क है कि प्रणाली अधिक व्याख्या योग्य और अधिक सुसंगत हो जाती है। मॉडल सिद्धांत रूप में समझा सकता है कि कौन सा नियम लागू होता है और क्यों, बजाय एक ब्लैक-बॉक्स प्रशिक्षण प्रक्रिया से आने वाले इनकार को आउटपुट करने के।

अब तक के नतीजे

OpenAI के अनुसार, विचारशील संरेखण के साथ प्रशिक्षित o1 मॉडल सुरक्षा मूल्यांकन पर दृढ़ता से प्रदर्शन करते हैं। इस दृष्टिकोण को ओपनएआई के आंतरिक सुरक्षा बेंचमार्क सेट पर प्रदर्शन में सुधार करने की सूचना दी गई है, जिसमें आकलन शामिल है कि खतरनाक सलाह, अवैध अनुरोध और अन्य निषिद्ध उपयोगों जैसी श्रेणियों में हानिकारक सामग्री उत्पन्न करने से कैसे बचें।

OpenAI यह भी नोट करता है कि विधि एक सामान्य व्यापार-बंद से बचती हैः अक्सर, मॉडल को सुरक्षित बनाना इसे समग्र रूप से अधिक सतर्क बनाता है, इसलिए यह पूरी तरह से उचित अनुरोधों को अस्वीकार कर देता है। विवेकाधीन संरेखण इस अत्यधिक इनकार की समस्या को कम करने के लिए प्रतीत होता है। क्योंकि मॉडल प्रत्येक अनुरोध के बारे में व्यक्तिगत रूप से तर्क देता है, यह वास्तव में समस्याग्रस्त और समान ध्वनि वाले लेकिन हानिरहित लोगों के बीच अंतर कर सकता है।

एक संबंधित लाभ मजबूती है। मॉडल जो केवल अस्वीकृति पैटर्न को याद करते हैं, कभी-कभी चतुर वाक्यांश के साथ उनसे बात की जा सकती है। जब उपयोगकर्ता नियमों से बचने वाले अनुरोधों की विविधताओं का प्रयास करते हैं तो अंतर्निहित विनिर्देश और इसके बारे में कारणों को समझने वाला एक मॉडल बेहतर हो सकता है।

उस ने कहा, यह उम्मीदों को मापा रखने के लायक है. सुरक्षा मूल्यांकन ज्ञात परीक्षण श्रेणियों पर प्रदर्शन को मापते हैं, और कोई संरेखण विधि पूरी तरह से जोखिम को समाप्त नहीं करती है। ओपनएआई स्वयं इसे एक सुधार और हल की गई समस्या के बजाय एक आशाजनक दिशा के रूप में फ्रेम करता है।

रोजमर्रा के उपयोगकर्ताओं के लिए इसका क्या अर्थ है

अधिकांश लोगों के लिए जो चैटजीपीटी या ओ 1 मॉडल का उपयोग करते हैं ओपनएआई उत्पादों के माध्यम से, विचारशील संरेखण पृष्ठभूमि में अदृश्य रूप से काम करता है। आप अपने सुरक्षा विनिर्देशों की सलाह लेने वाले मॉडल को नहीं देखेंगे और आपको कुछ भी अलग करने की आवश्यकता नहीं होगी।

लेकिन प्रभावों को बातचीत की गुणवत्ता में दिखाई देना चाहिए: (अंग्रेज़ी में)

• जब आप वैध विषयों के बारे में पूछते हैं जो केवल संवेदनशील ध्वनि करते हैं तो कम निराशाजनक झूठी अस्वीकृति।
• जब आप एक ही अनुरोध को अलग-अलग तरीकों से बोलते हैं तो अधिक सुसंगत व्यवहार।
• उत्तर जो स्पष्ट करने की अधिक संभावना रखते हैं क्यों कुछ मदद नहीं की जा सकती है, क्योंकि मॉडल ने प्रासंगिक नियम के माध्यम से तर्क दिया है।

डेवलपर्स और शोधकर्ताओं के लिए, बड़ी कहानी पद्धतिगत है। विवेकाधीन संरेखण से पता चलता है कि जैसे-जैसे मॉडल तर्क में बेहतर होते जाते हैं, सुरक्षा प्रशिक्षण शुद्ध पैटर्न सीखने से दूर हो सकता है नियम-शासित निर्णय की तरह कुछ अधिक. यह प्रभावित कर सकता है कि कैसे व्यापक उद्योग अगली पीढ़ी के मॉडलों के लिए संरेखित दृष्टिकोण करता है।

बड़ी तस्वीर

विवेकाधीन संरेखण हाल के दिलचस्प घटनाक्रमों में से एक है क्योंकि यह दो सूत्रों को जोड़ता हैः तर्क मॉडल का उदय और AI प्रणालियों को सुरक्षित व्यवहार करने की चल रही चुनौती। केवल क्षमता उन्नयन के रूप में तर्क का इलाज करने के बजाय, ओपनएआई इसे सुरक्षा लागू करने वाले तंत्र के तौर पर उपयोग कर रहा है।

दृष्टिकोण खुले प्रश्नों के बिना नहीं है। आंतरिक श्रृंखला-विचार तर्क हमेशा एक मॉडल "वास्तव में" क्या कर रहा है, और स्पष्ट विनिर्देश केवल उतने ही अच्छे होते हैं जितने लोग उन्हें लिखते हैं। यह भी सवाल है कि अनुरोध अधिक अस्पष्ट हो जाते हैं और वास्तविक दुनिया की स्थितियां बेंचमार्क परीक्षणों से बदतर होती हैं।

फिर भी, दिशा उल्लेखनीय हैः मॉडल को नियम सिखाएं, उन्हें सोचने दें और परिणाम का मूल्यांकन करें। AI सुरक्षा के बाद किसी के लिए या बस उत्सुक है कि उनके AI सहायक कभी-कभी एक मुश्किल सवाल को विनम्रता से संभालते हैं और कभी-कभार नहीं करते हैं जानबूझकर संरेखण इसके बारे में जानने लायक तकनीक है