मनुष्यों से प्रतिक्रिया एकत्र करना

मेटा विवरणः सीखें कि कैसे आरएल-टीचर, एक ओपन सोर्स टूल, AI एजेंटों को हाथ से तैयार किए गए इनाम कार्यों के बजाय सामयिक मानव प्रतिक्रिया का उपयोग करके प्रशिक्षित करता है।

टैगः आरएल-शिक्षक, मानव प्रतिक्रिया, सुदृढीकरण सीखना, खुला स्रोत, सुरक्षा

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक अमूर्त, मैत्रीपूर्ण चित्रण जिसमें मस्तिष्क के आकार का चमकता हुआ सर्किट कोमल, शैलीबद्ध तीरों से छोटे संकेत प्राप्त कर रहा है, जो सादे पृष्ठभूमि पर नरम पेस्टल रंगों में प्रस्तुत किए गए हैं। कोई लोग नहीं, न तो लोगो और न ही पाठ.

यदि आप इस बारे में उत्सुक हैं कि AI सिस्टम कठोर रूप से प्रोग्राम किए गए नियमों के बजाय मानव निर्णय से कैसे सीख सकते हैं, तो आरएल-टीचर आपके ध्यान के लायक है। यह एक इंटरफेस का ओपन सोर्स कार्यान्वयन है जिसे हाथ से तैयार पुरस्कार कार्यों के बजाय कभी-कभी मानवीय फीडबैक के माध्यम से AI को प्रशिक्षित करने के लिए डिज़ाइन किया गया है। इस लेख में हम बताएँगे कि RL-Teacher क्या है, इसका अस्तित्व क्यों है और पारंपरिक सुदृढीकरण सीखने की सेटिंग्स से इसका दृष्टिकोण कैसे भिन्न होता है।

आरएल-टीचर क्या करता है

अपने मूल में, आरएल-टीचर एक विशिष्ट विचार के लिए एक व्यावहारिक रूपरेखा प्रदान करता हैः एक विस्तृत इनाम फ़ंक्शन लिखने के बजाय जो AI एजेंट को बताता है कि सफलता कैसी दिखती है, कभी-कभी एक मानव एजेंट के व्यवहार पर प्रतिक्रिया की पेशकश करने के लिए कदम रखता है। सिस्टम इस फीडबैक का उपयोग उस चीज़ को आकार देने के लिए करता है जिसे एजेंट मूल्य देना सीखता है।

यह महत्वपूर्ण है क्योंकि हाथ से पुरस्कार निर्दिष्ट करना आश्चर्यजनक रूप से कठिन है। क्लासिक सुदृढीकरण सीखने में, एक प्रोग्रामर एक इनाम फ़ंक्शन को परिभाषित करता है नियमों का एक सेट जो एजेंट के कार्यों को स्कोर करता है। जब कार्य सरल होता है, जैसे शतरंज का खेल जीतना, तो यह काफी अच्छी तरह से काम करता है. लेकिन जटिल, गन्दा, वास्तविक दुनिया की स्थितियों के लिए, कोड में "अच्छे व्यवहार" की हर बारीकियों को लिखना लगभग असंभव है। आरएल-टीचर मानव निर्णय को अंतराल भरने देकर उस समस्या को दरकिनार करते हैं।

इसे क्यों बनाया गया?

आरएल-टीचर AI प्रणालियों को सुरक्षित बनाने के उद्देश्य से अनुसंधान से बाहर निकला। सोच इस तरह जाती हैः जैसे ही AI एजेंट अधिक सक्षम हो जाते हैं, हम चाहते हैं कि वे ऐसे लक्ष्यों का पीछा करें जो वास्तव में मानव इरादों को प्रतिबिंबित करते हों न केवल उनके इनाम फ़ंक्शन शाब्दिक रूप से क्या कहते हैं, जिसका एजेंट कभी-कभी अनपेक्षित तरीकों से शोषण करते हैं। एक ऐसी प्रणाली बनाकर जहां मनुष्य सीधे प्रशिक्षण का मार्गदर्शन कर सकते हैं, शोधकर्ता AI की ओर एक ठोस कदम उठाते हैं जो लोगों की वास्तविक इच्छाओं के साथ संरेखित रहता है।

अंतर्निहित तकनीक को सुरक्षित AI प्रणालियों की ओर एक कदम के रूप में विकसित किया गया था। उस ने कहा, आरएल-टीचर का मूल्य सुरक्षा अनुसंधान तक सीमित नहीं है। यह किसी भी सुदृढीकरण सीखने की समस्या पर भी लागू होता है जहां पुरस्कारों को ठीक से वर्तनी करना मुश्किल होता है ऐसी स्थितियां जहाँ आप अच्छे व्यवहार को जानते हैं जब आप इसे देखते हैं, लेकिन आसानी से इसे सूत्र में संहिताबद्ध नहीं कर सकते।

कैसे फीडबैक दृष्टिकोण पारंपरिक आरएल से अलग है

मुख्य अंतर यह है कि सीखने का संकेत कहां से आता हैः

• पारंपरिक सुदृढीकरण सीखना (Reinforcement learning) -: . . . एजेंट प्रोग्रामर्स द्वारा समय से पहले लिखे गए एक इनाम फ़ंक्शन से सीखता है। प्रतिक्रिया स्वचालित, निरंतर और केवल इसके पीछे कोड के रूप में अच्छी होती है।
• आरएल-शिक्षक का दृष्टिकोण: (RL-Teacher's approach): एजेंट प्रशिक्षण के दौरान समय-समय पर दिए गए मानव इनपुट से सीखता है। एक व्यक्ति की समीक्षा करता है कि एजेंट क्या कर रहा है और प्रतिक्रिया प्रदान करता है, जिसे सिस्टम सीखने के संकेत में परिवर्तित करता है।

यह "आकस्मिक" गुणवत्ता जानबूझकर है। हर एक कार्रवाई का मूल्यांकन करने के लिए मानव होना थकाऊ और अव्यावहारिक होगा। आवधिक प्रतिक्रिया पर भरोसा करके, आरएल-टीचर एजेंट को सही दिशा में निर्देशित करते हुए मानव कार्यभार को प्रबंधनीय रखता है। उपकरण एक इंटरफ़ेस लागू करता है जो इस मानव-इन-द-लूप वर्कफ़्लो को ठोस और प्रयोग योग्य बनाता है, न कि टीमों को स्वयं पाइपलाइन बनाने के लिए छोड़ देता है।

कौन इससे लाभान्वित होता है

आरएल-टीचर कुछ अलग दर्शकों के लिए उपयोगी हैः

1. AI सुरक्षा शोधकर्ता जो खरोंच से शुरू किए बिना मानव-प्रतिक्रिया आधारित प्रशिक्षण विधियों का प्रयोग करना चाहते हैं।
2. कठिन-से-निर्दिष्ट कार्यों पर काम करने वाले व्यवसायी ऐसे डोमेन जहां लक्ष्य को पहचानना आसान है लेकिन औपचारिक रूप से कठिन, जैसे कि कार्यों में सूक्ष्म निर्णय या व्यक्तिपरक गुणवत्ता शामिल होती है।
3. छात्र और शौकिया यह पता लगाना कि सुदृढीकरण शिक्षा कैसे हाथ से डिजाइन किए गए पुरस्कारों से परे जा सकती है और मानव वरीयताओं को शामिल कर सकती है।

क्योंकि यह खुला स्रोत है, कोई भी कोड का निरीक्षण कर सकता है, इसे अपनी समस्याओं के लिए अनुकूलित कर सकते हैं या इसके शीर्ष पर निर्माण कर सकते हैंः AI को सुरक्षित बनाने वाली तकनीकें पारदर्शी होने और जांच और प्रयोग के लिए व्यापक रूप से उपलब्ध होने से लाभान्वित होती हैं।

ध्यान रखने योग्य बातें

जबकि मानव-प्रतिक्रिया दृष्टिकोण शक्तिशाली है, यह व्यापार के साथ आता है। मानव समय एक सीमित संसाधन है, इसलिए प्रशिक्षण रन इस बात पर निर्भर करता है कि कोई व्यक्ति कितनी बार भाग ले सकता है। मनुष्यों से प्रतिक्रिया भी असंगत हो सकती है विभिन्न लोग, या यहां तक कि अलग-अलग समय में एक ही व्यक्ति, व्यवहार को अलग तरह से न्याय कर सकते हैं। इस स्थान पर काम करने वाले शोधकर्ता आम तौर पर उन चुनौतियों का प्रबंधन करने के लिए सक्रिय समस्याओं के रूप में इलाज करते हैं, न कि दृष्टिकोण को छोड़ने के कारणों से।

यह भी ध्यान देने योग्य है कि आरएल-टीचर एक शोध तकनीक का कार्यान्वयन है। यदि आप इसका उपयोग करने की योजना बनाते हैं, तो समय बिताने की उम्मीद करें कि इंटरफ़ेस कैसे काम करता है और प्रशिक्षण में फीडबैक कैसे प्रवाह होता है, बजाय इसके कि इसे टर्नकी उत्पाद के रूप में व्यवहार किया जाए।

अंतिम विचार

आरएल-टीचर दो दुनियाओं के बीच एक व्यावहारिक पुल का प्रतिनिधित्व करता हैः सुदृढीकरण सीखने और मानव पर्यवेक्षण के फैसले का स्वचालन। AI एजेंटों को समय-समय पर मानवीय इनपुट के साथ प्रशिक्षित करना संभव बनाकर, यह AI सुरक्षा समुदाय और किसी भी समस्या से निपटने वाले लोगों दोनों की सेवा करता है जहां "अच्छा व्यवहार" सरल परिभाषा का विरोध करता है। एक ओपन-सोर्स प्रोजेक्ट के रूप में, यह इस बात में रुचि रखने वाले किसी व्यक्ति से अन्वेषण, संशोधन और योगदान आमंत्रित करता है कि काम की यह पंक्ति कहां जा रही है।