तंत्रिका पारदर्शिता और AI डिजाइन के भविष्य के बारे में तीन प्रमुख प्रश्न

मेटा विवरणः एक नया MIT Media Lab उपकरण उपयोग से पहले चैटबॉट व्यक्तित्व लक्षणों AI का पूर्वावलोकन करता है, जिससे रचनाकारों को जोखिम भरे व्यवहार की पहचान करने में मदद मिलती है जबकि अभी भी संकेत तैयार करते हैं।

टैगः तंत्रिका पारदर्शिता, AI चैटबॉट्स, MIT Media Lab, प्रणाली संकेत, AI सुरक्षा

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक चैट बुलबुले का अमूर्त मैत्रीपूर्ण चित्रण जिसमें नरम सनबर्स्ट आरेख है, कोई पाठ नहीं, कोई लोगो नहीं, न ही वास्तविक लोग

शोध क्या प्रस्तुत करता है

निजीकृत AI साथियों को डिजाइन करने वाले लोगों के लिए, न्यूरल पारदर्शिता नामक एक नया उपकरण कुछ ऐसा प्रदान करता है जो अधिकांश बिल्डरों के पास नहीं था: पहला संदेश भेजे जाने से पहले संभावित चैटबॉट व्यवहार का पूर्वावलोकन। Pat Pataranutaporn MIT Media Lab और Asahi Broadcasting Corporation CD प्रोफेसर ऑफ Media Arts एंड साइंसेज ने स्नातक छात्र शोधकर्ताओं Anthony Baez और Sheer Karny के साथ दृष्टिकोण पेश किया। उनका पेपर इस सप्ताह ACM Conference पर प्रस्तुत किया जा रहा है Intelligent User Interfaces, लोग प्रौद्योगिकी के साथ कैसे बातचीत करते हैं, इसके बारे में अनुसंधान के लिए एक स्थान।

समस्या व्यापक है। लाखों लोग अब बड़े भाषा मॉडल या एलएलएम का उपयोग करके कस्टम AI साथी बना रहे हैं, जो प्राकृतिक भाषा में संकेतों का जवाब देने के लिए प्रशिक्षित टेक्स्ट-जनरेशन सिस्टम हैं। क्रिएटर इन मॉडलों को सहयोगियों, ट्यूटर्स, कोचों, रचनात्मक भागीदारों और दोस्तों में बदलने के लिए सरल पाठ निर्देशों का उपयोग करते हैं। लेकिन वे निर्देश व्यवहार को उन तरीकों से प्रभावित कर सकते हैं जिन्हें देखना मुश्किल है। तंत्रिका पारदर्शिता का उद्देश्य दैनिक रचनाकारों को डिजाइन चरण के दौरान एक स्पष्ट सिग्नल देना है, न कि चैटबॉट पहले से ही लाइव होने के बाद।

त्वरित पूर्वावलोकन कैसे काम करता है

टीम ने इस विचार को मस्तिष्क स्कैन के रूप में वर्णित किया है। तुलना शाब्दिक नहीं हैः एक LLM का कोई मानव मस्तिष्क नहीं है। इसके तंत्रिका नेटवर्क में आंतरिक सक्रियण पैटर्न होते हैं जो सुझाव दे सकते हैं कि यह बाद में कैसे व्यवहार कर सकता है। शोधकर्ताओं ने मैकेनिस्टिक व्याख्याशीलता के साथ मानव-एआई इंटरैक्शन कार्य को मिलाया, एक क्षेत्र जो अध्ययन करता है कि मॉडल आन्तरिकों के अंदर क्या होता है।

यह विधि उन व्यवहारों से शुरू होती है जिनकी उपयोगकर्ता परवाह करते हैं, जैसे कि सहानुभूति, ईमानदारी, विषाक्तता, मतिभ्रम या सिकोफैंसी। भ्रम का मतलब है कि मॉडल कुछ आत्मविश्वास से कहता है लेकिन गलत तरीके से। सिकोफ़ैन्सी का अर्थ है कि यह अत्यधिक सुखद या चापलूसी हो जाता है। प्रत्येक लक्षण के लिए, टीम उस विशेषता को दिखाने के लिए प्रेरित होने पर मॉडलों की आंतरिक सक्रियताओं की तुलना करती है जब विपरीत लक्षण दिखाने का संकेत दिया जाता है । वह अंतर मॉडल के भीतर एक "व्यवहार दिशा" बन जाता है

जब कोई उपयोगकर्ता एक कस्टम सिस्टम प्रॉम्प्ट लिखता है, या वार्तालाप शुरू होने से पहले चैटबॉट की भूमिका और व्यक्तित्व को परिभाषित करने वाला छिपा हुआ निर्देश, उपकरण उन व्यवहार दिशाओं पर मॉडल के आंतरिक सक्रियण का अनुमान लगाता है। फिर यह परिणाम को सनब्रेस्ट आरेख में अनुवाद करता है, एक परिपत्र चार्ट जो संभावित व्यक्तित्व लक्षणों का पूर्वावलोकन करता है इससे पहले कि उपयोगकर्ता चैट करना शुरू कर दे। इसका उद्देश्य प्रतिक्रियाशील सुधार से पूर्वानुमानात्मक डिजाइन तक जाना है, जिससे रचनाकार संभावित जोखिम देख सकते हैं जबकि वे अभी भी बातचीत को आकार दे रहे हैं MIT Media Lab

अध्ययन गलतफहमी के बारे में चेतावनी देता है

शोध में व्यक्तिगत रूप से निर्माण करने वाले लोगों के बीच एक चिंताजनक अंधा स्थान भी पाया गया। MIT Media Lab अध्ययन में, प्रतिभागियों ने 15 मापा लक्षणों में से 11 पर अपने चैटबॉट के व्यक्तित्व की गलत भविष्यवाणी की। वे सकारात्मक गुणों को अधिक महत्व देते हैं और हानिकारक लोगों का अवमूल्यन करते हैं, जिसमें सिकोफेंसी शामिल है।

Pataranutaporn का सुझाव है कि कारण आंशिक रूप से मानव है। उन्होंने मजाक किया है कि एक AI जो काल्पनिक टर्मिनेटर की तरह दिखता था, उसका मूल्यांकन करना गर्मजोशी से आसान होगा, और कई साथी मददगार, मैत्रीपूर्ण और सुखद महसूस करने के लिए डिज़ाइन किए गए हैं। इससे समस्याओं को नोटिस करना मुश्किल हो जाता है। यह अध्ययन पहले के काम से जुड़ा हुआ है जिसमें दिखाया गया है कि कुछ मामलों में चैटबॉट्स के साथ बातचीत मनोवैज्ञानिक नुकसान से जुड़ी हुई है। एक मॉडल जो लगातार उपयोगकर्ता की राय को मान्य करता है, या कभी भी उनकी सोच को चुनौती नहीं देता है, सहायक लग सकता है, लेकिन समय के साथ यह अस्वास्थ्यकर मान्यताओं, बुरे निर्णयों या भावनात्मक निर्भरता को मजबूत कर सकता है। क्योंकि लोग स्वाभाविक रूप से पुष्टिकरण चाहते हैं, AI साथी डिजाइन करना न केवल एक तकनीकी कार्य है; यह एक मानसिक भी है।

एक गहरा मुद्दा हैः आज के AI सिस्टम अक्सर अपारदर्शी होते हैं। यहां तक कि विशेषज्ञ हमेशा यह भविष्यवाणी नहीं कर सकते हैं कि लंबी बातचीत में सिस्टम प्रॉम्प्ट मॉडल को कैसे प्रभावित करेगा। शोधकर्ताओं ने लक्ष्य को समर्थन के रूप में तैयार किया है जो रिफ्लेक्सिव समझौते, निजीकरण जो हेरफेर नहीं बनता है और सूचित विकल्पों के लिए पर्याप्त दृश्यता में बदल जाता है।

विश्वास बढ़ा, लेकिन डिजाइन की आदतें नहीं

पेपर के सबसे आश्चर्यजनक परिणामों में से एक यह था कि उपयोगकर्ताओं ने विज़ुअलाइजेशन को देखने के बाद क्या हुआ। उपयोगकर्ताओं ने मॉडल के अंदर देखने की सराहना की, और टूल पर विश्वास काफी बढ़ गया, लेकिन लोगों ने मौलिक रूप से नहीं बदला कि उन्होंने अपने चैटबॉट्स कैसे डिजाइन किए हैं। निष्कर्ष बताता है कि केवल आंतरिक जानकारी का खुलासा करना पर्याप्त नहीं है। एक डैशबोर्ड उपयोगकर्ताओं को आश्वस्त कर सकता है, लेकिन यह उन्हें एक संकेत फिर से लिखने के लिए प्रेरित नहीं कर सकता जो उनके साथी को बहुत सुखद या बहुत जोखिम भरा बनाता है।

शोधकर्ता अब समस्या की एक दूसरी परत का पता लगा रहे हैं। अनुवर्ती कार्य में जो वर्तमान में प्रीप्रिंट के रूप में उपलब्ध है, वे जांचते हैं कि प्रारंभिक संकेत से इसे तय करने के बजाय बहु-मोड़ वार्तालाप के दौरान मॉडल का आंतरिक तंत्रिका प्रतिनिधित्व कैसे बदलता है। शुरुआती परिणाम अधिक उपयोगी पारदर्शिता मॉडल की ओर इशारा करते हैंः यदि उपयोगकर्ता समय के साथ आन्तरिक प्रतिनिधित्व देख सकते हैं, तो वे व्यवहार में परिवर्तन को पहचानने और अनुमान लगाने में काफी बेहतर हो जाते हैं AI और उनके चैटबॉट क्या करेंगे इसके बारे में अत्यधिक आत्मविश्वास होने की संभावना कम होती है।

यह एक महत्वपूर्ण अगला कदम है, क्योंकि AI साथी गतिशील प्रणालियाँ हैं जो उपयोगकर्ताओं के साथ बातचीत करते समय विकसित होती हैं। फिर भी, अनुसंधान क्षेत्र बहुत युवा रहता है।

रोजमर्रा के उपयोगकर्ताओं के लिए इसका क्या मतलब है

AI साथी अधिक गतिशील होते जा रहे हैं। वे स्थिर उत्पाद नहीं हैं जो हर बातचीत में एक ही तरह से व्यवहार करते हैं; वे बदलते रहते हैं क्योंकि उपयोगकर्ता वार्तालाप जारी रखते हैं। अभी के लिए, तंत्रिका पारदर्शिता को सुरक्षा की पूरी गारंटी के रूप में नहीं पढ़ा जाना चाहिए। लेकिन दिशा स्पष्ट हैः उपकरण जो आंतरिक व्यवहार पैटर्न दिखाते हैं, विशेषकर जब शिक्षा, स्वास्थ्य देखभाल, काम और व्यक्तिगत संबंधों में बुना जाता है तो यह अधिक आम हो सकता है।

यदि पारदर्शिता उपकरण पोषण लेबल के रूप में सामान्य हो जाते हैं, तो उपयोगकर्ता इस आधार पर विकल्प बना सकते हैं कि कोई प्रणाली उनकी सोच, भावनाओं और व्यवहार को कैसे प्रभावित कर सकती है, न कि केवल यह क्या कह सकता है। बड़ा लक्ष्य लोगों की मदद करना है, सिर्फ अधिक प्रणालियों के साथ बातचीत नहीं करना। अपने स्वयं के AI साथी डिजाइन करने वाले लोगों के लिए, अल्पकालिक मूल्य व्यावहारिक हैः एक दैनिक आदत बनने से पहले संकेत का परीक्षण करने का एक स्पष्ट तरीका।