artificial intelligence अक्सर गलतियाँ होती हैं, और असफलता हमें महत्वपूर्ण सबक सिखाती है

एक Microsoft Research Podcast बातचीत में, Jennifer Neville, Microsoft Research पर एक भागीदार अनुसंधान प्रबंधक और पर्ड्यू में कंप्यूटर विज्ञान और सांख्यिकी के सैमुअल डी. कोंटे अध्यक्ष प्रोफेसर ने Principal Applied Scientist Chad अटाला से कहा कि AI मूल्यांकन इस बात का केंद्र है कि क्या आधुनिक सिस्टम यथार्थवादी सेटिंग्स में उपयोगकर्ता की जरूरतों को पूरा कर सकते हैं। नेविल, जिनके रिकॉर्ड में 130 से अधिक कागजात और 10,000 उद्धरण शामिल हैं, ने अपने स्वयं के मार्ग को गणित, भौतिकी, संज्ञानात्मक विज्ञान, काम, और अंततः कंप्यूटर विज्ञान के माध्यम से मोड़ की एक श्रृंखला के रूप में वर्णित किया, इससे पहले तर्क दिया गया कि प्रगति अब उन परीक्षणों पर निर्भर करती है जो केवल सरल बेंचमार्कों के बजाय वास्तविक कार्यप्रवाह को दर्शाती हैं।

एक कैरियर जो रास्ते से हटकर बनाया गया था

कंप्यूटर विज्ञान में नेविल का मार्ग रैखिक नहीं था। उन्होंने कहा कि बड़े होते हुए, वह क्षेत्र में अपने पिता के रास्ते पर चलने के अलावा कुछ भी करना चाहती थीं। कॉलेज में, उसने पहले गणित का अध्ययन किया, फिर भौतिकी, लेकिन दोनों से जुड़ा हुआ महसूस किया। उसने एक अवधि के लिए स्कूल छोड़ दिया, संज्ञानात्मक विज्ञान में प्रमुखता हासिल की और बाद में पाया कि यह क्षेत्र उसकी रुचियों के लिए बहुत व्यापक है। थोड़ी देर तक काम करने के बाद, वह कंप्यूटर विज्ञान का अध्ययन करने के लिए वापस आई क्योंकि वह डेटा के बारे में सोचना चाहती थी और इसके साथ कैसे काम करें।

शोध में उनका प्रवेश भी अप्रत्यक्ष रूप से हुआ। वह एक सम्मान कार्यक्रम में शामिल हुई जिसमें एक अनुसंधान परियोजना की आवश्यकता थी, और प्रोफेसरों ने उन्हें स्वयं विषय चुनने के लिए प्रेरित किया। व्यापक रूप से पढ़ने के बाद, उन्होंने इंटरकनेक्टेड वेब डेटा पर डेटा खनन का चयन किया। उस निर्णय ने उन्हें सांख्यिकीय संबंधपरक सीखने नामक एक नवोदित क्षेत्र में काम करने वाले एक संकाय सदस्य तक पहुंचाया। उसने परियोजना पूरी कर ली, एक कार्यशाला में एक पेपर प्रकाशित किया, और इस प्रक्रिया को सम्मोहक पाया।

लेकिन जब टीम ने अंततः कुछ नया सीखा, तो एक समस्या को समझने का रोमांच वह कारण बन गया जिसे कोई और पूरी तरह से नहीं समझ पाया था।

अकादमिक से लेकर उद्योग अनुसंधान तक

नेविल अकादमिक क्षेत्र से 2021 में माइक्रोसॉफ्ट में शामिल हुईं और 20 वर्षों तक शिक्षण और परामर्श जारी रखा है। उन्होंने कहा कि यह कदम इस बात के बारे में एक जानबूझकर पसंद को दर्शाता है कि उनका पेशेवर ध्यान कहां रखा जाए। उनके काम में सिद्धांत और अनुप्रयोग शामिल हैं, और कार्यकाल अर्जित करने के बाद उनकी पहली विश्राम उन्हें बर्कले में Simons Institute की ओर ले गई, जो एक अत्यधिक सैद्धांतिक सेटिंग थी। वह अनुभव मूल्यवान था, लेकिन इसके बाद शैक्षणिक जीवन में वापस आना भी आसान था।

उनका दूसरा अवकाश उन्हें विपरीत दिशा में ले गया, Microsoft Research तक। वहां उन्होंने देखा कि वास्तविक प्रणालियों, वास्तविक उपयोगकर्ताओं और वास्तविक डेटा से मिलने पर एल्गोरिदम कैसे व्यवहार करते हैं। अमूर्त तर्क से व्यावहारिक प्रदर्शन के लिए उस बदलाव को उलटना मुश्किल था।

उन्होंने अकादमिक और उद्योग अनुसंधान के बीच अंतर को मुख्य रूप से काम के लक्ष्य के माध्यम से वर्णित किया। शैक्षणिक जगत में, प्रश्न अक्सर व्यापक अमूर्त बन जाते हैं जो कई डोमेन पर लागू हो सकते हैं, जो Defense Advanced Research Projects एजेंसी और National Science Foundation जैसे संगठनों से वित्त पोषण के लिए उपयोगी है। उद्योग में, शोधकर्ता सीधे उत्पादों के अंदर काम कर सकते हैं और पैमाने पर विचारों का परीक्षण कर सकते हैंः नेविल ने कहा कि दोनों दुनिया मूल्यवान हैं और एक-दूसरे को सुदृढ़ कर सकती हैं, लेकिन आज AI सिस्टम बनाने वाले लोगों के लिए, उद्योग वह जगह है जहां अधिकांश कार्रवाई अब बैठती है।

व्यावहारिक सीमा के रूप में मूल्यांकन

अटाला, जो माइक्रोसॉफ्ट में छह साल से थोड़ा अधिक समय तक रहे हैं और AI के मूल्यांकन पर काम करते हुए उस समय का अधिकांश हिस्सा बिताया है, ने कहा कि उन्हें यह देखकर राहत मिली कि नेविल की टीम को AI Interaction और लर्निंग टीम कहा जाता है, और इसका चार्टर यथार्थवादी कार्य वातावरण में AI प्रणालियों के व्यवहार को धक्का देना है।

टीम यह पूछकर शुरू करती है कि इन प्रणालियों की वर्तमान प्रदर्शन सीमा कहां स्थित है। फिर यह अध्ययन करता है कि वास्तविक कार्यप्रवाह में उपयोगकर्ता उस सीमा का अनुभव कैसे करते हैं और जटिल कार्यों के लिए मॉडल प्रदर्शन को कैसे बेहतर बनाया जा सकता है। चर्चा के अनुसार, मूल्यांकन इतना मायने रखता है क्योंकि कई मशीन लर्निंग और AI सिस्टम बेंचमार्क के माध्यम से मापे जाते हैं जो उन वातावरणों की तुलना में सरल होते हैं जहां लोग वास्तव में उनका उपयोग करते हैं।

यह अंतर आश्चर्यजनक विफलताओं का उत्पादन कर सकता है जब मॉडल को पारंपरिक बेंचमार्क से परे परीक्षण किया जाता है। नेविल ने तर्क दिया कि पहला व्यावहारिक कदम यह परिभाषित करना है कि उपयोगकर्ताओं को सिस्टम से क्या चाहिए और फिर मूल्यांकन डिजाइन करें जो सिस्टम को उन शर्तों के भीतर रखें। दूसरे शब्दों में, परीक्षण काम की तरह होना चाहिए, न केवल स्कोर।

परिणाम आश्चर्यजनक होने पर डेटा क्यों मायने रखता है

नेविल ने वर्तमान AI प्रणालियों के साथ काम करने वाले लोगों के लिए व्यावहारिक मार्गदर्शन भी प्रदान किया। जब परिणाम अपेक्षाओं से मेल नहीं खाते हैं, तो उन्होंने डेटा को बारीकी से देखने पर जोर दिया। एक आश्चर्यजनक परिणाम न केवल एक मॉडल मुद्दा है; यह सिस्टम को प्रशिक्षित या मूल्यांकन करने के लिए उपयोग किए जाने वाले डेटा और व्यवहार उपयोगकर्ताओं के बीच वास्तव में वांछित असंगति का खुलासा कर सकता है।

उन्होंने इस आदत को एक लंबे इतिहास से जोड़ा। AI प्रगति के दशकों ने उन्हें उन क्षणों पर नजर रखने के लिए सिखाया है जब उम्मीदें विफल हो जाती हैं, क्योंकि वे पल अक्सर उस क्षेत्र को उजागर करते हैं जिसे अभी तक समझ में नहीं आता है। शोधकर्ताओं के लिए, इसका मतलब है कि विज्ञान के हिस्से के रूप में मूल्यांकन डिजाइन का इलाज करना। चिकित्सकों के लिए इसका अर्थ यह है कि किसी एकल उपाय पर भरोसा करने के बजाय संदर्भ में सिस्टम कैसे व्यवहार करता है, इस पर ध्यान देना।

यह प्रकरण आगे क्या सुझाव देता है

वार्तालाप एक व्यापक प्रश्न पर लौटता हैः जब कोई रास्ता अपेक्षित रूप से सामने नहीं आता है, तो लोग क्या सीख सकते हैं, चाहे वह पथ मानव कैरियर या कृत्रिम प्रणाली का हो? नेविल के अपने प्रक्षेपवक्र से पता चलता है कि विचलन तेज सवालों को जन्म दे सकता है। उसका काम AI के लिए भी यही सुझाव देता हैः सबसे उपयोगी प्रगति तब आ सकती है जब मूल्यांकन कठिन, अधिक यथार्थवादी और उपयोगकर्ताओं की वास्तव में देखभाल करने वाले कार्यों से अधिक निकटता से जुड़ा होता है।

AI सिस्टम बनाने, खरीदने या उपयोग करने वाले पाठकों के लिए, टेकअवे व्यावहारिक है। अगली सार्थक प्रगति की घोषणा केवल बड़े बेंचमार्क नंबरों से नहीं की जा सकती है। वे तब दिखाई दे सकते हैं जब शोधकर्ता वास्तविक काम को प्रतिबिंबित करने वाले परीक्षण डिजाइन करते हैं, व्यवहार उन्हें आश्चर्यचकित करता है, और मॉडल क्या कर सकता है और उपयोगकर्ताओं द्वारा उनसे विश्वसनीय रूप से प्राप्त किया जा सकता है के बीच सीमा को धक्का देना जारी रखता है।

मेटा विवरण

Microsoft Researcher Jennifer Neville बताता है कि वास्तविक कार्यप्रवाहों के लिए सरल बेंचमार्क से परे मूल्यांकन क्यों मायने रखता है और सिस्टम की प्रगति का आकलन कैसे किया जाए।

टैग

AI मूल्यांकन, माइक्रोसॉफ्ट रिसर्च, जेनिफर नेविले, बेंचमार्क, मानव-एआई इंटरैक्शन

फ़ीचर छवि

पाठ्यपुस्तकों से डेटा तालिकाओं और मूल्यांकन डैशबोर्ड तक एक शाखा मार्ग दिखाने वाला अमूर्त मैत्रीपूर्ण चित्रण, बिना किसी व्यक्ति, लोगो या पाठ के