मैं 76 घंटे के लिए एक खेल खेलने के लिए AI एजेंट प्रशिक्षित, और यह अपनी गलतियों से सीखा.

मेटा विवरण: laptop CPU पर 76 घंटे तक प्रशिक्षित एक स्क्रैच से सुदृढीकरण एजेंट दिखाता है कि पुराने स्तर की पुनरावृत्ति सबसे अधिक मायने रखती है, जबकि विफलता दोहराव चोट और प्लास्टिसिटी हानि वास्तविक थी।

टैगः reinforcement learning , Double DQN, विनाशकारी भूलना, क्षरण, प्लास्टिसिटी

विशेष रुप से प्रदर्शित छवि: एक छोटे CPU चिप, एक धावक खेल और neural network के फीका होने का अमूर्त मैत्रीपूर्ण चित्रण; कोई लोग नहीं, कोई लोगो, कोई पाठ नहीं।

एक डेवलपर ने स्क्रैच से सुदृढीकरण-शिक्षण एजेंट का निर्माण किया, इसे laptop CPU पर 76 घंटे तक प्रशिक्षित किया और फिर 15 एब्लेशन रन के साथ इसका परीक्षण किया। परिणाम कोई सरल सफलता की कहानी नहीं थी। एजेंट कठिन स्तरों पर हाथ से लिखे गए खिलाड़ी को हराने के लिए पर्याप्त मजबूत हो गया, लेकिन सबसे उपयोगी तंत्र सिस्टम में सबसे सादा निकलाः पहले से ही पारित परतों को पुनः चलाना। विफलता से सीखने के लिए डिज़ाइन किए गए दो तंत्र, और पाठ्यक्रम जिसने एजेंट को आगे बढ़ाया, प्रत्येक ने हटाए जाने पर आयोजित प्रदर्शन को बदतर बना दिया।

यह प्रयोग इस बात का भी परीक्षण था कि जब neural network कभी प्रशिक्षण बंद नहीं करता तो क्या होता है। 226 मिलियन चरणों में, नेटवर्क ने धीरे-धीरे हाल के शोध की भविष्यवाणियों से मेल खाते हुए प्लास्टिसिटी खो दी। निरंतर बैकप्रॉप नामक एक फिक्स ने नेटवर्क को स्वस्थ रखा, लेकिन इससे केवल एजेंट बेहतर खेल सकता था। कोड, कच्चे मैट्रिक्स और संख्याएं अंतहीन शिक्षार्थी में प्रकाशित होती हैं।

एक छोटा सा खेल और एक छोटी सी सीख

पर्यावरण एक साइड-स्क्रॉलिंग धावक खेल था जो उद्देश्य से छोटा रहने के लिए बनाया गया था। इसमें कम और ऊंचे ब्लॉक, अंतराल, ओवरहैंड्स शामिल थे जिनसे एजेंट नीचे डंक कर सकता है, और ऐसे ब्लॉकों की ओर स्लाइड हो सकते हैं। टियर 5 से आगे, बाधाएं तंग संयोजनों में दिखाई देती थीं। एजेंट के पास चार कार्य हैंः कुछ भी नहीं, शॉर्ट जंप, लॉन्ग जम्प और बतख।

प्रत्येक स्तर एक स्तरीय और बीज का शुद्ध कार्य था। टियर में कोई शीर्ष नहीं था: गति, बाधा घनत्व, और बाधा मिश्रण तब तक बढ़ता रहा जब तक कि वे भौतिकी द्वारा निर्धारित सीमाओं को हिट नहीं करते थे। किसी भी स्तर को सौंपने से पहले, कूद समय पर गहराई-प्रथम खोज ने जांच की कि यह समाप्त हो सकता है। खेल के समान भौतिक कोड का उपयोग किया गया था, इसलिए मृत्यु को कभी भी असंभव स्तर पर दोष नहीं दिया गया था।

लर्नर Double DQN को वैन हेसल्ट एट अल द्वारा 2016 में पेश किया गया था, जिसमें 3-चरण रिटर्न और एक लक्ष्य नेटवर्क था। इसमें 155-128-128-4 मल्टीलेयर पर्सेप्ट्रॉन का उपयोग किया जाता था। फॉरवर्ड पास, बैकवर्ड पास और एडम ऑप्टिमाइज़र हाथ से लिखे गए थे और 1e-8 के आसपास की अधिकतम सापेक्ष त्रुटि के साथ केंद्रीय मतभेदों के खिलाफ जांच की गई थी। i7-1265U laptop CPU के एक कोर पर सिस्टम 870 से 1,180 पर्यावरण चरण प्रति सेकंड के औसत पर चलता था। यह GPU की तुलना में धीमा है, लेकिन इसने हर ढाल को दिखाई दिया।

डेवलपर एक एजेंट चाहता था जो विफलता से सीखा और कभी प्रशिक्षण बंद नहीं किया। सादे पुनरावृत्ति के शीर्ष पर, दो तंत्रों को जोड़ा गया था। प्राथमिकता प्राप्त अनुभव दोहराव, शाऊल एट अल. में 2016 , उनके समय-अंतर त्रुटि के अनुपात में संक्रमण का नमूना लिया। मृत्यु से पहले JUST परिवर्तन आश्चर्यजनक थे, इसलिए उन्हें अधिक बार फिर से चलाया गया। एक मौत बैंक ने प्रत्येक मौत से पहले 20 निर्णयों से खेल की स्थिति को बचाया, और सभी एपिसोड के एक चौथाई उन राज्यों में से किसी एक से पुनः आरंभ किए गए। इसने एजेंट को उस सटीक स्थिति का अभ्यास करने दिया जिसने इसे मार डाला, गो-एक्सप्लोर,स [6पहले वापसी, फिर अन्वेषण के पीछे के विचार को दर्शाते हुए, Ecoffet et al. in 2021, और फ्लोरेन्सा एट एल. में पाठ्यक्रम पीढ़ी को उल्टा करना 2017.

प्रशिक्षण जारी रखने के लिए, एक पाठ्यक्रम एजेंट को बढ़ावा देता है जब वह अपने स्तर पर ताजा स्तरों 80% से गुजरता है। उच्च समय-अंतर त्रुटि वाले स्तरों को और अधिक दोहराया गया था, जियांग एट अल द्वारा प्राथमिकता वाले स्तर की पुनरावृत्ति का एक विचार 2021 में भूलने को कम करने के लिए , एपिसोड के एक परत को फिर से चलाया गया जो एजेंट पहले ही पारित हो चुका था, और पूरे इतिहास का एक जलाशय नमूना प्रत्येक प्रशिक्षण बैच का एक चौथाई हिस्सा बना।

प्रदर्शन को हर 200,000 चरण में मापा गया था। एजेंट ने बिना किसी अन्वेषण के 20 स्तरों का खेल खेला। उन बीजों का उपयोग कभी भी प्रशिक्षण के लिए नहीं किया जाता था। क्योंकि एक एकल मूल्यांकन दौर शोर था, प्रत्येक रिपोर्ट की गई संख्या राउंड की खिड़की पर औसत थी। एक आंकड़ा उसी अदृश्य टियर -6 स्तर को दर्शाता हैः 30 मिनट के प्रशिक्षण के बाद एजेंट बैंगनी रंग में और 29.5 घंटे के बाद नीले रंग में।

तीन शुरुआती कीड़े छत सेट

आश्चर्यजनक परिणामों से पहले, लेखक की अपनी धारणाओं में तीन बग को हटाया जाना था। प्रत्येक एक दिन का खर्च आया और प्रत्येक ने सामान्य सबक दिया।

पहली बग यह थी कि एजेंट अंतराल किनारों को नहीं देख सकता था। प्रारंभिक अवलोकन एजेंट से बाहर नौ किरणें फैला रही थीं। एक निश्चित प्रशंसक केवल चार दूरी पर जमीन को छूता था: 0.8, 1.6, 3.1, और 8.2 इकाइयां आगे। एजेंट जानता था कि एक अंतर मौजूद है, लेकिन इसकी सीमा कहाँ नहीं है। 1.2 मिलियन चरणों के चार रन में, कोई भी टीयर 1 पास नहीं हुआ, जो अंतरालों के साथ पहला स्तर था। गैप ने एजेंट को उसकी परीक्षाओं की 26% से 44% में मार डाला। एक इलाके स्कैन जोड़ना, जहां पाठ्यक्रम 12 इकाइयों के लिए हर आधे इकाई का नमूना लिया गया था, समस्या ठीक कर दी गई थी। सभी चार टियर 1 रन 230,000 से 340,000 तक पारित हुए थे। क्या एजेंट छत का निरीक्षण कर सकते हैं, और सीखने की कोई मात्रा इसके आसपास नहीं मिलती है।

दूसरा बग यह था कि अन्वेषण ने छिपाया कि नीति पहले से ही कितनी अच्छी थी। निर्णय के अनुसार 3% यादृच्छिक कार्यों के साथ, एक समय-महत्वपूर्ण खेल अक्सर एजेंट को मार देता है। एक्सप्लोरिंग एपिसोड टियर -0 स्तरों के बारे में पारित हुए,40% जबकि वही नेटवर्क, लालच से खेला गया, आयोजित किए गए लोगों के पास100% पारित हुआ। पाठ्यक्रम गलत सिग्नल पर एजेंट का प्रचार कर रहा था। फिक्सिंग के बाद, ताजा स्तरों को लालची परीक्षाओं के रूप में खेला गया और केवल परीक्षाएं पदोन्नति के लिए गिना गईं।

तीसरे बग ने लेखक को सबसे अधिक आश्चर्यचकित किया: नीति अपने पैरों के नीचे बदल गई। सीखने के साथ जमे हुए, नेटवर्क का एक स्नैपशॉट 100 यादृच्छिक टियर -0 स्तरों से गुजरा 100% । उसी नेटवर्क ने प्रशिक्षण लेते समय खेलते हुए लगभग 55% पारित कर दिया। प्रत्येक अद्यतन ने कुछ राज्यों में लालची कार्रवाई को पलट दिया, जिसे पॉलिसी चर्न कहा जाता है। एक एपिसोड लगभग सौ अपडेट तक चला था, और इस गेम में एक टिक देर से कूदना मौत थी। फिक्स ऑनलाइन भार के बजाय वजन की घातीय चलती औसत का उपयोग करके कार्य करना था, जिसे पोलियाक एवरेजिंग कहते हैं, जो प्रति अपडेट 26 के साथ होता है। दो बीज पर, वह संस्करण दोनों पर टीयर फ्रंटियर 4 तक पहुंच गया, जबकि 2 टीयर्स और 4 ऑनलाइन वेट्स के लिए थे।

एजेंट चढ़ाई, तो plateaued

उन बगों को ठीक करने के साथ, मुख्य रन तेजी से चढ़ गया। पहले सात पदोन्नति दौड़ की पहली 3% में हुईं। एजेंट 1 से 7 तक 0.09 मिलियन,0.25 मिलियन,0.42 मिलियन,0.60 मिलियन,0.75 मिलियन3.3 और 6.3 मिलियन चरणों पर पहुंच गया था। यह सभी सात प्रचारों के लिए सक्रिय घंटे थे। फिर इसने शेष 220 मिलियन कदम बिताए, लगभग 74 अधिक घंटे, 5 और 7 स्तरों के बीच, और कभी भी टियर 8 नहीं रखा। एक अन्य रन को 35 लाख चरणों में टीयर 8 में बढ़ावा दिया गया था और फिर 36 मिलियन कदमों पर वापस गिराया गया।

स्केल के लिए, डेवलपर ने एक नियम-आधारित खिलाड़ी लिखा जो सीधे स्तर को पढ़ता था और अगले बाधा पर अपनी चाप केंद्र करने के लिए प्रत्येक कूद का समय निर्धारित करता था। वह खिलाड़ी टियर 4 तक सही था, फिर टियर -5 के स्तरों में 60% पारित किया गया और 30% 6 और 7 के स्तर पर। सीखा एजेंट रन के आधार पर टियर 6 पर 52% से 65% और 49% से 63% तक पहुंच गया। टायर 6 और 7, यह पूर्ण जानकारी के साथ खिलाड़ी को हराया, जिसे लेखक की उम्मीद नहीं थी।

चतुर तंत्र चोट

प्रत्येक घटक के मूल्य को मापने के लिए, डेवलपर ने एक समय में एक को हटा दिया। ablations पांच वेरिएंट, तीन बीज और 5 मिलियन चरणों प्रति रन का उपयोग किया गया था। स्कोर 0 से 5 स्तरों पर सफलता-बाहर रखा गया था, जो 4 मिलियन से 5 मिलियन कदम तक मूल्यांकन राउंड में औसत है।

दो निष्कर्ष बाहर खड़े हुए। पुराने स्तरों को फिर से खेलना वह था जिसने सब कुछ एक साथ रखा। इसके बिना, प्रत्येक बीज किसी भी अन्य संस्करण की तुलना में औसतन 1.9 मिलियन से 3.3 मिलियन चरणों पर टियर 7 तक पहुंच गया। लेकिन यह आसान परतों को लगभग पूरी तरह से भूल गया। बीजों के माध्यम से औसत किया गया, यह केवल 5% से 23% टियर -0 से टियर -3 स्तर तक पारित हुआ, जहां पूर्ण कॉन्फ़िगरेशन 61% से 96% पास हो गया। जैसा कि किर्कपैट्रिक एट अल द्वारा वर्णित है 2017. लेखक का मानना है कि एक पाठ्यक्रम इसे डिजाइन द्वारा बदतर बना सकता है, क्योंकि यह पुराना डेटा पीछे छोड़ने के लिए एक अनुसूची है।

दूसरा निष्कर्ष यह था कि दो विफलता-शिक्षण तंत्र एजेंट को बदतर बनाते हैं। पाठ्यक्रम ने भी किया। उन तीनों में से किसी एक को हटाने से प्रत्येक बीज पर पूर्ण कॉन्फ़िगरेशन हरा, और बीज सीमाएं ओवरलैप नहीं हुईं।

इस परिणाम को दिलचस्प बनाने वाली बात यह थी कि दोनों विफलता तंत्रों ने अपनी स्थानीय नौकरियां अच्छी तरह से कीं। मुख्य रूप से, डेथ बैंक ने 2 प्रयासों के मध्य में 323,444 एपिसोड फिर से शुरू किए और 62 असफलताओं को ठीक किया, बिना किसी एक पर हार मानने के। मृत्यु से पहले JUST संक्रमण नियमित लोगों की समय-अंतर त्रुटि का 63 गुना था,0.56 बनाम 0.10, इसलिए प्राथमिकता वाले पुनरावृत्ति उस बिंदु पर ध्यान केंद्रित कर रहे थे जहां इसका मतलब था। प्रत्येक स्थानीय मीट्रिक ने कहा कि विफलता से सीखना काम कर रहा था। वैश्विक मीट्रिक्स ने बताया कि एजेंट इसके बिना बेहतर था।

लेखक का अनुमान है कि प्रत्येक तंत्र ने एजेंट को प्रशिक्षित किया, और यह ध्यान केंद्रित करने की तुलना में अधिक लागत कम हो गई। प्राथमिकता प्राप्त पुनरावृत्ति आश्चर्यजनक संक्रमणों को ओवरसैम्पल करती है। मृत्यु बैंक एक मौत से पहले JUST के टुकड़ों पर सभी एपिसोड्स का एक चौथाई खर्च करता है। पाठ्यक्रम एक समय में एक स्तर पर एजेंट रखता है। प्रत्येक झुकाव छोटा होता है, लेकिन वे ढेर होते हैं। उस स्पष्टीकरण का सीधे परीक्षण नहीं किया गया है, और इन परिणामों को 5 मिलियन-कदम बजट के साथ मापा गया था। बहुत लंबे प्रशिक्षण के साथ, संतुलन बदल सकता है।

व्यापक सबक मीट्रिक के बारे में है, पुनरावृत्ति नहीं। एक तंत्र अपने स्वयं के उत्कृष्ट नंबर हो सकता है, जैसे कि विफलता तय या त्रुटि केंद्रित जहां यह होना चाहिए, और अभी भी महत्वपूर्ण संख्या को स्थानांतरित करने में असफल. आप केवल पता चलता है कि बाहर ले जाकर तंत्र दूर.

226 मिलियन कदमः नेटवर्क ने प्लास्टिसिटी खो दी

दूसरा सवाल यह था कि एक ऐसे नेटवर्क का क्या होता है जो कभी प्रशिक्षण बंद नहीं करता। दोहरे एट अल., नेचर में 2024, दिखाया गया कि बदलते कार्य पर प्रशिक्षित नेटवर्क धीरे-धीरे सीखने की क्षमता खो देते हैं. इकाइयाँ मर जाती हैं, प्रतिनिधित्व ढह जाता है, और नई चीजें ताजा नेटवर्क से बदतर सीखी जाती हैं। अंत के बिना एक पाठ्यक्रम ठीक उसी तरह की सेटिंग है।

प्रभाव स्पष्ट रूप से दिखाई दिया। लेखक ने तीन चीजों को ट्रैक कियाः छिपी हुई इकाइयों का हिस्सा जो कभी भी राज्यों के एक बैच पर फायर नहीं करता है, अंतिम छिपी परत की प्रभावी रैंक जिसे कुमार एट अल में 2021 और वजन मानदंड कहा जाता है। 226 मिलियन चरणों में, 21% सादे नेटवर्क की इकाइयाँ मृत थीं। स्क्रैंक लगभग 117 से 58 तक गिर गया। वजन मानक 24 से 194 तक बढ़ गया।

प्रस्तावित फिक्स निरंतर बैकप्रॉप था: कम से कम उपयोगी छिपी हुई इकाइयों की एक ट्रिपल को ताजे लोगों के साथ बदलते रहें। एक इकाई की उपयोगिता उसके सक्रियण गुणा के चल रहे औसत थी। नई इकाइयाँ शून्य आउटगोइंग वजन के साथ शुरू हुईं, इसलिए यूनिट कुछ सीखने तक रीसेट ने कुछ भी नहीं बदला। डेवलपर इसे उसी बीज और कॉन्फ़िगरेशन पर चलाया। इसने मृत इकाइयां 0.4% पर रखी और पूरे 226 मिलियन चरणों के लिए 116 पर सिकुड़ गई, और दूसरे बीज में समान परिणाम दिखाए गए। नेटवर्क स्वास्थ्य के लिए एक समाधान के रूप में, यह पूरी तरह से काम किया।

यह स्पष्ट नहीं था कि इससे एजेंट बेहतर खेलता है या नहीं। मुख्य तुलना स्तर 7 पर थी, जो किसी भी रन का सबसे कठिन स्तर था।

बीज 0 के लिए, सादे रन में दो लंबे डुबकी थे। यह 40 मिलियन और 100 मिलियन चरणों के बीच 59% से 17% तक गिर गया, और 200 मिलियन कदमों के बाद 2021 से 36% तक चला गया। निरंतर-बैकप्रॉप रन अपने पहले 10 मिलियन चरण के बाद पूरे समय 50% और 65% के बीच रहा। 100 मिलियन से 200 लाख चरणों तक, दोनों रन समतल थे।

सीड 1 के लिए, सादा रन कभी नहीं गिरा। यह टियर 7 पर 100 मिलियन चरणों में औसतन 63% था, जो निरंतर बैकप्रॉप से थोड़ा ऊपर है 58%, जबकि इसकी मृत इकाइयाँ अभी भी 14% तक चढ़ गईं। आसान स्तरों पर, 0 से 6 तक के सभी चार रनों का औसत 75 से 76 हो गया।

बीज 0 के बाद ही, लेखक लिखने को तैयार था कि निरंतर बैकप्रॉप ने एजेंट को बचाया। सीड 1 यही कारण है कि वह वाक्य लेख में नहीं है। संकीर्ण सबूत यह है कि प्लास्टिसिटी का नुकसान वास्तविक है और सतत बैकप्रोप इसे हटा देता है, लेकिन एक नेटवर्क जिसमें इसकी पांचवीं इकाइयां मर गई हैं, अभी भी लंबे समय तक अच्छी तरह से खेल सकता है। क्षय केवल कभी-कभी बदतर खेलने में बदल जाता है। लेखक की रीडिंग है कि लगातार बैकप्रॉप डिप्स के खिलाफ सुरक्षा करता है, हालांकि दो बीज यह नहीं बता सकते हैं कि ये डुबकी कितनी बार होती हैं।

किसी भी संस्करण ने कभी स्तर 8 नहीं रखा। जो कुछ भी एजेंट को स्तर 7 पर रोकता है वह न केवल प्लास्टिसिटी हानि है। लेखक नेटवर्क क्षमता या अवलोकन का अनुमान लगाता है, लेकिन इसका परीक्षण नहीं किया गया है।

बिल्डरों के लिए इसका क्या मतलब है

पहला व्यावहारिक टेकअवे स्मार्ट मशीनरी जोड़ने से पहले सादे संस्करण को मापना है। सिस्टम में सबसे प्रभावी तंत्र एक जलाशय नमूना और पुराने स्तर को फिर से चलाने का मौका था। अधिक परिष्कृत विफलता-शिक्षण विचारों को यह पता लगाने के लिए कि वे प्रदर्शन की लागत कर रहे थे, एबलेशन की आवश्यकता थी।

दूसरी बात यह है कि स्थानीय मैट्रिक्स स्वस्थ दिख सकते हैं जबकि वैश्विक मीट्रिक फ्लैट रहता है। डेथ बैंक ने 23,117 विफलताओं को ठीक किया। इसने अभी भी सफल सफलता को नुकसान पहुंचाया है। प्राथमिकता प्राप्त पुनरावृत्ति केंद्रित त्रुटि जहां इसे जाना चाहिए था। यह अभी भी चोट लगी है।

तीसरा टेकअवे दूसरा बीज चलाना है। एक बीज ने एजेंट को बचाने वाले निरंतर बैकप्रॉप के बारे में एक साफ कहानी दी। दूसरे बीज ने उस कहानी को बदल दिया। किसी भी छोटे सुदृढीकरण-शिक्षण प्रणाली, विशेष रूप से CPU -केवल hardware पर निर्माण करने वालों के लिए, यह प्रयोग एक अनुस्मारक है कि दृश्यता, सरल आधार रेखाएं और ईमानदार एब्लेशन अक्सर एक और चालाक घटक जोड़ने से अधिक मायने रखते हैं।