उपवास AI मनन करने के लिए कब रुकना चाहिए?

मेटा विवरण: एक छोटा डूम मॉडल अकेले कार्य करता है, जब अनिश्चितता होती है तो तर्ककर्ता हस्तक्षेप करता है। ऑफलाइन हैंडऑफ मदद करता है यदि आत्मविश्वास सार्थक हो; लाइव प्ले ने प्रतिबद्धता को पुरस्कृत किया।

टैगः Doom AI, तेज-धीमी एजेंट, ViZDoom, Qwen3.6, मॉडल आत्मविश्वास

एक छोटे से तेज़ गेम कंट्रोलर और बड़े धीमे तर्क नोड का अमूर्त अनुकूल चित्रण, कोई लोग, लोगो या पाठ नहीं। [डेटाः image/svg+ XML ,%3Csvg%20xmlns='http://www.w3.org/2000/svg'%20viewBox='0%200%20800%20450'%3E%3Crect%20width='800' %20height='450'% 20fill='%23f7f9fc'/%3 E%3 Ccircle%20cx='260' 20%cy=' 25%r=' 90% fill=' 20%5b8def' 20%opacity='0.85' round-round' clock ='40'%cyline='25'%220' width ='30'*10'*20'*19*20*50*20*****' cap='0*20 *'20*21*'*2020*'120*1*18*20] '20*26*20#'

arXiv पर पोस्ट किए गए एक पेपर ने परीक्षण किया कि क्या एक छोटा डूम मॉडल अपने आप काम कर सकता है और जब धीमा reasoning model को संभालना चाहिए। परिणाम मिश्रित हैः ऑफ़लाइन, तर्ककर्ता को कम से कम आत्मविश्वास वाले निर्णयों को संभालने देना सटीकता में सुधार हुआ, लेकिन केवल तभी जब छोटे मॉडल का विश्वास वास्तव में अपनी गलतियों को ट्रैक करता था। लाइव ड्यूम प्ले में, उसी गेट के पीछे एक निश्चित अन्वेषण नियम ने उतना ही किया जितना कि तर्ककर्ता ने मुख्य रूप से कम मौतें खरीदीं।

हस्तांतरण क्यों मायने रखता है

कई एजेंट सिस्टम धीमे reasoning model के साथ एक तेज कार्रवाई मॉडल को जोड़ते हैं। बारी-आधारित सेटिंग्स में, धीमी गति से मॉडल आमतौर पर तब बुलाया जाता है जब कुछ होता है, और दुनिया इसके उत्तर की प्रतीक्षा करती है। वास्तविक समय सेटिंग में, धीरे-धीरे मॉडल अक्सर समानांतर रूप से चलता है। कागज एक तीसरे पैटर्न का प्रयास करता है, जो कि खिलाड़ी कैसे व्यवहार करता हैः तेज़ मॉडल हर निर्णय लेता है और तर्ककर्ता को केवल तभी कहा जा सकता है जब गेट खुलता है।

समानता सरल है। जब शूटिंग काम करती है, तो खिलाड़ी को लंबी आंतरिक बहस की आवश्यकता नहीं होती है। सोच तब शुरू होती है जब शूटिंग मदद करना बंद कर देती हैः एक दरवाजा जो नहीं खुलेगा, एक दुश्मन जो वापस आता रहता है, या एक गलियारा पहले से ही दो बार चला गया है। डूम में, खेल रुकता नहीं है जबकि खिलाड़ी यह पता लगाता है कि क्या गलत हुआ था, इसलिए हैंडऑफ कार्रवाई को रोकने के बिना मांग पर होना चाहिए।

पिछले महीने, काम की एक ही पंक्ति ने दो छोटे मॉडल डूम खेलने की तुलना की: लाया और जेम्मा। इस बार, छोटा मॉडल लगातार खेलता है, और reasoning model को केवल गेट खुलने पर बुलाया जाता है।

डूम टेस्ट कैसे बनाया गया था

गेम डूम है, जो फ्रीडूम एसेट्स का उपयोग करके ViZDoom और doomLaya के माध्यम से चलाया जाता है। DoomLaya खेल को सवालों में बदल देता है। हर आधे सेकंड के खेल समय में एजेंट को स्थिति का एक टेक्स्ट विवरण मिलता हैः स्वास्थ्य, गोला-बारूद, दुश्मन, वस्तुएं और दरवाजे। फिर यह एक निश्चित सेट से एक कमांड चुनता हैः हमला करें, कोई आइटम इकट्ठा करें, दरवाजा खोलें, निकास पर जाएं, पीछे हटें, अन्वेषण करें या प्रतीक्षा करें। विकल्प हमेशा उसी क्रम में आते हैं, पहले दुश्मनों के साथ। एक निष्पादक चयनित कमांड को बटन प्रेस में परिवर्तित करता है।

फास्ट साइड ओपन "System One" मॉडल का उपयोग करता है जो सितंबर में दिखाई दिया, जिसमें लाया, केव, लेव, जूलिया, क्लेफ Strands Decider और अन्य शामिल हैं। ये मॉडल पाठ उत्पन्न नहीं करते हैं। वे प्रश्न और उत्तर विकल्पों को पढ़ते हैं और प्रत्येक विकल्प के लिए एक एकल फॉरवर्ड पास में लगभग 29 एमएस प्रति निर्णय लौटाते हैं GPU. llama.cpp अब उन सभी को एक एंडपॉइंट के माध्यम से सेवा देता है, इसलिए एक पुल हर मॉडल के लिए काम करता है।

धीमा पक्ष एक दृष्टि-भाषा मॉडल है जो उत्तर देने से पहले तर्क देता हैः Qwen3.6[235B-A3B, तुलना के लिए Gemma 4 26B के साथ। ऑफ़लाइन, यह तेज़ मॉडल के समान पाठ पढ़ता है। खेल में, यह वर्तमान फ्रेम भी देखता है। यह एक छोटा विचार लिखता है और एक कमांड चुनता है.

निर्णय स्कोर करने के लिए, doomLaya एक नियम-आधारित रेफरी का उपयोग करता हैः दृश्यमान दुश्मनों से लड़ें, केवल वही एकत्र करें जो आपको चाहिए, रास्ते में दरवाजे खोलें, और अन्यथा निकास की ओर बढ़ें। नीचे दी गई सटीकता संख्या उस रेफ्री के साथ समझौते को दर्शाती है, जिसे प्रशिक्षण के लिए कभी इस्तेमाल नहीं किए गए बीजों पर खेले जाने वाले खेलों से 900 प्रश्नों पर मापा जाता है। वह नीति एक उचित नियम है, सच्चाई नहीं है, और यह "अन्वेषण" का जवाब कभी नहीं देता है। सब कुछ होम पीसी पर चलता है।

गेट पांच संकेतों को देखता हैः अनिश्चित, जब विश्वास कम होता है तीन बार एक पंक्ति में; फंस गया, जब एजेंट मुश्किल से 5 सेकंड के लिए चलता है और कोई दुश्मन नहीं दिखाई देता है; अवरुद्ध, जब हाल ही में आधे आदेश निष्पादित नहीं किए जा सकते हैं; लूप, जब वही कमांड 15 सेकंड से अधिक समय तक प्रकट होता है 80%; और कोई नया क्षेत्र नहीं, जब कुछ भी नया 15 सेकेंड में हासिल नहीं किया जाता है। जब कोई फायर करता है, तो तर्ककर्ता का चुना हुआ कमांड एक योजना के रूप में माना जाता है जो तेज मॉडल को ओवरराइड करता है। तेज मॉडल अभी भी बाकी समय खेलता है, और गेम चल रहा रहता है जबकि तर्ककर्ता सोचता है।

आत्मविश्वास को वास्तविक त्रुटियों का पता लगाना चाहिए

पहली समस्या यह है कि छोटे एक्शन मॉडल एकत्र करने की ओर झुकाव रखते हैं। औसतन, एक प्रश्न में 7.5 विकल्प होते हैं, और उनमें से 3.6 आइटम इकट्ठा करना होता है, इसलिए कई गलत उत्तर संयोग से किसी वस्तु पर उतरेंगे। System One मॉडल 0.15B से 9B मापदंडों और विभिन्न निर्माताओं के मॉडलों में यादृच्छिक गलत जवाब की तुलना में 1.6 से 1.8 गुना अधिक बार आइटم चुनते हैं। अपवाद सबसे छोटा Kev है, जिसकी संभावनाएं लगभग समान होती हैं। तर्ककर्ता बिना कारण के पूर्वाग्रह को साझा करता है, 1.8 पर, और कम कारण के साथ, 1.4 पर।

विकल्प क्रम भी मायने रखता है। doomLaya के निश्चित आदेश में, सही उत्तर प्रश्नों का 41% में पहला विकल्प होता है। विकल्पों को मिलाकर Strands Decider से 0.59 और Kev 9B से 0.50 तक गिरावट आती है, जबकि Clef-Flash अप्रभावित रहता है. आइटम की ओर खींचना किसी भी क्रम में रहता है। संदर्भ के लिए, doomGemma, एक छोटा जेम्मा मॉडल पिछले तुलना से doomLay के डेटा पर ठीक किया गया है, अनदेखे बीज पर 0.86 तक पहुंचता है और 0.85 मिश्रण वाले विकल्पों के साथ।

एक आत्मविश्वास गेट को सटीकता से अधिक की आवश्यकता होती है। तेज मॉडल का विश्वास कम होना चाहिए जब यह गलत हो। पेपर इसे AUROC के साथ मापता है, एक स्कोर जहां 0.5 का मतलब है कि आत्मविश्वास सही होने के बारे में कुछ नहीं कहता है और 1.0 का अर्थ है कि यह सही से गलत को पूरी तरह से अलग करता है। पांच मॉडल समय के रेफरी 5418]60% से सहमत हैं, लेकिन उनका एयूआरओसी 0.60 से 0.89 तक होता है। कैलिब्रेशन इसकी भविष्यवाणी नहीं करता हैः दो सर्वश्रेष्ठ-कैलिब्रेटेड मॉडल बीच में बैठते हैं।

कुल संख्या में दो प्रकार के संकेत छिपे हुए हैं। AUROC पर 600 आयोजित कमांड प्रश्न, doomLaya's विकल्प क्रम का उपयोग करते हुए, दिखाता है कि लाया आधार सबसे अधिक जानकारीपूर्ण समग्र आत्मविश्वास है, लेकिन एक एकल प्रकार की स्थिति के भीतर यह संयोग से होता है। स्ट्रैंड्स और Kev 9B विपरीत प्रोफ़ाइल दिखाते हैंः कमजोर समग्र, एक प्रकार के भीतर बेहतर। लाया बेस झगड़े और दरवाजे पर आश्वस्त है, जो इसे सही करता है, और निकासों और वस्तुओं पर अनिश्चित है, जिसे यह गलत करता है। स्ट्रेन्ड्स और केव 9B इसके विपरीत करते हैं।

एक गेट के लिए, मोटा सिग्नल उपयोगी है, क्योंकि स्थिति प्रकारों के बीच सटीकता तेजी से भिन्न होती हैः लाया आधार के लिए सटीकता निकास पर 0 और लड़ाई में 1 के करीब है। एक चेतावनी है। रश किए गए विकल्पों के साथ, स्प्रेड 0.52 से 0.77 तक संकीर्ण हो जाता है, इसलिए यह विचार कि सबसे सटीक मॉडलों में कम से कम सूचनात्मक आत्मविश्वास होता है केवल doomLaya के निश्चित क्रम में रहता है।

ऑफलाइन हैंडओफ ने मदद की, लेकिन तर्ककर्ता से परे नहीं

ऑफ़लाइन परीक्षण एक साफ सवाल पूछता हैः तेज़ मॉडल के कम से कम आश्वस्त निर्णय लेते हैं, उन्हें असीमित समय के साथ तर्ककर्ता को सौंपते हैं, और इसकी तुलना यादृच्छिक रूप से समान हिस्सेदारी देने के साथ करते हैं। Qwen3.6 के लिए तर्क के साथ, लाया के सबसे कम आत्मविश्वास वाले फैसलों को सौंपना बेतरतीब हस्तांतरण को हरा देता है। अभिनेता और हैंडओवर दर का चयन टेस्ट सेट पर किया गया था; होल्ड-आउट गेम्स पर उठाए गए, रैंडम पर लाभ +0.13. 30%, लाया प्लस रीजनेर तक पहुंचता है 0.75, 0.60 के खिलाफ बिना किसी प्रशिक्षण के, आकस्मिक हस्तान्तरण के लिए।

Because Laya और 30% दर को एक ही प्रश्नों पर चुना गया था, कागज ने चयन को 500 बार खेल के आधे हिस्से में फिर से चलाया और दूसरे आधे भाग पर मापा। यादृच्छिक हस्तांतरण पर लाभ अभी भी बरकरार हैः +0.13 [0.08, 0.18]। जो नहीं रखता है वह यह है कि युग्म दोनों मॉडलों की तुलना में बेहतर है। यह मोटे तौर पर अकेले तर्ककर्ता से मेल खाता है, जो स्कोर 0.69 करता है, जबकि निर्णयों का कारण बताता है।

दोनों विकल्प आदेशों में नौ तेज मॉडल के पार, रैंडम हैंडओवर पर लाभ AUROC को ट्रैक करता है, जिसमें रैंक सहसंबंध होता है। स्ट्रैंड्स और केव के साथ 9B, आत्मविश्वास से सौंपना यादृच्छिक रूप से सौंपने जैसा ही है। मिश्रित विकल्पों के साथ, लाभ +0.08 0.02,0.14 तक सिकुड़ जाता है। तर्क के बिना, तर्ककर्ता तेजी से मॉडल की पूर्वाग्रह साझा करता है और लाभ आधा हो जाता है.

समय एक बाधा है. तर्ककर्ता प्रति निर्णय 1,300 tokens का मध्य लिखता है, जबकि तेज मॉडल हर आधे सेकंड में फैसला करता है, इसलिए वास्तविक समय में निर्णयों को सौंपना असंभव है। घटनाओं पर तर्ककर्ता को बुलाया जाना चाहिए, और प्रत्येक विचार को कई फैसलों का मार्गदर्शन करना होगा।

Live Doom: प्रतिबद्धता तर्क से अधिक मायने रखती है

लाइव खेल में, लेखक ने पहले मानचित्र पर 33 गेम चलाए, तीन बीज प्रति संस्करण, प्रत्येक 180 सेकंड। तेज मॉडल ज्यादातर टाइप किए गए-निर्णय लाया थे। कोई भी संस्करण निकास तक नहीं पहुंचा; निकटतम खेल 4 मीटर के भीतर आया था। क्योंकि कोई सफलता दर नहीं थी, मूल्यांकन की गणना की गई कि प्रत्येक गेम कितने नक्शे को कवर करता है और यह कितने दरवाजे खोलता है।

एक नंगे तर्ककर्ता को प्रति खेल लगभग 14 बार बुलाया गया था। इसके आधे विचारों ने कहा कि निकटतम वस्तु को इकट्ठा करें, और इसकी योजनाएं लगभग एक सेकंड तक चलती हैं। फिर सेटअप बदल दिया गयाः डूम ज्ञान के कुछ वाक्य अपने प्रॉम्प्ट में जोड़े गए थे, दोहराए जाने वाले कमांड को उसके विकल्पों से हटा दिया गया था, और एक योजना को तब तक चलने की अनुमति दी गई थी जब तक यह असंभव नहीं हो जाता, क्षति के फटने से बाधित होता है, या 45 सेकंड पर कैप किया जाता है।

नियंत्रण ने एक ही गेट और समान प्रतिबद्धता का उपयोग किया, लेकिन विचार को एक निश्चित अन्वेषण नियम से बदल दिया। योजना के लिए प्रतिबद्ध होने से केवल तेज मॉडल की तुलना में अधिक दरवाजे खुले थे, लेकिन फिक्स्ड एक्सप्लोर नियम ने तर्ककर्ता के साथ-साथ ऐसा भी किया था। नियम ने 83 कोशिकाओं के खिलाफ 64 3.83 पर जितने दरवाजे खोले और उतनी ही जमीन कवर की। यह अक्सर मर गया 2.7 प्रति गेम बार 1.3 । प्रत्येक संस्करण के तीन खेलों के साथ, वह शोर हो सकता है, लेकिन अन्य तेजी से मॉडल के साथ वही पैटर्न हुआ। इसलिए अधिकांश लाभ खोज करने के लिए वचनबद्ध होने से आया, न कि तर्ककर्ता ने क्या कहा। क्या फाटक कम आत्मविश्वास या प्रगति की कमी पर खुला जब तर्ककर्ता को बुलाया गया था, ये परिणाम नहीं बदले।

मूल लाया मॉडल बिंदु को तेज बनाता है। अपने आप में, यह सभी तीन बीजों में पूरे खेल के लिए अभी भी खड़ा था। गेट और रीजरनर के साथ, इसने खेलाः 66 कोशिकाएं और 8.7 दरवाजे। गेट और फिक्स्ड नियम के साथ यह भी खेला गया, और यहां तक कि अधिक जमीन कवर की गई: 81 सेल और 9 दरवाजे, लेकिन प्रति गेम 0.7 बार मर गए। इसे अनब्लॉक करने के लिए क्या प्रतिबद्ध किया जा रहा था; तर्ककर्ता ने जोड़ा वह उत्तरजीविता थी।

सोचने से खेल का समय भी खर्च होता है। डूम ज्ञान और प्रतिबद्धता के साथ, तर्ककर्ता 38 [6 70% गेम के लिए व्यस्त था, और एक योजना 9 29 29 सेकंड पुराने फ्रेम पर शुरू हुई थी।

प्रत्येक विचार को पढ़ने से पता चलता है कि श्रृंखला कहां टूटती है। तीन प्रतिबद्ध वेरिएंट में, सभी 25 असफल योजनाएं एक बंद दरवाजे पर समाप्त हो गईं। निष्पादक ने दरवाजा की सूचना दी और इसे खोलने का सुझाव दिया। तर्ककर्ता ने इसे एक बार खोलने के लिए चुना; 25 विचारों में से 17 में, इसने निष्कर्ष निकाला कि दरवाजे को एक कुंजी की आवश्यकता थी। जोड़ा गया प्रलय ज्ञान दूसरे नक्शे से आया था, जहां वास्तव में एक द्वार को पीली चाबी की आवश्यकता होती है। पहले मानचित्र पर यह नहीं करता है, और राज्य इसे निपटाने में सक्षम नहीं हैः यह एक बंद दरवाजा रिपोर्ट करता है न कि यह लॉक किया गया है या नहीं। उस ज्ञान के बिना, एक दरवाजा विफलता के बाद कोई भी विचार किसी कुंजी का उल्लेख नहीं करता, लेकिन तर्ककर्ता अपने विचारों में आइटम इकट्ठा करने के लिए वापस चला जाता है। एक गलत नुस्खा दूसरे के लिए व्यापार किया गया था।

प्रत्येक सुधार ने समस्या को एक कदम आगे बढ़ाया: कब सोचना है, विचार क्या निर्धारित करता है, योजना कितनी देर तक चलती है और फिर वापस उस स्थिति में जो तर्ककर्ता को यह नहीं बता सकती कि उसे क्या जानने की जरूरत है।

एजेंट बिल्डर्स परिणामों से क्या ले सकते हैं

तेज और धीमी एजेंटों के निर्माण के पाठकों के लिए, व्यावहारिक टेकअवे संकीर्ण लेकिन उपयोगी है। यदि सिस्टम एक विश्वास गेट का उपयोग करता है, तो फास्ट मॉडल को केवल सटीकता से नहीं बल्कि गेट की आवश्यकता पर भरोसा करके चुनें। आत्मविश्वास जो ट्रैक करता है कि कौन सी स्थितियां मॉडल खराब हैंडल करती हैं, हेडऑफ के लिए पर्याप्त है। इसे अपने स्वयं के डेटा पर मापें, और विकल्पों के साथ परीक्षण करें।

ऑफ़लाइन, विश्वास-आधारित हैंडओफ उस सिग्नल के अनुपात में यादृच्छिक हस्तांतरण को हराता है, और इसे एक तर्ककर्ता की आवश्यकता होती है जो वास्तव में कारण देता है। आयोजित किए गए खेलों पर, युग्म 30% कॉल पर तर्क करने वाले की सटीकता तक पहुंच जाता है, अधिक नहीं। लाइव लूप में, योजना के लिए प्रतिबद्ध होना योजना की सामग्री से अधिक मायने रखता हैः अब तक, विचारों ने कम मौतें खरीदीं, न कि बाहर निकलने की दिशा में प्रगति। एक तर्कदाता को ऐसी योजनाओं की जरूरत है जो उनके लक्ष्यों के रूप में लंबे समय तक चलती हों, एक निष्पादक जो उन्हें पूरा कर सकता हो, और एक राज्य प्रतिनिधित्व जो उसे बताता है कि उसे क्या जानना चाहिए।

सीमाएँ वास्तविक हैं। लाइव परीक्षण एक नक्शा और 33 गेम हैं। सटीकता को एक नियम-आधारित नीति के खिलाफ मापा जाता है जो कभी भी अन्वेषण का पुरस्कृत नहीं करता है। विकल्प क्रम कुछ मॉडलों को प्रभावित करता है. अगला प्रश्न यह नहीं है कि तर्क सिद्धांत में मदद कर सकता है, लेकिन क्या अधिक समृद्ध खेल राज्य एक बंद दरवाजे को लॉक किए गए व्यक्ति के रूप में व्यवहार करने से रोक सकते हैं।