एजेंट प्रदर्शन घटता है के रूप में संदर्भ विंडो बढ़ते हैं, और उन्हें दोगुना चौगुनी ध्यान लागत

मेटा विवरणः जानें कि संदर्भ सड़न large language model मेमोरी में क्रमिक गिरावट क्यों है, वास्तुशिल्प कारण क्या दिखते हैं और संदर्भ इंजीनियरिंग क्यों मायने रखती है।

टैगः संदर्भ संक्षारण, large language models , संदर्भ इंजीनियरिंग, AI स्मृति, मॉडल वास्तुकला

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक लम्बी स्क्रॉल का अमूर्त चित्रण, जिसका पाठ धीरे-धीरे एक छोर की ओर लुप्त होता जा रहा है। इसमें हल्के रंगों के उतार-चढ़ाव होते हैं और कोई व्यक्ति, लोगो या लिखित शब्द नहीं होते.

यह लेख उन लोगों के लिए है जो chatbots , कोडिंग सहायक, अनुसंधान उपकरण या दस्तावेज़ सारांशक का उपयोग करते हैं और उन्होंने देखा है कि बातचीत लंबी होने पर उत्तर कम विश्वसनीय हो सकते हैं। मुख्य विचार को संदर्भ सड़ांध कहा जाता हैः AI सिस्टम की वार्तालाप या संकेत में दूर की जानकारी का उपयोग करने की क्षमता का धीमा कमजोर होना। Towards AI से एक संक्षिप्त नोट इसे चट्टान के बजाय ढांचे के रूप में दर्शाता है, जिसका अर्थ है कि समस्या आमतौर पर एक बार में आने के बजाय निर्माण करती है, और इसका कारण वास्तुशिल्प है।

परिवेश में सड़ना व्यवहार में कैसा दिखता है

जब एक मॉडल को संक्षिप्त संकेत मिलता है, तो यह आमतौर पर महत्वपूर्ण विवरणों को करीब रख सकता है। यह शुरुआत, मध्य और अंत के बारे में सवालों का जवाब बिना किसी परेशानी के दे सकता है. जब वही बातचीत लंबी हो जाती है, नई सामग्री पुरानी सामग्री के बगल में बैठ सकती है जो अभी भी सिस्टम के लिए दिखाई देती है लेकिन अच्छी तरह से उपयोग करना मुश्किल होता है।

रोजमर्रा के शब्दों में, संदर्भ सड़न एक सहायक की तरह दिख सकता है जो पहले के निर्देशों को भूलना शुरू कर देता है, नामों को मिलाता है, एक बिंदु दोहराता है जिसे वह पहले से ही व्यवस्थित करता है, या पृष्ठ एक से विवरण का इलाज करता है जैसे कि यह अब प्रासंगिक नहीं था। उपयोगकर्ता इसे अचानक गलती के रूप में अनुभव कर सकता है, लेकिन अंतर्निहित व्यवहार अक्सर विश्वसनीयता में कई छोटी कमी का परिणाम होता है क्योंकि संदर्भ बढ़ता है।

यह गैर-विशेषज्ञों के लिए महत्वपूर्ण है क्योंकि विफलता हमेशा स्पष्ट नहीं होती है। एक मॉडल अभी भी उपलब्ध जानकारी का कम उपयोग करते हुए आत्मविश्वास महसूस कर सकता है। जो अनुबंध की समीक्षा, कोडिंग, customer support , या स्कूल असाइनमेंट जैसे काम में जोखिम भरा हो सकता है, जहां एक अनदेखी विवरण उत्तर बदल सकते हैं।

क्यों यह एक ढलान है, अचानक विफलता नहीं

स्रोत विवरण में चट्टान के बजाय ढाल की छवि का उपयोग किया गया है। एक ढलान का मतलब यह होगा कि मॉडल सामान्य रूप से एक बिंदु तक काम करता है और फिर पूरी तरह से विफल हो जाता है। ढाल का अर्थ है प्रदर्शन धीरे-धीरे बदलता है। कुछ कार्यों को अभी भी लंबी लंबाई पर अच्छी तरह से संभाला जा सकता है, जबकि अन्य कार्य पहले बिगड़ते हैं।

ढलान विचार उपयोगी है क्योंकि यह बदलता है कि लोग AI प्रणालियों का परीक्षण और भरोसा कैसे करते हैं। यदि विफलता एक चट्टान थी, तो उपयोगकर्ता सुरक्षित अधिकतम लंबाई की तलाश कर सकते थे और इसके नीचे रह सकते थे। अगर असफलता ग्रेडिएंट है, तो सुरक्षित बिंदु कार्य, सूचना लेआउट, मॉडल और निर्देशों को लिखने के तरीके पर निर्भर करता है। एक प्रणाली जो एक ही लंबाई में एक सरल प्रश्न को संभालती है, अभी भी उसी लंबाई में जटिल बहु-चरण कार्य के साथ संघर्ष कर सकती है।

पाठकों के लिए, इसका मतलब है कि " context window भरा हुआ है" एकमात्र चेतावनी संकेत नहीं है। एक मॉडल अपने निर्धारित सीमाओं के भीतर टेक्स्ट प्राप्त कर सकता है और फिर भी वार्तालाप बढ़ने पर उस पाठ का कम प्रभावी ढंग से उपयोग करता है।

ढलान के पीछे वास्तुशिल्प कारण

नोट में कहा गया है कि संदर्भ सड़न का एक वास्तुशिल्प कारण होता है। व्यापक रूप से, यह इंगित करता है कि कैसे आधुनिक large language models पाठ के लंबे अनुक्रमों को संसाधित करते हैं। कई वर्तमान सिस्टम Transformer -आधारित आर्किटेक्चर का उपयोग करते हैं, जो अनुक्रम में बाद में tokens की तुलना क्रम में पहले से tokens , के साथ करते हैं. जैसे-जैसे संख्या बढ़ती है, प्रणाली पर विचार करने के लिए अधिक संभावित संबंध होते हैं, और किसी भी पुराने विवरण से संकेत अलग करना कठिन हो सकता है।

इसका मतलब यह नहीं है कि मॉडल 'भूल जाता है' जिस तरह से एक इंसान भूलता है। पुराने पाठ अभी भी इनपुट में मौजूद हो सकते हैं. मुद्दा यह है कि मॉडेल की आंतरिक गणना उस इनपुट के हर हिस्से को अगले उत्तर पर समान व्यावहारिक प्रभाव नहीं दे सकती है।

एक व्यावहारिक परिणाम भी है: किसी मॉडल में अधिक पाठ डालना उसी टेक्स्ट को समान रूप से उपयोगी बनाने के बराबर नहीं है। एक लंबा दस्तावेज़, लंबी चैट इतिहास या लंबे कोडबेस सभी भ्रम के लिए अधिक सतह क्षेत्र बना सकते हैं, भले ही मॉडल तकनीकी रूप से इनपुट स्वीकार करता हो।

संदर्भ इंजीनियरिंग के लिए इसका क्या अर्थ है

स्रोत भी वाक्यांश संदर्भ इंजीनियरिंग शुरू नहीं करता है, लेकिन उद्धरण यह नहीं कहता कि इसके बाद क्या हुआ। सामान्य तौर पर, संदर्भ इंजीनियरिंग एक मॉडल प्राप्त जानकारी के जानबूझकर डिजाइन को संदर्भित करती हैः जो शामिल किया गया है, जिसे हटा दिया जाता है, इसे कैसे आदेश दिया जाता हैं और निर्देशों को पृष्ठभूमि सामग्री से अलग कैसे किया जाता है।

संदर्भ इंजीनियरिंग संदर्भ सड़ांध के कुछ लक्षणों को कम करने में मदद कर सकती है। उदाहरण के लिए, एक उपयोगकर्ता पहले के संदेशों का सारांश दे सकता है, महत्वपूर्ण बाधाओं को दोहरा सकता है , एक लंबे कार्य को छोटे चरणों में तोड़ सकता है या सबसे महत्वपूर्ण निर्देशों को उस स्थान पर रख सकता है जहां मॉडल का उपयोग करने की सबसे अधिक संभावना है। ये क्रियाएं कई सामान्य कार्यों के लिए ढलान को कम खड़ी बना सकती हैं।

लेकिन संदर्भ इंजीनियरिंग स्वचालित रूप से अंतर्निहित वास्तुकला को नहीं बदलती है। यह इनपुट की व्यवस्था करने के तरीके में सुधार कर सकती है, और इससे बेहतर उत्तर मिल सकते हैं, खासकर जब समस्या अव्यवस्था, अस्पष्टता या खराब क्रमबद्धता के कारण होती है। हो सकता है कि यह लंबे अनुक्रम प्रसंस्करण से आने वाले क्रमिक गिरावट को समाप्त न करे।

बिल्डर्स के लिए, व्यावहारिक टेकअवे केवल विज्ञापित संदर्भ लंबाई पर भरोसा करने के बजाय यथार्थवादी कार्यभारों के साथ लंबी बातचीत का परीक्षण करना है। रोजमर्रा के उपयोगकर्ताओं के लिए ले जाने की बात यह है कि लंबे चैट और बड़े दस्तावेजों को नाजुक माना जाए: मॉडल को प्रमुख धारणाओं को फिर से बताने के लिए कहें, पहले विवरण की जांच करें, और यह मानने से बचें कि दृश्य पाठ समान रूप से अच्छी तरह से उपयोग किया जा रहा है।

इस फ्रेमिंग का मूल्य यह है कि यह एक साधारण कहानी 89 AI मेमोरी से बाहर चला गया को अधिक उपयोगी के साथ बदल देता हैः मॉडल प्रदर्शन संदर्भ बढ़ने पर बह सकता है, और अच्छी डिजाइन उस बहाव का प्रबंधन कर सकती है, लेकिन यह हमेशा इसे गायब नहीं कर सकती।