उपकरण समीक्षाएँ

स्टेटबेंच मूल्यांकन करता है कि कैसे भाषा मॉडल लंबे दस्तावेजों में राज्य परिवर्तनों को ट्रैक करते हैं

स्टेटबेंच चार कठिनाई स्तरों में दीर्घ-संदर्भ LLM राज्य ट्रैकिंग का परीक्षण करता है, जहां आर्किटेक्चर विफल होते हैं और मॉडल चयन की सहायता करते हैं।

स्टेटबेंच मूल्यांकन करता है कि कैसे भाषा मॉडल लंबे दस्तावेजों में राज्य परिवर्तनों को ट्रैक करते हैं

मुख्य जानकारी

  • स्टेटबेंच मूल्यांकन करता है कि कैसे लंबे संदर्भ भाषा मॉडल दस्तावेजों में परिवर्तित चर और संस्थाओं को ट्रैक करते हैं, जहां वास्तुकला विफलता का निदान करने में मदद करते हैं।
  • यह चार कठिनाई स्तरों को परिभाषित करता है R-trivial, Aperiodic, Soluble और General finite जो विभिन्न प्रकार के परिवर्तनीय असाइनमेंट से संबंधित हैं और क्रोहन रोड्स सिद्धांत पर आधारित हैं।
  • पूर्व-प्रशिक्षित मॉडल ज्यादातर आर-तुच्छ कार्यों में सफल होते हैं, संदर्भ बढ़ने के साथ एपीरियोडिक कार्यों पर गिरावट आती है और सामान्य परिमित कार्यों पर लगभग संयोग से प्रदर्शन करते हैं; कार्य प्रारूप भी परिणामों को प्रभावित करता है।
  • सरहद मॉडल आसान कार्यों पर मजबूत बने रहते हैं, लेकिन निर्भरता श्रृंखलाओं को लम्बा करने के रूप में सुलझाने योग्य और सामान्य परिमित कार्यों पर तेजी से संघर्ष करते हैं, जिसमें सबसे कठिन मामले 13% सटीकता या उससे कम तक पहुंचते हैं।
  • स्टेटबेंच पर प्रत्यक्ष प्रशिक्षण मॉडल-आर्किटेक्चर सीमाओं को पूर्व-प्रशिक्षण डेटा के कारण होने वाले अंतरालों से अलग करने में मदद करता है।

स्टेटबेंच परीक्षण करता है कि क्या भाषा मॉडल बदलते चर को ट्रैक करते हैं, शोधकर्ताओं और डेवलपर्स को यह देखने में मदद करने के लिए जहां लंबे संदर्भ प्रणाली टूट जाती है।

StateBench evaluates how language models track state changes across lengthy documents

एक शोध टीम ने स्टेटबेंच को तकनीकी रिपोर्ट में पेश किया, जो लंबे संदर्भ की स्थिति ट्रैकिंग के लिए एक बेंचमार्क है जो मापता है कि मॉडल दस्तावेजों के विकास के रूप में संस्थाओं के बारे में जानकारी का कितनी अच्छी तरह से ट्रैक करते हैं। लंबी-संदर्भ भाषा मॉडलों का चयन करने वाले शोधकर्ताओं, इंजीनियरों और टीमों के लिए, स्टेटबेन्च एक व्यावहारिक निदान प्रदान करता हैः यह राज्य अनुगमन के सरल और कठिन रूपों को अलग करता है और प्रकट करता है जहां मॉडल आर्किटेक्चर विफल होते हैं। बेंचmark कोड, कहानियों और वार्तालापों में महत्वपूर्ण परिवर्तनों का पालन करने की क्षमता को लक्षित करता है। एक मॉडल एक लंबा दस्तावेज़ पढ़ सकता है, लेकिन यदि वह यह नहीं बता सकता है कि कौन सा चरित्र किसी ऑब्जेक्ट को रखता है, किस चर का क्या मूल्य होता है, या कौन सा अद्यतन वर्तमान है, तो उत्तर गलत हो सकता है।

चार कठिनाई स्तरों परिवर्तनशील असाइनमेंट में राज्य ट्रैकिंग बारी

स्टेटबेंच कार्यों को चार स्तरों में व्यवस्थित करता है: आर-ट्रिवियल, एपीरियोडिक, सॉल्यूबल और जनरल फिनाइट। प्रोग्रामर के लिए, स्तरों को विभिन्न प्रकार के चर असाइनमेंट के रूप में पढ़ा जा सकता है।

R-trivial समस्याएँ अपरिवर्तनीय असाइनमेंट का उपयोग करती हैं। एक चर s मान कभी नहीं बदलता है, इसलिए मॉडल को केवल उस मूल्य को पुनर्प्राप्त करने की आवश्यकता होती है जिसे इसे पहले सेट किया गया था। कोड में, यह x = 4 जैसा दिखता है। रोजमर्रा की जिंदगी में यह जन्म तिथि के करीब होता हैः मान स्थिर रहता है।

अपेरियोडिक समस्याएं मान द्वारा पुनः असाइनमेंट की अनुमति देती हैं। मॉडल को सबसे हालिया मूल्य का पता लगाना चाहिए और पहले के लोगों को अनदेखा करना चाहिए। कोड में, यह x = 4 जैसा दिखता है जिसके बाद x = 2 होता है। रोजमर्रा की जिंदगी में यह एक थर्मोस्टैट से मिलता-जुलता है, जहां नवीनतम सेटिंग वर्तमान तापमान निर्धारित करती है।

हल करने योग्य समस्याएं स्व-संदर्भिक अद्यतन जोड़ती हैं। प्रत्येक अद्यतन वर्तमान मूल्य पर बनाता है, इसलिए मॉडल को केवल नवीनतम असाइनमेंट खोजने के बजाय परिवर्तनों को आगे बढ़ाना होगा। कोड में, यह x = x + 5 जैसा दिखता है। रोजमर्रा की जिंदगी में यह एक गेम स्कोर से मिलता जुलता है, जहां हर बिंदु चल रहे कुल में जोड़ा जाता है।

सामान्य परिमित समस्याएं संदर्भ द्वारा असाइनमेंट जोड़ती हैं। एक चर दूसरे चर के वर्तमान मान को ले सकता है, अपडेट में निर्भरता पैदा कर सकता है। कोड में, यह x = y या दो चरों का आदान-प्रदान जैसा दिखता है। अधिक ज्वलंत संस्करण पांच कपों में से किसी एक के नीचे गेंद को छिपाने वाला जादूगर है, फिर बार-बार कपों की स्थिति बदल रहा है। बॉल को खोजने के लिए ट्रैक करने की आवश्यकता होती है कि प्रत्येक स्वैप बॉल के स्थान को कैसे बदल देता है। यह S5 राज्य ट्रैकिंग समस्या को दर्शाता हैः निम्नलिखित क्रमिक स्वैप्स पाँच वस्तुओं को पुनर्व्यवस्थित करते हैंः यह स्टेटबेंच में सबसे कठिन स्तर से संबंधित है और राज्य-ट्रैकिंग सीमा पर पहले काम से जुड़ा हुआ है।

ये स्तर केवल व्यावहारिक श्रेणियां ही नहीं हैं. वे क्रोहन रोड्स सिद्धांत में सैद्धांतिक भेदभाव को भी दर्शाते हैं, बीजगणित की एक शाखा जो बताती है कि कैसे राज्य-ट्रैकिंग समस्याओं को परिमित मोनोइड्स पर शब्द समस्याओं के रूप में देखा जा सकता है और परमाणु आदिमों में विघटित किया जा सकता हैः Each StateBench का स्तर विभिन्न प्रकार के मूल्यों से निर्मित समस्याओं के वर्ग से मेल खाता है।

चार स्तरों को निष्पक्ष रूप से तुलना करने के लिए, बेंचमार्क चर असाइनमेंट के एक सामान्य परिमित अनुक्रम के साथ शुरू होता है और इससे आसान संस्करण प्राप्त करता है। यह चार तुलनीय समस्याएं पैदा करता है, प्रत्येक स्तर पर एक। वे समान संख्या में चर और अलग-अलग मूल्यों का उपयोग करते हैं, और आवंटन क्रम में एक ही बिंदुओं पर दिखाई देते हैं। केवल असाईनमेंट का प्रकार बदलता है।

पूर्व प्रशिक्षित मॉडल वास्तुकला और प्रारूप के अनुसार अलग-अलग विफल होते हैं

लेखकों ने पहले आर-ट्रिवियल, एपीरियोडिक और जनरल परिमित स्तरों पर खुले पूर्व प्रशिक्षित मॉडलों की एक श्रृंखला का मूल्यांकन किया। लक्ष्य यह देखना था कि राज्य ट्रैकिंग कहां टूटती है और क्या विफलता सैद्धांतिक अपेक्षाओं से मेल खाती हैं। मानक सैद्धांतિક धारणाओं के तहत, Transformers मजबूत रूप से आर-ट्रैवियल कार्यों को संभाल सकता है, और कुछ हद तक सुलझने योग्य और अपरियॉडिक समस्याओं का प्रबंधन कर सकता है लेकिन सामान्य समस्याओं पर असफल होने की भविष्यवाणी की जाती है। गेट डेल्टानेट, अधिक लचीले मेमोरी अपडेट के साथ, सिद्धांत रूप में सभी चार स्तरों को संभालने में सक्षम है।

परीक्षणों में प्रलेखित training data और संदर्भ लंबाई वाले खुले पूर्व-प्रशिक्षित मॉडलों का उपयोग किया गया। इनमें दो 7-अरब पैरामीटर मॉडल शामिल थे: ओल्मो 3, एक Transformer, और Olmo Hybrid, जो Gated DeltaNet परतें जोड़ता है। छोटे 275-मिलियन-पैरामीटर और 2.7 बिलियन-पैरेमीटर मॉडल भी परीक्षण किए गए थे। सभी को उसी डेटा पर प्रीट्रेन किया गया था। प्रशिक्षण के दौरान किसी ने भी 64,000 tokens से अधिक समय तक संदर्भ नहीं देखा था, और अधिकांश की इनपुट उस लंबाई से बहुत आगे की जांच की गई थी।

परिणामों ने एक सामान्य पैटर्न दिखाया। लगभग सभी मॉडल आर-तुच्छ समस्याओं पर अच्छी तरह से प्रदर्शन करते हैं। इनपुट लंबे होने के साथ अपिरोडिक समस्याओं पर सटीकता गिर गई। सामान्य परिमित समस्याओं पर, मॉडल संयोग पर बने रहे।

प्रारूप भी मायने रखता था। 275-मिलियन-पैरामीटर हाइब्रिड और Gated DeltaNet मॉडल ने RULER शैली की आर-तुच्छ समस्याओं पर छत के पास स्कोर किया, लेकिन जब समान अंतर्निहित समस्याओं को स्प्रेडशीट संपादन के रूप में तैयार किया गया था तो वे लगभग संयोग थे। यह अंतर एक कारण है कि स्टेटबेन्च कई स्वरूपों में एक ही समस्या का परीक्षण करता है।

सीमावर्ती मॉडल संघर्ष करते हैं क्योंकि निर्भरता श्रृंखला बढ़ती है

इसके बाद शोधकर्ताओं ने चार फ्रंटियर मॉडलों का परीक्षण किया: Gemini 3.8 फ्लैश, Claude Opus 5.5 और जीपीटी-6 SOL तथा लूना। प्रत्येक मॉडल को चर असाइनमेंट के अनुक्रम को पढ़ने और प्रत्येक चर का अंतिम मान उत्पन्न करने के लिए कहा गया था।

सीमावर्ती मॉडल ने आर-ट्रिवियल और अपेरियोडिक समस्याओं पर अच्छा प्रदर्शन किया। सुलझने योग्य और सामान्य परिमित समस्याओं पर, इनपुट लंबे होने के साथ सटीकता में तेजी से गिरावट आई। सबसे लंबी सामान्य सीमित समस्याओं पर प्रदर्शन 13% या उससे कम हो गया।

एक संभावित कारक संवेदनशीलता है. कठिन स्तरों पर, कई और कदम अंतिम उत्तर को प्रभावित कर सकते हैं। यह मॉडल के लिए गलत परिणाम प्राप्त किए बिना अपडेट से चूकने की कम जगह छोड़ देता है।

प्रत्यक्ष प्रशिक्षण वास्तुकला सीमाओं को पूर्व-प्रशिक्षण अंतरालों से अलग करता है

अगला सवाल यह था कि क्या कठिन स्तर मॉडल आर्किटेक्चर की सीमाओं को उजागर करते हैं, या पूर्व-प्रशिक्षण बस उन्हें हल करने के लिए मॉडलों को नहीं सिखाता है। टीम ने इसे सीधे स्टेटबेंच पर प्रशिक्षण मॉडल द्वारा परीक्षण किया, एक अधिक अनुकूल सेटिंग जो प्रीट्रेनिंग डेटा से वास्तुकला और ऑप्टिमाइज़र प्रभावों को अलग करती है।

उन्होंने कई 275-मिलियन-पैरामीटर मॉडल को खरोंच से प्रशिक्षित कियाः दो Transformer वेरिएंट, दो हाइब्रिड वेरियंट और अलग-अलग मेमोरी-अपडेट बाधाओं के साथ दो Gated DeltaNet संस्करण। मॉडलों ने 256 असाइनमेंट तक के अनुक्रमों पर प्रशिक्षण दिया और 64,000 असाइनमेन्ट या अधिकतम प्रशिक्षण लंबाई का 250 गुना लंबे समय तक परीक्षण किया गया।

जैसे-जैसे अनुक्रम लंबे होते गए, आर्किटेक्चर अलग हो जाते थे। गेटेड डेल्टानेट और हाइब्रिड मॉडल आर-ट्राइवियल, एपीरियोडिक और सुलझने योग्य समस्याओं पर लगभग पूरी तरह से सामान्यीकृत हुए सबसे लंबे परीक्षण किए गए अनुक्रमों के लिए, जो दसियों हज़ार असाइनमेंट तक पहुंच गया। Transformers ने आसान स्तर सीखे लेकिन लंबी श्रृंखलाओं में गिरावट आई, और उन्होंने कभी भी सामान्य परिमित समस्याएं नहीं सीखीं।

सबसे कठिन स्तर पर, अधिक लचीले मेमोरी अपडेट के साथ Gated DeltaNet संस्करण ने सबसे दूर तक सामान्यीकृत किया। यह प्रशिक्षण के दौरान देखे गए सबसे लंबे अनुक्रमों की लंबाई से लगभग 10 गुना तक सही रहने के करीब रहा।

Gated डेल्टानेट और हाइब्रिड मॉडल के लिए, पूर्व-प्रशिक्षित और सीधे प्रशिक्षित प्रदर्शन बिंदुओं के बीच का अंतर प्रशिक्षण है, न कि केवल वास्तुकला। प्रत्यक्ष रूप से प्रशिक्षित, उन्होंने राज्य ट्रैकिंग स्तरों को सीखा जो उनके पूर्व प्रशिक्षित समकक्ष संभाल नहीं सकते थे। Transformers अलग थेः यहां तक कि प्रत्यक्ष प्रशिक्षण के साथ, वे कभी भी सबसे कठिन स्तर नहीं सीख पाएंगे।

खुले प्रश्न और बेंचमार्क क्या बदल सकता है

स्टेटबेंच महत्वपूर्ण प्रश्नों को भी खुला छोड़ देता है। कार्य में एक नए प्रमाण से पता चलता है कि Gated DeltaNet अधिक सीमित मेमोरी अपडेट के साथ, गैर-ऋणात्मक eigenvalues का उपयोग करके, सभी एपीरियोडिक कार्यों और कुछ आवधिक कार्यों को हल कर सकता है। उन आवर्तक कार्यों में यह ट्रैक करना शामिल है कि क्या दोहराया गया इनपुट गोल होने वाले निश्चित परिशुद्धता अंकगणित के तहत एक सम या विषम संख्या में हुआ है। पदानुक्रम में इसका सटीक स्थान खुला रहता है। यह अभी तक स्पष्ट नहीं है कि यह सभी सुलझाने योग्य कार्यों को कैसे हल कर सकते हैं, या संख्यात्मक सटीकता या इसे ध्यान परतों के साथ जोड़कर इसकी क्षमताओं को प्रभावित करता है।

एक अन्य सीमा यह है कि स्टेटबेंच निश्चित संख्या में चर को मानता है। वास्तविक कार्य अक्सर समय के साथ नई संस्थाओं का परिचय देते हैं। उदाहरण के लिए, लंबी बातचीत में, नए लोग और ऑब्जेक्ट प्रकट हो सकते हैं क्योंकि विनिमय सामने आता है, और मॉडल को उन्हें भी ट्रैक करना शुरू कर देना चाहिए। वर्तमान ढांचा अभी तक उस सेटिंग को कवर नहीं करता है।

बेंचमार्क शोधकर्ताओं को यह पता लगाने के लिए एक बेहतर तरीका देता है कि मॉडल कहां टूटते हैं। आवर्ती और हाइब्रिड आर्किटेक्चर अधिक आम हो जाते हैं। यह जानना कि प्रत्येक वास्तुकला किस प्रकार की राज्य ट्रैकिंग का प्रबंधन कर सकती है, भविष्य में सिस्टम कैसे विकसित और प्रशिक्षित किए जाते हैं, इस पर मार्गदर्शन करने में मदद कर सकता है। स्टेटबेन्च टीमों को उन क्षमताओं के लिए प्रशिक्षण और मूल्यांकन डेटा बनाने में भी मदद कर सकते हैं जो अभी भी कम पड़ रहे हैं, और वर्तमान मॉडलों की तुलना में अधिक मजबूत स्थिति ट्रैकिंग की ओर नए वास्तुशिल्प को धक्का देते हैं।

टैगः स्टेटबेंच, लंबा संदर्भ, भाषा मॉडल, राज्य ट्रैकिंग, Gated DeltaNet

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.