कम आकार, मजबूत यादः कैसे Qwen2.5-1.5B 3B मॉडल को हराता है (चार परिकल्पनाओं के साथ)
एसआरआरएम दिखाता है कि Qwen2.5-1.5B लंबे संदर्भ में याद रखने पर Qwen 2.5-3B को हरा देता हैः 86.7% पुनर्प्राप्ति और 45.7% पुनर्निर्माण, आकार-समान-स्मृति धारणाओं को चुनौती देना।
मुख्य जानकारी
- एसआरआरएम बेंचमार्क लक्षित पुनःप्राप्ति और पूर्ण संदर्भ पुनर्निर्माण दोनों के माध्यम से लंबी-संदर्भ स्मृति का परीक्षण करता है, इस धारणा को चुनौती देता है कि बड़े छोटे भाषा मॉडल हमेशा बेहतर याद करते हैं।
- Qwen2.51.5B 1.5B ने मेमोरी मैट्रिक्स में Qwen 2.5 3B से बेहतर प्रदर्शन किया, 86.7% 72.2% और 45.7% महत्वपूर्ण जानकारी रिकॉल बनाम 18.5% के मुकाबले औसत पुनर्प्राप्ति सटीकता प्राप्त की।
- 3B मॉडल ने पुनर्प्राप्ति और पुनर्निर्माण के बीच एक बहुत बड़ा अंतर दिखाया, 1.5B मॉडल की तुलना में 0.26 का Memory Preservation Ratio।
- परिणाम बताते हैं कि बड़े मॉडल लंबे संदर्भों को बहुत आक्रामक रूप से संपीड़ित कर सकते हैं, अलग-अलग उत्तरों को संरक्षित करते हुए लेकिन पूर्ण संदर्भ का पुनर्निर्माण करने के लिए आवश्यक बारीक तथ्यों को खो देते हैं।
- स्थानीय या किनारे उपकरणों के लिए मॉडल चुनने वाले डेवलपर्स के लिए, केवल पैरामीटर गणना लंबे संदर्भ स्मृति प्रदर्शन का एक विश्वसनीय संकेतक नहीं है।
मेटा विवरणः Academia.edu पर नए स्वतंत्र शोध के अनुसार, Qwen2.5 1.5B ने 86.7% पुनर्प्राप्ति और 45.7% पुनर्निर्माण के साथ SRRM लंबी संदर्भ मेमोरी 3B को हराया।
टैगः एसएलएम, लंबी संदर्भ स्मृति, क्यूवेन 2.5, मॉडल मूल्यांकन, किनारा AI
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक लंबी संदर्भ खिड़की में ओवरलैपिंग कार्ड रखने वाले दो छोटे मॉडल ब्लॉकों का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
यह लेख डेवलपर्स, शोधकर्ताओं और AI इंजीनियरों के लिए है जो स्थानीय उपकरणों के लिए एक Small Language Model का चयन करते हैं। यह एक नए लंबे संदर्भ मेमोरी बेंचमार्क, एसआरआरएम की व्याख्या करता है, और क्यों पाया गया कि Qwen2.52.5 1.5B लक्षित पुनर्प्राप्ति और पूर्ण संदर्भ पुनर्निर्माण दोनों पर Qwen2.53B 3B से बेहतर प्रदर्शन किया। पेपर, जिसका शीर्षक था Evaluating LongSRRM: ए रिट्रीवल- Reconstruction Benchmark Evaluating Long - Context Memory में Small Language Models, 16 Academia.edu द्वारा प्रकाशित किया गया था Christopher Alberto Hamonangan.
कई बड़े भाषा मॉडल और छोटे भाषा मॉडल संदर्भ खिड़कियों का विज्ञापन करते हैं जो 128K टोकन या उससे अधिक तक पहुंचते हैं। Because SLMs तेजी से उपभोक्ता-ग्रेड हार्डवेयर जैसे लैपटॉप, स्मार्टफोन और एज डिवाइस पर तैनात किए जाते हैं, टीम अक्सर यह मानते हैं कि एक बड़ी पैरामीटर गिनती स्वचालित रूप से बेहतर मेमोरी का मतलब है। एसआरआरएम परिणाम नियंत्रित परीक्षणों के तहत उस धारणा को चुनौती देते हैं।
एक बेंचमार्क जो रिकॉल और पुनर्निर्माण की जांच करता है
पारंपरिक दीर्घ-संदर्भ मूल्यांकन अक्सर Targeted Retrieval कार्यों पर निर्भर करते हैं, जैसे कि सुई-इन-ए-हेस्टैक या एकल-तथ्य प्रश्न का उत्तर देना। ये परीक्षण यह मापते हैं कि क्या एक मॉडल स्पष्ट रूप से प्रेरित होने पर डेटा के एक अलग टुकड़े को पा सकता है। वे एक कठिन सवाल का जवाब नहीं देते हैंः क्या मॉडल तथ्यों के पूरे सेट को संरक्षित और पुनर्निर्माण कर सकता है जिसे दिखाया गया था?
SRRM को दो कोणों से लंबी संदर्भ मेमोरी का परीक्षण करने के लिए एक हल्के, पुनरुत्पादित, ओपन-सोर्स बेंचमार्क के रूप में डिज़ाइन किया गया था। Sequential Retrieval Test पहले प्रस्तुत किए गए बयानों के बारे में स्पष्ट, अलग-थलग प्रश्न पूछता है, जैसे कि WiFi जॉन का वाईफाई पासवर्ड क्या है? [2 Summary Reconstruction Test मॉडल को आइटम-विशिष्ट संकेतों के बिना सभी पूर्वोक्त तथ्यों की पंक्ति द्वारा लाइन को फिर से बनाने के लिए कहता है।
बेंचमार्क एक Memory Preservation Ratio की भी रिपोर्ट करता है, जिसे Mean Critical Information Recall से विभाजित किया गया है। सादे शब्दों में, यह पूछता है कि जब मॉडल को पूरे संदर्भ का पुनर्निर्माण करने के लिए कहा जाता है तो वह कितना बचा सकता है।
क्यों छोटे Qwen मॉडल मीट्रिक का नेतृत्व किया
शोधकर्ताओं ने Qwen2.5 परिवार के तीन सदस्यों का मूल्यांकन किया: क्यूवेन 2.5 [2 0.5B, क्यूवेन 2.5, और क्यूवेन २.५ 3B.। उन्होंने 10, 25, 50, 75, और 100 तथ्यात्मक बयानों वाले संदर्भ भार में समान प्रयोगात्मक परिस्थितियों और हार्डवेयर कॉन्फ़िगरेशन के तहत मॉडल का परीक्षण किया। सभी मॉडलों को समान प्रॉम्प्ट टेम्प्लेट, संवाद संदर्भ अनुक्रम और अनुमान विन्यास प्राप्त हुए, इसलिए तुलना करने वाला मुख्य चर मॉडल स्केल था।
विभिन्न प्रकार के ज्ञान में स्मृति का परीक्षण करने के लिए, सिंथेटिक डेटासेट ने चार सिमेंटिक श्रेणियों का उपयोग कियाः Hair Color, Family Relationship, गतिविधि और WiFi Password। उदाहरणों में शामिल हैं जेम्स के बालों का रंग काला है , सारा की छोटी बहन एमिली है, मैरी टोक्यो गई थी, pizza केविन ने पिज्जा खाया था, और जॉन का वाईफाई पासवर्ड ओशनब्लू 92 है ।
बयानों को एक निश्चित राउंड-रोबिन इंटरलेविंग रणनीति के माध्यम से विलय कर दिया गया था। उस प्रक्रिया ने चार श्रेणियों को बेंचमार्क अनुक्रम में समान रूप से वितरित किया और प्रत्येक आइटम को एक अनुक्रम पहचानकर्ता और श्रेणी पहचानकर्ता सौंपा, जिससे एक मानकीकृत डेटासेट का उत्पादन हुआ जिसे विभिन्न संदर्भ आकारों में विभाजित किया जा सकता है।
पारंपरिक स्केलिंग उम्मीदों से पता चलता है कि 3B मॉडल को मेमोरी कार्यों पर हावी होना चाहिए। रिपोर्ट किए गए परिणाम दूसरे तरीके की ओर इशारा करते हैं। Qwen2.51.5B 1.5B ने 86.7% औसत पुनर्प्राप्ति सटीकता हासिल की, जबकि क्यूवेन 2.5[2 3B ने 72.2% और क्यूवेन2.5[2 0.5B ने 65.1% अंक प्राप्त किया।
| रिपोर्ट किया गया मीट्रिक | क्यूवेन2.5[20.5B | क्यूवेन2.51.5B | क्यूवेन2.53B |
|---|---|---|---|
| औसत पुनर्प्राप्ति सटीकता | 65.1% | 86.7% | 72.2% |
| औसत महत्वपूर्ण सूचना याद | रिपोर्ट नहीं | 45.7% | 18.5% |
| स्मृति संरक्षण अनुपात | रिपोर्ट नहीं | 0.53 | 0.26 |
पुनर्निर्माण अंतर अधिक हड़ताली हिस्सा है। Qwen2.53B3B 29]s Critical Information Recall को गिरा दिया गया 18.5%, जबकि Qwen 2.51.5B1.5B बरकरार रखा 45.7% 3B मॉडल ने भी एक दिखाया 74.3% एमपीआर का उत्पादन करने के लिए पुनःप्राप्ति और पुनर्गठन के बीच सापेक्ष अंतराल, 0.26 1.5B मॉडल अपने आधे से अधिक बरामद ज्ञान को संरक्षित किया, 0.53 की MPR के साथ । सभी मूल्यांकन किए गए मॉडलों में, पुनर्प्राप्ति प्रदर्शन काफी हद तक उच्च था.
प्रतिवर्तन के लिए चार परिकल्पनाएं
चूंकि मॉडल को समान संकेतों, डेटासेट ऑर्डरिंग, संदर्भ स्केलिंग और अनुमान विन्यास के साथ परीक्षण किया गया था, इसलिए लेखकों का तर्क है कि प्रतिवर्तन माप शोर या प्रॉम्प्ट-इंजीनियरिंग कलाकृतियों के कारण होने की संभावना नहीं है। वे चार परिकल्पनाएं प्रदान करते हैं।
सबसे पहले, Context Utilization Efficiency यह सुझाव देता है कि 1.5B आर्किटेक्चर में मध्य से लंबे संदर्भ भार के लिए अधिक संतुलित ध्यान तंत्र हो सकता है, जो प्रासंगिक तथ्यात्मक टोकन को पुनर्प्राप्ति और पीढ़ी दोनों के दौरान परतों पर सुलभ रखता है।
दूसरा, Memory Representation Strategy प्रस्तावित करता है कि आंतरिक प्रतिनिधित्व मॉडल पैमाने में भिन्न हो सकते हैं। 1.5B मॉडल अधिक असतत तथ्यात्मक प्रतिनिधित्व वेक्टर को बनाए रख सकता है, जबकि बड़े मॉडल घने प्रासंगिक अमूर्तताओं की ओर बढ़ते हैं।
तीसरा, Information Over-संपीड़न को अग्रणी परिकल्पना के रूप में प्रस्तुत किया गया है। बड़ा 3B मॉडल आक्रामक रूप से बहु-मोड़ संवाद संदर्भों को संपीड़ित कर सकता है। वह संपीड़ने लक्षित एकल-आइटम संकेतों का जवाब देने के लिए पर्याप्त हो सकता है, लेकिन यह अप्रत्याशित पुनर्निर्माण के दौरान प्रत्येक कथन की सूची बनाने के लिए आवश्यक बारीक दानेदार तथ्यात्मक सीमाओं को नष्ट कर सकते हैं।
चौथा, स्केलिंग-Related Internal Mechanisms से पता चलता है कि लंबे संदर्भ मेमोरी संरक्षण केवल पैरामीटर गणना के साथ एकतरफा नहीं हो सकता। अनुकूलन गतिशीलता, पूर्व प्रशिक्षण डेटा मिश्रण या परत-विशिष्ट ध्यान सिर आवंटन विशिष्ट मॉडल वेरिएंट में अनुकूल मीठे स्थान बना सकते हैं।
डेवलपर्स को आगे क्या करना चाहिए
व्यावहारिक टेकआउट यह है कि पुनर्प्राप्ति-शैली के बेंचमार्कों पर उच्च सटीकता सुसंगत बहु-मोड़ सहायक संवादों या विश्वसनीय लंबे दस्तावेज़ सारांश की गारंटी नहीं देती है। एकल-तथ्य पुनःप्राप्त मेट्रिक्स मजबूत दिख सकते हैं जबकि एक मॉडल अभी भी तथ्यों का पूरा सेट संरक्षित करने में विफल रहता है।
स्थानीय रूप से मॉडल चलाने वाली टीमों के लिए, पेपर का सुझाव है कि Qwen2.51.5B1.5B इन परीक्षण स्थितियों में Qwen 2.53B3B की तुलना में बेहतर मेमोरी-केंद्रित विकल्प हो सकता है। एज कंप्यूटिंग में, स्थानीय पुनर्प्राप्ति-वर्धित पीढ़ी पाइपलाइन और लगातार वार्तालाप एजेंट, 1.5B से 3B तक अपग्रेड करना बेहतर स्मृति की गारंटी नहीं देता है। यह प्रदर्शन को भी कम कर सकता है जब कार्य को लंबे संदर्भ से कई तथ्यों को याद करने की आवश्यकता होती है।
पाठकों को अभी भी इसे उत्पादन की गारंटी के बजाय एक शोध संकेत के रूप में इलाज करना चाहिए। पेपर Academia.edu पर उपलब्ध है, और लेखक नोट करता है कि प्रीप्रिंट arXiv और HAL पर पेंडिंग ऑथर पहचान और संस्थागत सत्यापन के साथ औपचारिक पीयर रिव्यू का पालन करने के लिए है। परीक्षण सेट सिंथेटिक है और चार तथ्यात्मक कथन प्रकारों पर केंद्रित है, इसलिए यह सभी लंबे दस्तावेज़ व्यवहार, तर्क या निर्देश-अनुसरण को कैप्चर नहीं कर सकता है। फिर भी, यह डेवलपर्स को पुनर्निर्माण का परीक्षण करने का स्पष्ट संकेत देता है, न केवल पुनःप्राप्ति।
पेपर यह भी पूछता है कि क्या इसी तरह की स्केलिंग असामान्यताएं अन्य मॉडल परिवारों में दिखाई देती हैं, जैसे लामा, मिस्ट्रल और जेम्मा।
किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए
इसका उपयोग किसको करना चाहिए: स्थानीय या किनारे पर तैनाती के लिए एसएलएम चुनने वाली टीमें, लंबे संदर्भ स्मृति का मूल्यांकन करने वाले शोधकर्ता और एप्लिकेशन डेवलपर्स स्थायी चैट सहायकों या स्थानीय पुनर्प्राप्ति-वर्धित पीढ़ी पाइपलाइनों का निर्माण करते हैं। यह तब उपयोगी होता है जब एक मॉडल को लंबी बातचीत से कई विवरण याद रखने होंगे, न कि केवल एक लुकअप प्रश्न का उत्तर देना होगा।
इसे किसको छोड़ना चाहिए: पाठक जो सभी मॉडल क्षमताओं की सामान्य रैंकिंग चाहते हैं, या ऐसी टीमें जिनके काम मुख्य रूप से लघु-संदर्भ पीढ़ी, कोडिंग या एकल-प्रश्न पुनर्प्राप्ति है। चूंकि बेंचमार्क सिंथेटिक है और पेपर अभी तक सहकर्मी समीक्षा नहीं किया गया है, इसलिए संख्याओं का उपयोग उत्पादन मॉडल के प्रतिस्थापन के लिए एकमात्र आधार के रूप में नहीं किया जाना चाहिए।
Comments (0)