उपकरण समीक्षाएँ

Qwen 3.8 27 अरब पर मेरे laptop भी मॉडल वजन व्याख्या कर सकते हैं

Qwen 3.8 27 बिलियन रीड मॉडल वेट्स स्थानीय रूप से, लेकिन आलोचकों का कहना है कि वजन-स्थान programming दावे उपकरण, कोड और छोटे अटारी नेटवर्क पर निर्भर करते हैं।

Qwen 3.8 27 अरब पर मेरे laptop भी मॉडल वजन व्याख्या कर सकते हैं

मुख्य बिंदुओं का सारांश

  • एक पेपर Weight-Space Programming, का परिचय देता है जिसमें दावा किया गया है कि फ्रंटियर मॉडल कच्चे वजन को पढ़कर मॉडल व्यवहार की व्याख्या और संपादन कर सकते हैं, जैसे यह पहचानना कि किस सरल अटारी-शैली के खेल पर नेटवर्क को प्रशिक्षित किया गया था।
  • कुछ रिपोर्ट किए गए संपादन परिणामों ने संदेह पैदा किया क्योंकि वे टूल-सहायता वाले कोड निष्पादन के साथ नो-टूल तर्क को मिला सकते हैं, जिससे दोनों क्षमताओं को अलग करना महत्वपूर्ण हो जाता है।
  • एक स्थानीय परीक्षण से पता चला Qwen 3.8 27B पर laptop अपने वजन के आधार पर चार छोटे नीति नेटवर्क में से तीन की पहचान कर सकता है, लंबे समय तक context window और प्रति खेल लगभग एक घंटे तर्क का उपयोग करके।
  • प्रयोग एक वास्तविक लेकिन संकीर्ण क्षमता का सुझाव देता हैः स्थानीय मॉडल कभी-कभी संख्यात्मक भार से व्यवहार को डिकोड कर सकते हैं, लेकिन इसका मतलब यह नहीं है कि programming अप्रचलित है या कि मॉडल बिना किसी पर्यवेक्षण के सुरक्षित रूप से खुद को फिर से लिख सकते हैं।

कल पोस्ट किए गए एक पेपर में तर्क दिया गया है कि फ्रंटियर मॉडल machine learning मॉडल के कच्चे वजन को व्याख्या और यहां तक कि संपादित कर सकते हैं फ्लोटिंग पॉइंट नंबरों की लंबी सूचियां जो परिभाषित करती हैं कि नेटवर्क ने क्या सीखा है। लेखक, Rikiya Takehi, Jayden Teoh, Alex Zhang, और Omar Khattab, विचार Weight-Space Programming कहते हैं, और वे रिपोर्ट करते हैं कि GPT-6 एस्ट्रा यह पहचान सकता है कि किसी नेटवर्क को इसके भार को पढ़कर JUST करने के लिए प्रशिक्षित किया गया था, बिना कोड चलाने या उपकरण बुलाए।

 Qwen 3.8 27 billion on my laptop can also interpret model weights

हेडलाइन दावा हड़ताली हैः केवल संख्याओं को देखते हुए, जीपीटी -6 एस्ट्रा बता सकता है कि चार सरलीकृत अटारी-शैली के खेलों में से कौन सा एक छोटा नीति नेटवर्क खेलने के लिए प्रशिक्षित किया गया था। लेखक यह भी रिपोर्ट करते हैं कि मॉडल ने स्क्रैच से छोटे गेम-प्ले नेटवर्क्स लिखे जो 100 मिलियन चरणों तक पीपीओ द्वारा प्रशिक्षित नेटवर्क से बेहतर प्रदर्शन करते थे, और इसने अपने वजन का 0.016% संपादित करके Qwen3.5-0.8B में तर्क-लूप समस्या को ठीक कर दिया, MATH-500 को 7.9% से बढ़ाकर 48.1% कर दिया और IFEval को तीन गुना कर दिया।

परिणामों के दूसरे सेट ने संदेह को आकर्षित किया है। Matthew Honnibal, spaCy के लेखक, दो अलग-अलग चीजों का मिश्रण करने के लिए पेपर को भ्रामक कहाः एक मॉडल केवल कच्चे वजन के साथ क्या कर सकता है, और एक बार कोड लिखने और चलाने की अनुमति देने पर एक मॉडल क्या कर सकते हैं। Sean Goedecke इसी तरह से तर्क दिया गया कि Qwen3.5-0.8B उदाहरण उसी चरणों के बराबर है जो एक मानव machine learning शोधकर्ता टूलिंग के साथ लेगा।

बिना औजारों का सवाल अलग करने लायक है, और यह भी एक स्थानीय मॉडल के खिलाफ परीक्षण किया जा सकता है।

वजन-पढ़ने का परीक्षण वास्तव में क्या पूछता है

लेखकों ने चार छोटे नेटवर्क को ब्रेकआउट, पोंग, पैक-मैन और फ्रीवे के 10x10 ग्रिड संस्करण खेलने के लिए प्रशिक्षित किया 89 1981 से अंतिम एक अटारी 2600 गेम। फिर उन्होंने वजन को फ्लोटिंग पॉइंट नंबर के रूप में प्रॉम्प्ट में चिपकाया और मॉडल को यह काम करने के लिए कहा, केवल भार से, जिस पर नेटवर्क को प्रशिक्षण दिया गया था। संकेत स्पष्ट है कि कोई उपकरण नहीं हैंः कोई कोड निष्पादन, कोई कैलकुलेटर, एक एकल प्रतिक्रिया।

संकेत और लॉग GitHub रिपॉजिटरी RikiyaT/lm_understand-logs में सार्वजनिक हैं, exp1_which_game फ़ोल्डर के तहत, ब्रेकआउट, फ्रीवे, पैकमैन और पोंग के लिए अलग-अलग प्रॉम्प्ट फ़ाइलों के साथ। वजन के अलावा, चार संकेत समान हैं, जो परीक्षण को एक साफ चौतरफा विकल्प बनाता है।

एक laptop पर 27B मॉडल चार में से तीन हो जाता है

Simon Willison, जिसने प्रयोग लिखा था, ने कई मॉडलों के माध्यम से संकेतों को चलाया। Kimi K3.1 PRO ने 9 मिनट 41 सेकंड और 19,493 तर्क tokens के बाद ब्रेकआउट की सही पहचान की । फिर उसने Qwen 3.8 27B का प्रयास किया, एक 17 जीबी मॉडल जो वह स्थानीय रूप से LM Studio के माध्यम में चलता है, LLM -lmstudio प्लगइन का उपयोग करके और समय सीमा बढ़ाकर।

स्थानीय मॉडल ने 72% विश्वास के साथ 46 मिनट 12 सेकंड और 43,506 तर्क tokens के बाद पैक-मैन की पहचान की। इसने 1 घंटे 4 मिनट 54 सेकंड में पोंग को 75% आत्मविश्वास पर पहचाना, और 52 मिनट 25 सेकेंड में ब्रेकआउट 88% आत्मविश्वास पर। यह फ्रीवे पर विफल रहा, एक सरलीकृत पैक मैन जैसे ग्रिड गेम का अनुमान लगाकर unsur आश्चर्यजनक नहीं है कि फ्रीवे अन्य तीन से बहुत कम परिचित है।

तर्क के निशान लंबे हैं और बड़े पैमाने पर एक मानव के लिए अपठनीय, चैनल सूचकांकों और वजन मूल्यों से भरे हुए हैं, लेकिन वे मॉडल को खेल के नाम से मेल खाने वाले पैटर्न के बजाय स्थानिक संरचना के माध्यम से काम करते हुए दिखाते हैं। विल्सन ने कहा कि एक नोटपैड और पर्याप्त समय के साथ एक अनुभवी इंसान शायद वहां भी पहुंच सकता है।

 Qwen 3.8 27 billion on my laptop can also interpret model weights

स्थानीय मॉडल चलाने वाले लोगों के लिए इसका क्या मतलब है

व्यावहारिक टेकअवे कुछ टिप्पणियों की तुलना में संकीर्ण है। laptop पर चलने वाला एक 27B मॉडल, लंबे context window और लगभग एक घंटे के कंप्यूटिंग के साथ, एक छोटे नेटवर्क के वजन में एन्कोड किए गए व्यवहार का अनुमान लगा सकता है। यह एक वास्तविक क्षमता है, और इसके लिए फ्रंटियर API मॉडल की आवश्यकता नहीं थी।

इसका मतलब यह नहीं है कि source code अप्रचलित हो गया है या मॉडल जल्द ही अपने स्वयं के वजन को इस तरह से फिर से लिखेंगे कि कोई भी निरीक्षण नहीं कर सकता। प्रदर्शन नेटवर्क छोटे हैं, कार्य एक चार-तरफा वर्गीकरण है, और कागज में अधिक नाटकीय संपादन परिणाम शामिल कोड और टूलींग जो लेखकों के आलोचकों का कहना है कि अलग जांच के लायक हैं।

किसी भी जिज्ञासु को इसे पुनः पेश करने के लिए, संकेत स्व-निहित हैं और कच्चे GitHub URL की ओर इशारा करते हुए एक टुकड़ा ध्वज के साथ स्थानीय मॉडल में पारित किया जा सकता है। मुख्य व्यावहारिक बाधाएं संदर्भ लंबाई डिफ़ॉल्ट 8192 विंडो विफल हुई और समय हैं, क्योंकि स्थानीय रन ने प्रत्येक घंटे का बेहतर हिस्सा लिया था।

पेपर को एक दिलचस्प जांच के रूप में पढ़ा जाता है कि मॉडल केवल संख्यात्मक वजन से क्या अनुमान लगा सकते हैं, यह घोषणा नहीं की गई है कि programming को प्रतिस्थापित कर दिया गया है। अगली बात यह देखने के लिए है कि क्या भार-पढ़ने का परिणाम बड़े, अधिक जटिल नेटवर्क पर रहता है और क्या स्वतंत्र समूह टूलींग को अलग करके संपादन दावों को पुनः उत्पन्न कर सकते हैं।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.