यह अध्ययन प्रीफिल से ऑटोरेग्रेसिव तक क्रॉस-मॉडल ट्रांसफर के अवसरों और चुनौतियों का पता लगाता है।
प्रीफिल ट्रांसफर के लिए अध्ययन परीक्षण पीएलएटर, उपयोगी प्रेषक जानकारी के लिए कार्य-निर्भर साक्ष्य के साथ लाभ का पता लगाना पुल क्षमता को प्रतिबिंबित कर सकता है।
मुख्य जानकारी
- PACT अध्ययन करता है कि कैसे छोटे भाषा मॉडल एक बड़े मॉडल से लाभान्वित हो सकते हैं जो केवल संकेत को संसाधित करते हैं, जबकि छोटा मॉडल पूर्ण प्रतिक्रिया उत्पन्न करता है।
- PLatour इसे reinforcement learning के साथ प्रशिक्षित, हल्के ट्रेनेबल रैखिक पुलों के माध्यम से जमे हुए मॉडल को जोड़कर लागू करता है।
- PLatour मजबूत बेंचमार्क लाभ दिखाता है, लेकिन पेपर चेतावनी देता है कि सुधार प्रेषक से उपयोगी जानकारी के बजाय ब्रिज की अतिरिक्त अनुकूलन क्षमता से आ सकते हैं।
- नियंत्रण परीक्षणों से पता चलता है कि कुछ लाभ प्रेषक-विशिष्ट जानकारी के बिना पुनः प्रस्तुत किए जा सकते हैं, विशेष रूप से GSM8K जैसे कार्यों पर।
- पैक्ट-चेक और पैक्ट स्कोर यह मापने के लिए एक विधि प्रदान करते हैं कि क्या क्रॉस मॉडल ट्रांसफर वास्तव में सर्वोत्तम संभव आधार रेखा से परे प्रदर्शन में सुधार करता है।
Meta Description: PLatour और PACT-Check परीक्षण करें कि क्या प्रीफिल केवल क्रॉस मॉडल ट्रांसफर छोटे भाषा मॉडलों में मदद करता है, अनुकूलन लाभ से उपयोगी प्रेषक जानकारी को अलग कर रहा है।

टैगः PACT, PLatour, मॉडल ट्रांसफर, छोटे भाषा मॉडल, reinforcement learning
विशेष रुप से प्रदर्शित छवि: large model के पास एक पतले रैखिक पुल के माध्यम से छोटे मॉडल, कोई वास्तविक लोग, कोई लोगो, कोई पाठ नहीं।
एक नए पेपर में पूछा गया है कि केवल प्रॉम्प्ट को संसाधित करने वाले बड़े मॉडल से एक छोटे भाषा मॉडल का कितना लाभ हो सकता है, और वास्तव में सुधार क्या होता है। यह प्रीफिल-टू-ऑटोरिग्रेसिव क्रॉस-मॉडल ट्रांसफर या पीएसीटी का अध्ययन करता है और PLatour की शुरुआत करता है, जो reinforcement learning के साथ प्रशिक्षित हल्के रैखिक पुलों के माध्यम से जमे हुए मॉडलों को जोड़ता है। कुशल भाषा मॉडल बनाने या अध्ययन करने वाले पाठकों के लिए, कागज का मूल्य न केवल एक नई विधि है, बल्कि यह जांचने का एक स्पष्ट तरीका है कि क्या जानकारी वास्तव में एक बड़े संकेत-केवल प्रेषक से छोटे उत्तरदाता तक जाती है।
PACT कैसे काम करता है
PACT में, एक बड़ा प्रेषक मॉडल प्रॉम्प्ट को संसाधित करता है और छोटे रिसीवर मॉडल के लिए आंतरिक प्रतिनिधित्व पारित करता है। प्राप्तकर्ता तब स्वतंत्र रूप से प्रतिक्रिया उत्पन्न करता है. अंतिम उत्तर में हर token उत्पन्न करने के लिए बड़े मॉडल का उपयोग नहीं किया जाता है; इसकी भूमिका प्रोम्प्ट चरण में केंद्रित होती है। यह सेटअप को पूरी तरह से एक छोटे मॉडल पर भरोसा करने और large model पर निर्भर होने के बीच मध्य मार्ग के रूप में अध्ययन करना उपयोगी बनाता है।
PLatour इस पैटर्न को एक सरल और स्केलेबल तरीके से लागू करता है। यह जमे हुए मॉडलों को हल्के रैखिक पुलों के माध्यम से जोड़ता है, जिसका अर्थ है कि मुख्य मॉडल रीढ़ की हड्डी अपडेट नहीं होती हैं; केवल पुल परतों को सीधे reinforcement learning के साथ प्रशिक्षित किया जाता है। फ्रेमवर्क हाइब्रिड-ध्यान आर्किटेक्चर का भी समर्थन करता है, जो आधुनिक मॉडल डिजाइन में विभिन्न ध्यान तंत्र को मिला सकता है।
PLatour बेंचमार्क लाभ दिखाता है
पीढ़ी के कार्यों पर, PLatour का मूल्यांकन open-source PACT आधार रेखाओं से काफी बेहतर है। पेपर साझा गणित और कोडिंग बेंचमार्क पर एक तुलना पर प्रकाश डालता हैः 35B प्रेषक के साथ, पीएलएटूर भी Mostik AI s रिपोर्ट किए गए परिणामों से अधिक है, जहां मोस्टिक 89 की स्थापना ने 753B प्रेषक का उपयोग किया था। लेखकों ने चेतावनी दी कि प्रशिक्षण सेटअप भिन्न हो सकते हैं, इसलिए परिणाम यह स्पष्ट प्रमाण नहीं है कि छोटा प्रेषक हमेशा पर्याप्त होता है। फिर भी, यह सुझाव देता है कि एक प्रशिक्षित पुल कुछ सेटिंग्स में सार्थक प्रदर्शन लाभ में योगदान दे सकता है।
नियंत्रणों से हस्तांतरण साक्ष्य की सीमा का पता चलता है
पेपर का अधिक महत्वपूर्ण योगदान व्याख्या के बारे में इसकी सावधानी है। मजबूत बेंचमार्क परिणाम, अपने आप में, उपयोगी सूचना हस्तांतरण स्थापित नहीं करते हैं। लेखकों ने परीक्षण किया कि क्या लाभ प्रेषक की वास्तविक जानकारी से या पुल में अतिरिक्त प्रशिक्षित क्षमता से आते हैं।
कुछ कार्यों पर, प्रश्न-स्वतंत्र संकेतों के साथ प्रेषक प्रतिनिधित्व को बदलने से बहुत सुधार होता है। अकेले रिसीवर को प्रशिक्षित करने से भी काफी सुधार हो सकता है। इसका मतलब है कि प्रशिक्षण योग्य पुल दोनों मॉडल रीढ़ की हड्डी जमे हुए होने पर भी पर्याप्त अनुकूलन क्षमता प्रदान कर सकते हैं।
प्रमाण कार्य-निर्भर है। GSM8K पर, नियंत्रण लगभग PLatour से मेल खाते हैं, जो इस दावे को कमजोर करता है कि प्रेषक-विशिष्ट जानकारी बहुत काम कर रही है। chain-of-thought पीढ़ी के साथ रसायन विज्ञान पर, PLATOUR सभी परीक्षण किए गए नियंत्रणों से परे लाभ रखता है, मजबूत सबूत देता है कि उपयोगी जानकारी उस सेटिंग में स्थानांतरित की जा सकती है।
PACT-Check कठिन प्रश्न पूछता है
इसे व्यवस्थित रूप से जांचने के लिए, लेखक PACT-Check पेश करते हैं। यह अलग से प्रशिक्षित अनुकूलन आधार रेखाओं के साथ प्रेषक जानकारी पर हस्तक्षेप को जोड़ती है। व्यवहार में, इसका मतलब है कि शोधकर्ता उन संस्करणों के खिलाफ एक पीएसीटी सेटअप की तुलना कर सकते हैं जहां अन्य प्रशिक्षण योग्य क्षमता उपलब्ध रखते हुए प्रेषक सिग्नल को बदल दिया जाता है, हटाया जाता है या प्रतिस्थापित किया जाता है।
पीएसीटी-स्कोर सबसे मजबूत लागू नियंत्रण पर सटीकता मार्जिन को मापता है। यह एक व्यापक प्रदर्शन दावे को एक संकीर्ण प्रश्न में बदल देता हैः उपयोगी प्रेषक जानकारी के बिना लाभ की व्याख्या करने वाली सर्वोत्तम आधार रेखा से स्थानांतरण प्रणाली कितनी बेहतर है? अंतर महत्वपूर्ण है क्योंकि एक पुल प्राप्तकर्ता को अधिक प्रशिक्षित कर सकता है, भले ही प्रेषक की वास्तविक त्वरित सामग्री उपयोगी जानकारी का योगदान नहीं दे रही हो।
पीएलएटूर और पैक्ट-चेक समुदाय को यह जांचने के लिए उपकरण प्रदान करते हैं कि केवल प्रीफिल संचार कब मदद करता है और उन लाभों को अधिक विश्वसनीय कैसे बनाया जाए।
Comments (0)