किस हद तक नीतिगत आसवन प्रशिक्षण और अनुमान के बीच असंगति को सहन कर सकता है?
ऑन-पॉलिसी आसवन परीक्षण किए गए reinforcement learning विधियों की तुलना में प्रशिक्षण-निष्कर्ष असंगति के लिए बहुत अधिक सहिष्णुता वाले क्वांटिज़्ड या अतुल्यकालिक रोलआउट से सीख सकता है। एक सात अरब पैरामीटर छात्र मानक 16-बिट इंजन के 200 गुना से ऊपर उच्च गुणवत्ता रखता है और उस स्तर का लगभग दोगुना विफल रहता है। क्योंकि सहनशीलता मॉडल और परत पर निर्भर करती है, एक - GPU स्क्रीन लंबे समय तक चलने से पहले असुरक्षित रोल आउट सेटिंग्स को अस्वीकार कर सकती है। सुरक्षित बजट के भीतर, 8-बिट कुंजी-मूल्य कैश क्षमता में सुधार करते हैं और अतुलनीय रोलिंग तुलनीय प्रशिक्षण गुणवत्ता जल्दी पहुंचते हैं।
मुख्य जानकारी
- ऑन-पॉलिसी आसवन परीक्षण किए गए आरएल विधियों की तुलना में बहुत अधिक प्रशिक्षण-निष्कर्ष असंगति को सहन करता है, जो मानक बीएफ 16 इंजन के 200 गुना से ऊपर व्यवहार्य रहता है और केवल लगभग 2x उस स्तर पर विफल होता है।
- रोलआउट असंगतता मुख्य रूप से पुराने वजन का उपयोग करके क्वांटिज़्ड अनुमान या अतुल्यकालिक रोलिंग से आती है, लेकिन इसका प्रभाव प्रशिक्षण विधि के अनुसार भिन्न होता है।
- एक हल्का GPU स्क्रीनिंग चेक पूर्ण प्रशिक्षण से पहले असुरक्षित रोलआउट कॉन्फ़िगरेशन को खारिज कर सकता है, जिससे कंप्यूटिंग की बर्बादी कम हो जाती है।
- सहिष्णुता बजट के भीतर, FP8 कुंजी-मूल्य कैश BF16 कैश की तुलना में कम से कम 1.93x अधिक tokens हो सकता है, और असिंक्रोनस रोलआउट के साथ एफपी 8 समान प्रशिक्षण गुणवत्ता 1.62x तेजी से प्राप्त कर सकते हैं।
- सुरक्षित असंगति बजट मॉडल-निर्भर होते हैं, कुछ परतें अधिक सटीक संवेदनशील होती हैं, इसलिए टीमों को एक वैश्विक नियम पर भरोसा करने के बजाय प्रति मॉडल का मूल्यांकन करना चाहिए।
रोलआउट लागत को कम करने वाली टीमों के लिए क्वांटिज़्ड इन्फरेंस या एसिंक्रोनस पुराने-वजन वाले रॉलआउट्स के माध्यम से, एक विधि कितने रोल आउट इंजन / मॉडल असंगति का सामना कर सकती है? ऑन-पॉलिसी आसवन, जहां एक छात्र वर्तमान नीति से सीखता है, गुणवत्ता 200 गुना मानक बीएफ 16 इंजन की बेमेल पर रखता है और केवल उस स्तर के लगभग दो बार विफल रहता है।
क्यों रोलआउट इंजन मॉडल से मेल खाना बंद कर सकते हैं
रोलआउट प्रशिक्षण उदाहरणों के लिए उपयोग की जाने वाली पीढ़ियां हैं। क्वांटिज़्ड अनुमान सटीकता को कम करता है; असिंक्रोनस रोलऑट पुराने वजन का उपयोग करते हैं। दोनों प्रशिक्षण-निष्कर्षण बेमेल बनाते हैं। क्षति विधि से भिन्न होती है; मापा गया सहिष्णुता अवशोषित इंजन बहाव दिखाता है।
नीतिगत आसवन परीक्षण विधियों की तुलना में अधिक असंगति को सहन करता है
7B स्टूडेंट पर, ऑन-पॉलिसी डिस्टिलेशन मानक BF16, या 16-बिट फ्लोटिंग-प्वाइंट इंजन के बेमेल से 200 गुना अधिक गुणवत्ता रखता है और लगभग दो बार उस स्तर पर विफल रहता है। एक ही इंजनों के तहत, दो आरएल विधियां लगभग 12 × और 60 × में टूट जाती हैं। Acceptable OPD रोलआउट परीक्षण किए गए आरएल के लिए असुरक्षित हो सकते हैं।
बजट मॉडल पर निर्भर करता है; कुछ परतें सटीकता-संवेदनशील होती हैं, इसलिए एक वैश्विक नियम के बजाय प्रति मॉडल की जांच करें।
एक- GPU स्क्रीन खराब रोलआउट सेटिंग्स को अस्वीकार कर सकते हैं
पूर्ण प्रशिक्षण से पहले, एक GPU पर मिनटों में सहिष्णुता बजट के खिलाफ रोलआउट कॉन्फ़िगरेशन की जांच करता है। यह लंबे समय तक काम करने के बाद विफल होने के बजाय बजट के बाहर इंजन को फ़िल्टर करता है, जिससे खोज कम हो जाती है; यह पूर्ण सत्यापन नहीं है।
बजट के भीतर, FP8 और अतुल्यकालिक रोलआउट भुगतान करते हैं
बजट के भीतर: FP8 कुंजी-मूल्य कैश, 8-बिट फ्लोटिंग पॉइंट का उपयोग करते हुए, कम से कम 1.93 × tokens को BF16 कैशे के रूप में रखते हैं, एक कैश-सीमित क्षमता लाभ। असिंक्रोनस रोलआउट के साथ FP8, सिंक बीएफ 16 की तुलना में 1.62x पहले उसी प्रशिक्षण गुणवत्ता तक पहुंचता है।
टेकअवे: ओपीडी के पास एक बड़ा असंगत बजट प्रतीत होता है; परीक्षण किए गए आरएल विधियों में नहीं। टीमें सटीक मॉडल और इंजन की स्क्रीनिंग के बाद क्वांटिज़्ड / एसिंक रोलआउट का उपयोग कर सकती हैं; परत संवेदनशीलता सुरक्षित सीमा को बदल सकती है। कोडः https://github.com/benyucong/train-inference-mismatch-opd
मेटा विवरणः ऑन-पॉलिसी आसवन 200 × असंगति को सहन करता है; दो आरएल विधियां पहले विफल हो जाती हैं, जिससे सस्ता रोलआउट संभव होता है।
टैगः नीति पर आसवन, प्रशिक्षण-निष्कर्षण असंगति, रोलआउट क्वांटिज़ेशन, अतुल्यकालिक रोलऑउट, मॉडल प्रशिक्षण
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> असंगतता गेज और क्वांटिज़्ड tokens के साथ प्रशिक्षण और अनुमान पैनलों का सार चित्रण, कोई लोग, लोगो या पाठ नहीं।

Comments (0)