एक Netflix वैज्ञानिक ने आपके LLM न्यायाधीश को फिर से नमूने लेने की सलाह दी है, यह कहते हुए कि पांच रन त्रुटि पट्टी को 13 प्रतिशत तक कम करते हैं।
AlpacaEval LLM जज शोर दिखाता है. पांच जज रन ने 95% त्रुटि पट्टी को 13% से काट दिया, लेकिन 260 अतिरिक्त प्रश्न कम कुल कॉल के साथ मेल खा सकते हैं।
मुख्य जानकारी
- एक एकल नमूना एलएलएम-न्यायाधीश का फैसला मापने योग्य शोर जोड़ता हैः अल्पाका इवल पर, जीपीटी -4o उत्तरों को पांच बार ग्रेडिंग करने के बजाय 3.45 से ±3.00 तक 95% त्रुटि पट्टी कम हो जाती है, जो कि 13% में सुधार है, लेकिन 805 की जगह 4,025 न्यायाधीश कॉल की आवश्यकता होती है।
- न्यायाधीश पुनः नमूनाकरण केवल न्यायाधीश शोर को कम करता है, कार्य-नमूना शोर नहीं; 1,065 प्रश्नों पर प्रति उत्तर एक फैसले के साथ समान ±3.00 त्रुटि पट्टी प्राप्त की जा सकती है, जिसका अर्थ है कि 3,220 अतिरिक्त न्यायाधीश कॉल के बजाय 260 अतिरिक्त परीक्षण मामले।
- त्रुटि पट्टी में एक तल है क्योंकि कार्य शोर बना रहता हैः GPT-4o के लिए अनंत पुनः ग्रेडिंग ± 2.88 पर बंद हो जाती है, जबकि वन-रन त्रुटि बार को आधा करने से लगभग चार गुना अधिक कार्यों की आवश्यकता होगी।
- यदि न्यायाधीश टोकन लॉग-संभावनाओं को उजागर करता है, तो एक नमूना हाँ / नहीं फैसले के बजाय जीत की संभावना का उपयोग करें; यह एक कॉल की लागत पर न्यायाधीश शोर में कमी को पकड़ता है, जबकि तापमान 0 शोर को हटा देता है लेकिन स्कोर बदल सकता है।
- न्यायाधीश पुनर्मूल्यांकन सबसे उपयोगी है जब न्यायाधीश कुल विचलन के एक बड़े हिस्से का योगदान देता है, इसलिए निर्णय लेने से पहले बार-बार ग्रेडिंग के साथ उस हिस्से को मापें कि क्या न्यायाधीश रन या अधिक मूल्यांकन कार्य जोड़ना है।
यदि आपकी LLM मूल्यांकन पाइपलाइन प्रत्येक उत्तर को एक बार नमूने वाले फैसले के साथ ग्रेड करती है, तो आप उस शोर के लिए भुगतान कर रहे हैं जिसे आप माप सकते हैं। सार्वजनिक AlpacaEval डेटा पर निर्मित एक स्क्रिप्ट से पता चलता है कि GPT-4o के लिए, हर जवाब को पांच बार एक बार की बजाय ग्रेडिंग करने से 95% त्रुटि पट्टी ±3.45 अंकों से ± 3.00 तक सिकुड़ जाती है 89 एक 13% कमी जो 805 के बजाय 4,025 न्यायाधीश कॉल की लागत होती है। 1,065 प्रश्नों पर प्रति उत्तर एक निर्णय के साथ समान ± 3.00 प्राप्त किया जा सकता है, जिसका अर्थ है 3,220 अतिरिक्त न्यायमूर्ति कॉल के बजाय 260 अतिरिक्त परीक्षण मामले।
विश्लेषण Cameron Wolfe से आता है, नेटफ्लिक्स के एक स्टाफ रिसर्च साइंटिस्ट जो डीप (लर्निंग) फोकस न्यूज़लेटर भी लिखते हैं। उन्होंने 5 नवंबर को AI Engineer चैनल द्वारा पोस्ट किए गए "How Netflix Evaluates AI When There's No Right Answer," नामक एक वार्ता दी। इस बातचीत में रचनात्मक लेखन जैसे कार्य शामिल हैं जहां पास या असफल होना निर्णय लेने की बात है, और यह तीन-भाग का ढांचा तैयार करता हैः मानव मूल्यांकन क्योंकि North Star, LLM न्यायाधीशों और रूब्रिज ऑफलाइन स्केल करने के लिए, और ए / बी परीक्षण प्लस उत्पादन निगरानी वास्तविक उपयोगकर्ताओं के साथ पुष्टि करें।
वोल्फ की केंद्रीय चिंता शोर है। मॉडल और इसके LLM जज दोनों यादृच्छिक हैं। उनके सुझाए गए फिक्स eval का आकार देने के लिए पावर विश्लेषण, प्रत्येक संख्या पर त्रुटि सलाखों और मॉडल या न्यायाधीश से कई रोलआउट को फिर से नमूनाकरण कर रहे हैं। यह लेख इस सवाल का जवाब देता है कि जज रीमॉडलिंग वास्तव में क्या खरीदता है, एक ऐसे न्यायाधीश का उपयोग करके जिसका ऑड्स सार्वजनिक होता है।
जहां न्यायाधीश का शोर दिखाई देता है
AlpacaEval 2.0 आपको जो चाहिए वह प्रकाशित करता है. इसका GPT-4 टर्बो जज प्रत्येक मॉडल के उत्तर की तुलना 805 प्रश्नों में जीपीटी -4 टरबो के स्वयं के उत्तर से करता है, और रिपॉजिटरी हर सवाल के लिए न्यायाधीश की जीत की संभावना को संग्रहीत करती है, इसकी टोकन बाधाओं से पढ़ी जाती है।
वह संभावना है जो परीक्षण को संभव बनाती है। न्यायाधीश का कॉन्फ़िग 1 तापमान पर एक टोकन के लिए पूछता है, इसलिए यदि यह किसी प्रश्न पर 0.7 रिपोर्ट करता है, तो एक एकल नमूना निर्णय प्रभावी रूप से एक सिक्का है जो "जीत" 70% समय लैंड करता है। उस सिक्के का प्रसार, 0.7 × 0.3, उस सवाल पर न्यायाधीश की अपनी शोर है। सवालों में संभावनाओं का फैलाव वह शोर होता है जो आपके द्वारा चुने गए सवालों से आता है।
शोर के दो स्रोत, दो अलग-अलग उपचार
एक eval स्कोर प्रश्नों पर औसत है, इसलिए इसकी त्रुटि पट्टी में दो स्रोत हैं। पहला कार्य शोर हैः आपके सेट में कौन से प्रश्न समाप्त हो गए. इलाज अधिक सवाल है। दूसरा न्यायाधीश शोर है: प्रति निर्णय सिक्का फ्लिप। उपचार अधिक न्यायाधीश चलाता है।
प्रत्येक उत्तर को K बार ग्रेडिंग करने से केवल जज भाग को K द्वारा विभाजित किया जाता है। कार्य हिस्सा नहीं चलता है। यह अंतर अभ्यास का पूरा बिंदु है, क्योंकि दो उपचारों में बहुत अलग मूल्य टैग हैं।
GPT-4o पर संख्याओं को चलाना
स्क्रिप्ट, judgenoise.py, मानक-पुस्तकालय पायथन 3.8+ है। यह या तो एक AlpacaEval annotations.json या अपने स्वयं के ग्रेड का CSV पढ़ता है, विचलन को दो भागों में विभाजित करता है, और प्रत्येक न्यायाधीश रन की संख्या के लिए त्रुटि पट्टी प्रिंट करता है। सीएसवी के लिए यह किसी कार्य के पुनरावृत्ति चलाने के बीच फैलाव से न्यायाधीश हिस्से का अनुमान लगाता है। खराब इनपुट इसे संदेश और निकास कोड 1 के साथ रोक देता है; कोई तर्क उपयोग पंक्ति मुद्रित नहीं करते हैं।
GPT-4o के AlpacaEval परिणामों पर 80 805 कार्य, एक 51.3% स्कोर विभाजन 0.1740 से कार्यों और न्यायाधीश से 0.0761 की भिन्नता में आता है, जिसका अर्थ है कि जज शोर का 30% खाता रखता है। जीपीटी -4 टर्बो के उत्तरों के खिलाफ तुलनाओं की संख्या में GPT-51.3% जीतता है।
परिणामी तालिका मुख्य निष्कर्ष हैः
| न्यायाधीश चलाता है | 95% त्रुटि पट्टी | एक रन इसके साथ मेल खाता है |
|---|---|---|
| एक | ±3.45 pts | 805 कार्य (+0%) |
| दो | ±3.18 पीटीएस | 950 कार्य (+18%) |
| तीन | ±3.08 pts | 1,010 कार्य (+25%) |
| पांच | ±3.00 pts | 1,065 कार्य (+32%) |
| दस | ±2.94 पीटीएस | 1,109 कार्य (+38%) |
| असीमित | ±2.88 pts | मंजिलः कार्य शोर रहता है |
प्रति उत्तर पांच फैसले का मतलब है कि 4,025 न्यायाधीश एक छोटे से बार के लिए 13% कॉल करते हैं। दाहिने हाथ का स्तंभ तुलना है जो मायने रखता हैः 1,065 प्रश्नों पर प्रति जवाब एक निर्णय वही ±3.00 देता है। यह 260 अधिक परीक्षण मामलों को लिखने, चलाने और ग्रेड करने के लिए, 3,220 अतिरिक्त न्यायाधीश कॉल के खिलाफ है।
असीमित पंक्ति फर्श है. यहां तक कि अनंत पुनः ग्रेडिंग ± 2.88 पर बंद हो जाती है, क्योंकि कार्य शोर रहता है। एक-रन बार को आधा करने में चार गुना प्रश्न लगते हैं 89 इस मामले में 3,220 और न्यायाधीश की कोई संख्या नहीं होती है।
असीमित का मुफ्त संस्करण
फर्श की पंक्ति एक संख्या से मेल खाती है जिसे AlpacaEval पहले ही प्रकाशित कर चुका है। इसका लीडरबोर्ड 1.47 की मानक त्रुटि के साथ GPT-4o की जीत दर को 51.33 के रूप में सूचीबद्ध करता है, और 1.47 × 1.96 फर्श पर ±2.88 है।
इसका कारण यह है कि AlpacaEval का "भारित" न्यायाधीश कभी भी नमूने वाले फैसले का उपयोग नहीं करता है। यह न्यायाधीश की संभावना को पढ़ता है कि मॉडल का उत्तर बेहतर है और उस संभावना को स्कोर के रूप में उपयोग करता है. जो एक कॉल की कीमत के लिए पूरे जज-शोर कटौती पर कब्जा कर लेता है। एक तापमान -0 न्यायाधीश शोर को भी हटा देता है लेकिन स्कोर बदल देता हैः यह प्रत्येक प्रश्न को अपने अधिक संभावित फैसले के लिए गोल करता है, 53.7% देने के बजाय GPT-4o के लिए 51.3%.
यदि आपका न्यायाधीश API टोकन लॉग-संभावनाओं को लौटाता है, तो यह एक सेटिंग बदलने के लिए हैः निर्णय टोकन पर लॉगप्रोब्स पूछें और संभावना का औसत करें, न कि नमूना "हाँ" या "नहीं"।
जब री-ग्रेडिंग भुगतान करता है
न्यायाधीश का हिस्सा जीपीटी -4o के लिए 30% और क्लाउड 3.5 सॉनेट के लिए 28% था। एक अलग न्यायाधीश, संकेत या कार्य सेट अधिक शोर हो सकता है, इसलिए विभाजन को मापा जाना चाहिए न कि माना जाए।
अपने स्वयं के न्यायाधीश की जांच करने के लिए, प्रत्येक उत्तर को कम से कम दो बार ग्रेड करें और स्क्रिप्ट के बगल में एक सीएसवी के रूप में प्रति रन एक पंक्ति सहेजें, जिसमें 0 और 1 के बीच कार्य और ग्रेड के कॉलम हों। चार-कार्य का एक छोटा सा उदाहरण रिफंड ईमेल, प्लॉट सारांश, एसक्यूएल फिक्स और टोन रीराइट, प्रत्येक तीन बार ग्रेडेड 58.3% का स्कोर उत्पन्न करता है जो कार्यों से 0.1204 के विचलन के साथ होता है और न्यायाधीश से 0.1667, एक 58% जज शेयर। उस खिलौना मामले में, पांच न्यायाधीश कार्य करते हैं जो गिनती को दोगुना कर देते हैं। त्रुटि पट्टी बहुत बड़ी होती है क्योंकि चार कार्य बहुत कम होते हैं, लेकिन विभाजन बिंदु हैः शोर में न्यायाधीश का हिस्सा जितना अधिक होता है, उतना ही पुनः चलाने लायक होता है।
विश्लेषण में क्या शामिल नहीं है
यहां मापा गया न्यायाधीश शोर एक फैसले पर जीपीटी -4 टर्बो जज का टोकन ऑड्स है, जिसमें प्रत्येक प्रश्न के उत्तर एक क्रम में दिखाए गए हैं। एक न्यायाधीश जो पहले कारण देता है, या आदेश को फिर से चलाता है, शोर जोड़ता है यह डेटा नहीं दिखा सकता है। Seven GPT-4o सवालों के समान जवाब थे और कभी भी न्याय नहीं किया गया था; उन्हें सिक्का फेंकने की तरह गिनना मुश्किल से संख्याओं को स्थानांतरित करता है। बात करने का मतलब मॉडल के उत्तरों को पुनः नमूना करना है; प्रति प्रश्न एक उत्तर के साथ, वह शोर कार्य भाग के अंदर बैठता है। लीडरबोर्ड का हेडलाइन स्कोर GPT-4o के लिए 57.5 पर लंबाई-नियंत्रित होता है; यह कच्चे जीत दर विश्लेषण का उपयोग करता है ।
यह आपके मूल्यांकन पाइपलाइन के लिए क्या मतलब है
एक न्यायाधीश के साथ जो एक फैसले का नमूना लेता है, प्रत्येक उत्तर को पांच बार फिर से वर्गीकृत करने से जीपीटी -4o की त्रुटि पट्टी ±3.45 से ± 3.00 अंकों तक कम हो जाएगी, जिसे 32% अधिक प्रश्न भी प्राप्त करते हैं। जज की टोकन संभावना का उपयोग करके एकल कॉल में पूर्ण न्यायाधीश-शोर कटौती होती है।
व्यावहारिक टेकअवे यह है कि किसी भी चीज़ के लिए भुगतान करने से पहले अपने स्वयं के विभाजन को मापें। यदि न्यायाधीश आपके शोर पर हावी हो जाता है, तो अधिक रन मदद करते हैं। अगर कार्य शोर हावी होता है, अधिक प्रश्न एकमात्र लीवर होते हैं जो फर्श को स्थानांतरित करता है। और यदि आपका न्यायाधीश लॉग-संभाव्यताओं को उजागर करता है, संभावना औसतकरण में स्विच करना पूरे सवाल को विवादास्पद बना सकता है।
कितनी बार अपने eval पाइपलाइन प्रत्येक उत्तर ग्रेड, और आप की जाँच है कि क्या यह करने के लिए की जरूरत है?
Comments (0)