क्यों तापमान को 0 पर सेट करना अभी भी निर्धारकता की गारंटी नहीं देता है

मेटा विवरणः Towards Data Science पोस्ट में एक-पंक्ति सूत्र का उपयोग किया जाता है, यह दिखाने के लिए कि तापमान 0 LLM आउटपुट लगभग 100 टोकन के बाद क्यों बह सकता है और बिल्डरों को क्या देखना चाहिए।

टैगः LLM निष्कर्षण, तापमान 0, निर्धारात्मक नमूनाकरण, AI विश्वसनीयता

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक अमूर्त दोस्ताना चित्रण शाखाओं के प्रतीकात्मक मार्गों का अलग-अलग हो रहा है, कोई लोग नहीं, कोई लोगो, कोई पाठ नहीं।

डेवलपर्स, AI इंजीनियरों और विश्लेषकों के लिए जो मान लेते हैं कि तापमान 0 पूर्णता को दोहराए जाने योग्य बनाता है, एक पोस्ट जो पहली बार Towards Data Science पर दिखाई दी कोई तारीख नहीं दी गई तर्क देता है कि तापमान ० निर्णायक नहीं है। यह LLM के शीर्ष टोकन फ्लिप करने की आवृत्ति के लिए एक-पंक्ति सूत्र को उजागर करता है और लगभग सौ टोकन के बाद समान पूर्णता क्यों अलग हो जाती है। स्रोत सामग्री में सटीक फॉर्मूला नहीं दिखाया गया है, इसलिए नीचे अंकगणित दावा के बारे में कारण का एक सामान्य तरीका है। मूल विचारः निकट संबंध छोटे रनटाइम अंतर को विभिन्न लंबे आउटपुट में बदल सकता है।

मूल दावा: छोटे-छोटे पलटाव बड़े अंतर बन जाते हैं

एलएलएम एक समय में एक टोकन की भविष्यवाणी करते हैं। प्रत्येक चरण में, वे संभावित अगले टोकनों को स्कोर देते हैं, जिन्हें अक्सर लॉजिट कहा जाता है। तापमान 0 का आमतौर पर अर्थ "उच्चतम-स्कोरिंग टोकन चुनें" होता है। यदि वह टोकन बहुत आगे है, तो आउटपुट स्थिर होना चाहिए।

चेतावनी उन मामलों को लक्षित करती है जहां शीर्ष विकल्प बहुत आगे नहीं है। यदि पहला और दूसरा उम्मीदवार एक छोटी सी राशि से अलग हैं, तो एक छोटा सा संख्यात्मक परिवर्तन दूसरे को पहले दिखाई दे सकता है। यह एक शीर्ष टोकन फ्लिप है। एक बार जब कोई टोकन बदल जाता है, संदर्भ बदलता है, और मॉडल एक अलग पथ का पालन कर सकता है.

अंकगणित की एक सरल रेखा बताती है कि यह यौगिक क्यों होता है। यदि किसी भी चरण में फ्लिप मौका p है, तो n टोकन के पार समान रहने का मौका मोटे तौर पर (1 - p) ^ n है। जैसे-जैसे n बढ़ता है, यहां तक कि एक छोटा पी विचलन को संभव बना सकता है।

यह "लगभग एक सौ टोकन" बिंदु के पीछे तर्क है। 100-टोकन पूरा होने से लगभग टाई की कई संभावनाएं होती हैं। यदि p प्रति टोकन 1 प्रतिशत है, तो 100 टोकन पर समान रहने का मौका लगभग (0.99) ^ 100, या मोटे तौर पर 37 प्रतिशत है। 1% आंकड़ा चित्रणात्मक है, न कि सार्वभौमिक मॉडल सांख्यिकीय। लंबे आउटपुट छोटे अनिश्चितताओं को बढ़ाते हैं।

क्यों शून्य तापमान अभी भी परिवर्तन के लिए जगह छोड़ देता है

मुद्दा यह नहीं है कि तापमान 0 यादृच्छिक रूप से चुनता है। यह है कि अंतर्निहित गणना हमेशा समान नहीं होती है। कई सामान्य इंजीनियरिंग कारक मनुष्यों को नोटिस करने के लिए बहुत छोटी मात्राओं द्वारा लॉजिट को धक्का दे सकते हैं।

बैच का आकार एक सामान्य स्रोत है। अनुरोध अकेले या अन्य अनुरोधों के साथ समूहीकृत किया जा सकता है। विभिन्न बैच आकार फ्लोटिंग-पॉइंट एडिशन के क्रम को बदल सकते हैं। फ़्लोटिंग पॉइंट अंकगणित पूरी तरह से सहयोगी नहीं है, इसलिए समतुल्य गणनाएं थोड़ा अलग परिणाम उत्पन्न कर सकती हैं।

हार्डवेयर और कर्नेल व्यवहार भी मायने रख सकता है। GPU लाइब्रेरी, मॉडल समानांतरता, कैश स्टेट और समवर्ती वर्कलोड संख्यात्मक विवरण को प्रभावित कर सकते हैं। क्वांटिज़ेशन, कम परिशुद्धता में वजन संग्रहीत करने से स्कोर एक साथ करीब हो सकते हैं. इसलिए निर्धारक आउटपुट पूरे अनुमान स्टैक की संपत्ति है, न कि केवल नमूना पैरामीटर।

निर्माणकर्ताओं को क्या करना चाहिए जब पुनरुत्पादनता मायने रखती है

चैटबॉट्स, डेटा पाइपलाइन, कोडिंग असिस्टेंट और मूल्यांकन हार्नेस के लिए, सवाल केवल यह नहीं है कि क्या तापमान 0 एक अच्छा जवाब देता है, लेकिन क्या उत्तर को दोहराने पर भरोसा किया जा सकता है।

संक्षिप्त कार्य कुछ फ्लिप दिखा सकते हैं। लंबे कार्यों से उन्हें अनदेखा करना कठिन हो जाता है। 100 टोकन की प्रतिक्रिया पहले से ही एक अलग मार्ग पर पूरा करने के लिए लगभग टाई भेजने के लिए पर्याप्त लंबी होती है। एजेंटिक प्रणालियों में, जहां एक टोकन एक अलग टूल कॉल को ट्रिगर कर सकता है, प्रभाव शब्द परिवर्तन से बड़ा हो सकता है।

एक उचित प्रतिक्रिया स्थिरता सेटिंग के रूप में तापमान 0 का इलाज करना है, गारंटी नहीं। यदि सटीक पुनरावृत्ति मायने रखती है, तो पुनर्जनन पर भरोसा करने के बजाय पूर्ण आउटपुट को संग्रहीत करें। अगर आपको पुनः उत्पन्न करना होगा, तो मॉडल संस्करण, रनटाइम, हार्डवेयर प्रकार और बैच कॉन्फ़िगरेशन को यथासंभव बारीकी से पिन करें।

मॉनिटरिंग मदद करता है. कई अनुमान स्टैक शीर्ष उम्मीदवार के स्कोर और पहले और दूसरे उम्मीदवारों के बीच मार्जिन लॉग कर सकते हैं। यदि मार्जिन अक्सर छोटे होते हैं, तो सिस्टम अपेक्षा से अधिक फ्लिप-संवेदनशील हो सकता है। ऑडिट के लिए, पूर्ण प्रॉम्प्ट, मॉडल पहचानकर्ता और आउटपुट को सहेजें, क्योंकि एक ही प्रोम्प्ट वातावरण में बाइट-फॉर-बाइट पुनः पेश नहीं कर सकता है.

यह पाठकों के लिए क्या बदलता है

पोस्ट यह सुझाव नहीं देता है कि तापमान 0 बेकार है। यह नमूनाकरण यादृच्छिकता को कम करता है और आउटपुट केंद्रित रखता है। संकीर्ण बिंदु यह है कि यह संख्यात्मक स्थितियों को मिटा नहीं सकता है जो शीर्ष टोकन को पलट सकते हैं।

गैर-विशेषज्ञों के लिए, उपयोगी मानसिक मॉडल सरल हैः मॉडल हमेशा विकल्पों के बीच एक विस्तृत अंतर से चयन नहीं कर रहा है। कभी-कभी दो उत्तर लगभग बराबरी पर होते हैं, और एक छोटा तकनीकी झूलना पैमाने को झुका सकता है। लंबे समय तक पूरा होने से उस झूलने की बहुत संभावना होती है।

अनुवर्ती प्रभाव व्यावहारिक है। स्थिर उत्तरों की आवश्यकता वाली टीमों को सटीक फ्लिप सूत्र के बारे में कम और कैशिंग, संस्करण नियंत्रण, और अवलोकनशीलता के लिए अधिक ध्यान देना चाहिए। लंबी पूर्ति, बहु-चरण एजेंट या मूल्यांकन चलाने वाली टीमें कुछ बहाव की उम्मीद कर सकती हैं भले ही वे तापमान 0 पर सेट करें।

लेख की एक पंक्ति का फ्रेमिंग चेतावनी हैः लगभग सौ टोकन के बाद समान पूर्णता अलग हो सकती है क्योंकि शीर्ष-टोकन फ्लिप कंपाउंड। इसका मतलब यह नहीं है कि हर 100 टोकन रन भिन्न होंगे। इसका अर्थ है कि बिल्डरों को यह नहीं मानना चाहिए कि वे नहीं करेंगे।