उपकरण समीक्षाएँ

भाषा मॉडल व्यवहार को बदलते हैं और नियंत्रित भार के तहत गिरावट देते हैं क्योंकि उनकी निर्देश क्षमता का परीक्षण किया जाता है

आईईसी परीक्षण GPT-4o mini नियंत्रित शब्द-विनिमय भार, प्रकाशन कानूनों और उत्तर गुणवत्ता मूल्यांकन के लिए एक नमूना पासपोर्ट।

भाषा मॉडल व्यवहार को बदलते हैं और नियंत्रित भार के तहत गिरावट देते हैं क्योंकि उनकी निर्देश क्षमता का परीक्षण किया जाता है

मुख्य जानकारी

  • आईईसी न्यूनतम शब्द-प्रतिस्थापन निर्देशों को मापनीय तनाव परीक्षण में बदलकर नियंत्रित भार के तहत GPT-4o mini का मूल्यांकन करता है, जिसमें प्रत्येक स्वैप प्रोग्रामेटिक रूप से सत्यापित होता है।
  • उत्तर-गुणवत्ता में गिरावट को पांच लोड कारकों के माध्यम से मॉडलिंग किया गया हैः पाठ की लंबाई, प्रतिस्थापन शब्द का स्थान, प्रतिस्थापित घनत्व, नियमों की संख्या और नियम क्रम।
  • GPT-4o mini नियमित क्षमता सीमा को दर्शाता हैः नियम संख्या का लॉग-रेखीय प्रभाव होता है, प्रतिस्थापन घनत्व संतृप्त हो जाता है, नियम स्थिति एक शक्ति कानून का पालन करती है और पाठ की लंबाई और शब्द स्थान स्वतंत्र रूप से कार्य करने के बजाय परस्पर क्रिया करते हैं।
  • निष्कर्षों को एक मॉडल पासपोर्ट, 89 के रूप में पैक किया जाता है जो Hugging Face पर उपकरण प्रलेखन और कोड के साथ प्रकाशित होता है, जिससे भाषा-मोडेल व्यवहार की दोहराए जाने योग्य तुलना संभव हो जाती है।
  • चूंकि पासपोर्ट मानों को प्रकाशित dataset से पुनः गणना की जा सकती है, इसलिए परिणाम एक अप्रमाणित मॉडल-गुणवत्ता सारांश के बजाय सत्यापित संदर्भ के रूप में कार्य करता है।

मेटा विवरणः आईईसी शब्द-प्रतिस्थापन नियमों के साथ GPT-4o mini का परीक्षण करता है और एक मापने योग्य मॉडल पासपोर्ट प्रकाशित करता है जो दिखाता है कि नियंत्रित लोड परिवर्तन गुणवत्ता को कैसे जवाब देते हैं।

Language Models Change Behavior and Degrade under Controlled Load as Their Instruction Capacity Is Tested

टैगः GPT-4o mini, आईईसी, मॉडल मूल्यांकन, भाषा मॉडल परीक्षण

विशेष रुप से प्रदर्शित छवि: शब्द-प्रतिस्थापन नियमों के खिलाफ जांच किए जा रहे एक मॉडल पासपोर्ट की अमूर्त, मैत्रीपूर्ण चित्रण शैली।

Language Models Change Behavior and Degrade under Controlled Load as Their Instruction Capacity Is Tested

मुख्य परिणाम

उन पाठकों के लिए जिन्हें तनाव में भाषा मॉडल की तुलना करने का एक दोहराए जाने योग्य तरीका चाहिए, आईईसी ने जांच की है कि GPT-4o mini नियंत्रित भार के तहत कैसे व्यवहार करता है और गुणवत्ता खो देता है। काम न्यूनतम शब्द-प्रतिस्थापन निर्देशों को मापने योग्य भार में बदल देता है, फिर परिणामी सीमाओं को मॉडल पासपोर्ट के रूप में रिपोर्ट करता है। प्रकाशित dataset दिनांक 2024-07-18 है।

भार का निर्माण कैसे किया जाता है

लोड बनाने के लिए, विधि न्यूनतम स्वतंत्र निर्देशों का उपयोग करती है। प्रत्येक अनुदेश एक शब्द को दूसरे के लिए किसी ऐसे मार्ग में स्वैप करता है जिसका कोई अर्थ नहीं होता है। एक कार्यक्रम हर स्वॅप की पुष्टि करता है। उन सत्यापित प्रतिस्थापन से, एक सांख्यिकीय मॉडल निकालता है कि उत्तर गुणवत्ता पांच भार कारकों के साथ कैसे बदलती हैः पाठ लंबाई, जहां प्रतिस्थापित शब्द उत्तर में दिखाई देता है, प्रतिस्थापना घनत्व, कितने नियम मौजूद हैं और सूची में एक नियम कहां बैठता है।

GPT-4o mini ने क्या दिखाया

GPT-4o mini के लिए, प्रत्येक परीक्षण की गई निर्भरता ने नियमितता दिखाई। नियमों को जोड़ने का प्रभाव लॉगरिदमिक शब्दों में रैखिक है। प्रतिस्थापन घनत्व एक संतृप्ति कानून का पालन करता है। सूची में एक नियम का स्थान एक शक्ति कानून का अनुसरण करता है. पाठ लंबाई और उत्तर में शब्द की स्थिति अलग-अलग सीमाएं नहीं हैं; वे बातचीत करते हैं। पूर्ण उत्तर की विफलता अपने स्वयं के कानूनों का पालन करती है, जो केवल निर्देश गणना के बजाय पाठ के भार और उत्तर के माध्यम से प्रगति द्वारा संचालित होती है।

Language Models Change Behavior and Degrade under Controlled Load as Their Instruction Capacity Is Tested

पासपोर्ट क्या जोड़ता है

एक साथ लिया गया, कानून और उनसे प्राप्त क्षमताएं मॉडल के लिए पासपोर्ट बनाती हैं। पासपोर्ट को Hugging Face dataset : https://huggingface.co/datasets/kutomanovhennadii/iec-gpt-4o-mini-2024-07-18 के रूप में प्रकाशित किया जाता है। उपकरण विवरण https://huggingface.co/spaces/kutomanovhennadii/iec-instrument पर उपलब्ध है, और कोड https://github.com/kutomanovhennadii/instruction-capacity पर है।

यह क्यों मायने रखता है

प्रकाशित आंकड़ों से पासपोर्ट के प्रत्येक नंबर की गणना की जा सकती है. प्रश्नों और आलोचनाओं का स्वागत किया जाता है। इससे परिणाम एक अप्रमाणित सारांश के बजाय जांच योग्य संदर्भ के रूप में उपयोगी हो जाता है.

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.