टेनेटबेंच पेशेवर आचार संहिता के खिलाफ भाषा मॉडल का मूल्यांकन करने के लिए विशिष्ट खंडों पर आधारित एक रूसी कॉर्पस है।
टेनेटबेंच पेशेवर नैतिकता खंडों के साथ LLM संघर्षों का निरीक्षण करने के लिए एक रूसी बेंचमार्क, ज़ेनोडो डेटा और फैसले प्रदान करता है।
मुख्य बिंदु
- TenetBench का मूल्यांकन करता है कि क्या LLM द्वारा उत्पन्न पाठ रूसी भाषा के व्यावसायिक आचार संहिता के विशिष्ट खंडों से टकराता है।
- बेंचमार्क एक ही परिदृश्य से निर्मित सौम्य विकल्पों के साथ विरोधाभासी अनुरोधों की तुलना करता है ताकि अलग-थलग किया जा सके कि क्या मॉडल खंड का उल्लंघन करने वाले आउटपुट उत्पन्न करते हैं।
- मुख्य मूल्यांकन में, 14 मॉडल और तर्क-मोड कॉन्फ़िगरेशनों में से 11 ने 279 अनुरोधों पर परस्पर विरोधी सामग्री उत्पन्न की, आमतौर पर चेतावनी के बिना, जैसा कि एक जमे हुए LLM मूल्यांकक द्वारा आंका गया था।
- सार्वजनिक ज़ेनोडो रिलीज़ में 10 पेशेवर संहिताओं, 7,303 मॉडल-न्यायाधीश फैसलों के लिए 2,235 कार्य जोड़े शामिल हैं।
- dataset और कोड शोधकर्ताओं और मूल्यांकनकों को स्वतंत्र रूप से निरीक्षण करने की अनुमति देता है कि LLM आउटपुट पेशेवर-कोड संघर्षों से कैसे संबंधित हैं।
मेटा विवरण: TenetBench परीक्षण करता है कि क्या LLM -जनित पाठ रूसी भाषा के पेशेवर कोडों के साथ संघर्ष करता है। एक प्रीप्रिंट रिपोर्ट 14 कॉन्फ़िगरेशन में से 11 ने संघर्ष का उत्पादन किया।
टैगः टेनेटबेंच, LLM मूल्यांकन, व्यावसायिक कोड, ज़ेनोडो dataset, मॉडल तर्क
विशेष रुप से प्रदर्शित छवि: एक निश्चित मूल्यांकनकर्ता द्वारा तुलना किए गए दो उत्तर कार्डों का अमूर्त मैत्रीपूर्ण चित्रण, जिसमें कोई वास्तविक लोग नहीं हैं, कोई लोगो और कोई पाठ नहीं है।
टेनेटबेंच पेशेवर कोड के खिलाफ LLM आउटपुट का परीक्षण करता है
एक प्रीप्रिंट TenetBench का परिचय देता है, शोधकर्ताओं और मूल्यांकनकर्ताओं को एक बेंचमार्क प्रदान करता है जो परीक्षण करता है कि क्या LLM -जनित पाठ रूसी-भाषा पेशेवर कोड के विशिष्ट खंडों के साथ संघर्ष करता है। सेटअप प्रत्येक विरोधाभासी अनुरोध को उसी परिदृश्य पर आधारित सौम्य विकल्प के साथ जोड़ता है। पेपर के मुख्य मूल्यांकन में, प्रत्येक कॉन्फ़िगरेशन का 279 परस्पर विरोधी अनुरोधों पर परीक्षण किया गया था। 14 मॉडल और तर्क मोड विन्यासों में से 11 ने अधिकांश अनुरोधों में परस्पर विरोधी सामग्री उत्पन्न की, आमतौर पर बिना किसी चेतावनी के, जैसा कि जमे हुए LLM न्यायाधीश द्वारा आकलन किया गया है।
विरोधाभासी और सौम्य अनुरोधों की तुलना कैसे करें
बेंचमार्क एक तुलना को अलग करता हैः एक अनुरोध जो खंड-विरोधी आउटपुट और उसी परिदृश्य के लिए एक सौम्य विकल्प का कारण बन सकता है। यह डिज़ाइन मूल्यांकन पर ध्यान केंद्रित करने की अनुमति देता है कि क्या एक मॉडल विरोधाभासी पाठ उत्पन्न करता है जब एक परस्पर विरोधी अनुरोध दिया जाता है, सौम्य वैकल्पिक के साथ तुलना में। रिपोर्ट किए गए मुख्य परिणाम 14 कॉन्फ़िगरेशनों को कवर करते हैं, जिनमें से प्रत्येक 279 विवादास्पद अनुरोधों का सामना कर रहा है।
dataset और Zenodo पर उपलब्ध फैसले
यह रिलीज़ ज़ेनोडो पर उपलब्ध है। इसमें 2,235 कार्य जोड़े हैं जिनमें 10 पेशेवर कोड शामिल हैं, 20 मॉडल और तर्क-मोड कॉन्फ़िगरेशनों में 7,303 मॉडल-न्यायाधीश फैसले, और 1,260 अनुरोध-प्रतिक्रिया आइटम पर मानव एनोटेशन। पीढ़ी और मूल्यांकन पाइपलाइन भी प्रदान की गई है। डेटाः सीसी बीवाई 4.0. कोडः अपाचे-2.0. डीओआई: https://doi.org/10.5281/zenodo.22678484
पाठक क्या निरीक्षण कर सकते हैं
पैकेज शोधकर्ताओं और मूल्यांकनकर्ताओं को यह जांचने का एक सार्वजनिक तरीका देता है कि क्या LLM आउटपुट रूसी-भाषा पेशेवर कोड खंडों के साथ संघर्ष कर सकता है। यह कार्य जोड़े, मॉडल-न्यायाधीश फैसलों और मानव-एनोटेट किए गए उपसमूह को जोड़ती है, इसलिए 11 में से 14 मुख्य-मूल्यांकन परिणाम की जाँच अंतर्निहित संकेतों और स्कोरिंग आउटपुट के खिलाफ की जा सकती है।
Comments (0)