DecisionPivot LLM प्रणालियों में निर्णय मॉडल का मूल्यांकन करने के लिए एक नैदानिक बेंचमार्क है।
DecisionPivot LLM निर्णय मॉडलों को कंट्रास्ट ग्रुप, कैलिब्रेशन, ऑर्डरिंग और कवरेज के साथ बेंचमार्क करता है, जिससे कुल स्कोर द्वारा छिपे हुए अंतराल का पता चलता है।
मुख्य जानकारी
- DecisionPivot LLM प्रणालियों में उपयोग किए जाने वाले निर्णय मॉडल का मूल्यांकन करने के लिए एक नैदानिक बेंचमार्क है, जिसमें 48 कार्यों और 40,033 वस्तुओं पर रूटिंग, गार्डरेल और आउटपुट सत्यापन शामिल हैं।
- यह एकल सटीकता स्कोर द्वारा छिपे हुए विफलता मोड को प्रकट करने के लिए विपरीत-समूह की सटीकता, संभावना क्रमबद्धता, अंशांकन और अनुभवजन्य चयनात्मक कवरेज को मापकर समग्र आइटम सटीकता से परे जाता है।
- बेंचमार्क में दो ट्रैक होते हैंः उत्पन्न नैदानिक कार्यों का एक कोर ट्रैक जो कंट्रास्ट समूहों में संगठित होता है, और सार्वजनिक परीक्षण सेट से निर्मित एक संदर्भ ट्रैक, स्थापित मूल्यांकन के साथ तुलना करने की अनुमति देता है।
- परिणाम दिखाते हैं कि समान समग्र सटीकता वाले मॉडल नियंत्रित भिन्नताओं पर बहुत अलग तरीके से प्रदर्शन कर सकते हैं, और संभावना रैंकिंग वास्तविक निर्णय शुद्धता के अनुरूप नहीं हो सकती है।
- LLM निर्णय मॉडल का उपयोग करने वाली टीमों के लिए, मुख्य सबक यह है कि ठीक दानेदार निदान आवश्यक हैं क्योंकि अकेले कुल स्कोर भ्रामक हो सकते हैं।
मेटा विवरण: DecisionPivot 48 कार्यों और 40,033 आइटमों का परीक्षण करता है, निर्णय सटीकता में अंतराल को उजागर करते हुए, विपरीत-समूह शुद्धता, संभावना क्रमबद्ध करना, कैलिब्रेशन और कवरेज।
टैग: DecisionPivot, LLM निर्णय मॉडल, बेंचमार्क, अंशांकन, विपरीत समूह
चित्र: तटस्थ आकृतियों के साथ एक शाखागत निर्णय प्रवाह का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
यदि कोई LLM प्रणाली रूटिंग, गार्डरेल या आउटपुट सत्यापन के लिए निर्णय मॉडल का उपयोग करती है, तो DecisionPivot बेंचमार्क को यह दिखाने के लिए बनाया गया है कि वे मॉडल कहां विफल होते हैं। यह सात निर्णय भूमिकाओं में 48 कार्यों और 40,033 मदों का मूल्यांकन करता है, और यह परीक्षण करता है कि क्या केवल आइटम सटीकता ही नियंत्रित भिन्नताओं में महत्वपूर्ण समस्याओं को छुपाती है।
क्यों आइटम सटीकता पर्याप्त नहीं है
निर्णय मॉडल को अक्सर समग्र स्कोर द्वारा आंका जाता है। DecisionPivot एक सीमा का समाधान करता हैः एक एकल आइटम सटीकता संख्या यह निर्धारित नहीं कर सकती है कि क्या कोई मॉडल नियंत्रित भिन्नताओं में सही निर्णय लेता है, या यदि वह अपनी भविष्यवाणियों के लिए विश्वसनीय विश्वास प्रदान करता है।
इसलिए बेंचमार्क कच्चे शुद्धता से अधिक मापता है। यह प्रलेखित, मॉडल-विशिष्ट प्रोटोकॉल का उपयोग करके 40 निर्णय मॉडल और 14 सामान्य मॉडलों का मूल्यांकन करता है। इसमें आइटम सटीकता और कंट्रास्ट-समूह सटीकता के साथ-साथ संभावना क्रमबद्धता, कैलिब्रेशन और अनुभवजन्य चयनात्मक कवरेज की रिपोर्ट होती है।
बेंचमार्क कैसे बनाया जाता है
DecisionPivot के दो ट्रैक हैं. कोर ट्रैक में 13 उत्पन्न कार्य परिवारों से 7,800 आइटम शामिल हैं। इन वस्तुओं को विपरीत समूहों में व्यवस्थित किया गया है, जो नियंत्रित विवरण पर अलग-अलग विकल्पों की तुलना करते हैं। उत्तर स्वतंत्र रूप से कार्यान्वित सॉल्वर द्वारा गणना और सत्यापित किए जाते हैं।
संदर्भ ट्रैक में 35 सार्वजनिक परीक्षण सेटों से 32,233 आइटम शामिल हैं। यह उन सेटों के मूल मूल्यांकन मैट्रिक्स को संरक्षित करता है। एक साथ, दो ट्रैक उत्पन्न नैदानिक कार्यों और मौजूदा सार्वजनिक आकलनों की तुलना करने की अनुमति देते हैं।
परिणाम क्या प्रकट करते हैं
परिणाम समग्र स्कोर द्वारा छिपे हुए बड़े अंतराल दिखाते हैं। दो 27B मॉडल संदर्भ ट्रैक पर केवल 2.6 अंकों से अलग हैं, फिर भी उनकी विपरीत-समूह सटीकता 70.1% और 44.2% है।
2,400 बाइनरी कंट्रास्ट जोड़े में, Perplexity Decider सही ढंग से सकारात्मक सदस्य को नकारात्मक सदस्य के ऊपर 92.3% जोड़ों में स्थान देता है, लेकिन दोनों सदस्यों का उत्तर केवल 74.1%. यह अंतर संभावना क्रम और निर्णय शुद्धता के बीच एक बेमेल को उजागर करता है। एक मॉडल बेहतर विकल्प को उच्चतर रैंक कर सकता है जबकि अभी भी विपरीत जोड़ी के दोनों सदस्यों पर सही निर्णय लेने में विफल रहता है।
समान आइटम सटीकता वाले मॉडल अपने उच्च-विश्वास भविष्यवाणियों की विश्वसनीयता में भी भिन्न होते हैं। एक अलग 1,296-आइटम उपसमूह पर, GLM -5.3 उच्चतर तर्क सेटिंग पर 93.5% कंट्रास्ट-ग्रुप सटीकता प्राप्त करता है, इसकी तुलना में 81.5% सबसे कम प्रयास के साथ होता है।
पाठकों को क्या सीखना चाहिए
LLM निर्णय मॉडल पर निर्भर करने वाली टीमों के लिए, महत्वपूर्ण बिंदु यह है कि समग्र सटीकता भ्रामक हो सकती है। एक मॉडल जो आइटम की सटीकता पर मजबूत दिखता है वह अभी भी नियंत्रित भिन्नताओं, आत्मविश्वास कैलिब्रेशन या चयनात्मक कवरेज पर विफल हो सकता है। DecisionPivot त्रुटियों को प्रमुख विवरण और कठिनाई स्तर से जोड़ता है, अकेले कुल मूल्यांकन की तुलना में बेहतर नैदानिक दृश्य देता है।

Comments (0)