बड़े पैमाने पर मल्टीटास्क निर्णय लेने को मापा जाता है।
एमएमडीएम 5,448 प्रश्नों, 16 कार्यों, लंबे संदर्भों और 1,024 विकल्पों पर निर्णय मॉडल का मूल्यांकन करता है, कमजोर तर्क, बाधाओं और बहु-चयन को उजागर करता है।
मुख्य जानकारी
- एमएमडीएम एक नया 5,448-प्रश्न बेंचमार्क है जो 16 कार्य श्रेणियों में सिस्टम-1 Decision Models का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जिसमें लंबे संदर्भ, बड़े विकल्प और बहु-चयन निर्णय सेटिंग्स हैं।
- बेंचमार्क परीक्षण निर्देशित संरचित संभाव्य निर्णय लेने, जहां मॉडल मध्यवर्ती तर्क या पाठ प्रतिक्रियाओं को उत्पन्न किए बिना एक ही आगे पास में परिभाषित विकल्पों के बीच चुनते हैं।
- इसमें ताजा, स्रोत-आधारित कार्य शामिल हैं जैसे कि एजेंट स्टेट ट्रैकिंग, टूल और स्किल चयन, वरीयता निर्णय और रूब्रिक स्कोरिंग, 1,024 विकल्पों तक के ऑप्शन स्पेस और 64,817 tokens इनपुट के साथ।
- 28 निर्णय मॉडल का मूल्यांकन सामान्य ज्ञान पर मजबूत प्रदर्शन दिखाता है लेकिन विकल्प तर्क, बाधा योजना और कई सही उत्तरों की पूर्ण वसूली में बड़ी गिरावट; सबसे अच्छा Hard Multi-select Accuracy 36.81% था।
- परिणाम तीन विकास प्राथमिकताओं को उजागर करते हैंः परस्पर निर्भर विकल्पों पर संयुक्त तर्क, बाधा-जागरूक चयन और पूर्ण बहु-चयन उत्तर पुनर्प्राप्ति, यह सुझाव देते हुए कि जटिल निर्णय लेने के लिए अकेले विश्व ज्ञान अपर्याप्त है।
मेटा विवरण: एमएमडीएम 16 कार्यों में एक 5,448-प्रश्न बेंचमार्क है जो लंबे संदर्भों, बड़े विकल्प रिक्त स्थान और बहु-चयन विकल्पों पर सिस्टम-1 Decision Models का परीक्षण करता है।
टैगः एमएमडीएम बेंचमार्क, निर्णय मॉडल, बहु-चयन कार्य, मॉडल मूल्यांकन
[अमूर्त निर्णय नोड्स और बड़ी विकल्प सूचियाँ, कोई लोग, लोगो या पाठ नहीं]
यह लेख सिस्टम-1 Decision Models के साथ काम करने वाले शोधकर्ताओं और बिल्डरों के लिए है। एमएमडीएम बेंचमार्क उन्हें यह जांचने का एक स्पष्ट तरीका देता है कि क्या ये मॉडल संरचित संभाव्य निर्णय ले सकते हैं जब इनपुट लंबे होते हैं, विकल्प कई होते हैं और निर्णय तर्क या बाधाओं पर निर्भर करते हैं।
सिस्टम-1 Decision Models सीधे क्वेरी-निर्दिष्ट विकल्पों में से एक को सिंगल फॉरवर्ड पास में दिए गए राज्य के बीच चुनता है। व्यवहार में, इसका मतलब है कि मॉडल मध्यवर्ती तर्क चरणों या पाठ्य प्रतिक्रियाओं को लिखे बिना वर्तमान स्थिति से अपनी पसंद का उत्पादन करता है। यह दृष्टिकोण एजेंट स्टेट ट्रैकिंग, टूल और स्किल चयन, वरीयता निर्णय और रूब्रिक स्कोरिंग के लिए प्रासंगिक है, जहां कार्य परिभाषित विकल्पों के बीच चयन करना है।
बेंचमार्क क्यों बनाया गया था
हाल के मूल्यांकन में विभिन्न कार्यों को शामिल किया गया है, लेकिन कई मौजूदा बेंचमार्क पर भरोसा करते हैं। जब परीक्षण सामग्री पहले देखी गई थी, तो यह अस्पष्ट हो सकती है कि एक मॉडल ताजा संदर्भों के लिए कितनी अच्छी तरह से सामान्यीकृत करता है। वास्तविक दुनिया निर्णय लेने भी तीन कठिन विशेषताओं को जोड़ती हैः लंबे संदर्भ, बड़े विकल्प स्थान और जटिल तार्किक निर्भरताएं। मौजूद बेंच मार्क्स ने उन सुविधाओं को पर्याप्त रूप से एकत्र नहीं किया था।
एमएमडीएम क्या परीक्षण करता है
MMDM, Massive Multitask Decision Making के लिए छोटा है, इसमें 16 कार्य श्रेणियों में 5,448 उच्च-गुणवत्ता वाले प्रश्न शामिल हैं। यह नए निर्माण किए गए कार्यों को स्रोत आधारित पुनर्मूल्यांकन और पुनर्लेखन के साथ जोड़ती है। कार्यों में ताजा संदर्भों में एकल चयन, बहु-चयन और सॉफ्ट लेबल निर्णय लेना शामिल है।
परिदृश्यों में एजेंट राज्य ट्रैकिंग, उपकरण और कौशल चयन, वरीयता निर्णय और रूब्रिक स्कोरिंग शामिल हैं। विकल्प रिक्त स्थान 2 से 1,024 तक होते हैं, और इनपुट 64,817 tokens तक फैला होता है। इससे बेंचमार्क उन प्रणालियों के लिए उपयोगी हो जाता है जिन्हें विस्तृत संदर्भ को ध्यान में रखते हुए कई संभावनाओं की तुलना करनी चाहिए।
कैसे मॉडल प्रदर्शन किया
अध्ययन में 28 निर्णय मॉडल का व्यापक मात्रात्मक मूल्यांकन किया गया था। कई मॉडलों ने सामान्य ज्ञान पर अच्छा प्रदर्शन किया, लेकिन जब विकल्प एक दूसरे पर निर्भर थे, जब फैसलों की बाधाएं थीं या जब कई सही विकल्पों को पूरी तरह से पुनर्प्राप्त करना पड़ा तो उनकी सटीकता गिर गई।
उदाहरण के लिए, Perplexity Decider-V1.2 ने विश्व ज्ञान पर 78.75% Hard Single-select सटीकता प्राप्त की। इसने विकल्प तर्क पर केवल 53.95% और प्रतिबंध योजना पर 47.95% स्कोर किया। सभी मूल्यांकन किए गए मॉडलों में से सबसे अच्छा Hard Multi-select Accuracy 36.81% था।
परिणाम का क्या अर्थ है
निष्कर्ष निर्णय मॉडल विकास के लिए तीन प्राथमिकताओं की ओर इशारा करते हैंः परस्पर निर्भर विकल्पों पर संयुक्त तर्क, बाधा-जागरूक चयन और बहु-चयन उत्तरों की पूर्ण वसूली। एमएमडीएम उन मुद्दों पर प्रगति को मापने के लिए एक परीक्षण प्रदान करता है। पाठकों के निर्माण एजेंट या मूल्यांकन पाइपलाइन के लिए, बेंचमार्क बताता है कि मजबूत विश्व ज्ञान अकेले पर्याप्त नहीं है; कठिन परीक्षा बड़े, संरचित, संदर्भ-भारी निर्णय रिक्त स्थान के भीतर सही ढंग से चुन रही है।

Comments (0)