एक टर्मिनल-शैली गणितीय मॉडलिंग बेंचमार्क पहला एजेंटिक और सत्यापित करने योग्य मानक है।
टीबी-मैथ मॉडल टर्मिनल कार्यों, औपचारिक जांच और प्रतियोगिता डेटा के माध्यम से वास्तविक गणितीय मॉडलिंग पर AI एजेंटों का परीक्षण करता है, जो क्षमता और लागत अंतरालों को प्रकट करते हैं।
मुख्य बिंदु
- टीबी-मैथ मॉडल एक टर्मिनल शैली का बेंचमार्क है जो यह परीक्षण करता है कि क्या LLM एजेंटों को व्यवस्थित रूप से प्रस्तुत अभ्यास के बजाय गन्दा, वास्तविक दुनिया गणितीय मॉडलिंग कार्यों को संभाल सकते हैं।
- यह कंटेनरीकृत टर्मिनलों के अंदर CUMCM/MCM प्रतियोगिता समस्याओं का उपयोग करता है, जिसमें एजेंटों को डेटा पढ़ने, आंकड़ों का विश्लेषण करने, कोड लिखने, सॉल्वर चलाने और संरचित JSON परिणाम आउटपुट करने की आवश्यकता होती है।
- बेंचमार्क दिशात्मक-जागरूक मूल्यांकन, कई मानव विशेषज्ञ संदर्भों और तर्कसंगत और भौतिक बाधाओं को लागू करने के लिए लीन 4 का उपयोग करके औपचारिक व्यवहार्यता जांच के साथ संख्यात्मक उत्तर स्कोर करता है।
- प्रारंभिक परिणाम GPT-6 Astra को 64.6%, Claude Fable 5.1 पर 63.1% और एक कम लागत वाले खुले मॉडल को कीमत के 1/100 के लिए 59.8% पर दिखाते हैं, यह सुझाव देते हुए कि विश्वसनीय मॉडलिंग अभी भी अनसुलझी है।
- टीबी-मैथ मॉडल एजेंट मूल्यांकन के लिए एक भावी दिशा की ओर इशारा करता हैः समान वातावरण, सत्यापित पुरस्कार और बढ़ते प्रक्षेपवक्र निकाय जो मॉडलों को अनुमान लगाने और परीक्षण योग्य आउटपुट का उत्पादन करने के लिए मजबूर करते हैं।
गणितीय मॉडलिंग के लिए एक नया बेंचमार्क, टीबी-मैथमॉडेल, डेवलपर्स और AI शोधकर्ताओं को यह आकलन करने का एक स्पष्ट तरीका दे रहा है कि क्या large language model एजेंट साफ-सुथरे लिखित अभ्यासों की बजाय गन्दा वास्तविक दुनिया के कार्यों को संभाल सकते हैं। पहले प्रकाशित स्कोर अग्रणी मॉडल के लिए चापलूसी नहीं कर रहे हैंः जीपीटी -6 एस्ट्रा 64.6 प्रतिशत तक पहुंचता है, Claude Fable 5.1 63.1 प्रतिशत तक पहुँच जाता है, और लागत में 1/100 पर $2.54 की लागत वाला एक खुला मॉडल 59.8 प्रतिशत तक पहुंचने लगता है। परियोजना कोड और डेटा जारी करती है https://github.com/wxj630/terminal-bench-math-modeling

क्यों गणितीय मॉडलिंग एजेंटों के लिए एक कठिन परीक्षा है
आज के LLM एजेंट तब मजबूत होते हैं जब कार्य पहले से ही अच्छी तरह से रखा गया हो। यदि उपयोगकर्ता उन्हें कोड लिखने, गणित की समस्या को हल करने या API पर कॉल करने के लिए कहता है, तो वे आमतौर पर एक पथ पा सकते हैं। वास्तविक काम शायद ही कभी इस तरह से आता है। एक व्यावसायिक प्रश्न, एक इंजीनियरिंग मुद्दा, या नीति विश्लेषण में अक्सर परिभाषित चर, चुने हुए मॉडल फॉर्म, स्वच्छ डेटा और उत्तर जांचने का स्पष्ट तरीका नहीं होता है।
गणितीय मॉडलिंग एक अव्यवस्थित स्थिति और एक कम्प्यूटेबल प्रश्न के बीच की परत है। यह एक एजेंट को यह तय करने के लिए कहता है कि क्या मायने रखता है, धारणाएं बनाएं, मॉडल का निर्माण करें, इसका परीक्षण करें और एक परिणाम उत्पन्न करें जो समीक्षा से बच सके। यही कारण है कि बेंचमार्क महत्वपूर्ण हैः यह उस चरण को मापता है जो स्वचालित कोडिंग मदद को व्यावहारिक समस्या समाधान से अलग करता है।
कैसे टीबी-मैथ मॉडल प्रतियोगिता समस्याओं को वास्तविक कार्य में बदल देता है
टीबी-मैथमॉडल मॉडलिंग में China Undergraduate Mathematical Contest का उपयोग करता है और इसके प्रवेश बिंदु के रूप में मॉडलिंग, जिसे सीयूएमसीएम / एमसीएम के नाम से जाना जाता है। इसका कारण प्रतियोगिता पदोन्नति नहीं है। ये समस्याएं सार्वजनिक, पूर्ण, असंगठित वास्तविक दुनिया के कार्य हैं जिनमें वास्तविक संलग्नक, आधिकारिक आंकड़े और मानव विशेषज्ञ समाधान हैं। यह उन्हें एक परीक्षण कोरपस के लिए उपयोगी बनाता है।
अठारह समस्याओं को कंटेनरीकृत टर्मिनलों के अंदर रखा जाता है। मॉडल एक लघु वातावरण में कार्य प्राप्त करता हैः कथन पढ़ें, स्प्रेडशीट खोलें, आंकड़ों को देखें, कोड लिखें, सॉल्वर चलाएं और एक संरचित JSON फ़ाइल जारी करें, एक सामान्य मशीन-पढ़ने योग्य प्रारूप। यह वर्कफ़्लो वास्तविक मॉडलिंग जॉब के करीब है, जिसे पुनरुत्पादित कंप्यूटर टास्क में संपीड़ित किया गया है।
स्कोरिंग संख्याओं की जांच क्यों करती है, लेखन गुणवत्ता नहीं
बेंचमार्क रिपोर्ट को ग्रेड नहीं देता है। यह अंतिम प्रश्न के संख्यात्मक कोर की जांच करता है। स्कोरिंग दिशा-जागरूक और एकतरफा हैः यदि कोई मॉडल उस संख्यात्मक परिणाम पर मानव कागज को हराता है, तो वह कभी भी बेहतर करने के लिए अंक नहीं खोता है। इससे मानव संदर्भ से अधिक मजबूत उत्तर खोजने के लिए किसी मॉडल को दंडित होने से बचा जाता है।
संदर्भ परत एक एकल उत्तर से भी व्यापक है। चूंकि मॉडलिंग का कोई अद्वितीय समाधान नहीं है, टीबी-मैथमॉडल 94 संदर्भ उत्तरों का उपयोग करता है। Every Outstanding-पुरस्कार पेपर को वोट मिलता है, इसलिए मॉडल को एक आधिकारिक जवाब याद रखने के बजाय कई मानव विशेषज्ञों के करीब उतरना चाहिए।
व्यवहार्यता को अलग से जाँच लिया जाता है। एक प्रोग्रामेटिक गेट छह निर्णायक अपरिवर्तनीय रूपों की जांच करता है, और 624 कर्नेल-चेक किए गए लीन 4 दायित्वों का उपयोग बाधाओं को सत्यापित करने के लिए किया जाता है. लीन 4, एक औपचारिक प्रमाण सहायक है, इसलिए ये चेक मशीन-पठनीय हैं। बेंचमार्क मैथलीब से बचता है और क्षमा करें, एक प्लेसहोल्डर जो एक औपचारिक सबूत को कमजोर कर देगा। सादे शब्दों में, संख्या पर्याप्त नहीं है। परिणाम को औपचारिक परीक्षण पास करना होगा जो मॉडल को भौतिक और तार्किक प्रतिबंधों के बारे में ईमानदार रखता है।
स्कोर क्षमता और लागत के बारे में क्या कहते हैं
परिणाम धाराप्रवाह AI आउटपुट और विश्वसनीय वास्तविक दुनिया मॉडलिंग के बीच एक अंतर दिखाता है। जीपीटी -6 एस्ट्रा, सबसे अच्छी प्रविष्टि, 64.6 प्रतिशत तक पहुंचती है। Claude Fable 5.1 63.1 प्रतिशत तक पहुँच जाता है। खुले मॉडल की कीमत $2.54 पर 1 / 100 लागत पर 59.8 प्रतिशत हो जाती है।
उन पाठकों के लिए जो AI की तैनाती के बारे में परवाह करते हैं, लागत बिंदु महत्वपूर्ण है। अग्रणी प्रविष्टियां अभी भी सस्ते खुले मॉडल से केवल मामूली रूप से ऊपर स्कोर करती हैं। बेंचमार्क यह नहीं कहता है कि प्रत्येक कार्य के लिए कौन सा मॉडल बेहतर है, लेकिन यह सुझाव देता है कि गणितीय मॉडलिंग अभी तक एक हल समस्या नहीं है, भले ही कोई मॉडल कोड लिख सकता हो और उत्तर को अच्छी तरह समझा सके।
एजेंट मूल्यांकन के लिए आगे क्या आता है
टीबी-मैथ मॉडल एजेंट मूल्यांकन में एक लापता परत को लक्षित करता है। परियोजना का कहना है कि उपयोगी वास्तविक दुनिया के एजेंटों की सड़क को एक समान वातावरण, एक सत्यापन योग्य इनाम और समय के साथ यौगिक बनाने वाले एजेंट-प्रक्षेपवक्र कॉर्पस की आवश्यकता होती है। दूसरे शब्दों में, बेहतर एजेंट केवल बेहतर संकेत या बड़ी रिपोर्ट से नहीं आ सकते हैं। वे मूल्यांकन सेटिंग्स से आते हैं जो मॉडलों को अनुमान लगाने, परीक्षण करने योग्य आउटपुट उत्पन्न करने और दोहराए गए, मशीन-चेक किए जा सकने वाले काम से सीखने के लिए मजबूर करते हैं।
कोड और डेटा https://github.com/wxj630/terminal-bench-math-modeling पर उपलब्ध है. अभी के लिए, संदेश सीधा हैः जीपीटी-6 एस्ट्रा और Claude Fable 5.1 सक्षम हैं, लेकिन उन्हें अभी भी स्वच्छ अभ्यासों को हल करने से लेकर गन्दा वास्तविक काम करने तक की सीमा पार करने में मदद चाहिए।
Comments (0)