Tau Indian Bank Benchmark उपकरण का उपयोग करने वाले वार्तालाप एजेंटों के एक प्रक्रिया-जागरूक और कार्रवाई उन्मुख मूल्यांकन प्रदान करता है।
TauIndianBankBench परिणामों, आवश्यक चरणों और अवांछित परिवर्तनों की जांच करके छिपी हुई विफलताओं को उजागर करते हुए 1,000 कार्यों पर AI बैंकिंग एजेंटों का मूल्यांकन करता है।
मुख्य जानकारी
- TauIndianBankBench 1,000 सिमुलेटेड भारतीय खुदरा बैंकिंग कार्यों पर टूल-उपयोग करने वाले संवादात्मक AI एजेंटों का मूल्यांकन करता है।
- यह आवश्यक प्रक्रिया चरणों और अवांछित परिवर्तनों की जांच करके अंतिम डेटाबेस स्थिति से अधिक मापता है।
- परिणाम-केवल स्कोरिंग प्रक्रिया विफलताओं के 6.5-12.0% को छिपा सकता है, जिससे कुछ एजेंट सफल प्रतीत होते हैं जब वे आवश्यक चरणों को छोड़ देते हैं।
- बेंचमार्क बिल्डरों और मूल्यांकनकर्ताओं को प्रक्रियात्मक विश्वसनीयता पर एजेंटों की तुलना करने में मदद करता है, न कि JUST अंतिम उत्तर।
- यह उपलब्ध कागज, dataset, और कोड के साथ सार्वजनिक है, और सामुदायिक योगदान और मॉडल मूल्यांकन को आमंत्रित करता है।
मेटा विवरण: ताउइंडियनबैंक बेंच 1,000 भारतीय खुदरा बैंकिंग कार्यों में आवश्यक चरणों की जांच करता है और परिणाम-केवल स्कोरिंग दिखाता है कि 6.5-12.0% प्रक्रिया विफलताओं को छिपा सकता है।
टैगः TauIndianBankBench, AI एजेंट, बैंकिंग बेंचमार्क, सिमुलेटेड ग्राहक, प्रक्रिया अनुपालन
विशेष रुप से प्रदर्शित छवि: अमूर्त, मैत्रीपूर्ण चित्रण शैली, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
TauIndianBankBench शोधकर्ताओं और बिल्डरों के लिए एक बेंचमार्क है जो भारतीय खुदरा बैंकिंग कार्यों पर AI एजेंटों का परीक्षण करना चाहते हैं। यह पाठकों को अंतिम उत्तर से अधिक मापने का एक तरीका देता हैः यह जांचता है कि क्या कोई एजेंट सही डेटाबेस स्थिति तक पहुंचता है, चाहे वह हर आवश्यक चरण पूरा करता हो, और चाहे वह किसी भी अवांछित परिवर्तन कर रहा हो। इस बेन्चमार्क में सिमुलेटेड ग्राहक के साथ चलाए जाने वाले 1,000 कार्य शामिल हैं।
क्यों केवल अंतिम स्थिति भ्रामक हो सकती है
अधिकांश एजेंट बेंचमार्क अंतिम डेटाबेस स्थिति की जांच करते हैं। यह दृष्टिकोण तब काम करता है जब सही अंत रिकॉर्ड सही कार्रवाई को साबित करता है। बैंकिंग कार्य हमेशा ऐसे नहीं होते हैं। कुछ आवश्यक चरण किसी भी रिकॉर्ड को नहीं बदलते हैं। जमा बंद करने से पहले समापन उद्धरण प्राप्त करना एक उदाहरण है। बोली ग्राहक-सामना प्रक्रिया का हिस्सा है, लेकिन यह एक डेटाबेस प्रविष्टि नहीं बना सकती है जिसे अंतिम राज्य चेकर निरीक्षण कर सकता है।
यदि कोई एजेंट उस चरण को छोड़ देता है, जमा बंद कर देता है और अपेक्षित अंतिम स्थिति में डेटाबेस छोड़ता है, तो एक स्कोर जो केवल परिणाम की जांच करता है वह सत्र को सफल के रूप में चिह्नित कर सकता है। बेंचमार्क के लेखक इस अंतर पर प्रकाश डालते हैंः परिणाम-केवल स्कोरिंग के साथ, सभी मॉडलों में 6.5-12.0% सत्रों को सफलताओं के लिए गिना गया था भले ही एजेंट ने प्रक्रिया तोड़ दी हो।
वह सीमा महत्वपूर्ण है क्योंकि यह दर्शाता है कि एक मॉडल विश्वसनीय दिख सकता है जबकि अभी भी उन नियमों को विफल कर रहा है जो कार्य को सही तरीके से व्यवहार करते हैं। बैंकिंग एजेंटों के लिए, प्रक्रिया परिणाम का हिस्सा है। यदि कोई शॉर्टकट सही डेटाबेस स्थिति तक पहुंच जाता है तो फिर भी गलत हो सकता है अगर यह आवश्यक ग्राहक चरण छोड़ देता है।
TauIndianBankBench क्या उपाय करता है
TauIndianBankBench भारतीय खुदरा बैंकिंग कार्यों पर एजेंटों का मूल्यांकन करने के लिए सिमुलेटेड ग्राहक वार्तालापों का उपयोग करता है। सिम्युलेटेड क्लाइंट बेंचमार्क को अंतःक्रिया के प्रवाह का परीक्षण करने देता है, अंतिम डेटा उत्परिवर्तन नहीं। यह परिणाम स्कोर करता है, लेकिन यह भी जांचता है कि क्या एजेंट ने प्रत्येक आवश्यक चरण पूरा किया और क्या उसने कोई परिवर्तन किया जो ग्राहक द्वारा अनुरोधित नहीं था।
यह बेंचमार्क उन टीमों के लिए उपयोगी बनाता है जिन्हें प्रक्रियात्मक विश्वसनीयता पर मॉडल की तुलना करने की आवश्यकता होती है। एक अंतिम-राज्य स्कोर बताता है कि क्या डेटाबेस सही ढंग से समाप्त हो गया था। एक प्रक्रिया-जागरूक स्कोर कहता है कि एजेंट आवश्यक तरीके से वहां पहुंचा या नहीं। दो विचार असहमत हो सकते हैं, और TauIndianBankBench को उस असहमति को उजागर करने के लिए डिज़ाइन किया गया है।
परियोजना सार्वजनिक है। पेपर https://arxiv.org/abs/2610.30161 पर है, dataset https://huggingface.co/datasets/NPCI/tau-indian-banking पर है और कोड https://github.com/npci/TauIndianBankBench पर है। लेखक नए कार्यों, प्रक्रिया सुधारों और अतिरिक्त बैंकिंग प्रवाह सहित योगदान के लिए आमंत्रित करता है। योगदानकर्ता dataset रिपॉजिटरी पर एक पुल अनुरोध खोल सकते हैं। टीमें बेंचमार्क के खिलाफ अपने स्वयं के मॉडल का मूल्यांकन भी कर सकती हैं और परिणाम साझा कर सकती हैंः
नतीजे बिल्डरों के लिए क्या बताते हैं
मुख्य सबक यह है कि बैंकिंग-एजेंट मूल्यांकन के लिए एक से अधिक सिग्नल की आवश्यकता होती है। अंतिम राज्य परीक्षण पास करने वाला मॉडल अभी भी उन चरणों को छोड़ सकता है जो डेटाबेस में कोई निशान नहीं छोड़ते हैं। TauIndianBankBench आवश्यक कदमों और परिणाम के साथ अवांछित परिवर्तनों को स्कोर करके उस ट्रेस जांच को जोड़ता है।
बिल्डर्स के लिए, यह एजेंटों की तुलना करने का एक स्पष्ट तरीका प्रदान करता है जब अंतिम उत्तर पर्याप्त नहीं होता है। मूल्यांकनकर्ताओं के लिए यह केवल परिणाम जांच से आने वाली सफलता दर पर सवाल उठाने का एक तरीका देता है। सभी मॉडलों में 6.5-12.0% आंकड़ा एक ठोस अनुस्मारक है कि प्रक्रिया विफलता सत्रों के भीतर छिपी हो सकती है जिन्हें सफलताओं के रूप में गिना जाता है।
अगला कदम सामुदायिक विकास है। लेखक का कहना है कि योगदान स्वागत योग्य हैं और पाठकों को कागज के लिए मतदान करने और dataset की तरह प्रोत्साहित करता है ताकि अधिक लोग इसे खोज सकें। वे प्रश्नों के लिए भी खुले हैं और अन्य टीमों से परिणाम देख रहे हैं जो अपने स्वयं के मॉडल का मूल्यांकन कर रहे हैं।

Comments (0)