नंदी भारतीय भाषाओं के लिए open-source AI के साथ हर शिकायत को सही डेस्क पर भेजती है।

मेटा विवरणः एक मुफ्त अपाचे- 2.0 नंदी मॉडल 13 भाषाओं में भारतीय शिकायतों को 53 श्रेणियों में रूट करता है, 443 वास्तविक पदों पर स्कोरिंग 62.5% और तत्काल नियमों की विफलता।

टैगः नंदी, शिकायत रूटिंग, भारतीय भाषाएं, LLM मूल्यांकन

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> 53 रूट किए गए डेस्क श्रेणियों में बहने वाले बहुभाषी शिकायत संदेशों का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

LatentAILabs के Arun Prabhakaran द्वारा जारी नंदी शिकायत रूटिंग मॉडल, एक मुफ्त अपाचे- 2.0 उपकरण है जो हिंदी, हिंग्लिश, 10 अन्य भारतीय भाषाओं या अंग्रेजी में एक शिकायत पढ़ता है और 53 श्रेणियों में से एक को लौटाता है, संभावनाओं के साथ शीर्ष तीन, और P1, P2 या P3 चिह्नित तत्काल स्तर। इसकी श्रेणियां बैंकिंग के लिए RBI की शिकायत सूचियों का पालन करती हैं, बीमा के लिए IRDAI, केंद्र सरकार की सेवाओं के लिए CPGRAMS, दूरसंचार और National Consumer Helpline। उन पाठकों के लिए जो भारतीय-भाषा ऐप समीक्षा, फोरम पोस्ट, ईमेल या समर्थन चैट का परीक्षण करते हैं, Nandi स्थानीय प्रथम-पास सुझाव प्रदान करता हैः यह CPU या GPU पर चलता है, कुछ भी नहीं भेजता है API, और इसे arunp0/nandi-grievance-indic के रूप में प्रकाशित किया जाता है।

रूटिंग अंतर क्यों मायने रखता है

आरबीआई की लोकपाल योजना को 2024-25 में 13.34 लाख शिकायतें मिलीं। सीपीजीआरएएमएस, केंद्र सरकार के शिकायत पोर्टल ने 2024 में 26 लाख से अधिक शिकायतों का निवारण किया। उन आधिकारिक संख्याओं के पीछे कई और शिकायतें हैं जो कभी भी एक नियामक तक नहीं पहुंचती हैंः ऐप समीक्षाएं, ट्वीट्स, ईमेल और बैंकों, बीमाकर्ताओं, दूरसंचार कंपनियों और सरकारी कार्यालयों को भेजे गए समर्थन चैट।

प्रत्येक संदेश को पहले सही डेस्क पर लैंड करना होगा। स्रोत में उपयोग किया गया एक बनावटी उदाहरण हिंग्लिश शिकायत है जिसमें कहा गया है कि 2,000 रुपये आज सुबह यूपीआई के माध्यम से एक खाता छोड़ दिया लेकिन कभी भी प्राप्तकर्ता तक नहीं पहुंचा, जबकि बैंक हेल्पलाइन का जवाब नहीं दे रहा था। समर्थन एजेंट कार्य करने से पहले, ट्रीएज को यह तय करना होता है कि किस डेस्क के पास मुद्दा है, यह कितना जरूरी है और यदि पहला अनुमान गलत है तो बैकअप श्रेणियां क्या हैं।

नंदी शिकायतों का समाधान नहीं करता है या न्याय नहीं करता कि वे मान्य हैं। यह प्रत्येक संदेश को सही डेस्क पर भेजता है। इसका नाम बैल नन्दी के बाद आता है, जो मंदिर की परंपरा में शिव के द्वार को रखता है और फुसफुसाई हुई इच्छाओं को सही जगह तक ले जाता है।

यह क्या लौटाता है और इसे कैसे प्रशिक्षित किया गया था

नंदी भारतीय भाषाओं के लिए एक छोटे खुले सेट में तीसरा मॉडल है। यामा एक शून्य-शॉट वर्गीकरणकर्ता है, जिसका अर्थ है कि यह कार्य-विशिष्ट प्रशिक्षण के बिना रन टाइम पर आपूर्ति किए गए लेबलों के खिलाफ पाठ का न्याय करता है। चित्रगुप्त व्यक्तिगत डेटा को ढूंढकर और मास्क करके रिकॉर्ड रखता है। नन्दी इसलिए मौजूद है क्योंकि, श्रेणियों के एक निश्चित सेट में रूटिंग करने पर, ठीक से ट्यून किया गया 560M-पैरामीटर एन्कोडर वास्तविक टेक्स्ट पर समान आकार के 25.9 अंकों द्वारा शून्य-शूट सामान्यवादी को हराता है।

हुड के नीचे, नंदी एक XLM-RoBERTa-बड़े बहुभाषी एन्कोडर है जिसमें औसत पूलिंग और दो रैखिक सिर हैंः 53-वे श्रेणी का सिर और 3-वे आपातकालीन सिर। हेल्पर मार्ग_बैच सूचियों को संभालता है। यूपीआई उदाहरण के लिए, एक नमूना रिटर्न में श्रेणी bank.digital_banking, डोमेन बैंक, विश्वास 0.9999 शामिल हैं, P1, 0.868 P1 के लिए 0.0012 P2 और 0.1307 P3 के लिए तत्काल संभावनाएं, और एक शीर्ष 3 सूची जिसमें bank.fraud_unauthorized_txn और con.ecommerce शामिल हैं। शाखा वापसी की प्रशंसा करें। noneout_of_scope।

एक चेतावनी केंद्रीय हैः विश्वास संख्या को कैलिब्रेट नहीं किया गया है। वास्तविक पाठ पर, नंदी अक्सर गलत भविष्यवाणियों पर आउटपुट 0.99 देता है। शीर्ष 3 सूची को मानव के लिए सुझावों के रूप में माना जाना चाहिए, कभी भी पूरी तरह से स्वचालित रूटिंग की सीमा नहीं होनी चाहिए।

वर्गीकरण का आविष्कार करने के बजाय उधार लिया गया था। आरबीआई के शिकायत फॉर्म से खींची गई 14 बैंकिंग और भुगतान श्रेणियां हैं Integrated Ombudsman Scheme, जिनमें एटीएम और डेबिट कार्ड, डिजिटल बैंकिंग, क्रेडिट कार्ड, ऋण, जमा खाते KYC और जमे हुए खाते शामिल हैं। कुछ श्रेणियों को इसलिए विभाजित किया जाता है क्योंकि रूटिंग या तात्कालिकता भिन्न होती है, जैसे कि धोखाधड़ी और अनधिकृत डेबिट्स, और वसूली-एजेंट उत्पीड़न। आईआरडीएआई की शिकायत प्रकारों से 12 बीमा श्रेणियाँ हैं, जिसमें मृत्यु दावे, स्वास्थ्य दावे, मोटर क्लेम, पॉलिसी सर्विसिंग, मिस-सेलिंग और यूएलआईपी शामिल हैं । पीएफ और ईपीएफओ, पेंशन, पीएम-किसान, आयकर और पैन, आधार, पासपोर्ट, डाक, रेलवे, एलपीजी और दूरसंचार अधिकारियों द्वारा भ्रष्टाचार सहित सीआरपीजी कैम श्रेणी से 17 केंद्रीय सरकारी सेवा श्रेणिया प्रकाशित की जाती हैं। 4 उपभोक्ता शिकायतें योगदान करती हैं, 5 National Consumer Helpline मुख्य रूप से इलेक्ट्रॉनिक्स, यात्रा और कोचिंग जैसे क्षेत्रों से योगदान देती हैं। एक श्रेणी में ऐसे

प्रत्येक श्रेणी अपनी उत्पत्ति दर्ज करती है। एक आधिकारिक शिकायत फॉर्म पर तेईस शाब्दिक आइटम हैं, 17 सीपीजीआरएएमएस श्रेणियां हैं, 4 National Consumer Helpline क्षेत्र हैं, चार आधिकारिक बाल्टी से प्राप्त होते हैं और 5 में कोई प्रकाशित सूची नहीं होती है और लेखक द्वारा परिभाषित की जाती हैः रेलवे, राशन कार्ड, दो दूरसंचार समूह और कोचिंग। श्रेणी के नाम नियामकों के हैं, जबकि मानचित्रण लेखक का है, न कि आधिकारिक।

सीमा नियम आउटपुट को आकार देते हैं। धोखाधड़ी भुगतान पद्धति को हरा देती है, इसलिए एक कपटपूर्ण यूपीआई डेबिट धोखाधडी के लिए जाता है, डिजिटल बैंकिंग नहीं। किसी ऐप की आलोचना करने वाली समीक्षा शिकायत के रूप में गिना जाता है भले ही वह कुछ भी न मांगे। किसी और द्वारा अपराध की रिपोर्ट यहां शिकायतें नहीं हैं, क्योंकि कोई भी शिकायत प्रणाली अपराध को संभालती है और कोई पुलिस श्रेणी नहीं है। रिश्वत या अधिकारी द्वारा दुर्व्यवहार एक शिकायत है। यदि संदेश में कई समस्याएं हैं, तो सबसे अधिक समय-महत्वपूर्ण व्यक्ति जीतता है।

प्रशिक्षण डेटा सिंथेटिक था। लेबल किए गए भारतीय शिकायतों का कोई खुले तौर पर लाइसेंस प्राप्त डेटासेट मौजूद नहीं है, और लेखक ने वास्तविक शिकायतों, उत्पादन डेटा या ग्राहक डेटा के बारे में प्रशिक्षण के खिलाफ एक कठोर नियम का उपयोग किया। सभी ग्रंथ केवल ओपन-वेट मॉडल, जेम्मा 4 और क्यूवेन 3.6, दोनों अपाचे द्वारा लिखे और फ़िल्टर किए गए थे।2.0 कोड ने श्रेणी, समय तथ्यों और इतिहास सहित परिदृश्य का चयन किया। गेमा 4 ने फिर संदेश को चुनी हुई भाषा, चैनल और व्यक्तित्व में लिखा, जैसे कि ट्वीट्स, ऐप समीक्षाएं, ईमेल, चैट संदेश, लोकपाल फॉर्म, औपचारिक पत्र और हेल्पलाइन कॉल प्रतिलेख. Qwen3.6 ने प्रत्येक पाठ को अंधेरे रूप से चिह्नित किया, बिना लेबल देखे। परिदृश्य जहां टेक्स्ट परिदृश्य से असहमत थे, उन्हें छोड़ दिया गया था। बाद में राउंड्स फ्रीयर टेक्स्ट का निर्माण करते हैं जो अधिक असली टिप्पणियों और ट्वीट की तरह दिखते थे, और दो शिक्षकों, Gemmawen 4 और Qwen 116,199 26. यह केवल उन ग्रंथाओं को लेबल करता था जहाँ दोनों सहमत थे।

परिणाम 13 भाषाओं में पाठ है, जिसमें 15,902 गैर-शिकायतें और 24,638 तत्काल पी 1 उदाहरण शामिल हैं। प्रत्येक नाम, खाता, फोन और पॉलिसी नंबर एक डमी मान है, और प्रशिक्षण डेटा में किसी मालिकाना मॉडल का कोई आउटपुट नहीं है।

सिंथेटिक स्कोर बनाम वास्तविक सार्वजनिक पद

किसी भी डेटा को उत्पन्न करने से पहले जहाज के नियम लिखे गए थे। एक सिंथेटिक परीक्षण पर, नंदी को मैक्रो-एफ 1 में यामा को कम से कम 0.10 से हराया जाना था, श्रेणियों में संतुलित स्कोर प्राप्त करना था, कम से کم 0.90 आपातकालीन रिकॉल तक पहुंचना और श्रेणी में गैर-शिकायतों की 10% से अधिक नहीं रूट करना था। यह परीक्षण जेम्मा के बजाय क्यूवेन ३.६ द्वारा लिखा गया था, जिसमें चैनल और व्यक्तित्व प्रशिक्षण से बाहर रखा गया था।

नंदी आसानी से पास हुआ। इसने 0.929 श्रेणी की सटीकता और 0.909 मैक्रो-एफ 1 का स्कोर किया, जबकि क्यूवेन 3.6 ने 0.888 पर शून्य-शॉट, यामा में 0.536 और टीएफ-आईडीएफ के साथ लॉजिस्टिक रिग्रेशन को 0.604 रखा। शीर्ष-3 सटीकता थी 0.971. एक अंधे चेकर द्वारा तत्काल रूप से पुष्टि की गई पंक्तियों पर तात्कालिक रिकॉल था 0.955 केवल 7.3% गैर-शिकायतों को किसी श्रेणी में रूट किया गया था। प्रत्येक भाषा के लिए उर्दू के लिए 0.87 और अंग्रेजी के लिए0.98 के बीच अंक प्राप्त किए गए थे।

उस सिंथेटिक परिणाम ने वास्तविक पाठ पर 30-बिंदु की गिरावट को छिपा दिया। मॉडल फ्रीज होने के बाद ही एकत्र किए गए 443 सार्वजनिक पदों पर वास्तविक निर्णय लिया गया था: Play Store और App Store भारत से समीक्षाएं और एक सार्वजनिक मंच से पोस्ट। लगभग 38% अंग्रेजी में नहीं थे, ज्यादातर हिंदी और हिंग्लिश। दो पहले के वास्तविक सेटों के ऐप्स और कंपनियों को बाहर रखा गया था। Three Claude एजेंटों, मनुष्यों ने नहीं, प्रशिक्षण शिक्षकों द्वारा उपयोग की जाने वाली समान लिखित परिभाषाओं का उपयोग करके अकेले टेक्स्ट से प्रत्येक पोस्ट को लेबल किया, और 2-ऑफ-3 वोट ने लेबल का फैसला किया। लेबल एलएलएम-समीक्षा कर रहे हैं, मानव-प्रमाणित नहीं है। क्योंकि सभी तीन लेबलर एक ही मॉडल हैं, उनके समझौते91% किसी मॉडल की स्थिरता को मापते हैं, स्वतंत्र एनोटेटर्स के बीच सही समझौता नहीं करते हैं, और ओवरस्टेट करता है कि लेबल कितने विश्वसनीय हैं।

वास्तविक पदों पर, नंदी उस समय की सही श्रेणी 62.5% चुनता है और उसे अपने शीर्ष 3 81.3% में रखता है। 35B-पैरामीटर [४६.६] पर अधिक सटीक है 66.4%. मैक्नेमर पी के साथ ४८-बिंदु परिशुद्धता अंतर सांख्यिकीय रूप से स्पष्ट नहीं है लगभग 0.15 । मैक्रो-एफ १ अंतराल वास्तविक हैः नन्दी स्कोर 0.43 बनाम क्यूवेन ३.६ पर 0.62 , दुर्लभ श्रेणियों पर कमजोरी दिखा रहा है। लगभग ५ वास्तविक गैर-शिकायतें अभी भी एक श्रेणी प्राप्त करती हैं, लगभग ठीक उसी तरह जैसे कि Qwen 3.6 मार्ग। Against Yama, समान आकार का सामान्यवादी, नंडी स्पष्ट रूप से जीतती है, 0.625 बनाम 0.366.

वास्तविक शिकायतें संक्षिप्त, अस्पष्ट और किसी भी चीज़ की तुलना में अधिक अव्यवस्थित होती हैं जो एक LLM लिखता है जब उसे शिकायत उत्पन्न करने के लिए कहा जाता है। ऐप जैसे एक-पंक्ति समीक्षा धोखाधड़ी है, पैसा चला गया एक असफल यूपीआई हस्तांतरण के बारे में तीन साफ-सुथरे वाक्यों से कम संकेत देता है।

एक सुधार का खुलासा किया गया है। स्कोरिंग के बाद, लेखक ने लेबलिंग गाइड में एक गलती पाई। इसने लेबलरों को टैक्सोनोमी की अपनी रिकवरी-परेशान श्रेणी के बजाय ऋण के तहत वसूली एजेंट खतरों को रखने के लिए कहा था, इसलिए सही श्रेणी चुनने वाले मॉडल गलत चिह्नित किए गए थे। उन 35 पदों पर, किसी भी लेबल को अब स्वीकार कर लिया जाता है। सुधार से पहले, नंदी ने 0.571 सटीकता और 0.397 मैक्रो-एफ 1, जबकि क्यूवेन 3.6 ने 0.607 सटीकता हासिल की और 0.593 मैक्रो एफ 1, और यामा ने 0.352 सटीकता प्राप्त की और 0.256 मैक्रो -एफ 1। तत्काल संख्या नहीं बदली, और न ही कोई पास-या-फेल निर्णय हुआ।

तत्कालता ने विश्वसनीयता पट्टी को विफल कर दिया

वास्तविक सेट को इकट्ठा करने से पहले, लेखक ने तात्कालिकता को विश्वसनीय कहने के लिए एक बार निर्धारित किया: तत्काल पी 1 रिकॉल के लिए 95% अंतराल का निचला छोर तक पहुंचना था। जबकि सेट को लेबल किया जा रहा था, योजना की समीक्षा में यह ध्यान दिया गया कि इसके लगभग 40% जरूरी पद ऋण-अनुप्रयोग उत्पीड़न थे, जिसे स्पॉट करना आसान हो सकता है। स्कोरिंग से पहले एक दूसरी शर्त जोड़ी गई थीः बार को भी बिना लोन-ऐप पोस्ट के पकड़ना पड़ा।

नियम विफल हो गया। नंदी 4 में से लगभग 1 वास्तविक तत्काल पदों को पकड़ता है, और ऋण-अनुप्रयोग उत्पीड़न के बाद केवल 10 में से एक छोड़ दिया जाता है। 35B-पैरामीटर LLM बेहतर नहीं करता है। यामा अधिक पकड़े क्योंकि यह बहुत अधिक पदों urgent कहता है, लेकिन इसकी सटीकता Nandi's 0.70 के खिलाफ 0.32 है। सिंथेटिक परीक्षण ने कहा था कि 0.955 तत्काल याद करने के लिए, लेकिन असली जरूरी पोस्ट शायद ही कभी सिंथेटिकल परिदृश्य की तरह समय का वर्णन करते हैं। इसके कारण, तात्कालिक जहाजों को प्रयोगात्मक चिह्नित किया गया था।

किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए

2.0 यदि आपको भारतीय-भाषा की शिकायत धाराओं के लिए एक मुफ्त, स्थानीय प्रथम पास राउटर की आवश्यकता है और शीर्ष 3 सुझावों के लिए लूप में एक मानव रख सकते हैं। यह निश्चित आरबीआई, आईआरडीएआई, सीपीजीआरएमएस, दूरसंचार और National Consumer Helpline शैली रूटिंग के लिए उपयोगी है, और यह कुछ भी नहीं भेजता है API इसे पूरी तरह से स्वचालित रूटिंग, दुर्लभ श्रेणी हैंडलिंग, कैलिब्रेटेड कॉन्फिडेंस थ्रेसहोल्ड्स या आपातकालीन निर्णयों को छोड़ दें जिन्हें विश्वसनीय पी 1 रिकॉल की आवश्यकता होती है। लेखक नोट करता है कि स्रोत लेख के कुछ हिस्सों का मसौदा AI सहायकों के साथ तैयार किया गया था, और प्रत्येक संख्या कार्ड मॉडल और मूल्यांकन लॉग के खिलाफ जांच की गई थी।