मॉडल तुलनाएँ

मिस्र के अंग्रेजी और नाइजीरियाई अंग्रेज़ी ओपन ऑटोमैटिक speech recognition लीडरबोर्ड में शामिल हो गए हैं।

Open Speech Recognition लीडरबोर्ड में अब Liva AI से निजी मिस्र और Nigerian English भाषण डेटा शामिल है। अद्यतन बेंचमार्क गेमिंग को कम करने और वास्तविक उपयोगकर्ताओं को बेहतर ढंग से प्रतिबिंबित करने के लिए पहले के निजी विभाजन का विस्तार करता है। परिणामों को कचरू के Three Circles का उपयोग करके समूहीकृत किया गया है, जो US और गैर-अमेरिकी लहजे और बाहरी से Inner Circle लहजों को अलग कर रहा है और Expanding Circle उच्चारण। लक्ष्य वैश्विक अंग्रेजी किस्मों में अधिक भरोसेमंद speech recognition मूल्यांकन है।

मुख्य जानकारी

  • Liva AI के साथ निजी मिस्र और Nigerian English परीक्षण डेटा को जोड़ा गया ताकि उच्चारण विविधता में सुधार किया जा सके।
  • छिपे हुए निजी डेटा बेंचमार्क ओवरफिटिंग को कम करते हैं और मॉडल तुलनाओं को अधिक विश्वसनीय बनाते हैं।
  • US, Inner Circle और बाहरी/Expanding Circle उच्चारणों की तुलना करते हुए परिणाम का उपयोग कर रिपोर्ट किया जाएगा।
  • Liva AI केवल कार्य-आधारित रिकॉर्डिंग के बजाय वास्तविक उपभोक्ता इंटरैक्शन से प्राकृतिक भाषण डेटा प्रदान करता है।
  • भविष्य की रैंकिंग बदल सकती है क्योंकि मॉडलों को अधिक लहजे, भाषाओं और निजी datasets में प्रदर्शन साबित करना होगा।

मेटा विवरणः Open ASR Leaderboard निजी मिस्र और नाइजीरियाई उच्चारण जोड़ता है, साथ ही कचरू-आधारित टूटने के लिए, स्वचालित speech recognition परीक्षण को अधिक विश्वसनीय बनाने के लिए।

टैगः Automatic Speech Recognition मूल्यांकन, speech recognition , AI बेंचमार्क, निजी परीक्षण डेटा, उच्चारण विविधता

विशेष रुप से प्रदर्शित छवि: वैश्विक उच्चारण समूहों को जोड़ने वाले भाषण तरंगों का अमूर्त, मैत्रीपूर्ण चित्रण, कोई लोग, लोगो या पाठ नहीं

अद्यतन क्या प्रदान करता है

Open ASR Leaderboard ने दो नए उच्चारणों के लिए निजी मूल्यांकन डेटा जोड़ने के लिए Liva AI के साथ एक नए सहयोग की घोषणा की हैः मिस्र और नाइजीरियाई। शोधकर्ताओं, भाषण प्रौद्योगिकी टीमों और वॉयस उत्पादों का निर्माण करने वाले डेवलपर्स के लिए, इसका मतलब है कि लीडरबोर्ड में अधिक आयोजित किए गए भाषण नमूने शामिल होंगे जो परीक्षण करते हैं कि क्या स्वचालित speech recognition सिस्टम व्यापक रूप से लहजे की सीमा में अंग्रेजी को संभाल सकते हैं।

अद्यतन एक निजी-डेटा पुश का विस्तार करता है जो कुछ महीने पहले शुरू हुआ था। उस समय, लीडरबोर्ड ने एपेन और डेटाओशनएआई से 11 प्राइवेट स्प्लिट्स को जोड़ा, जिसमें पांच लहजे से स्क्रिप्टेड और वार्तालाप भाषण शामिल थे, जैसा कि पिछले ब्लॉग पोस्ट में वर्णित है। मूल्यांकन समुदाय की प्रतिक्रिया मजबूत थी, कई प्रतिभागियों ने इस बात पर प्रकाश डाला कि भरोसेमंद मॉडल तुलनाओं के लिए होल्ड आउट सेट क्यों आवश्यक हैं। उस बदलाव के बाद, परियोजना ने Voice Arena के साथ भारतीय उच्चारण वाले अंग्रेजी के लिए एक और निजी विभाजन जोड़ दिया, जिसकी घोषणा भी एक ब्लॉग पद में की गई थी।

क्यों रखा-बाहर डेटा परिवर्तन विश्वास

सार्वजनिक बेंचमार्क सेट कम उपयोगी हो सकते हैं जब टीमें ठीक से जानती हैं कि क्या परीक्षण किया जा रहा है। सिस्टम को ट्यून, चयनित या उन तरीकों से तुलना की जा सकती है जो लीडरबोर्ड स्कोर में सुधार करते हैं बिना यह साबित किए कि मॉडल अलग-अलग वास्तविक उपयोगकर्ताओं के भाषण को समझ सकता है। Open ASR Leaderboard नए निजी डेटा का वर्णन बेंचमैक्सिंग को कम करने के तरीके के रूप में करता है, साथ ही अधिक उच्चारण और अधिक भाषाओं को जोड़कर प्रतिनिधित्व में सुधार करता है।

यह किसी मॉडल को चुनने के लिए बेंचमार्क परिणामों का उपयोग करने वाले किसी भी व्यक्ति के लिए महत्वपूर्ण है, क्योंकि एक प्रणाली जो दृश्य डेटा पर अच्छी तरह से प्रदर्शन करती है वह उस भाषण पर अच्छा नहीं कर सकती है जिसे उपयोगकर्ता वास्तव में उत्पन्न करते हैं। निजी विभाजन मूल्यांकन टीमों को एक स्वच्छ संकेत देते हैंः यदि परीक्षण सामग्री सार्वजनिक सेट में नहीं होने पर एक मॉडल सटीक रहता है, तो नतीजा ज्ञात बेंच मार्क की परिचितता के बजाय सामान्य भाषण समझ को प्रतिबिंबित करने की अधिक संभावना है।

उच्चारण समूहों की सूचना कैसे दी जाती है

मिस्र और नाइजीरियाई जोड़ने के साथ, लीडरबोर्ड निजी टैब में एक समृद्ध उच्चारण टूटना प्रस्तुत कर सकता है। संरचना काचरू Three Circles का अनुसरण करती है, जो अंग्रेजी की विभिन्न वैश्विक किस्मों का वर्णन करने के लिए उपयोग किया जाता है। परियोजना अपने लीडर बोर्ड में इस्तेमाल किए गए विचार के लिए Hume AI को श्रेय देती है।

Open ASR Leaderboard अब रिपोर्ट करेगा: - (अंग्रेज़ी में अनुवाद) - (बजियाई भाषा)

  • US बनाम गैर-अमेरिकी उच्चारण, जिसमें UK, ऑस्ट्रेलिया, कनाडा, भारत, नाइजीरिया और मिस्र सहित गैर-यूएस समूह शामिल हैं।
  • Inner Circle उच्चारण, अर्थात् US, UK, ऑस्ट्रेलिया और कनाडा, बनाम बाहरी और Expanding Circle उच्चारण, अर्थात भारत, नाइजीरिया और मिस्र।

जैसे-जैसे अधिक उच्चारण सेट में शामिल होते हैं, परियोजना का कहना है कि यह बाहरी और Expanding Circles को अलग-अलग रिपोर्टिंग समूहों में विभाजित करेगा। इस परिवर्तन से परिणाम अधिक उपयोगी होने चाहिए जब कम संख्या में उच्चारण वर्तमान में एक ही श्रेणी साझा करते हैं।

Liva AI क्या योगदान देता है

Liva AI वास्तविक लोगों द्वारा उपयोग किए जाने वाले उपभोक्ता उत्पादों के माध्यम से multimodal इंटरैक्शन डेटा एकत्र करता है। Because Liva संग्रह पर्यावरण और वितरण चैनलों दोनों का मालिक है, यह डोमेन, उद्योगों, भाषाओं, तौर-तरीकों और बातचीत प्रकारों में विशिष्ट मॉडल अंतराल के आसपास उत्पाद डिजाइन कर सकता है।

यह दृष्टिकोण मूल्यांकन परियोजना को प्राकृतिक, उच्च-संदर्भ व्यवहार तक पहुंच प्रदान करता है जो वास्तविक उत्पाद उपयोग के माध्यम से उभरता है। इसके विपरीत महत्वपूर्ण हैः केवल कृत्रिम रूप से प्रेरित या कार्य-आधारित इंटरैक्शन पर भरोसा करने के बजाय, निजी डेटा प्रतिबिंबित कर सकता है कि लोग कैसे बोलते हैं जब वे एक सामान्य सेटिंग में किसी एप्लिकेशन का उपयोग कर रहे होते हैं। स्वचालित speech recognition परीक्षण के लिए, जो अंतरों को उजागर कर सकते हैं जो कार्य आधारित रिकॉर्डिंग में दिखाई नहीं दे सकते हैं।

आगे क्या देखना है

घोषित दिशा स्वचालित speech recognition मूल्यांकनों में प्रतिनिधित्व और विश्वास दोनों को सुधारना जारी रखना है। प्रतिनिधित्व का मतलब अधिक उच्चारण और अधिक भाषाओं को जोड़ना है, जबकि विश्वास का अर्थ है नए निजी डेटा, नए डेटा प्रदाताओं और तरीकों को लाना जो बेंचमार्क ओवरफिटिंग की संभावना को कम करते हैं।

पाठकों के लिए, व्यावहारिक टेकअवे यह है कि भविष्य की लीडरबोर्ड रैंकिंग वर्तमान से अलग दिख सकती है। व्यापक रूप से सार्वजनिक भाषण परीक्षणों पर मजबूत प्रदर्शन करने वाली प्रणालियों को मिस्र और Nigerian English पर समान शक्ति साबित करने की आवश्यकता हो सकती है, और अन्य उच्चारण समूहों पर जो अभी भी जोड़े जा रहे हैं। Open ASR Leaderboard यह भी संकेत देता है कि समुदाय दुनिया भर में स्वचालित speech recognition प्रदर्शन को आगे बढ़ा सकता है क्योंकि निजी डेटा सेट का विस्तार होता है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.