डुप्लेक्स-एमपीई: फुल-डुप्लेक्स संवाद में बहुपक्षीय वार्ता का मूल्यांकन करना
डुप्लेक्स-एमपीई 2,000 ऑडियो-केवल परिदृश्यों का उपयोग करके समूह वार्तालाप में आवाज सहायकों को बेंचमार्क करता है, बोलने, उत्तर देने और मौन समय का परीक्षण करता है।
मुख्य जानकारी
- डुप्लेक्स-एमपीई बहुपक्षीय वार्तालापों में आवाज सहायकों का परीक्षण करने के लिए एक नया बेंचमार्क है, जो इस बात पर ध्यान केंद्रित करता है कि मॉडल को कब बोलना चाहिए, जवाब देना चाहिए या चुप रहना चाहिए।
- इसमें तीन या चार मानव वक्ताओं के साथ 2,000 युग्मित परिदृश्यों का उपयोग किया जाता है, जो स्पष्ट संबोधन और निहित सम्बोधन को विपरीत करते हैं।
- बेंचमार्क प्रतिक्रिया आरंभ, उत्तर की शुद्धता का मूल्यांकन करता है, जब उपयुक्त हो तो चुप रहना और एक बार मानव द्वारा अनुरोध को हल करने के बाद रुकना।
- यह ट्रांसक्रिप्ट या बारी-सीमा संकेतों के बिना केवल ऑडियो इनपुट का उपयोग करता है, जिससे गन्दा समूह वार्तालाप के लिए मूल्यांकन अधिक यथार्थवादी हो जाता है।
- डुप्लेक्स-एमपीई विशेष रूप से डेवलपर्स और शोधकर्ताओं के लिए उपयोगी है जो साझा उपकरणों, बैठकों और घरेलू वातावरणों के लिए सहायक बनाते हैं।
मेटा विवरण: डुप्लेक्स-एमपीई, बहुपक्षीय वार्ता में आवाज सहायकों के लिए एक नया बेंचमार्क है, परीक्षण करता है कि 2,000 जोड़े गए परिदृश्यों में मॉडलों को कब बोलना चाहिए, जवाब देना चाहिए या चुप रहना चाहिए।
टैगः वॉयस असिस्टेंट, बहु-पक्षीय वार्तालाप, बेंचमार्क, डुप्लेक्स एमपीई, भाषण AI
विशेष रुप से प्रदर्शित छवि: एक दूसरे पर आच्छादित गोल भाषण बुलबुले का अमूर्त मैत्रीपूर्ण चित्रण, नरम नीले और गर्म पीले ग्रेडिएंट, शांत ज्यामितीय आकार, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
समूह वार्तालापों के लिए वॉयस असिस्टेंट बनाने वाले डेवलपर्स और शोधकर्ताओं के लिए डुप्लेक्स-एमपीई बेंचमार्क पेश किया गया है, और इसके डेटा और कोड को दिसंबर से पहले जारी करने की योजना बनाई गई है। यह मूल्यांकन करता है कि क्या एक सहायक को निरंतर बहु-पक्षीय चर्चा में शामिल होना चाहिए, सही ढंग से जवाब देना चाहिए या जब इसे संबोधित नहीं किया जाता है तो चुप रहना चाहिए। इस बेन्चमार्क में 2,000 जोड़े गए परिदृश्य हैं जिनमें तीन या चार मानव वक्ता और एक सहायक होते हैं, स्पष्ट और निहित संबोधन का विरोध करते हुए।
एक-एक करके बोलने की अपेक्षा समूह में बात करना कठिन क्यों है
एक वॉयस असिस्टेंट जो एकल-उपयोगकर्ता संकेत में अच्छी तरह से काम करता है, फिर भी समूह वार्तालाप में खराब व्यवहार कर सकता है। कई लोग बात कर सकते हैं, विराम लगाते हैं, बाधित हो सकते हैं या विषय बदल सकते हैं। सहायक को न केवल यह तय करना होगा कि कैसे प्रतिक्रिया दी जाए, बल्कि यह भी निर्णय लेना चाहिए कि क्या कोई प्रतिक्रिया उपयुक्त है।
यह साझा उपकरणों, मीटिंग स्पेस, होम असिस्टेंट और अन्य वातावरणों के लिए एक व्यावहारिक समस्या है जहां उपयोगकर्ता हमेशा अकेले नहीं होते हैं। जो मॉडल बहुत उत्सुकता से बोलता है वह किसी व्यक्ति को बाधित कर सकता है। एक मॉडल जो बहुत चुप रहता है वह अनुरोध को याद कर सकते हैं। एक ऐसा मॉडल जो उस प्रश्न का उत्तर देता है जिसका उसे जवाब नहीं देना चाहिए, तब भी रुकने में विफल हो सकता है जब कोई इंसान पहले ही इस मुद्दे को हल कर चुका हो।
डुप्लेक्स-एमपीई उस अंतर के लिए डिज़ाइन किया गया है. यह डेवलपर्स को बातचीत में सामाजिक समय का परीक्षण करने का एक तरीका देता है, न केवल अंतिम उत्तर की शुद्धता।
डुप्लेक्स-एमपीई क्या उपाय करता है
बेंचमार्क 2,000 जोड़े गए परिदृश्यों का उपयोग विभिन्न तरीकों से लोगों की तुलना करने के लिए करता है कि लोग एक सहायक को कैसे संबोधित कर सकते हैं। एक प्रमुख अंतर स्पष्ट रूप से संबोधित करना है, जहां एक वक्ता स्पष्ट रूप سے اسسٹنٹ پر توجہ مرکوز کرتا ہے۔ दूसरा निहित संबोधन है, जहाँ सहायक संदर्भ से जवाब दे सकता है भले ही कोई भी सीधे इसे कॉल न करे।
मूल्यांकन कई व्यवहारों को अलग करता हैः
- प्रतिक्रिया आरंभ करनाः क्या सहायक को बोलना शुरू कर देना चाहिए; या नहीं? .
- उत्तर की शुद्धता: क्या सहायक बोलते समय उचित प्रतिक्रिया देता है; या नहीं? .
- मौन रहनाः क्या सहायक बोलने से बच सकता है जब उसे नहीं करना चाहिए; और
- जब एक मानव अनुरोध को हल करता है तो रोकनाः क्या सहायक बंद कर सकता है जब मुद्दा अब उसके लिए खुला नहीं है।
यह संरचना महत्वपूर्ण है क्योंकि एक मॉडल सरल प्रश्न-उत्तर परीक्षण पास कर सकता है जबकि अभी भी समूह सेटिंग में असफल हो सकता है। यह सही उत्तर जानता है लेकिन इसे गलत समय पर दे सकता है, या जब मानव ने पहले ही समस्या का समाधान कर लिया है तो सुनना जारी रख सकते हैं।
क्यों केवल ऑडियो इनपुट मायने रखता है
मॉडल ट्रांसक्रिप्ट या आपूर्ति की गई बारी सीमाओं के बिना ऑडियो प्राप्त करते हैं। एक मोड़ सीमा एक मार्कर है जो सिस्टम को बताता है कि जब एक स्पीकर समाप्त हो गया है और दूसरा शुरू हुआ है। कई नियंत्रित परीक्षणों में, सिस्टम स्वच्छ पाठ या स्पष्ट वक्ता परिवर्तन प्राप्त करता है। वास्तविक बातचीत में, वे संकेत अक्सर गन्दा होते हैं।
केवल ऑडियो का उपयोग करके, ड्यूप्लेक्स-एमपीई मॉडल को एक कठिन और अधिक यथार्थवादी स्थिति में रखता है। यह अनुमान लगाना चाहिए कि कौन बोल रहा है, क्या सहायक को संबोधित किया जा रहा है और जब बातचीत सुव्यवस्थित प्रतिलेख दिए बिना आगे बढ़ गई है।
यह बेंचमार्क व्यवहार की पूरी श्रृंखला का परीक्षण करने के लिए उपयोगी बनाता हैः भाषण समझ, वार्तालाप जागरूकता और प्रतिक्रिया समय।
कहां देखें और आगे क्या होगा
https://step-out.github.io/Duplex-MPE-Page/ पर प्रोजेक्ट पेज बेंचमार्क डिजाइन के बारे में ऑडियो उदाहरण और विवरण प्रदान करता है। परियोजना के पीछे की टीम का कहना है कि डेटा और कोड दिसंबर से पहले जारी करने के लिए तैयार किया जा रहा है।
एक बार उपलब्ध होने के बाद, बेंचमार्क का उपयोग समान समूह-वार्तालाप कार्यों पर मॉडलों की तुलना करने के लिए किया जा सकता है। डेवलपर्स के लिए, यह परीक्षण करने का एक स्पष्ट तरीका प्रदान करता है कि क्या कोई सहायक JUST सही नहीं है, लेकिन उचित रूप से शांत भी है। शोधकर्ताओं के लिए यह वार्तालाप AI के सबसे कठिन हिस्सों में से एक के लिए केंद्रित उपाय जोड़ता हैः कब बोलना है इसका निर्णय लेना।

Comments (0)