उपकरण समीक्षाएँ

फोनोन text-to-speech पर यह करीब से नज़र डालें इसकी उच्च-गुणवत्ता वाले ऑन-डिवाइस स्पीच के लॉन्च को उजागर करता है जो बेंचमार्क में सबसे ऊपर है।

फोनोन एक छोटी खुली text-to-speech प्रणाली है जो उपकरणों पर ऑफ़लाइन चलती है, पांच भाषाओं और आवाज क्लोनिंग का समर्थन करती है, और बेंचमार्क में उच्च स्थान प्राप्त करती है।

फोनोन text-to-speech पर यह करीब से नज़र डालें इसकी उच्च-गुणवत्ता वाले ऑन-डिवाइस स्पीच के लॉन्च को उजागर करता है जो बेंचमार्क में सबसे ऊपर है।

मुख्य जानकारी

  • Phonon एक छोटा, ऑन-डिवाइस text-to-speech सिस्टम है जो टाइप किए गए टेक्स्ट को स्थानीय रखता है, गोपनीयता-केंद्रित apps, ऑफ़लाइन उपयोग और वाणिज्यिक अनुकूल आवाज AI पर लक्षित करता है।
  • यह दो मुख्य मॉडल प्रदान करता हैः Phonon 31m, मुफ्त वाणिज्यिक उपयोग के लिए एक English Apache 2.0 मॉडल और Phonons 40m, उपयोगकर्ता-आधारित व्यावसायिक मूल्य निर्धारण के साथ गैर-वाणिज्यिक लाइसेंस के तहत पांच भाषाओं का मॉडल।
  • Pocket TTS वंश और प्रवाह मिलान पर निर्मित, Phonon कॉम्पैक्ट 657575 MB मॉडल में उच्च-गुणवत्ता वाली भाषण प्रदान करता है, आवाज क्लोनिंग / डिजाइन का समर्थन करता है, दिनांक और कोड जैसे मुश्किल पाठ को संभालता है, और फोन, laptops, ब्राउज़र और छोटे उपकरणों पर चलता है।
  • Hugging Face s पर, Phonon जर्मन और स्पेनिश समझदारी में पहले स्थान पर है, मूल्यांकन की गई भाषाओं में शीर्ष तीन में जगह लेता है, और कई प्रतिद्वंद्वियों से बहुत छोटा होने के बावजूद स्ट्रीमिंग टाइम-टू-फर्स्ट ऑडियो का नेतृत्व करता है।
  • डेवलपर्स Phonon का उपयोग नए ptts इन्फरेंस फ्रेमवर्क के माध्यम से कर सकते हैं, जो CPU, GPU और NPU बैकएंड को सपोर्ट करता है, या Transformers v5.21 के लिए PyTorch, बैच GPU पीढ़ी और मॉडल एकीकरण।

Meta Description: फोनन 31m और फोनन 40m ऑफ़लाइन text-to-speech पर चलते हैं, laptops और ब्राउज़रों के साथ अपाचे 2.0 31 मीटर मॉडल और मजबूत लीडरबोर्ड स्कोर के लिए।

This Closer Look at Phonon text-to-speech Highlights Its Launch of High-Quality On-Device Speech That Tops Benchmarks.

टैगः फोनन, ऑफ़लाइन text-to-speech, Hugging Face, ग्रेडियम, आवाज AI

विशेष रुप से प्रदर्शित छवि: एक फोन और laptop पर चलने वाले छोटे भाषण तरंगों का अमूर्त, मैत्रीपूर्ण चित्रण, बिना वास्तविक लोगों के, बिना लोगो और बिना पाठ के।

दो सप्ताह पहले, टीम ने फोनोन खोला, एक छोटा ऑफ़लाइन text-to-speech मॉडल जो server या नेटवर्क कनेक्शन के बिना उपयोगकर्ता के अपने डिवाइस पर चलता है। रिलीज़ का उद्देश्य डेवलपर्स, APP बिल्डरों और किसी को भी स्थानीय रूप से उस टेक्स्ट को रखते हुए टाइप किए गए पाठ से बोलने वाले आउटपुट की आवश्यकता होती है। यह कई भाषा तुलनाओं में शीर्ष तक पहुंचने और स्ट्रीमिंग टाइम-टू-फर्स्ट ऑडियो बेंचमार्क का नेतृत्व करने के लिए Hugging Face Open TTS Leaderboard पर कॉम्पैक्ट कलाकार के रूप में भी दिखाई दे रहा है।

एक छोटा मॉडल जो डिवाइस पर पाठ रखता है

अधिकांश वॉयस AI क्लाउड में चलता है, ऑडियो वापस करने से पहले प्रत्येक वाक्य को server पर भेजता है। फोनोन दूसरा रास्ता लेता हैः मॉडल स्थानीय रूप से चलाया जाता है, और टाइप किया गया पाठ उपयोगकर्ता के साथ रहता है। वजन खुले होते हैं। फोनॉन 31 एम अंग्रेजी बोलता है और अपाचे 2.0 के तहत लाइसेंस प्राप्त है, इसलिए इसे वाणिज्यिक उत्पादों सहित मुफ्त में इस्तेमाल किया जा सकता है। अन्य मॉडलों का लाइसेंस सीबीवाई-एनसी है, जो उन्हें गैर-व्यावसायिक परियोजनाओं के लिए स्वतंत्र रखता है; यदि कोई व्यावसायिक उत्पाद उन मॉडल्स का उपयोग करता है, तो मूल्य निर्धारण उत्पन्न भाषण की मात्रा के बजाय उपयोगकर्ताओं की संख्या पर आधारित होता है।

टीम ने अप्रैल में फोनोन की घोषणा की और अगले छह महीनों को भागीदारों और शुरुआती उपयोगकर्ताओं के साथ इसे परिष्कृत करने में बिताया। उस प्रतिक्रिया ने लॉन्च को आकार देने में मदद कीः मॉडल छोटे हो गए, अधिक भाषाओं को जोड़ा गया, और आवाज क्लोनिंग और आवाज डिजाइन के माध्यम से अनुकूलित आवाज़ों का समर्थन किया गया। फोनॉन भी Pocket TTS वंश से काम करता है और ऑडियो उत्पन्न करने के लिए प्रवाह मिलान का उपयोग करता है, एक तकनीक जिसे टीम अन्य text-to-speech प्रणालियों में इस्तेमाल किए जाने वाले मॉडलिंग विधियों से बहुत अलग बताती है। इस दृष्टिकोण ने एक बहुत ही छोटे मॉडल में उच्च गुणवत्ता लाने में सहायता की, लेकिन यह प्रशिक्षण कठिन बना दिया: प्रक्रिया शुरू में संख्यात्मक रूप से अस्थिर थी और सभी पांच भाषाओं में गुणवत्ता परिणाम पैदा करने के लिये कई चालें आवश्यक थीं।

Phonon दो आकारों में आता है, लगभग 65 MB और 75 MB. साथ में वे अंग्रेजी, फ्रेंच, जर्मन, स्पेनिश और पुर्तगाली बोलते हैं। 100 से अधिक अंतर्निहित आवाज़ें शामिल हैं, और उपयोगकर्ता अपनी आवाज बना सकते हैं Gradium Studio। यह मॉडल उन तत्वों को भी संभालता है जो अक्सर text-to-speech सिस्टम पर ट्रिप करते हैं, जैसे कि फ़ोन नंबर, तिथियां और कोड। यह फोन, laptops, सिंगल-बोर्ड कंप्यूटर और ब्राउज़र टैब पर चलता है।

डेमो data center के बाहर मॉडल दिखाते हैं

लॉन्च में भागीदारों और टीम के डेमो शामिल थे। एक Apple Watch पर चलाया गया था, जिसमें Wi-Fi को बंद कर दिया गया था. दूसरा iPhone पर बिना किसी सिग्नल के चल रहा था, व्यायाम की पुनरावृत्ति की गिनती करते हुए। ऑटोनॉमस से लैंप नामक robot ने छँटाई टोपी पहनी थी और चरित्र में बात की थी। एक ब्राउज़र में, एक ऑफ़लाइन डायनो धावक रेक्स द्वारा होस्ट किए गए रेडियो शो में बदल गया। अन्य परियोजनाओं में खिलाड़ी की अपनी मशीन पर आवाज वाले विज्ञान कथा खेल और प्रूस्ट पेज-दर-पेज पढ़ते हैं।

AI टीम ने Transformers एकीकरण का निर्माण किया, ताकि डेवलपर्स पहले दिन से ही Phonon का उपयोग कर सकें। शुरुआती डेवलपर काम के बादः एक ExecuTorch रूपांतरण ब्राउज़र में आगंतुक GPU पर फोनन चलाता है, माइकड्रॉप इसे Node.js apps तक लाता है और स्पेसेस जैसे कि सबसे छोटे-एस 2 इसके ऊपर बनाते हैं। फोनोन को अपने पहले दो हफ्तों में 200,000 से अधिक बार डाउनलोड किया गया था और यह अभी भी ट्रेंडिंग है English Apache ।

लीडरबोर्ड के नतीजे एक छोटे मॉडल को सामने लाते हैं

Open TTS Leaderboard एक बहुत ही नई Hugging Face परियोजना है। 9,000 पर TTS से अधिक मॉडलों के साथ, यह डेवलपर्स को खुले मॉडल की तुलना करने और उन्हें साइड-बाय-साइड सुनने के लिए एक जगह देता है। 23 भाषाओं में, लीडरबोर्ड आउटपुटों की शब्द त्रुटि दर के माध्यम से समझदारी का मूल्यांकन करता है, रिवर्स रीयल-टाइम फैक्टर और टाइम-टू-फर्स्ट ऑडियो द्वारा गति, और अंग्रेजी के लिए यूटीएमओएस और कोरियाई के लिए कोमोस द्वारा स्वाभाविकता। यह फिक्स्ड-वॉइस और वॉयस-क्लोनिंग सेटिंग्स का परीक्षण करता है.

Phonon के परिणाम समझने में सबसे मजबूत हैं। यह जर्मन और स्पेनिश में पहले स्थान पर है, और इसका मूल्यांकन प्रत्येक भाषा में शीर्ष तीन में किया जाता है, यहां तक कि जब इसकी तुलना 100 गुना आकार वाले मॉडलों से की जाती है। गति एक अन्य स्टैंडआउट हैः मॉडल टाइम-टू-फर्स्ट ऑडियो पर CPU स्ट्रीमिंग बेंचमार्क को टॉप करते हैं, जो ऑन-डिवाइस प्रतिक्रियाओं के लिए मायने रखता है जहां पहली बोली जाने वाली ध्वनि जल्दी पहुंचनी चाहिए।

दो डेवलपर पथः ptts और Transformers

टीम ने Phonon के लिए एक नया अनुमान ढांचा, ptts बनाया। इसका लक्ष्य विभिन्न प्रकार के उपकरणों में सबसे अच्छा प्रदर्शन प्राप्त करना है और यह 10 से अधिक बैकएंड का समर्थन करता हैः CPU Intel, आर्म और वेब असेंबली सहित बैकएन्ड; GPU CUDA, वल्कन, मेटल और वेबजीपीयू सहित बैकेंड; तथा Apple Core ML और Snapdragon ® सहित NPU बैकएण्ड ।

Phonon Transformers में भी उपलब्ध है v5.21 इसका संदर्भ PyTorch कार्यान्वयन के रूप में। दो पथ अलग-अलग नौकरियों की सेवा करते हैं. ptts डिवाइस पर एक एकल धारा चलाता है, जबकि Transformers लक्ष्य GPU थ्रूपुट बैच जनरेशन और पूर्ण ग्राफ torch.compile के साथ, उदाहरण के लिए जब स्केल पर भाषण datasets का संश्लेषण करता है। चूंकि Transformers कार्यान्वयन देशी PyTorch, डेवलपर्स इसे फोनन को दूसरे स्टैक में एकीकृत करने या मॉडल का अध्ययन करने के लिए उपयोग कर सकते हैं।

मॉडल की संरचना भाषा-मॉडल वर्कफ़्लोज़ के करीब है। यह Pocket TTS वंश से संबंधित है, इसलिए टीम ने पहले Transformers को जोड़ा Pocket TTS, फिर लगभग 200 पंक्तियों के साथ एक मॉड्यूलर मॉडल के रूप में Phonon का निर्माण किया जिसमें केवल अलग-अलग वर्णन किया गया था। फोनोन ऑडियो लैंटेंट्स ऑटोरेग्रेसिव रूप से उत्पन्न करता हैः प्रत्येक चरण एक लुप्त आउटपुट देता है जिसे अगले इनपुट के लिए वापस खिलाया जाता है, और प्रशिक्षण हानि उन लैंट्स पर गणना की जाती है। इस डिजाइन में, लैंटेन्स उस भूमिका को निभाते हैं जो पाठ tokens एक भाषा मॉडल में खेलते हैं, जबकि कोडैक जो ऑडियो को लैंटन तक मैप करता है वह tokenizer की तरह कार्य करता है। Transformers जहाजों कि tokenizer द्वारा आयोजित processor के बगल में टेक्स्ट tokenizer.

इस कार्यान्वयन में एक आवाज रिकॉर्डिंग नहीं है, बल्कि स्पीकर लैंटेंस का टेंसर है। फोनोन कभी भी अपने ऑडियो tokenizer के साथ सीधे ऑडियो को एन्कोड नहीं करता है, जो केवल डिकोडर भेजता है; आवाज़ों को ग्रेडियम / फोनॉन-वॉइस में प्रीकंप्यूटेड प्रदान किया जाता है। प्रॉम्प्ट लेआउट, जिसमें वॉयस पोजीशन, टेक्स्ट और एक token शामिल हैं जो ऑडियो खोलते हैं, चैट टेम्प्लेट के रूप में चेकपॉइंट के साथ जहाज करते हैं, जैसे कि अन्य multimodal मॉडल Transformers में होते हैं। एक उपयोगकर्ता खाली ऑडियो आइटम के साथ एक मानक वार्तालाप लिखता है जहां आवाज जाती है, कोड को सभी जांच बिंदुओं पर समान रखते हुए। processor वॉयस प्लेसहोल्डर को फ़्रेम प्रति एक स्थिति तक विस्तारित करती है, पाठ को सामान्यीकृत और टोकनीकृत करती है और इनपुट बैच करती है। जब लैंट्स उत्पन्न होता है, तो processor उन्हें ऑडियो में डीकोड करता है; प्रलेखन अधिक विवरण कवर करता है।

लोग फोनन के साथ आगे क्या कर सकते हैं

Phonon किसी भी आवाज के साथ बोल सकता है। एक उपयोगकर्ता स्पीकर की सहमति से एक छोटी रिकॉर्डिंग से एक आवाज़ क्लोन कर सकता है, या सादे पाठ में एक नई आवाज का वर्णन कर सकते हैं Gradium Studio. उसके बाद, वॉयस फ़ाइल को डाउनलोड किया जा सकता है और पूरी तरह से डिवाइस पर उपयोग किया जा सकेगा।

टीम डिजाइन भागीदारों के साथ कस्टम फोनोन मॉडल को भी प्रशिक्षित करती है। यदि किसी उत्पाद में एक तंग मेमोरी बजट होता है, तो मॉडल को छोटा बनाया जा सकता है। If Korean, अरबी या जापानी की आवश्यकता होती है, टीम उन भाषाओं के लिए प्रशिक्षण दे सकती है। अगर किसी उत्पाद का अपना शब्दावली है, यह उस शब्दकोश के लिए ठीक-ठाक हो सकता है. टीम ने धन्यवाद दिया Hugging Face और हर कोई जिसने अपने पहले दो हफ्तों में फोनॉन की कोशिश की। यह कहता है कि यह इसकी पहली खुली रिलीज़ है और उपयोगकर्ताओं को इसे आज़माने और जो वे बनाते हैं उसे साझा करने के लिए आमंत्रित करता है।

पाठकों के लिए, व्यावहारिक विकल्प काफी स्पष्ट हैः Phonon 31m वाणिज्यिक ऑन-डिवाइस कार्य के लिए एक English Apache 2.0 मार्ग प्रदान करता है, जबकि फोनन 40m अंग्रेजी, फ्रेंच, जर्मन, स्पेनिश और पुर्तगाली में गैर-व्यावसायिक पथ देता है। डेमो, डाउनलोड और लीडरबोर्ड प्लेसमेंट मॉडल की मुख्य पिच दिखाते हैंः छोटे, स्थानीय, तेज और अपने आकार के लिए प्रतिस्पर्धी।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.