मछली ऑडियो ड्रामा पर एक तकनीकी रिपोर्ट 3
Fish Audio Drama 3 निर्देशित ऑडियो, बहु-वर्ण दृश्यों, संशोधनों, संपादन और स्ट्रीमिंग के लिए एक open-source 35B MoE भाषण मॉडल है।
मुख्य जानकारी
- Fish Audio Drama 3 एक open-source भाषण मॉडल है जो पाठ को निर्देशित ऑडियो प्रदर्शनों में बदल देता है, जिसमें बहु-वर्ण दृश्य, संशोधन और स्ट्रीमिंग ऑडियो शामिल हैं।
- यह अलग-अलग प्रणालियों के बजाय एक मॉडल में नई क्षमताओं - मल्टी टर्न रिव्यू, सीन डबिंग, इंफिलिंग द्वारा संपादन और स्ट्रीमिंग टेक्स्ट इनपुट को जोड़ती है।
- मॉडल एक 35B-पैरामीटर मिश्रण विशेषज्ञों की रीढ़ का उपयोग करता है जो token प्रति 3B मापदंडों को सक्रिय करता है, एक हाइब्रिड रैखिक ध्यान डिजाइन और कोड बुक बहु - token -भविष्यवाणी ऑडियो डिकोडर के साथ युग्मित होता है।
- प्रशिक्षण में तीन चरणों का पूर्व-प्रशिक्षण, अनुदेश fine-tuning और बड़े बैच reinforcement learning शामिल हैं जो मानव वरीयता के एकल सीखे मॉडल को अपने एकमात्र इनाम के रूप में उपयोग करते हैं।
- यह एक H200 पर 177 के मुकाबले 271 फ्रेम प्रति सेकंड की तुलना में उच्च एकल-स्ट्रीम अनुमान गति प्राप्त करता है, हालांकि इसमें बहुत अधिक पैरामीटर हैं, वजन और उपकरण GitHub , Hugging Face और एसजीएलएंग-ओम्नी पर उपलब्ध हैं।
मेटा विवरण: Fish Audio Drama 3 एक open-source भाषण मॉडल है जो पाठ को निर्देशित प्रदर्शनों, बहु-वर्ण दृश्यों, संशोधनों और स्ट्रीमिंग ऑडियो में बदल देता है।
टैगः मछली ऑडियो, भाषण पीढ़ी, open-source , ऑडियो नाटक,AI ऑडियो
विशेष रुप से प्रदर्शित छवि: पाठ का एक अमूर्त अनुकूल चित्रण जो तरंग-रूप, माइक्रोफोन और चरित्र सिल्हूट के साथ निर्देशित ऑडियो दृश्य बन जाता है; कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
Fish Audio Drama 3 रचनाकारों, डेवलपर्स और शोधकर्ताओं के लिए एक open-source भाषण पीढ़ी मॉडल है जो चाहते हैं कि पाठ निर्देशित ऑडियो प्रदर्शन बन जाए। यह कई संदर्भों से आवाज को क्लोन कर सकता है, प्राकृतिक-भाषा की दिशा का पालन कर सकते हैं, अगले मोड़ पर नोट देते समय एक टेक को संशोधित करें, बहु-वर्ण दृश्यों को आवाज़ दें, मौजूदा भाषण को इंफिल करके संपादित करें, और लंबे फॉर्म और स्ट्रीमिंग ऑडियो को संश्लेषित करें।
एक मॉडल में नई क्षमताएं
मॉडल इन नौकरियों को अलग-अलग प्रणालियों में विभाजित नहीं करता है। मल्टी टर्न रिव्यू, सीन डबिंग, इंफिलिंग द्वारा संपादन और स्ट्रीमिंग टेक्स्ट इनपुट नाटक 3 में नए हैं, और वे सभी एक मॉडल में हैं। यह रिलीज को text-to-speech अपग्रेड से अधिक बनाता हैः यह बदलता है कि उपयोगकर्ता कई मोड़ों पर प्रदर्शन का मार्गदर्शन कैसे कर सकते हैं।
पाठकों के लिए, व्यावहारिक अर्थ यह है कि एक कार्यप्रवाह वार्तालाप रह सकता है। एक उपयोगकर्ता एक पंक्ति सुनने के बाद एक अलग लेने के लिए पूछ सकते हैं, एक और चरित्र जोड़ सकते हैं या लंबे दृश्यों को उत्पन्न करते समय परिवर्तन का अनुरोध कर सकते हैं। दृश्य डबिंग बहु-चरित्र दृश्य शामिल करता है, जबकि इंफिलिंग द्वारा संपादन मॉडल को मौजूदा भाषण के कुछ हिस्सों को बदलने देता है।
वास्तुकला और प्रशिक्षण
ड्रामा 3 एक 35B-पैरामीटर मिश्रण-विशेषज्ञों की रीढ़ पर बनाया गया है जो token प्रति 3B मापदंडों को सक्रिय करता है। इस शैली के मॉडल में, कुल पैरामीटर गिनती बड़ी है, लेकिन प्रत्येक token के लिए केवल एक उपसमूह का उपयोग किया जाता है। सिस्टम हाइब्रिड रैखिक-ध्यान बैकबोन को नए कोडबुक मल्टी - token -प्रिडिक्शन ऑडियो डिकोडर के साथ जोड़ता है। यह डकोडर समर्पित परतों में प्रत्येक फ्रेम के ध्वनिक कोडबॉक्स की भविष्यवाणी करता है जो पूरे अनुक्रम में भाग लेते हैं। ध्वनिकी कोडबॉक ध्वनि के कॉम्पैक्ट प्रतिनिधित्व होते हैं।
ड्रामा 3 को तीन चरणों की पूर्व-प्रशिक्षण नुस्खा, निर्देश fine-tuning और बड़े बैच reinforcement learning के साथ प्रशिक्षित किया जाता है। reinforcement learning कदम अपने एकमात्र इनाम के रूप में मानव वरीयता के एक एकल सीखे मॉडल का उपयोग करता है।
गति, पहुँच और अगले कदम
इन्फेरेंस इंजन एक H200 पर 271 फ्रेम प्रति सेकंड की दर से एकल धारा को डिकोड करता है, जबकि ड्रामा 3 में सात गुना अधिक पैरामीटर होते हैं। तुलना आकार के खिलाफ गति रखती हैः नाटक 3 बड़ा है, लेकिन इंजन उच्च सिंगल-स्ट्रीम फ़्रेम दर तक पहुंचता है।
मॉडल वेट GitHub (https://github.com/fishaudio/fish-speech) और Hugging Face (https://huggingface.co/fishaudio/drama-3) पर उपलब्ध हैं। निष्कर्ष SGLang-Omni के माध्यम से उपलब्ध है https://github.com/sgl-project/sglang-omni । जो पाठक प्रदर्शन का निर्देशन करने की कोशिश करना चाहते हैं, वे जा सकते हैं https://fish.audio.

Comments (0)