ट्यूटोरियल

AWS पर अल्ट्रा-कम विलंबता वाले आवाज AI अनुप्रयोगों का विकास करना।

कार्टेशिया AWS SageMaker और GPU उदाहरणों पर State Space Models का उपयोग करता है ताकि प्राकृतिक वास्तविक समय अनुप्रयोगों के लिए उप-100 मिलीसेकंड आवाज AI सक्षम हो सके।

मुख्य जानकारी

  • कार्टेशिया वैश्विक स्तर पर text-to-speech और भाषण-से-पाठ के लिए उप-100 मिलीसेकंड की आवाज AI देने के लिए Amazon SageMaker AI और GPU उदाहरणों सहित AWS बुनियादी ढांचे पर उद्देश्य से निर्मित State Space Models का उपयोग करता है।
  • अल्ट्रा-कम विलंबता आवश्यक है क्योंकि उपयोगकर्ता वॉयस इंटरैक्शन में मानव जैसी प्रतिक्रिया की उम्मीद करते हैं; अत्यधिक देरी वार्तालाप प्रवाह को तोड़ सकती है और संपर्क केंद्रों, टेलीहेल्थ, गेमिंग, एक्सेसिबिलिटी टूल और बिक्री जैसे अनुप्रयोगों पर भरोसा कम कर सकती है।
  • State Space Models कॉम्पैक्ट, निश्चित आकार की आंतरिक स्थिति के साथ अनुक्रमों को चरण-दर-चरण संसाधित करके पारंपरिक Transformer -आधारित मॉडलों के गुणवत्ता बनाम विलंबता व्यापार का समाधान करें, जिससे कुशल स्ट्रीमिंग और कम मेमोरी उपयोग संभव हो सके।
  • सोनिक, कार्टेशिया का स्ट्रीमिंग text-to-speech मॉडल, लगभग 90 मिलीसेकंड में पहला ऑडियो बाइट्स देता है, 44+ भाषाओं में प्राकृतिक प्रोसोडी और भावना का समर्थन करता है, और केवल 10 सेकंड के नमूनों से आवाज को क्लोन कर सकता है।
  • इंक, कार्टेशिया के स्ट्रीमिंग स्पीच-टू-टेक्स्ट मॉडल में देशी टर्न डिटेक्शन, संदर्भ-जागरूक एंड पॉइंटिंग, रीयल-टाइम आंशिक प्रतिलेख और ओवरलैपिंग भाषण वाले शोर वातावरण में मजबूती शामिल है।

मेटा विवरणः कार्टेशिया, एक AWS Partner, उप-100 मिलीसेकंड आवाज AI देने के लिए Amazon SageMaker AI और Amazon Elastic Compute Cloud GPU उदाहरणों पर State Space Models का उपयोग करता है।

टैगः वास्तविक समय आवाज AI, राज्य अंतरिक्ष मॉडल, AWS, Amazon SageMaker AI, कार्टेशिया

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> क्लाउड GPU उदाहरणों के माध्यम से आगे बढ़ रहे एक आवाज तरंग का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

कार्टेसिया, एक AWS Partner वास्तविक समय की आवाज में विशेषज्ञता AI, प्रस्तुत किया कि यह वैश्विक स्तर पर उप-100 मिलीसेकंड text-to-speech और भाषण-टू-पाठ वितरित करने के लिए उद्देश्य से निर्मित State Space Models और AWS बुनियादी ढांचे का उपयोग कैसे करता है। डेवलपर्स वॉयस असिस्टेंट, एआई संचालित संपर्क केंद्रों, रीयल-टाइम अनुवाद, अभिगम्यता उपकरण, टेलीहेल्थ, गेमिंग और बिक्री वर्कफ़्लोज़ बनाने वाले डेवलपरों के लिए, लक्ष्य ध्वनि आउटपुट है जो मानव बारी लेने के समान temporal विंडो के भीतर आता है, जिससे बातचीत को मानवीय वार्तालाप के करीब महसूस होता है।

विलंबता क्यों मुख्य समस्या है

वॉयस-फर्स्ट इंटरफेस दुनिया भर में लाखों उपयोगकर्ताओं के लिए एक डिफ़ॉल्ट मोड बन रहे हैं, लेकिन वास्तव में प्राकृतिक आवाज का अनुभव प्रदान करना AI बुनियादी ढांचे में सबसे कठिन चुनौतियों में से एक है। उपयोगकर्ता मानव जैसी प्रतिक्रिया की उम्मीद करते हैं। अत्यधिक विलंबता वार्तालाप प्रवाह को तोड़ सकती है और विश्वास को कम कर सकती है। एआई द्वारा उत्पन्न भाषण स्वाभाविक महसूस करने के लिए, यह लगभग मानवीय उत्तर के रूप में जल्दी पहुंचना चाहिए।

रियल-टाइम वॉयस की मांग AI उद्योगों में बढ़ रही है। संपर्क केंद्रों को तत्काल भाषण पीढ़ी के साथ लाखों ग्राहक इंटरैक्शन को संभालने के लिए एजेंटों की आवश्यकता होती है। टेलीहेल्थ परामर्श सटीक, सहानुभूतिपूर्ण संचार के लिए कम विलंबता वाले आवाज की आवश्यकता होते हैं। गेमिंग और आभासी दुनिया गैर-खिलाड़ी पात्रों और खिलाड़ी बातचीत के लिए वास्तविक समय ध्वनि संश्लेषण की जरूरत है। स्क्रीन रीडर जैसे एक्सेसिबिलिटी टूल और वॉइस इंटरफेस नेत्रहीन विकलांग उपयोगकर्ताओं के लिए तुरंत प्रतिक्रिया देनी चाहिए। इनबाउंड और आउटबाउंड बिक्री अनुप्रयोगों को योग्य लीड, आपत्तियों का प्रबंधन करने और संभावनाओं को लाइन पर रखने के दौरान अजीब ठहराव के बिना उत्तर देने के लिए बिक्री एजेंट की आवश्यकता होगी।

पारंपरिक Transformer -आधारित text-to-speech मॉडल स्ट्रीमिंग विलंबता के साथ संघर्ष करते हैं क्योंकि वे आउटपुट का उत्पादन करने से पहले पूरे अनुक्रमों को संसाधित करते हैं। यह वास्तुशिल्प सीमा एक मौलिक तनाव पैदा करती हैः उच्च गुणवत्ता का मतलब अक्सर अधिक विलम्ब होता है।

State Space Models ट्रेड-ऑफ को बदलना

Transformers , आज के अधिकांश AI के पीछे की वास्तुकला, ध्यान का उपयोग करती है, एक ऐसा तंत्र जो अनुक्रम में प्रत्येक तत्व को हर दूसरे तत्व से तुलना करता है। जैसे-जैसे अनुक्रम लंबा होता जाता है, गणना की मात्रा द्विघात रूप से बढ़ती जाती है। State Space Models इसके बजाय एक अनुक्रम को एक प्रणाली के रूप में व्यवहार करें जो समय के साथ लगातार विकसित होती है, इसे कदम दर कदम संसाधित करती है और एक कॉम्पैक्ट आंतरिक स्थिति आगे ले जाती है. यह कुछ लंबे अनुक्रमों के लिए लागत कम रखते हुए कुशलतापूर्वक कंप्यूटर को संभालने वाले फॉर्म में परिवर्तित किया जा सकता है। वह दक्षता State Space Models वास्तविक समय, स्ट्रीमिंग डेटा जैसे लाइव भाषण के लिए उपयुक्त बनाती है।

ऑडियो प्रसंस्करण के लिए, State Space Models तीन प्रमुख लाभ प्रदान करते हैं। Structured State Space Models रैखिक पुनरावृत्ति का एक रूप है, लेकिन उनका राज्य पैरामीटरीकरण लंबी ऑडियो अनुक्रमों पर जानकारी को संरक्षित करता है, जिससे लंबी दूरी की सिग्नल क्षय से बचा जाता है जो क्लासिक आवर्ती neural networks जैसे कि लंबे समय तक अल्पकालिक मेमोरी नेटवर्क को सीमित करता है। Transformers के विपरीत, जो पिछले सभी tokens को कैश करता है,State Space Models एक निश्चित आकार की छिपी हुई स्थिति बनाए रखता है, उन्हें निरंतर स्मृति पदचिह्न देता है। उनकी आवर्तक संरचना भी इनपुट token -by- token संसाधित करती है, इसलिए वे वास्तुशिल्प संशोधनों के बिना सच्ची स्ट्रीमिंग का समर्थन करते हैं.

ये गुण State Space Models को विशेष रूप से वास्तविक समय के आवाज अनुप्रयोगों के लिए उपयोगी बनाते हैं जहां गुणवत्ता और विलंबता दोनों गैर-परक्राम्य होते हैं। कार्टेशिया इन लाभों को दो उत्पादन ध्वनि मॉडल में रखता हैः भाषण पीढ़ी के लिए सोनिक और प्रतिलेखन के लिए स्याही।

ध्वनि और स्याही वार्तालाप के दोनों पक्षों को कवर

कार्टेशिया एक वास्तविक समय multimodal खुफिया कंपनी है जिसने State Space Model वास्तुकला पर निर्मित एक वॉयस AI एप्लिकेशन उद्देश्य-निर्मित किया। कंपनी की स्थापना उन शोधकर्ताओं द्वारा की गई थी जिन्होंने State Space Model अग्रिमों का नेतृत्व किया था, और इसका आवेदन मानव धारणा के किनारे स्ट्रीमिंग अनुमान के लिए डिज़ाइन किया गया है। कोर मॉडल text-to-speech के लिए सोनिक हैं और भाषण से पाठ के लिए इंक, दोनों को स्टूडियो गुणवत्ता वाले आउटपुट को बनाए रखते हुए उप-100 मिलीसेकंड पहले बाइट विलंबता के लिए अनुकूलित किया गया।

सोनिक कार्टेशिया का प्रमुख स्ट्रीमिंग text-to-speech मॉडल है। यह लगभग 90 मिलीसेकंड में पहले ऑडियो बाइट के साथ अल्ट्रा-यथार्थवादी भाषण संश्लेषण प्रदान करता है, इसलिए उपयोगकर्ता आवाज को लगभग तुरंत प्रतिक्रिया देते हैं। यह 44 से अधिक भाषाओं में प्राकृतिक प्रोसोडी, भावना और अभिव्यंजकता का समर्थन करता है। इसकी वॉयस क्लोनिंग न्यूनतम डेटा के साथ काम करती है, जिससे 10-सेकेंड के ऑडियो नमूनों से कस्टम आवाज़ें बनाई जा सकती हैं। पूर्ण पाठ इनपुट प्राप्त होने से पहले स्ट्रीमिंग-नेटिव आर्किटेक्चर ऑडियो उत्पन्न करना शुरू कर देता है, जबकि संदर्भ-जागरूक सिंथेसिस लंबे मार्गों पर सुसंगत स्वर और शैली बनाए रखता है। कार्टेसिया उन टीमों के लिए सोनिक की सिफारिश करता है जो कम से कम परिचालन ओवरहेड के साथ उत्पादन के लिए सबसे तेज़ समय चाहते हैंः कॉल करें API और वास्तविक समय में ऑडियो प्रवाह प्राप्त करें।

इंक कार्टेशिया का स्ट्रीमिंग स्पीच-टू-टेक्स्ट मॉडल है, जो वार्तालाप AI अनुप्रयोगों के लिए विशेष रूप से बनाया गया है। इसमें देशी मोड़ का पता लगाना शामिल है, जब एक वक्ता ने अपनी बारी पूरी कर ली है और अलग आवाज गतिविधि का पता लगाने या अंत इंगित करने वाले मॉडल के बिना अजीब विराम को कम करता है। संदर्भ-जागरूक एंड पॉइंटिंग मध्य वाक्य ठहराव और सच्चे बातचीत की सीमाओं के बीच अंतर करने के लिए सिमेंटिक समझ का उपयोग करती है। स्ट्रीमिंग ट्रांसक्रिप्शन वास्तविक समय में आंशिक प्रतिलेख उत्सर्जित करता है क्योंकि उपयोगकर्ता बोलता है, जिससे डाउनस्ट्रीम large language model टर्न समाप्त होने से पहले अपना जवाब बनाना शुरू कर देता है। इंक भी सामान्य वास्तविक दुनिया तैनाती में शोर वातावरण में सटीकता बनाए रखता है और मल्टी-स्पीकर समर्थन के माध्यम से ओवरलैपिंग भाषण और स्पीकर संक्रमण को सौंदर्यपूर्वक संभालता है।

एक साथ, सोनिक और इंक पूरी आवाज AI स्टैक प्रदान करते हैं जो मानवीय महसूस करने वाले वार्तालाप एजेंट बनाने के लिए आवश्यक है।

Two AWS सोनिक के लिए तैनाती पथ

जो टीमों को डेटा संप्रभुता, विलंब नियंत्रण या अनुपालन की आवश्यकता होती है वे कार्टेशिया मॉडल को सीधे अपने AWS खाते में तैनात कर सकते हैं। सोनिक को एक Amazon SageMaker AI मॉडल पैकेज के रूप में दिया जाता है AWS Marketplace , जिसे पूरी तरह से वर्चुअल प्राइवेट क्लाउड के भीतर चल रहे SageMaker AI एंडपॉइंट पर तैनात किया जा सकता है। अनुमानित डेटा ग्राहक खाता नहीं छोड़ता है। वर्तमान में इंक Cartesia API के माध्यम से उपलब्ध है, जिसे Cartesia Voice AI Platform सूचीबद्ध करके खरीदा जा सकेगा।

पहला विकल्प है Amazon SageMaker AI। तैनाती को Amazon SageMaker Notebook Instance या SageMaker Studio से चलाना होगा, और AWS Identity और Access Management निष्पादन भूमिका के लिए AmazonSageMakerFullAccess की आवश्यकता होती है। तैनात करने से पहले, उपयोगकर्ताओं को मॉडल पैकेज के SupportedRealtimeInferenceInstanceTypes फ़ील्ड में एक समर्थित उदाहरण प्रकार का चयन करना चाहिए। समर्थित विकल्प ml.g6e.xlarge या अधिक बड़े हैं,ml.g7e.2xlarger या अधिक बड़ा है,ML.g7.2XLarge या बड़ी है,एमएल.पी5.48एक्सलार्ज,और एमएल. पी5एन. 48 एक्सलार्ज। यदि चुने हुए उदाहरण प्रकार के लागू मूल्य वर्तमान उपयोग प्लस नियोजित एंडपॉइंट उदाहरण से कम है, तो सेवा गणना कोटा वृद्धि की आवश्यकता हो सकती है, जिसमें विवरण SageMaker AI कोटों में उपलब्ध है।

Sonic 3.6 को एक SageMaker एंडपॉइंट पर तैनात करने के लिए, संसाधन खोलें AWS Marketplace , फिर सभी उत्पाद, और सोनिक 3.6 सेजमेकर की खोज करें। कार्टेसिया लिस्टिंग चुनें, खरीद विकल्प देखें का चयन करें, मूल्य निर्धारण और शर्तों की समीक्षा करें, और सदस्यता लें। सब्सक्रिप्शन मॉडल पैकेज तक AWS खाता पहुंच प्रदान करता है लेकिन संसाधन नहीं लगाता है। & निष्पादन भूमिका चुनें और मॉडल बनाएं। फिर समर्थित GPU उदाहरण, जैसे कि ml.g6e.2xlarge का उपयोग करके मॉडल से एक वास्तविक समय अंतबिंदु बनाएँ। एंडपॉइंट पहले क्रिएटिंग स्टेटस के साथ दिखाई देता है; इसे कॉल करने से पहले InService की प्रतीक्षा करें।

मॉडल पैकेज Amazon Resource Name क्षेत्र-विशिष्ट है। US East (एन. वर्जीनिया) में सोनिक 3.6 पैकेज को SageMaker API के साथ सत्यापित करने के लिए, मॉडल पैकेट का वर्णन करें और क्वेरी ModelPackageStatus, InferenceSpecification.Containers[0].ProductId, and InferanceSpecifications.SupportedRealtimeInferenceInstanceTypes। पैकेजAmazon Resource Name मान `arn: AWS :sagemaker:us-east-1:865070037744:model-package/sonic36-sagemmaker-v0-c6e9ffcacdfc311d781bd7c98c587480∀ है। एंडपॉइंट इनसर्विस तक पहुंचने के बाद, इसे कॉल करें SageMaker Runtime EndpointWithResponseStream API और एप्लिकेशन प्रक्रिया में ऑडियो स्ट्रीम लौटाएं।

दूसरा विकल्प Amazon Elastic Compute Cloud GPU उदाहरणों पर स्व-प्रबंधित तैनाती है। कुछ टीमों के पास मौजूदा GPU बुनियादी ढांचा, सख्त नेटवर्किंग आवश्यकताएं हैं, या अन्य सेवाओं के साथ कार्टेसिया को सह-स्थापित करने की आवश्यकता है। उन मामलों के लिए, मॉडल कंटेनर सीधे चलाने योग्य हो सकता है Amazon Elastic Compute Cloud GPU, रनटाइम, स्केलिंग और नेटवर्क पथ पर पूर्ण नियंत्रण देते हुए। यह दृष्टिकोण कार्टेसिया से प्राप्त कार्टीसिया की कंटेनર छवि का उपयोग करता है, न कि AWS Marketplace मॉडल पैकेज।

प्रक्रिया कंटेनर छवि प्राप्त करके शुरू होती है। टीमें कार्टेशिया से सोनिक कंटेनર इमेज और लाइसेंसिंग शर्तों का अनुरोध करती हैं, फिर इसे एक निजी Amazon Elastic Container Registry रिपॉजिटरी में दोहराती हैं ताकि कंप्यूटिंग प्लेन इसे पहचान के साथ खींच सके और Access Management स्कोप्ड क्रेडेंशियल्स को पैमाने पर बाहरी रजिस्ट्री तक पहुंचने के बजाय।

GPU चयन के लिए, सोनिक NVIDIA GPU उदाहरणों पर चलता है। L4 और G6e के साथ L40S परिवारों को वास्तविक समय text-to-speech के लिए इष्टतम संतुलन के रूप में वर्णित किया गया है, जबकि A10G के साथ पहले का G5 भी काम करता है। टीमों को समवर्तीता को लक्षित करने के लिए स्मृति और आभासी CPU से मेल खाना चाहिए और सबसे सरल स्केलिंग के लिए प्रति मॉडल प्रतिकृति एक एकल- GPU उदाहरण पसंद करते हैं।

कंप्यूटिंग विमान को Amazon Elastic Container Service या Amazon Elastic Kubernetes Service के साथ प्रावधान किया जा सकता है। Amazon Elastic Container Service के लिए, एक GPU कार्य परिभाषा पंजीकृत करें, कंटेनर की GPU संसाधन आवश्यकता सेट करें, उदाहरण के लिए प्रकार के साथ resourceRequirements GPU, और इसे सेवा के रूप में चलाएं। Application Load Balancer के लिए GPU -अनुकूलित Amazon SageMaker AI का उपयोग करके GPU नोड समूह या कारपेंटर प्रोविजनेयर बनाएं, NVIDIA डिवाइस प्लगइन इंस्टॉल करें, और एक सर्विस या इनग्रेस द्वारा सामने वाले डिप्लोइमेंट के तौर पर कन्टेनर को तैनात करें।

नेटवर्किंग को कम विलंबता के लिए कॉन्फ़िगर किया जाना चाहिए। Inter -नोड लैंटेंसी को न्यूनतम करने के लिए एक क्लस्टर प्लेसमेंट ग्रुप में इन्फरेंस नोड्स रखा जा सकता है, जिसमें प्रतिकृतियां सबसे तंग पथ के लिए एकल Availability Zone में रखी जाती हैं। वर्चुअल प्राइवेट क्लाउड एंडपॉइंट का उपयोग Amazon Elastic Container Registry और Amazon Simple Storage Service खींचने के लिए किया जाता है। हाइब्रिड या ऑन-प्रिमाइसेस कॉलरों के लिए, ट्रैफिक को सार्वजनिक - internet हॉप्स से बचाने के लिए AWS Direct Connect या निजी Network Load Balancer पर समाप्त किया जा सकता था।

मॉडल भार को कुशलता से लोड किया जाना चाहिए. एक साझा, कम-विलंब मात्रा जैसे कि Amazon Elastic File System या Amazon FSx के लिए चमक पर भंडारण वजन, प्रतिकृतियों में घुड़सवार ताकि नए पॉड्स या कार्य प्रत्येक मल्टी-गीगाबाइट कलाकृतियों को फिर से डाउनलोड किए बिना शुरू हो जाएं। कंटेनर स्टार्ट पर मॉडल को गर्म करें और स्वास्थ्य जांच का पर्दाफाश करें ताकि लोड Balancer केवल तैयार प्रतियों के मार्गों तक पहुंच सके।

बैचिंग और समवर्ती को ट्यूनिंग की आवश्यकता होती है। ट्रैफ़िक प्रोफाइल से मेल खाने के लिए कंटेनर का अधिकतम बैच आकार और समकालिक-स्ट्रीम सीमाएं सेट करें। उच्च बैच का आकार उपयोग में सुधार करता है GPU लेकिन पहले बाइट विलंबता जोड़ता है, इसलिए इसे उप -100 मिलीसेकंड लक्ष्य के खिलाफ ट्यून किया जाना चाहिए। स्केलिंग के लिए प्रयुक्त प्रतिकृति क्षमता खोजने के लिए बेंचमार्क स्ट्रीम प्रति GPU ।

कस्टम ऑटो स्केलिंग को उन संकेतों पर भरोसा करना चाहिए जो वास्तविक लोड को दर्शाते हैं, जैसे कि सक्रिय ऑडियो-स्ट्रीम काउंट या GPU उपयोगिता CPU के बजाय। सेवा पर, मार्गदर्शन में उल्लेख किया गया है AWS Application Auto Scaling

बिल्डरों के लिए इसका क्या मतलब है

व्यावहारिक टेकअवे यह है कि विलंबता केवल एक मॉडल समस्या नहीं है। यह एक वास्तुकला की समस्या है, और यह एक अवसंरचना समस्या भी है। State Space Models चौथाई ध्यान लागत के बिना स्ट्रीमिंग भाषण का मार्ग प्रदान करता है जो लंबे अनुक्रमों को महंगा बना सकता है। कार्टेशिया के सोनिक और इंक बातचीत के दो पक्षों को कवर करते हैंः बोलना और सुनना। AWS तैनाती तब निर्धारित करती है कि टीम कितना नियंत्रण, अनुपालन और परिचालन ओवरहेड लेती है।

पथों के बीच चयन करने वाले डेवलपर्स के लिए, प्रबंधित Amazon SageMaker AI मॉडल पैकेज ग्राहक खाते के अंदर रहने वाले अनुमान डेटा के साथ उत्पादन का एक स्पष्ट मार्ग प्रदान करता है। Amazon Elastic Compute क्लाउड पथ GPU उदाहरणों, नेटवर्क टोपोलॉजी, स्केलिंग और मौजूदा सेवाओं के साथ सह-स्थान पर अधिक गहरा नियंत्रण प्रदान करते हैं। स्याही Cartesia API और AWS Marketplace लिस्टिंग के माध्यम से उपलब्ध रहती है, जबकि सोनिक में सैजमेकर और स्व-प्रबंधित विकल्प दोनों होते हैं। वास्तविक समय की आवाज AI का मूल्यांकन करने वाली टीमों को पहले बाइट विलंबता, भाषा कवरेज, वॉयस क्लोनिंग आवश्यकताओं, टर्न डिटेक्शन, ट्रांसक्रिप्शन स्ट्रीमिंग और तैनाती प्रतिबंधों की तुलना करना होगा इससे पहले कि वे यह तय करें कि कौन सा पथ उनके कार्यभार के अनुरूप है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.