Realtime API के अद्यतनों के साथ जीपीटी-वास्तविक समय का परिचय
OpenAI जीपीटी-रियलटाइम की घोषणा करता है, एक अधिक उन्नत भाषण से भाषण मॉडल जो तेज और अधिक प्राकृतिक आवाज वार्तालापों को सक्षम बनाता है, प्रमुख Realtime API अपडेट के साथः MCP server बाहरी उपकरणों और डेटा को जोड़ने के लिए समर्थन, multimodal उपयोग मामलों के लिए छवि इनपुट, और एसआईपी फोन कॉल का समर्थन AI वॉयस एजेंटों को सीधे पारंपरिक व्यावसायिक टेलीफोन सिस्टम से कनेक्ट करने के लिए।
क्या घोषणा की जा रही है
कंपनी एक अधिक सक्षम स्पीच-टू-स्पीच मॉडल को रोल आउट कर रही है, और इसके साथ ही अपने API के लिए नई सुविधाओं का एक सेट। वॉयस संचालित उत्पादों बनाने वाले डेवलपर्स और टीमों के लिए यह अपडेट मायने रखता हैः इसका मतलब है कि AI के साथ अधिक प्राकृतिक बोली जाने वाली बातचीत, साथ ही उस क्षमता को उन उपकरणों और संचार चैनलों से जोड़ने के नए तरीके जो लोग पहले से उपयोग करते हैं। यहाँ नया क्या है और क्यों प्रत्येक टुकड़ा उपयोगी हो सकता है की एक सादे अंग्रेजी walkthrough है.
एक अधिक उन्नत भाषण-से-भाषण मॉडल
रिलीज़ के केंद्र में एक उन्नत भाषण-से-भाषण मॉडल है। यदि आपने इस स्थान का पालन नहीं किया है, तो "बोल-टू-स्पीच" का अर्थ है कि मॉडल बोलने वाले ऑडियो को इनपुट के रूप में ले सकता है और सीधे बोले गए ऑडियो के साथ प्रतिक्रिया दे सकता है, बजाय आपके भाषण को पाठ में परिवर्तित करने से, लिखित उत्तर उत्पन्न करना, और फिर उस टेक्स्ट को जोर से पढ़ना.
स्पीच-टू-स्पीच मॉडल आम तौर पर तेजी से प्रतिक्रिया दे सकते हैं और बातचीत के अधिक प्राकृतिक गुणों को संरक्षित कर सकते हैं, जैसे कि टोन, पेसिंग और रुकावटें जो एक मशीन में कहने की तुलना में किसी व्यक्ति के साथ बात करने के करीब महसूस करती हैं। customer support लाइनों, वॉयस असिस्टेंट्स, लाइव ट्रांसलेशन टूल्स या इंटरैक्टिव अनुभव बनाने वाले किसी भी व्यक्ति के लिए, इस तरह का मॉडल कोर इंजन है।
कंपनी इस संस्करण का वर्णन पहले की तुलना में "अधिक उन्नत" के रूप में करती है, हालांकि घोषणा में विस्तृत बेंचमार्क या विशिष्ट प्रदर्शन संख्या शामिल नहीं हैं, इसलिए सटीक लाभों को मानने के बजाय अपने स्वयं के उपयोग मामले में इसका परीक्षण करना उचित है।
MCP server समर्थन
MCP (Model Context Protocol) एक खुला मानक है जो AI मॉडल को बाहरी उपकरणों और डेटा स्रोतों से सुसंगत तरीके से कनेक्ट करने देता है. व्यावहारिक रूप से, MCP एक सार्वभौमिक एडाप्टर की तरह कार्य करता हैः प्रत्येक सेवा के लिए कस्टम इंटीग्रेशन बनाने के बजाय जिसे आप चाहते हैं कि आपका AI बात करे, तो आप उन सेवाओं को स्टैंडर्ड प्रारूप में उजागर करने वाले MCP , servers में प्लग कर सकते हैं।
वॉयस अनुप्रयोगों के लिए, यह एक सार्थक उन्नयन है। कल्पना कीजिए कि फोन-आधारित सहायक जो ऑर्डर स्टेटस को देख सकता है, कैलेंडर चेक कर सकता है या कंपनी डेटाबेस से मध्य वार्तालाप में रिकॉर्ड खींच सकता है. MCP समर्थन के साथ, स्पीच-टू-स्पीच मॉडल बात नहीं कर रहा है, बातचीत हो रही है जबकि कार्रवाई ले और वास्तविक जानकारी प्राप्त कर सकते हैं.
छवि इनपुट समर्थन
दूसरा जोड़ा छवि इनपुट है. इसका मतलब है कि अब आप पाठ और ऑडियो के साथ API में छवियां भेज सकते हैं, multimodal उपयोग मामलों को खोलते हुए जो पहले एक पाइपलाइन में संभव नहीं थे।
इसके कुछ उदाहरण हैं: एक उपयोगकर्ता किसी दस्तावेज़, उत्पाद या टूटे हुए उपकरण की तस्वीर ले सकता है और बोलकर उत्तर प्राप्त करके उसके बारे में प्रश्न पूछ सकता है। सहायता एजेंट कॉल के दौरान screenshots साझा कर सकते हैं और सहायक को समझते हैं कि स्क्रीन पर क्या है। फील्ड वर्कर्स मशीन पार्ट का फोटो खींचकर मौखिक मार्गदर्शन पा सकते हैं। जो मॉडल देख सकता है उसे सुनने और कहने के साथ जोड़ना अकेले आवाज से कहीं अधिक समृद्ध अनुप्रयोगों के लिए बनाता है।
एसआईपी फोन कॉल समर्थन
SIP (Session Initiation Protocol) मानक तकनीक है जो दुनिया के अधिकांश व्यावसायिक टेलीफोनी को शक्ति प्रदान करती है। API में एसआईपी समर्थन के साथ, डेवलपर्स सीधे पारंपरिक फोन सिस्टम से स्पीच-टू-स्पीच मॉडल कनेक्ट कर सकते हैं।
वास्तविक दुनिया की टेलीफोन लाइनों के लिए वॉयस एजेंट बनाने वाले किसी भी व्यक्ति के लिए यह एक बड़ी बात है। अलग-अलग सेवाओं के माध्यम से कॉल रूट करने या कस्टम टेलिफोनी पुलों का निर्माण करने के बजाय, व्यवसाय अपने मौजूदा फोन बुनियादी ढांचे में एआई संचालित बातचीत ला सकते हैं। इसमें स्वचालित इनबाउंड सपोर्ट लाइन्स, आउटबाउंड अपॉइंटमेंट रिमाइंडर, आरक्षण लाइनें और आंतरिक सहायता डेस्क जैसे परिदृश्य शामिल हैं, जो सभी नए भाषण मॉडल पर चल रहे हैं।
यह संयोजन क्यों उल्लेखनीय है
व्यक्तिगत रूप से, इन विशेषताओं में से प्रत्येक उपयोगी है. साथ में, वे उत्पादन आवाज अनुप्रयोगों के निर्माण के लिए एक पूर्ण मार्ग का खाका तैयार करते हैंः वार्तालाप कोर के रूप में एक प्राकृतिक-ध्वनि वाला भाषण-से-भाषण मॉडल, वास्तविक उपकरणों और डेटा से कनेक्ट करने के लिए MCP , multimodal संदर्भ के लिए छवि इनपुट, और सामान्य फोन कॉल पर उपयोगकर्ताओं तक पहुंचने के लिए एसआईपी।
उन टीमों के लिए जो आवाज AI के साथ प्रयोग कर रहे हैं लेकिन पाइपलाइन, एकीकरण कार्य या बोली जाने वाली बातचीत की गुणवत्ता से जूझ रहे हैं, यह रिलीज़ कई लापता टुकड़ों को एक स्थान पर बंडल करती है। मूल्य निर्धारण में बदलाव या सटीक विलंबता आंकड़ों जैसी विशिष्टताओं पर घोषणा कम है, इसलिए डेवलपर्स को निर्माण करने से पहले उन विवरणों के लिये आधिकारिक API प्रलेखन की जांच करनी चाहिए।
शुरुआत
यदि आप इन विशेषताओं को आज़माना चाहते हैं, तो प्राकृतिक प्रारंभिक बिंदु हैंः
- नए भाषण से भाषण मॉडल और इसके मापदंडों के लिए अद्यतन API प्रलेखन की समीक्षा करें।
- MCP एकीकरण गाइड का अन्वेषण करें यदि आपके अनुप्रयोग को बाहरी उपकरणों या डेटा से कनेक्ट करने की आवश्यकता है।
- multimodal प्रतिक्रियाएं आपके परिदृश्य में कैसे व्यवहार करती हैं यह देखने के लिए ऑडियो या टेक्स्ट अनुरोधों के साथ-साथ छवियों को भेजकर छवि इनपुट का परीक्षण करें।
- यदि आप फोन-आधारित सेवाएं संचालित करते हैं, तो यह देखने के लिए एसआईपी कॉलिंग सपोर्ट में देखें कि यह आपके मौजूदा टेलीफोनी सेटअप से कैसे मेल खाता है।
हमेशा की तरह नई जारी क्षमताओं के साथ, वास्तविक दुनिया का व्यवहार डेमो से भिन्न हो सकता है, इसलिए ग्राहकों को शिपिंग करने से पहले अपने स्वयं के ऑडियो गुणवत्ता, उच्चारण और उपयोग मामलों के साथ हाथों पर परीक्षण के लिए बजट समय।
Comments (0)