LiveFoley गतिशील रूप से इमर्सिव इंटरैक्टिव दुनिया के लिए वीडियो से वास्तविक समय ऑडियो उत्पन्न करता है
लाइवफोली ध्वनि को वीडियो से अलग करता है, खेलों के लिए 156 मिलीसेकंड में सिंक्रनाइज़ ऑडियो उत्पन्न करता है।
मुख्य जानकारी
- LiveFoley एक प्लग-एंड-प्ले साउंड इंजन है जो वास्तविक समय में लाइव वीडियो स्ट्रीम से ऑडियो उत्पन्न करता है, 156 मिलीसेकंड की एंड-टू-एन्ड विलंबता को लक्षित करता है।
- यह 250 मिलीसेकंड के भीतर एक अवधारणात्मक बजट में दृश्य कार्यों के साथ ऑडियो सिंक्रनाइज़ रखने से इंटरैक्टिव दुनिया में विलंबता की समस्या को संबोधित करता है।
- इसकी ट्रेलिंग Sliding Window विधि उत्पन्न ध्वनि को वर्तमान वीडियो क्षणों के साथ संरेखित करने में मदद करती है, जिसका उद्देश्य ऑफ़लाइन वीडियो-टू-ऑडियो मॉडल की गुणवत्ता से मेल खाना है।
- लाइवफोली स्रोत-अज्ञेय है, इसलिए यह एक विशिष्ट वीडियो जनरेटर पर निर्भर किए बिना गेम इंजन, एआर/ VR सिस्टम, कैमरे या अन्य दृश्य पाइपलाइनों से ऑडियो को वीडियो से जोड़ सकता है।
मेटा विवरण: लाइवफोली एक प्लग-एंड-प्ले साउंड इंजन है जो 156 मिलीसेकेंड एंड-टू-एन्ड विलंबता के साथ इंटरैक्टिव दुनिया में स्ट्रीमिंग वीडियो से ऑडियो पीढ़ी लाता है।
टैग: लाइवफोली, वीडियो-टू-ऑडियो, रीयल-टाइम ऑडियो, इंटरैक्टिव दुनिया, ध्वनि उत्पादन
चित्र: ध्वनि तरंगों का एक अनुकूल अमूर्त चित्रण जो लाइव वीडियो फ़ीड से आभासी तालिका में जा रहा है, जिसमें कोई लोग, लोगो या पाठ नहीं हैं।
लाइवफोली इंटरैक्टिव दुनिया के लिए वीडियो-टू-ऑडियो विलंबता को 156 मिलीसेकंड तक कम करता है
LiveFoley वास्तविक समय इंटरैक्टिव दुनिया के लिए एक प्लग-एंड-प्ले साउंड इंजन है। यह 156 मिलीसेकेंड की एंड-टू-एन्ड विलंबता का लक्ष्य रखते हुए लाइव वीडियो स्ट्रीम से सिंक्रनाइज़ ऑडियो बनाने के लिए डिज़ाइन किया गया है। लक्षित दर्शकों में डेवलपर्स शामिल हैं जो उत्तरदायी गेम, augmented reality / virtual reality अनुभव और कैमरा संचालित एप्लिकेशन बनाते हैं, जहां ध्वनि को ध्यान देने योग्य देरी के बिना कार्रवाई का पालन करना चाहिए।
क्यों स्ट्रीमिंग ऑडियो पीढ़ी मुश्किल है
वास्तविक समय में चलती छवियों से ध्वनि उत्पन्न करना एक वीडियो फ़ाइल के पूरी तरह से संसाधित होने के बाद ध्वनि उत्पन्न करने की तुलना में एक अलग समस्या है। विवरण कार्य को स्ट्रीमिंग वीडियो-टू-ऑडियो पीढ़ी के रूप में प्रस्तुत करता है, और यह वर्तमान प्रणालियों में दो प्रमुख बाधाओं पर प्रकाश डालता है। पहला विलंबता है.
टर्न-आधारित AI सेटिंग में, जैसे कि जीपीटी-रियलटाइम का उदाहरण, एक सिस्टम पूर्ण अनुरोध की प्रतीक्षा कर सकता है और फिर प्रतिक्रिया लौटा सकता है। इंटरैक्टिव दुनिया के पास वह विलासिता नहीं है। यदि कोई खिलाड़ी वर्चुअल टेबल पर दस्तक देता है, तो कार्रवाई को कनेक्ट महसूस करने के लिए ध्वनि तुरंत आनी चाहिए। घोषित अवधारणात्मक बजट 250 मिलीसेकंड से कम है, और वीडियो एन्कोडिंग और ऑडियो संश्लेषण दोनों को उस सीमा के भीतर रहना होगा। विवरण के अनुसार, पहले स्ट्रीमिंग मॉडल एमएमएडब्ल्यूआईडीओ जैसे ऑफ़लाइन मॉडलों की संरेखण गुणवत्ता से मेल खाने के लिए संघर्ष करते थे।
ट्रेलिंग Sliding Window दृश्य फ्रंटएंड को संबोधित करता है
LiveFoley दृष्टिकोण को विजुअल फ्रंटएंड बाधा के समाधान के रूप में वर्णित किया गया है। यह Trailing Sliding Window नामक एक विधि का उपयोग करता है, जो लाइव वीडियो इनपुट को इस तरह से संसाधित करता है कि ऑडियो जनरेटर वर्तमान दृश्य क्षण के करीब रहता है। परिणाम 156 मिलीसेकंड की एंड-टू-एंड विलंबता है, जिसे विवरण में उद्धृत 250-मिलिसैकंड अनुभूति बजट से कम है।
एक गैर-विशेषज्ञ के लिए, अंतर यह है कि क्या ध्वनि दृश्य का हिस्सा महसूस करने के लिए पर्याप्त जल्दी पहुंचती है। यदि ऑडियो देर से होता है, तो एक प्रभाव डब किए गए प्रभाव की तरह डिस्कनेक्ट हो सकता है। अगर यह बताई गई विंडो के भीतर आता है, तब पर्यावरण अधिक तात्कालिक महसूस कर सकता है, खासकर जब क्रियाएं तेजी से दोहराई जाती हैं। विवरण में यह भी कहा गया है कि विधि संरेखण में ऑफ़लाइन मॉडल से मेल खाती है, जिसका अर्थ है कि उत्पन्न ऑडियो को उनके पीछे बहने के बजाय दृश्य घटनाओं से निकटता से मेल खाना चाहिए।
ध्वनि इंजन जो वीडियो स्रोत पर निर्भर नहीं करता है
दूसरी बाधा वास्तुकला से संबंधित है। विवरण संयुक्त वीडियो-ऑडियो विश्व मॉडल में एक हालिया प्रवृत्ति को नोट करता है, जहां ध्वनि उत्पादन प्रणाली के अपने वीडियो जनरेटर के साथ कसकर जुड़ा हुआ है। वह डिजाइन तब काम कर सकता है जब एक ही मॉडल दृश्य धारा और ऑडियो दोनों बनाता है, लेकिन यह एक समस्या बन जाती है जब वीडियो कहीं और से आता है, जैसे कि गेम इंजन, कैमरा फ़ीड या अन्य दृश्य स्रोत।
लाइवफोली को एक अलग, स्रोत-अज्ञेय ध्वनि इंजन के रूप में प्रस्तुत किया गया है। इसके लिए किसी विशिष्ट वीडियो जनरेटर की आवश्यकता होने के बजाय, यह इनपुट के रूप से एक लाइव पिक्सेल स्ट्रीम लेता है और मक्खी पर सिंक्रनाइज़ ऑडियो संश्लेषित करता है। इस डिजाइन ने इसे 3 डी गेम इंजनों, augmented reality / virtual reality सिस्टम और लाइव कैमरों के लिए प्लग-एंड-प्ले बना दिया है। बिल्डर्स के लिए, मूल्य न केवल गति है, बल्कि लचीलापन भी हैः किसी विशेष विश्व मॉडल के आसपास दृश्य पाइपलाइन का पुनर्निर्माण किए बिना ऑडियो जोड़ा जा सकता है।
आगे क्या देखना है
बड़ा विचार यह है कि इंटरैक्टिव ऑडियो को अब एक ही पीढ़ी के ढेर में बंद नहीं किया जाना चाहिए। यदि घोषित विलंबता और संरेखण लक्ष्य तैनाती में रहते हैं, तो लाइवफोली वास्तविक समय दृश्य प्रणालियों के लिए एक सामान्य ध्वनि परत के रूप में कार्य कर सकता है, जिससे गेम डेवलपर्स, augmented reality / virtual reality बिल्डरों और कैमरा-आधारित एप्लिकेशन प्रतिक्रियाशील ऑडियो स्ट्रीम से जुड़ सकते हैं जो इसके लिए डिज़ाइन नहीं किए गए थे।
उस ने कहा, सामग्री परिणाम को एक पूर्ण उत्पाद रोलआउट के बजाय वास्तव में इमर्सिव इंटरैक्टिव दुनिया की ओर एक कदम के रूप में प्रस्तुत करती है। अगला सवाल यह है कि सिस्टम को मौजूदा इंजनों में कितनी आसानी से एकीकृत किया जा सकता है, 156-मिलिसेकंड एंड-टू-एंड विलंबता विभिन्न भारों के तहत स्थिर रहती है और क्या डेवलपर्स अलग साउंड इंजन पसंद करेंगे जो अब क्षेत्र में दिखाई देने वाले तंग लेकिन कम लचीले संयुक्त मॉडल पर हैं।
इसका उपयोग कौन करना चाहिए, और किसको इंतजार करना चाहिए: जो टीमों को अपने दृश्य जनरेटर बदलने के बिना लाइव वीडियो फीड से सिंक्रनाइज़ ऑडियो की आवश्यकता होती है वे सबसे स्पष्ट फिट होते हैं। जिन परियोजनाओं को पहले से ही एक एकल वीडियो-ऑडियो विश्व मॉडल के आसपास बनाया गया है, उन्हें LiveFoley द्वारा पेश किए गए प्लग-एंड-प्ले पृथक्करण के खिलाफ ऑल-इन-वन सिस्टम की सुविधा की तुलना करने की आवश्यकता हो सकती है।

Comments (0)