OuroWorld: किसी भी 3 डी दृश्य को विविध, अनंत-लूप 3 डी सिनेमोग्राफ में एनिमेट करना
OuroWorld स्थिर दृश्यों से VLM गति अनुमान, वीडियो प्रसार और मुखौटा मुक्त 4DGS का उपयोग करके फूरियर आवधिकता के साथ निर्बाध 3 डी सिनेमाग्राफ बनाता है
मुख्य जानकारी
- OuroWorld स्थिर 3D दृश्यों को बिना किसी मैनुअल मास्क या मूविंग-ऑब्जेक्ट लेबल की आवश्यकता के निर्बाध, लूपिंग 3D सिनेमाग्राफ में परिवर्तित करता है।
- यह एक दृश्य-भाषा मॉडल का उपयोग करने के लिए प्रशंसनीय गति, एक वीडियो diffusion model बनाने के लिए एक संदर्भ वीडियो बनाता है और फिर परिणाम को 4 डी Gaussian Splatting प्रतिनिधित्व में उठाता है।
- फ्रेमवर्क फूरियर विरूपण और ग्राउंड-सत्य मुक्त पर्यवेक्षण के माध्यम से समय की आवधिकता को लागू करता है, जिससे कई दृष्टिकोणों से चिकनी लूप सक्षम होते हैं।
- बेंचमार्क अत्याधुनिक गतिशील गुणवत्ता और 3 डी स्थिरता की रिपोर्ट करते हैं, जिसमें मौजूदा 3 डी विश्व मॉडल आधार रेखाओं पर 89000189890002 जीत दर है।
- यह विधि खोज योग्य 3 डी वातावरणों के लिए एनीमेशन श्रम को कम कर सकती है, हालांकि गति त्रुटियां, जटिल बातचीत और गैर-लूपिंग परिदृश्य सीमाएं बनी हुई हैं।
शोधकर्ताओं, डेवलपर्स और 3 डी कलाकारों के लिए जो एक्सप्लोरेबल वातावरण के साथ काम करते हैं, OuroWorld 3D cinemagraph तकनीक उन दृश्यों में गति जोड़ने का एक तरीका प्रदान करती है जो अन्यथा जमे हुए रह जाएंगे। ओरोवर्ल्ड एक मुखौटा-मुक्त ढांचा है जो किसी भी स्थैतिक 3 डी दृश्य को 3 डी सिनेमोग्राफ में बदल देता हैः जीवंत, विविध आंदोलन वाला एक गतिशील दृश्य जो कि किसी भी दृष्टिकोण से निर्बाध रूप से लूप करता है। यह फ्रेमवर्क एक मास्क मुक्त 4 डी Gaussian Splatting या 4 डी जी एस सीखता है, समय की आवधिकता को लागू करने के लिए फूरियर विरूपण के साथ मॉडल और ग्राउंड ट्रुथ-मुक्त आवर्तकता पर्यवेक्षण इसका उपयोग दृष्टि भाषा मॉडल, या वीएलएम द्वारा व्यवहार्य गति का अनुमान लगाने के लिए किया जाता है, संदर्भ वीडियो बनाने के लिए diffusion model वीडियो, और फिर उस वीडियो को 4 डी में उठाया जाता है। पूरे 3 डी विश्व मॉडल बेंचमार्क पर, ओयूरो वर्ल्ड ने 891-89000 जीत दरों के साथ अत्याधुनिक गतिशील और 3डी गुणवत्ता प्राप्त की है।
जमे हुए 3 डी दृश्य अभी भी सीमित हैं
हाल के 3 डी वर्ल्ड मॉडल फोटोरियलिस्टिक, एक्सप्लोरेबल दृश्य उत्पन्न करते हैं जो समय में जमे हुए रहते हैं। ये सिस्टम ज्यामिति और उपस्थिति को इतनी अच्छी तरह से पुनर्निर्माण कर सकते हैं कि उपयोगकर्ता एक दृश्य के चारों ओर घूम सके, लेकिन कई अभी भी जीवित होने की बजाय उच्च-गुणवत्ता वाले स्थिर वातावरण की तरह व्यवहार करते हैं। यह अंतर महत्वपूर्ण है क्योंकि 3 डी विश्व मॉडलों का कई व्यावहारिक उपयोग गति पर निर्भर करता हैः वर्चुअल वॉकथ्रूज़, गेम प्रोटोटाइपिंग, सिमुलेशन डेटा, डिजिटल जुड़वां और इंटरैक्टिव स्टोरीटेलिंग।
एक सिनेमोग्राफ इस समस्या के लिए एक परिचित संदर्भ बिंदु है। 2 डी में, एक सिनेमाग्राफ दृश्य का अधिकांश हिस्सा स्थिर रखता है जबकि एक या अधिक तत्व लूप में चलते हैं, जैसे कि पत्तियां झूलती हैं या पानी बहता है। ओरोवर्ल्ड 3 डी में उसी विचार को लागू करता है। लक्ष्य पूर्ण भौतिकी सिमुलेशन नहीं है, बल्कि प्रशंसनीय, दोहराए जाने योग्य गति है जिसे दृश्य की संरचना को तोड़ने के बिना कई दृष्टिकोणों से खोजा जा सकता है।
बिना मास्क के एक गति पाइपलाइन
फ्रेमवर्क को मास्क-फ्री के रूप में वर्णित किया गया है, जिसका अर्थ है कि इसे मैन्युअल रूप से चित्रित क्षेत्रों, प्रति दृश्य विभाजन या स्पष्ट चलती वस्तु लेबल की आवश्यकता नहीं होती है। यह महत्वपूर्ण है क्योंकि मुखौटा आधारित एनीमेशन वर्कफ़्लो धीमा और भंगुर हो सकता है जब दृश्यों में जटिल ज्यामिति, प्रकाश व्यवस्था या कई संभावित गतिशील भाग होते हैं।
OuroWorld एक VLM को स्थैतिक 3 डी दृश्य के लिए प्रशंसनीय गति का अनुमान लगाने के लिए कहकर शुरू होता है। वीएलएम विज़ुअल संदर्भ को भाषा तर्क के साथ जोड़ सकता है ताकि यह सुझाव दिया जा सके कि क्या स्थानांतरित हो सकता हैः पर्दे, पानी, पत्ते, झंडे, कण या अन्य दृश्य तत्व। अगला कदम वीडियो diffusion model , एक जनरेटिव वीडियो सिस्टम है जो अनुमानित गति से एक संदर्भ वीडियो बनाता है। संदर्भ वीडियो प्रणाली को समय-परिवर्ती लक्ष्य देता है, लेकिन एक एकल वीडियो अभी भी केवल एक दृष्टिकोण है।
कोर तकनीकी कदम उस संदर्भ वीडियो को 4 डी में उठाना है, जिसका अर्थ है तीन स्थानिक आयाम प्लस समय। OuroWorld एक मुखौटा-मुक्त 4DGS मॉडल सीखता है। 4 डीजीएस Gaussian Splatting, एक रेंडरिंग विधि का विस्तार करता है जो कई छोटे गॉसियन जैसे बिंदुओं के साथ एक दृश्य का प्रतिनिधित्व करता है, एक गतिशील सेटिंग में। मॉडल अस्थायी आवधिकता लागू करने के लिए एक फूरियर विरूपण का उपयोग करता है। फुरियर विकृति का मतलब है कि सिस्टम दोहराए जाने वाले आवृत्ति घटकों के साथ गति का प्रतिनिधित्व करते हैं, जिससे लूप को सुचारू रूप से बंद करने में मदद मिलती है। यह ग्राउंड ट्रुथ-फ्री पीरियडिसिटी पर्यवेक्षण, एक प्रशिक्षण सिग्नल का भी उपयोग करती है जो प्रत्येक दृश्य के लिए युग्मित वास्तविक दुनिया की गतिशील वीडियो की आवश्यकता के बिना लगातार लूपिंग व्यवहार को प्रोत्साहित करती है।
बेंचमार्क जीत दर क्यों मायने रखती है
रिपोर्ट किए गए परिणाम OuroWorld को गतिशील गुणवत्ता और 3 डी स्थिरता पर मौजूदा 3 डी विश्व मॉडल आधार रेखाओं से आगे रखते हैं, 70.8%-99.0% जीत दरों के साथ बेंचमार्क में। उन नंबरों का मतलब यह नहीं है कि मॉडल हर गति समस्या को हल करता है। उनका अर्थ है कि परीक्षण की गई तुलना में, मूल्यांकनकर्ताओं या मैट्रिक्स ने अधिकांश मामलों में तुलनात्मक विधियों पर ओरोवर्ल्ड के परिणामों को प्राथमिकता दी थी, जिसमें रेंज विभिन्न मानकों या दृश्यों में भिन्नता को दर्शाती है।
गतिशील गुणवत्ता का तात्पर्य यह है कि गति कितनी विश्वसनीय और जीवंत दिखाई देती है। 3 डी स्थिरता से मतलब है कि विभिन्न कोणों से देखे जाने पर गति कितनी अच्छी तरह रहती है। एक विधि जो केवल एक वीडियो फ्रेम को एनिमेट करती है, वह एकल दृश्य में आश्वस्त लग सकती है लेकिन जब कैमरा चलता है तो अलग हो जाती है। OuroWorld के 4D लिफ्टिंग और आवधिक पर्यवेक्षण का उपयोग उस सटीक विफलता मोड को लक्षित करता है।
पाठकों के लिए, व्यावहारिक सीख यह है कि OuroWorld पुनः प्रयोज्य 3 डी दृश्यों की ओर एक कदम है जो हस्तनिर्मित एनीमेशन के बिना सांस ले सकते हैं। यह कैप्चर किए गए स्थिर दृश्य को एक अन्वेषण योग्य एनिमेटेड में बदल सकता है, जो आभासी वातावरण को जीवित महसूस करने के लिए आवश्यक श्रम को कम कर सकता है।
क्या यह 3 डी दुनिया निर्माण के लिए परिवर्तन
सबसे तत्काल मूल्य वर्कफ़्लो में है जहां स्थैतिक 3 डी कैप्चर पहले से मौजूद हैं। यदि किसी दृश्य को 3 डी प्रतिनिधित्व के रूप में पुनर्निर्मित किया गया है, तो OuroWorld एक नए कब्जे या पूर्ण एनीमेशन रिग की आवश्यकता के बजाय लूपिंग मोशन लेयर जोड़ सकता है। यह वातावरण का पूर्वावलोकन करने, इंटरैक्टिव मीडिया उत्पन्न करने या टेस्टबेड बनाने के लिए आकर्षक बनाता है जहाँ गति मायने रखती है लेकिन उत्पादन एनिमेशन बजट नहीं करता है।
यह विधि 3 डी पीढ़ी में एक व्यापक प्रवृत्ति को भी उजागर करती हैः बड़े पैमाने पर जनरेटिव मॉडल को स्पष्ट 3 डी प्रतिनिधित्व के साथ संयोजित करना। वीडियो प्रसारण मॉडल उपस्थिति और गति का उत्पादन करने में अच्छे हैं, लेकिन वे व्यूपॉइंट स्थिरता के साथ संघर्ष कर सकते हैं। 4DGS संरचित 3 डी प्रस्तुति में अच्छा है, लेकिन इसे मोशन डेटा की आवश्यकता होती है। OuroWorld उत्पन्न वीडियो को गति गाइड के रूप में उपयोग करके दोनों को जोड़ता है और फिर आवधिकता लागू करता है ताकि परिणाम लूप हो सके।
भविष्य के काम के लिए अभी भी स्पष्ट प्रश्न हैं। गति एक वीएलएम और वीडियो diffusion model से आती है, इसलिए उन प्रणालियों में त्रुटियां 3 डी परिणाम में प्रचार कर सकती हैं। जटिल बातचीत, गैर-लूपिंग मोशन या दृश्य जहां केवल छोटे तत्वों को स्थानांतरित करना चाहिए उन्हें संभालना मुश्किल हो सकता है। फ्रेमवर्क यह भी मानता है कि आवधिक गति एक उपयोगी बाधा है, जो सिनेमाग्राफ्स पर अच्छी तरह से फिट बैठती है लेकिन हर गतिशील 3 डी एप्लिकेशन पर फिट नहीं होती है।
उन सीमाओं के साथ भी, परिणाम उल्लेखनीय है: एक मुखौटा-मुक्त मार्ग से स्थिर 3 डी दृश्यों को 3 डी cinemagraphs कि कई कोणों से देखा जा सकता है और समय पर लूप. 3 डी दुनिया मॉडल के लिए, अगली चुनौती अब न केवल अगर एक दृश्य का पुनर्निर्माण किया जा सकता, लेकिन क्या यह कर सकते हैं बनाया जीवन में बिना मैनुअल श्रम।
मेटा विवरण: OuroWorld 70.8%-99.0% बेंचमार्क जीत दरों के साथ VLM मोशन, वीडियो प्रसारण और 4DGS का उपयोग करके स्थिर 3 डी दृश्यों को लूपिंग 3 डी सिनेमाग्राफ में बदल देता है।
टैगः OuroWorld, 3 डी दुनिया मॉडल, 4D Gaussian Splatting, वीडियो प्रसारण, 3D cinemagraphs
विशेष रुप से प्रदर्शित छवि: एक अमूर्त मित्रवत चित्रण जो स्थिर 3 डी बिंदु बादल को धीरे-धीरे लूपिंग एनिमेटेड दृश्य में बदल देता है, जिसमें नरम चमकदार स्प्लैट जैसे अंक होते हैं, कोई वास्तविक लोग नहीं, कोई लोगो और कोई पाठ नहीं।

Comments (0)