YuE2: एकीकृत प्रतीकात्मक और ऑडियो संगीत पीढ़ी में सीमांत स्तर की गुणवत्ता प्राप्त करना
YuE2 3B एक संपादन योग्य धुन और स्वर स्कोर बनाता है, फिर पूर्ण गीतों को गायन के साथ प्रस्तुत करता है, शून्य-शॉट कवर और स्कोर-स्तरीय संपादन का समर्थन करता है।
मुख्य जानकारी
- YuE2 3B प्रतीकात्मक और ऑडियो संगीत पीढ़ी को पहले संपादन योग्य धुन-और-धनुष स्कोर बनाकर एकजुट करता है, फिर गायन और साथ के साथ एक पूर्ण गीत प्रस्तुत करता है।
- मध्यवर्ती स्कोर एक नियंत्रण सतह के रूप में कार्य करता है, जो पूरे ट्रैक को खरोंच से पुनर्जीवित किए बिना धुन, सामंजस्य या मुखर लेआउट में लक्षित संपादन सक्षम बनाता है।
- रिपोर्ट में शून्य-शॉट कवर और बाहरी भाषा मॉडल एजेंट द्वारा निर्देशित स्कोर आधारित संपादन का वर्णन किया गया है, जो व्यावहारिक संपादन कार्यप्रवाहों का विस्तार करता है।
- YuE2 को एक व्यापक संगीत प्रणाली के हिस्से के रूप में तैनात किया गया है, जिसमें संगीत की समझ के लिए MERT2 और प्रतिलेखन के लिए SheetSage2 शामिल हैं।
- उपलब्ध अंश वास्तुकला, कार्यप्रवाह और मूल्यांकन विधियों पर जोर देता है, लेकिन ठोस बेंचमार्क स्कोर या सिद्ध प्रदर्शन लाभ प्रदान नहीं करता है।
YuE2 3B नई रिपोर्ट में प्रतीकात्मक और ऑडियो संगीत पीढ़ी को एकजुट करता है
मेटा विवरण: YuE2 3B गायन और साथ देने से पहले संपादन योग्य धुन-और-धनुष स्कोर लिखता है। देखें कि रिपोर्ट संगीत रचनाकारों और AI बिल्डरों के लिए क्या जोड़ती है।
टैगः YuE2, प्रतीकात्मक संगीत पीढ़ी, ऑडियो संगीत उत्पादन, MERT2, SheetSage2
विशेष रुप से प्रदर्शित छवि: बिना किसी पाठ, लोगो या लोगों के लहरों में परिवर्तित होने वाले एक चमकदार कर्मचारी-जैसे प्रतीक का अमूर्त मैत्रीपूर्ण चित्रण।
यदि आप AI संगीत उपकरण बनाते या उपयोग करते हैं तो YuE2 म्यूजिक जनरेशन इस रिपोर्ट का वह हिस्सा है जिस पर ध्यान देने योग्य हैः यह एक ऐसे मॉडल का वर्णन करता है जो पहले संपादन योग्य धुन-और-धनुष स्कोर बनाता है, फिर उस स्कोर को गायन और संगतता के साथ पूर्ण गीत में बदल देता है। m-a-p/YuE2-3B के रूप में सूचीबद्ध मॉडल भारों के साथ साझा की गई रिपोर्ट उन रचनाकारों के लिए सबसे उपयोगी है जो परिवर्तन पर नियंत्रण चाहते हैं, शोधकर्ता प्रतीकात्मक और ऑडियो पाइपलाइनों की तुलना कर रहे हैं, और उत्पाद टीम मूल्यांकन कर रही है कि क्या स्कोर-प्रथम पीढ़ी संगीत संपादन को खरोंच से सब कुछ पुनः उत्पन्न करने जैसा कम बना सकती है।
यूई2 3B संगीत पीढ़ी की बातचीत में क्या जोड़ता है
अधिकांश संगीत उत्पादन प्रणालियों को दो व्यापक परिवारों में समूहीकृत किया जा सकता है। प्रतीकात्मक प्रणाली संरचित संगीत जानकारी के साथ काम करती हैं, जैसे कि नोट्स, कॉर्ड, लय या स्कोर-जैसे प्रतिनिधित्व। ऑडियो सिस्टम सीधे ध्वनि उत्पन्न करते हैं, अक्सर एक चरण में अंतिम सुनने का अनुभव पैदा करते हैं। YuE2 3B पीढ़ी की प्रक्रिया का एक संरचित मध्यवर्ती परत हिस्सा बनाकर उन दोनों दुनियाओं को जोड़ने की कोशिश करता है।
रिपोर्ट किए गए वर्कफ़्लो की अवधारणा सरल हैः मॉडल पहले एक संपादन योग्य धुन और ताल स्कोर लिखता है। वह स्कोर प्रदर्शन कलाकृति नहीं है; यह अगले चरण के लिए नियंत्रण सतह बन जाता है। स्कोर मौजूद होने के बाद, वही सिस्टम गायन और साथ देने वाले पूर्ण गीत को प्रस्तुत करता है। इससे उपयोगकर्ताओं को कुछ ऐसा मिलता है जो शुद्ध ऑडियो मॉडलों में अक्सर कमी होती हैः अंतिम ध्वनि उत्पन्न होने से पहले हस्तक्षेप करने का स्थान।
पाठकों के लिए, व्यावहारिक मूल्य संपादन पथ में है। यदि किसी वाक्यांश, सामंजस्य या मुखर लेआउट को बदलने की आवश्यकता होती है, तो मॉडल का डिज़ाइन एक वर्कफ़्लो सुझाता है जहां परिवर्तन स्कोर स्तर पर किया जा सकता है और फिर ऑडियो तक पहुंचाया जाता है। रिपोर्ट शून्य-शॉट कवर का भी वर्णन करती है, जिसका अर्थ है कि मॉडल प्रत्येक गीत के लिए विशेष सेटअप की आवश्यकता के बिना कवर संस्करण उत्पन्न कर सकता है। यह बाहरी भाषा-मॉडल एजेंट द्वारा निर्देशित संगीत संपादन सहित स्कोर आधारित संपादन का भी विवरण देता है।
घोषणा मॉडल के आसपास एक पूर्ण पैकेज की ओर इशारा करती हैः m-a-p/YuE2-3B, डेमो, कोड और PDF तकनीकी रिपोर्ट के तहत मॉडल वजन। साझा सामग्री में प्रदान किए गए अंश में बेंचमार्क स्कोर शामिल नहीं हैं, इसलिए इस चरण में मुख्य योगदान वास्तुकला और कार्यप्रवाह है, न कि सार्वजनिक रूप से उद्धृत प्रदर्शन संख्या।
संपादित करने योग्य स्कोर ध्वनि से अधिक महत्वपूर्ण क्यों है
धुन-और-धनुष स्कोर YuE2 3B कहानी का केंद्र है क्योंकि यह बदलता है कि 'संपादन' का क्या अर्थ है। केवल ऑडियो जनरेशन सिस्टम में, एक उपयोगकर्ता जो एक अलग मुखर लाइन चाहता है, कॉर्ड प्रगति या साथ देने की बनावट को ट्रैक के बड़े हिस्से को पुनर्जीवित करने की आवश्यकता हो सकती है, स्थिरता की उम्मीद कर सकता है, या अंतिम ऑडियो को मैन्युअल रूप से संपादित कर सकते हैं। वह प्रक्रिया धीमी और भंगुर हो सकती हैः
बीच में एक प्रतीकात्मक परत के साथ, सिस्टम अधिक निरीक्षण योग्य वस्तु बनाता है। एक संगीतकार या निर्माता प्रस्तुत गीत को प्रतिबद्ध करने से पहले प्रस्तावित संगीतमय संरचना को देख सकते हैं। एक डेवलपर उस संरचना के चारों ओर इंटरफेस बना सकता है। भाषा-मॉडल एजेंट संपादन का प्रस्ताव कर सकता है, और मॉडल ऑडियो फिर से उत्पादन करते समय मार्गदर्शन के रूप में उन संपादनों का उपयोग कर सकते हैं.
इसका मतलब यह नहीं है कि प्रत्येक कार्य के लिए वर्कफ़्लो स्वचालित रूप से बेहतर होता है। सांकेतिक संगीत पीढ़ी अभिव्यंजक विवरण को याद कर सकती है जो ऑडियो उत्पादन स्वाभाविक रूप से कैप्चर करता है। ऑडियो निर्माण प्रभावशाली लग सकता है लेकिन इसे नियंत्रित करना कठिन हो सकता है। यूई 2 3B महत्वपूर्ण है क्योंकि यह समस्या को दो चरणों में विभाजित करने की कोशिश करता है जिनमें से प्रत्येक की अलग-अलग ताकत होती हैः संरचना पहले, फिर ध्वनि।
गैर-विशेषज्ञों के लिए, अंतर एक पुस्तक को टाइप करने से पहले किसी मोटे मसौदे को संपादित करने जैसा है। अंतिम मुद्रित संस्करण का पुनर्निर्माण किए बिना ड्राफ्ट को बदला जा सकता है। संगीत पीढ़ी में, मसौदा स्कोर होता है, और प्रिंटेड संस्करण प्रस्तुत गीत होता है।
MERT2, SheetSage2 और मूल्यांकन परत
यूई2 3B को केवल एक गीत जनरेटर के रूप में प्रस्तुत नहीं किया जा रहा है; यह एक व्यापक संगीत प्रणाली के हिस्से के तौर पर पेश किया गया है जिसे संगीत सामग्री को समझने, प्रतिनिधित्व करने और परिवर्तित करने की आवश्यकता है।
MERT2 को एक संगीत समझ घटक के रूप में वर्णित किया गया है। सादे शब्दों में, एक संगीत समझने वाला मॉडल सिस्टम को संगीत सामग्री की व्याख्या करने में मदद करता है, जैसे कि संरचना, पैटर्न या अभिव्यंजक सुविधाओं की पहचान करना जो डाउनस्ट्रीम पीढ़ी या विश्लेषण के लिए उपयोगी हो सकते हैं। SheetSage2 को ट्रांसक्रिप्शन घटक के तौर पर वर्णन किया जाता है। प्रतिलेखन सुनने वाले संगीत को अधिक संरचित प्रतिनिधित्व में परिवर्तित करने की प्रक्रिया है, जिसमें नोट्स, कॉर्ड या स्कोर जैसी जानकारी शामिल होती है।
एक साथ, ये टुकड़े एक पाइपलाइन का सुझाव देते हैं जहां संगीत ध्वनि, संरचना और पीढ़ी के बीच स्थानांतरित हो सकता है। एक गीत को समझा जा सकता है, ट्रांसक्रिप्ट किया जा सकेगा, संपादित किया जाएगा और फिर से प्रस्तुत किया जाएगा। रिपोर्ट में स्वचालित बेंचमार्क और विशेषज्ञ सुनने वाले मूल्यांकन भी शामिल हैं। स्वचालित बेन्चमार्क आमतौर पर मापते हैं कि क्या आउटपुट अपेक्षित पैटर्न से मेल खाते हैं, संरचना को संरक्षित करते हैं या तकनीकी लक्ष्यों को पूरा करते हैं। विशेषज्ञ श्रवण मूल्यांकन यह मापता है कि परिणाम मानव कानों के लिए कैसे लगते हैं, जो उन समस्याओं का खुलासा कर सकते हैं जिन्हें अकेले मीट्रिक्स याद नहीं कर सकते।
प्रदान किए गए अंश में विशिष्ट बेंचमार्क परिणामों, मूल्यांकन प्रतिभागियों या स्कोरिंग विवरण की सूची नहीं है। पाठकों को रिपोर्ट का इलाज करना चाहिए क्योंकि यह केवल साझा टेक्स्ट से एक विशेष प्रदर्शन लाभ साबित करने के बजाय मूल्यांकन ढांचे का वर्णन करता है।
बिल्डरों, रचनाकारों और शोधकर्ताओं के लिए इसका क्या अर्थ है?
बिल्डरों के लिए, सबसे दिलचस्प सवाल यह है कि क्या स्कोर-फर्स्ट इंटरफेस एक व्यावहारिक उत्पाद सुविधा बन सकता है। यदि उपयोगकर्ता मेलोडी और कॉर्ड परत को संपादित कर सकते हैं और फिर गीत को पुनर्जीवित करते हैं, तो सिस्टम बेहतर संशोधन वर्कफ़्लो का समर्थन कर सकता है. जो संगीत डेमो, गेम ऑडियो, शैक्षिक उपकरण, गीत लेखन सहायकों या कवर पीढ़ी के उत्पादों के लिए उपयोगी हो सकता है ।
रचनाकारों के लिए, मूल्य इस बात पर निर्भर करता है कि स्कोर वास्तव में कितना नियंत्रण बनाए रखता है। एक प्रणाली जो लिखित स्कोर के बाद गायन और संगतता प्रदान करती है, व्यवस्था करने, प्रयोग करने और पुनरावृत्ति करने में मदद कर सकती है। लेकिन निर्माता संगीत की भावना, मुखर गुणवत्ता, समय, सामंजस्य और दूसरों को बदलते हुए उपयोगी तत्वों को स्थिर रखने की क्षमता के बारे में चिंता करेंगे। रिपोर्ट इन क्षमताओं का वर्णन करती है लेकिन वास्तविक दुनिया की उपयोगिता पूर्ण तकनीकी पैकेज में उपलब्ध डेमो, कोड और मूल्यांकन परिणामों पर निर्भर करेगी।
शोधकर्ताओं के लिए, YuE2 3B हाइब्रिड पीढ़ी में एक उपयोगी केस स्टडी है। यह प्रतीकात्मक प्रतिनिधित्व और ऑडियो संश्लेषण को एकल रिपोर्ट किए गए वर्कफ़्लो में जोड़ता है, जबकि समझ और प्रतिलेखन के लिए सहायक मॉडल भी पेश करता है। उस संयोजन से क्षेत्र को "संगीत नोटेशन मॉडलों" और "ऑडियो जनरेशन मॉडल" के बीच पुराने अलगाव से परे जाने में मदद मिल सकती है।
किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए
पाठकों को YuE2 3B का पता लगाना चाहिए यदि वे संगीत AI उत्पादों का निर्माण कर रहे हैं, स्कोर-आधारित पीढ़ी का परीक्षण करते हैं, प्रतीकात्मक और ऑडियो वर्कफ़्लोज़ की तुलना करते हैं या एक मॉडल चाहते हैं जो अंतिम प्रतिपादन से संगीतमय संरचना को अलग करता है। यह उन उपयोगकर्ताओं के लिए विशेष रूप से प्रासंगिक है जो संपादन योग्य मध्यवर्ती प्रतिनिधित्व, शून्य शॉट कवर, स्कोर आधारित संपादन और बाहरी भाषा-मॉडल मार्गदर्शन की परवाह करते हैं।
पाठकों को अभी के लिए इसे छोड़ देना चाहिए यदि उन्हें स्पष्ट मूल्य निर्धारण, सत्यापित बेंचमार्क स्कोर और प्रलेखित अधिकार मार्गदर्शन के साथ एक तैयार वाणिज्यिक संगीत उपकरण की आवश्यकता है। साझा किया गया अंश उन विवरणों को प्रदान नहीं करता है। यह उन लोगों के लिए सबसे अच्छा फिट भी नहीं हो सकता है जो केवल एक सरल गीत जनरेटर चाहते हैं और स्कोर नियंत्रण की आवश्यकता नहीं है। उस मामले में, अतिरिक्त प्रतीकात्मक परत जटिलता जोड़ सकती है बिना किसी स्पष्ट मूल्य को जोड़े।
मजबूत संकेत यह है कि YuE2 3B एक और ऑडियो मॉडल नहीं है। यह संगीत संरचना, संगीत प्रतिपादन, संगीत समझ और मूल्यांकन को एक शोध दिशा में जोड़ने के बारे में एक रिपोर्ट है।

Comments (0)