RynnUnify एक एकीकृत अवतारित मस्तिष्क की ओर बढ़ रहा है
RynnUnify तर्क, वीडियो पूर्वानुमान और robot नियंत्रण को जोड़ता है, जिसमें अंतर्निहित समझ के लिए इंटरलीव्ड वीडियो-भाषा योजना का उपयोग किया जाता है।
मुख्य जानकारी
- RynnUnify एक एकीकृत मिश्रण-ऑफ- Transformers मॉडल है जो Cosmos3 पर बनाया गया है, जिसमें अवशोषित समझ, स्थानिक ग्राउंडिंग और दृश्य भविष्यवाणी को जोड़ने के लिए एक वीडियो जनरेटर के साथ एक ऑटोरिग्रेसिव रीजनर का संयोजन किया गया है।
- यह तर्क और उत्पन्न वीडियो के बीच वैकल्पिक रूप से योजना बनाता है, क्रॉस-टुकड़ा दृश्य स्मृति का उपयोग करता है, आत्म-जबरदस्ती प्रशिक्षण, और सुसंगत लंबी क्षितिज नियोजन के लिए अनुकूली अवधि।
- reinforcement learning के साथ प्रशिक्षित एक एजेंटिक नियंत्रक यह तय करता है कि कब सीधे जवाब देना है और कब दृश्य साक्ष्य उत्पन्न करना है, आवश्यकतानुसार पाठ तर्क और सिमुलेशन के बीच चयन करना।
- एक विश्व-Action Model विस्तार संयुक्त वीडियो-एक्शन प्रशिक्षण के माध्यम से robot नियंत्रण में भविष्यवाणी किए गए दृश्य फ्यूचर्स को जोड़ता है, बहु-चरण हेरफेर कार्यों को लक्षित करता है।
- स्रोत सिद्ध प्रदर्शन के बजाय वास्तुशिल्प दिशा का वर्णन करता है, जिसमें कोई बेंचमार्क परिणाम, रिलीज़ विवरण या मूल्यांकन डेटा प्रदान नहीं किया गया है।
रिनयूनिफाइ एम्बॉडीड प्लानिंग के लिए रीजनर और वीडियो जनरेटर को जोड़ती है
RynnUnify एक Mixture-of- Transformers आर्किटेक्चर है जो ऑटोरेग्रेसिव रीजनर को रेक्टिफाइड फ्लो वीडियो जेनरेटर के साथ जोड़ती है। कॉसमॉस 3 पर निर्मित, यह अंतर्निहित समझ, स्थानिक ग्राउंडिंग और इंटरलेटेड वीडियो-भाषा तर्क के माध्यम से लंबी क्षितिज दृश्य योजना को जोड़ता है। पाठकों के लिए, केंद्रीय बिंदु एकल chatbot या वीडियो टूल नहीं है, बल्कि एक सिस्टम को किसी दृश्य को समझने की कोशिश करना है, कल्पना करें कि यह कैसे बदलता है, और उस कल्पित भविष्य का उपयोग करने के लिए योजना बनाने के लिए करता है।
समझ और भविष्यवाणी के लिए एक वास्तुकला
स्रोत RynnUnify को एक एकीकृत मूर्त मस्तिष्क के रूप में वर्णित करता है। इस फ्रेमिंग में, अवतार संज्ञान, स्थानिक ग्राउंडिंग और वीडियो पीढ़ी को एक वास्तुकला में लाया जाता है। इसका लक्ष्य दृश्य की समझ को भौतिक दुनिया कैसे विकसित होती है इसकी भविष्यवाणियों से जोड़ना है। स्थानिक आधार का अर्थ है किसी दृश्य में पदों और संबंधों के लिए भाषा या तर्क को बांधना। अंतर्निहित समझ उस एजेंट के दृष्टिकोण से दुनिया की व्याख्या करने को संदर्भित करती है जो इसमें कार्य कर सकता है।
इंटरलेटेड वीडियो और तर्क के माध्यम से योजना बनाना
RynnUnify वीडियो पूर्वानुमान के साथ सबटास्क तर्क को वैकल्पिक करता है। प्रत्येक उत्पन्न परिणाम का उपयोग अगले चरण की योजना बनाने के लिए किया जाता है। डिजाइन में क्रॉस-चुन दृश्य मेमोरी, सेल्फ-फोर्सिंग ट्रेनिंग और अनुकूली अवधि शामिल हैं। क्रॉस चून सीन मैमोरी बताती है कि सिस्टम एक अनुक्रम के टुकड़ों पर जानकारी ले जा सकता है। स्व-जबरदस्ती प्रशिक्षण सुझाव देता है कि यह प्रशिक्षण के दौरान अपने स्वयं के उत्पन्न आउटपुट का उपयोग करके सीखता है। अनुकूलन अवधियों से पता चलता है कि मॉडल समायोजित कर सकता है कि प्रत्येक वीडियो या नियोजन कदम कितना समय तक रहता है। ये विवरण लंबी क्षितिज पर सुसंगत दृश्य योजना का समर्थन करते हैं, जहां छोटे क्लिप या अलग-अलग तर्क चरण निरंतरता खो सकते हैं।
एक एजेंट तय करता है कि दृश्य साक्ष्य कब उत्पन्न करना है
स्रोत एजेंटिक इंटरलीव्ड थिंकिंग का भी वर्णन करता है। reinforcement learning के साथ प्रशिक्षित एक एजेंट सीखता है कि कब सीधे जवाब देना है और कब दृश्य प्रमाण उत्पन्न करना है। Through BCPO, यह पीढ़ी अनुरोधों को तैयार करना, भविष्यवाणी किए गए परिणामों की व्याख्या करना और कार्य को लाभ पहुंचाने वाले तर्क पथ का चयन करना सिखाता है। इससे एक व्यावहारिक व्यवहार जोड़ा जाता हैः सिस्टम हमेशा वीडियो नहीं बनाता है। यह टेक्स्ट-स्टाइल रीजनिंग और विज़ुअल सिमुलेशन के बीच चुन सकता है जो इस बात पर निर्भर करता है कि कार्य की आवश्यकता क्या है।
विश्व पूर्वानुमान से robot नियंत्रण तक
वर्ल्ड-Action Model एक्सटेंशन को भविष्यवाणी से कार्रवाई तक के पुल के रूप में प्रस्तुत किया गया है। यह संयुक्त वीडियो-एक्शन प्रशिक्षण के माध्यम से robot नियंत्रण में पूर्वानुमानित विश्व प्रतिनिधित्व का अनुवाद करता है। स्रोत का कहना है कि यह मिश्रित हेरफेर कार्यों का समर्थन करता है. समग्र हेरफारे का मतलब आमतौर पर कई चरणों से बने कार्य होता है, जहां एक robot को क्रमशः वस्तुओं को पकड़ना, स्थानांतरित करना, रखना या समायोजित करना पड़ता है। विस्तार महत्वपूर्ण है क्योंकि दृश्य योजना अकेले मशीन को नियंत्रित नहीं करती है; मॉडल को वह कनेक्ट करना चाहिए जो इसे निष्पादित करने योग्य क्रियाओं के लिए अनुमान लगाता है।
पाठकों को क्या पता होना चाहिए
प्रदान की गई सामग्री बेंचमार्क स्कोर, रिलीज़ तिथियां, मूल्य निर्धारण, hardware आवश्यकताएं या मूल्यांकन विवरण नहीं देती है। यह नहीं कहता है कि क्या RynnUnify पहले से ही तैनात किया गया है, यह अन्य Cosmos3- आधारित प्रणालियों के साथ कैसे तुलना करता है, या datasets का उपयोग किया गया था। पाठकों के लिए तथ्यात्मक मूल्य इसलिए वास्तुशिल्प हैः यह एक दिशा दिखाता है जहां समझ, वीडियो भविष्यवाणी और कार्रवाई एक प्रणाली में मिलकर जुड़ी हुई हैं। वह दिशा रोबोटिक्स, मूर्त AI और दृश्य योजना के लिए प्रासंगिक है, लेकिन स्रोत अकेले प्रदर्शन या वास्तविक दुनिया तत्परता की पुष्टि करने के लिए पर्याप्त नहीं है।

Comments (0)