ब्लेंडरवर्ल्ड दृश्य एजेंटों का मूल्यांकन करने के लिए एक बेंचमार्क है जो वास्तविक दुनिया संदर्भ से त्रि-आयामी सामग्री बनाते हैं।
ब्लेंडरवर्ल्ड 223 वास्तविक 3 डी कार्यों पर दृश्य एजेंटों का मूल्यांकन संपादन योग्य परियोजनाओं, बारीक दानेदार मानदंडों और 13 सीमांत मॉडलों में मॉडल न्यायाधीशों का उपयोग करके करता है।
मुख्य जानकारी
- ब्लेंडरवर्ल्ड यथार्थवादी, खुले अंत 3 डी निर्माण कार्यों पर दृश्य एजेंटों का मूल्यांकन करने के लिए Qwen टीम से एक नया बेंचमार्क है।
- इसमें 9 डोमेन और 22 उपश्रेणियों में 223 कार्य शामिल हैं, जिसमें एजेंटों को JUST रेंडर के बजाय पूर्ण, संपादन योग्य ब्लेंडर परियोजनाओं का उत्पादन करने की आवश्यकता होती है।
- मूल्यांकन अत्यधिक विस्तृत है, जिसमें 13 पहलुओं में 2,651 कार्य-विशिष्ट मानदंडों का उपयोग किया गया है।
- 13 फ्रंटियर मॉडलों के परीक्षण में प्रगति देखी गई, लेकिन यहां तक कि प्रमुख मॉडल जीपीटी-6-एस्ट्रा ने केवल 42.2% कार्यों पर पूरी तरह से सभी आवश्यकताओं को पूरा किया।
- बेंचमार्क multimodal संदर्भ व्याख्या, बारीकी से दानेदार आवश्यकताओं के अनुपालन और स्थानिक या भौतिक तर्क में निरंतर कमजोरियों को उजागर करता है।
Qwen टीम ने ब्लेंडरवर्ल्ड पेश किया, एक बेंचमार्क जो शोधकर्ताओं और डेवलपर्स को यह परीक्षण करने के लिए एक व्यवस्थित तरीका देता है कि क्या दृश्य एजेंट वास्तविक दुनिया में 3 डी निर्माण का प्रबंधन कर सकते हैं। इसके बजाय केवल जांच करें कि कोई एजेंट वेबसाइट, पोस्टर या स्लाइड डेक बनाता है, यह पूछता है कि एजेंट पूर्ण, संपादन योग्य मिश्रण परियोजनाओं को यथार्थवादी निर्देशों से बना सकता है या नहीं।
वेबसाइट या स्लाइड की तुलना में 3 डी निर्माण कठिन क्यों है
विजुअल एजेंट पहले से ही वेबसाइट, पोस्टर और स्लाइड डेक जैसे व्यावहारिक आउटपुट उत्पन्न कर सकते हैं। 3 डी सामग्री बनाना एक अलग चुनौती है क्योंकि इसमें स्थानिक तर्क, उपकरण का उपयोग और पुनरावर्ती दृश्य प्रतिक्रिया की आवश्यकता होती है। मौजूदा बेंचमार्कों में यथार्थवादी, खुले अंत वाले 3 डी कार्यों को व्यापक रूप से कवर नहीं किया गया है ताकि यह दिखाया जा सके कि वे कमजोरियां कहां दिखाई देती हैं। ब्लेंडर वर्ल्ड को वास्तविक दुनिया के 3 डी निर्माण कार्यों पर दृश्य एजेंटों का व्यवस्थित रूप से मूल्यांकन करने के लिए पहला व्यापक मानक के रूप में प्रस्तुत किया जाता है।
ब्लेंडरवर्ल्ड क्या मापता है
बेंचमार्क में 9 डोमेन और 22 उपश्रेणियों में 223 यथार्थवादी कार्य शामिल हैं। डोमेन वास्तुकला, उत्पाद डिजाइन, प्रकृति, चरित्र एनीमेशन और वैज्ञानिक दृश्य जैसे क्षेत्रों को कवर करते हैं। टास्क विभिन्न प्रकार के इनपुट स्वीकार कर सकते हैं, जिसमें पाठ, चित्र, वीडियो और संरचित विनिर्देश फाइलें शामिल हैं. अपेक्षित परिणाम एक आकर्षक दिखने वाला रेंडरिंग नहीं है। यह एक पूर्ण ब्लेंडर परियोजना है जिसे बाद में खोला और संपादित किया जा सकता है।
कैसे स्कोरिंग एक सुंदर रेंडर से परे जाता है
ब्लेंडरवर्ल्ड मूल्यांकन को 2,651 कार्य-विशिष्ट, बारीक दानेदार मानदंडों में तोड़ता है। इन मानदण्डों में ज्यामिति, स्थानिक लेआउट, सामग्री और कार्यक्षमता सहित 13 पहलू शामिल हैं। दृश्य गुणवत्ता स्कोर करने के लिए, एक एजेंट स्वचालित रूप से 8 प्रमुख विचारों का चयन करता है और उन्हें प्रस्तुत करता है। विजन-लैंग्वेज मॉडल न्यायाधीश, जिसे वीएलएम-एज़-जूडिस कहा जाता है, रेंडर्ड आउटपुट का आकलन करते हैं। एजेन्ट-एज जज अंतर्निहित परियोजना संरचना का भी निरीक्षण करता है. कुल मिलाकर गुणवत्ता का मूल्यांकन यथार्थवाद और भौतिक व्यवहार्यता सहित 8 आयामों पर किया जाता है।
13 मॉडल ने क्या खुलासा किया
Qwen टीम ने बेंचमार्क पर 13 फ्रंटियर मॉडल का मूल्यांकन किया। जीपीटी -6-एस्ट्रा 79.9 के स्कोर के साथ अग्रणी है। परिणाम प्रगति को दर्शाता है, लेकिन यह एक अंतर भी दिखाता हैः यहां तक कि सबसे मजबूत मॉडल केवल 42.2% कार्यों पर हर ठीक दानेदार आवश्यकता को पूरा करता है। यह भेद इसलिए महत्वपूर्ण है क्योंकि उच्च औसत स्कोर अभी भी याद किए गए विवरणों को छिपा सकता है। नतीजे आशाजनक हैं, जिसमें multimodal संदर्भों की व्याख्या करने, विस्तृत आवश्यकताओं को पूरा करने और भौतिक और स्थानिक संबंधों को संभालने में सुधार के लिए पर्याप्त जगह है।
परिणामों का अन्वेषण कहाँ करें
ब्लेंडरवर्ल्ड में एक इंटरैक्टिव 3 डी गैलरी भी शामिल है जहां उपयोगकर्ता विभिन्न मॉडलों से सीधे ब्राउज़र में खोज, रोटेट और तुलना कर सकते हैं। परियोजना को https://arxiv.org/abs/2610.23986 पर कागज में प्रलेखित किया गया है, और प्रोजेक्ट साइट https://blenderworld.github.io/ पर उपलब्ध है। कोड और dataset सार्वजनिक रूप से https://github.com/QwenLM/BlenderWorld पर उपलब्ध हैं। टीम पाठकों से पूछती है कि जो काम उपयोगी पाते हैं वे रिपॉजिटरी को GitHub पर स्टार करने पर विचार करें।
मेटा विवरण: ब्लेंडरवर्ल्ड 9 डोमेन में 223 त्रि-आयामी कार्यों पर दृश्य एजेंटों को बेंचमार्क करता है, संपादित करने योग्य ब्लेंडर परियोजना मूल्यांकन के साथ 13 सीमा मॉडल का परीक्षण करता है।
टैगः ब्लेंडरवर्ल्ड, दृश्य एजेंटों, त्रि-आयामी बेंचमार्क, जीपीटी-6-एस्ट्रा, Qwen टीम
विशेष रुप से प्रदर्शित छवि: आठ घूर्णन मॉडल दृश्यों के साथ एक त्रि-आयामी डिजाइन कार्यक्षेत्र का अमूर्त अनुकूल चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

Comments (0)