Game2Real-Bench पूछता है कि क्या खिलौना खेल वास्तविक दुनिया की सेटिंग्स में दृश्य तर्क कौशल को उजागर और स्थानांतरित करते हैं।
Game2Real-Bench का मूल्यांकन करता है कि क्या छोटे, नियम आधारित खेलों में सफल होने वाले विजन-लैंग्वेज मॉडल वास्तविक दुनिया की छवियों के बारे में तर्क कर सकते हैं। यह 25 मॉडलों का परीक्षण 1,000 उत्पन्न गेम नमूनों और 400 क्यूरेटेड रियल वर्ल्ड सैंपल्स का उपयोग करके करता है, जो 0.935 पियर्सन और स्पीयरमैन सहसंबंध रिपोर्ट करते हैं। परियोजना 18 कार्यों और 65 प्रश्न-उत्तर परिवारों में लगभग 24,000 गेम नमूने के साथ गेम 2 रियल - dataset भी जारी करती है। परिणाम बताते हैं कि गेम-आधारित स्कोर वास्तविक विश्व दृश्य तर्क को प्रतिबिंबित कर सकता है, जबकि गेम-टू-रियल ट्रांसफर मिश्रित हैः यह तर्क को सीमित करने में मदद करता है लेकिन ठीक दानेदार धारणा नहीं।
मुख्य बिंदुओं का सारांश
- Game2Real-Bench परीक्षण करता है कि क्या दृष्टि भाषा मॉडल जो छोटे, नियम आधारित खेलों पर अच्छा प्रदर्शन करते हैं वे अपने दृश्य तर्क कौशल को वास्तविक दुनिया की छवि कार्यों में भी स्थानांतरित कर सकते हैं।
- इसमें 1,000 उत्पन्न खेल नमूनों और 400 क्यूरेटेड वास्तविक दुनिया के नमूने का उपयोग करते हुए 25 दृष्टि-भाषा मॉडल का मूल्यांकन किया गया है, जो गेम और वास्तविक दुनिया प्रदर्शन के बीच एक मजबूत 0.935 सहसंबंध दिखाता है।
- बेंचमार्क खेल और वास्तविक दुनिया के उदाहरणों को साझा तर्क की मांगों के माध्यम से जोड़ता है, जिसमें दृश्य साक्ष्य व्याख्या, स्थानिक तर्क, बाधा हैंडलिंग और राज्य ट्रैकिंग शामिल हैं।
- गेम-टू-रियल वन-शॉट ट्रांसफर परिणाम मिश्रित हैंः खेल प्रदर्शन प्रतिबंध तर्क के साथ कुछ मॉडलों की मदद करते हैं लेकिन वास्तविक दुनिया के कार्यों में बारीक दानेदार धारणा को नुकसान पहुंचा सकते हैं।
- परियोजना प्रशिक्षण और मूल्यांकन का समर्थन करने के लिए 18 कार्यों और 65 प्रश्न-उत्तर परिवारों में लगभग 24,000 प्रोग्रामेटिक रूप से सत्यापित गेम नमूनों के साथ Game2Real- dataset भी जारी करती है।
Game2Real-Bench नामक एक नया बेंचमार्क पूछता है कि क्या छोटे, नियम आधारित खेलों पर अच्छा प्रदर्शन करने वाले विजन-लैंग्वेज मॉडल वास्तविक जीवन से छवियों के बारे में भी तर्क दे सकते हैं। यह 1,000 उत्पन्न गेम नमूनों और 400 वास्तविक दुनिया के नमूने पर 25 प्रतिनिधि दृष्टि-भाषा मॉडलों का मूल्यांकन करता है, और 0.935 के पियर्सन सहसंबंध और 0.935 के स्पीयरमैन सहसंबंध की रिपोर्ट करता है। परियोजना 18 कार्यों और 65 प्रश्न-उत्तर परिवारों में लगभग 24,000 गेम सैंपल के साथ गेम 2 रियल - dataset को भी पेश करती है।
क्यों बेंचमार्क मौजूद है
विज़न-लैंग्वेज मॉडल ऐसे सिस्टम हैं जो छवियों और पाठ को एक साथ संसाधित करते हैं। दृश्य तर्क उस कार्य का एक कठिन हिस्सा हैः एक मॉडल वस्तुओं को पहचान सकता है, लेकिन इसे दृश्य साक्ष्य, स्थानिक संरचना, बाधाओं और राज्य परिवर्तनों को समझने की भी आवश्यकता होती है। अधिकांश वर्तमान मूल्यांकन दो स्रोतों में से एक पर निर्भर होते हैं। वास्तविक दुनिया के डेटा प्राकृतिक दृश्यों की जटिलता को संरक्षित करते हैं, जबकि प्रक्रियात्मक रूप से उत्पन्न खेल नियंत्रित पीढ़ी और सत्यापन योग्य उत्तर प्रदान करते हैं.
खुला सवाल यह है कि क्या सरल खेलों में सफलता उन क्षमताओं को दर्शाती है जो वास्तविक दुनिया के दृश्य तर्क पर स्थानांतरित होती हैं, या गेम केवल संकीर्ण पैटर्न को मापते हैं। Game2Real-Bench चार क्षमता समूहों में उस प्रश्न का अध्ययन करने के लिए बनाया गया थाः बारीक दानेदार धारणा, स्थानिक तर्क, बाधा तर्क और अनुक्रमिक योजना।
दोनों पक्ष कैसे जुड़े हुए हैं
कार्यों को उनके दिखने के तरीके से मिलान करने के बजाय, बेंचमार्क गेम उदाहरणों और वास्तविक दुनिया के उदाहरणों को उनकी मांग की तर्कों के माध्यम से जोड़ता है। उन मांगों में दृश्य साक्ष्य पढ़ना, स्थानिक संचालन करना, बाधाओं का सम्मान करना और राज्य संक्रमण पर नज़र रखना शामिल हैं।
खेल पक्ष पर, 1,000 स्वतंत्र रूप से उत्पन्न नमूने निष्पादन योग्य कार्य विनिर्देशों से बनाए गए थे, और उनके उत्तरों को प्रोग्रामेटिक रूप से सत्यापित किया गया था। वास्तविक दुनिया के पक्ष में, 400 नमूनों को विभिन्न वास्तविक-विश्व स्रोतों से क्यूरेट किया गया है। यह संरचना शोधकर्ताओं को एक अधिक केंद्रित प्रश्न पूछने की अनुमति देती हैः जब एक गेम और एक वास्तविक विश्व छवि को उसी प्रकार के तर्क की आवश्यकता होती है, तो क्या मॉडल समान व्यवहार करते हैं?
मॉडल के स्कोर क्या दिखाते हैं
मूल्यांकन में 25 प्रतिनिधि दृष्टि-भाषा मॉडल शामिल थे। खेल और वास्तविक दुनिया की सेटिंग्स के प्रदर्शन ने लगातार रुझान दिखाए। पियर्सन सहसंबंध 0.935 था, और स्पीयरमैन सहसंबंध भी 0.935 था। सरल शब्दों में, पियरसन सहसंबद्धता स्कोर स्तरों के बीच एक मजबूत संबंध को इंगित करती है, जबकि स्पिरमैन सहसंबंध मॉडल रैंकिंग के बीच मजबूत रिश्ते को दर्शाता है।
यह परिणाम महत्वपूर्ण है क्योंकि यह गेम-आधारित परीक्षणों की स्पष्ट व्याख्या देता है। यदि कोई मॉडल प्रक्रियात्मक रूप से उत्पन्न खेलों पर अच्छा प्रदर्शन करता है, तो इस बेंचमार्क में वास्तविक दुनिया के दृश्य तर्क नमूनों पर भी अच्छा प्रदर्शन करने की संभावना है। बेंचmark साबित नहीं करता है कि खेल हर वास्तविक दुनिया चुनौती को कैप्चर करते हैं, लेकिन यह सुझाव देते हैं कि खिलौना खेल वास्तविक दुनिया कार्यों में देखे गए कुछ तर्क पैटर्न को प्रतिबिंबित कर सकते हैं।
गेम-टू-रियल ट्रांसफर मिश्रित है
बेंचमार्क ने यह भी जांच की कि क्या गेम उदाहरण मॉडल को वास्तविक दुनिया के कार्यों को हल करने में मदद कर सकते हैं। इस परियोजना ने चार मॉडलों पर वन-शॉट इन-कॉन्टेक्स्ट लर्निंग के माध्यम से गेम-टू-रियल ट्रांसफर का परीक्षण किया। इस सेटअप में, एक मॉडल को नए कार्य का जवाब देने के लिए कहा जाने से पहले एक शॉट प्रदर्शन प्राप्त होता है।
प्रभाव क्षमताओं और मॉडलों में भिन्न होता है। जब गेम प्रदर्शन प्रदान किए गए थे, तो कई मॉडल के लिए प्रतिबंध तर्क ने सकारात्मक लाभ दिखाया था। हालांकि, परीक्षण मामलों में खेल प्रदर्शनों के साथ बारीक दानेदार धारणा लगातार कम हो गई थी। यह खोज इसलिए मायने रखती है क्योंकि ठीक-भराई की धारणा छोटे दृश्य विवरण को नोटिस करने पर निर्भर करती है, और एक खेल प्रदर्शन एक मॉडल को प्राकृतिक छवि में सही विवरण पर ध्यान देने में मदद नहीं कर सकता है।
मिश्रित हस्तांतरण परिणाम एक व्यावहारिक सावधानी की ओर इशारा करता है। गेम-आधारित उदाहरण चयनित सेटिंग्स में उपयोगी प्रदर्शन प्रदान कर सकते हैं, खासकर जब कार्य नियमों, सीमाओं या संबंधों को शामिल करता है जिनका सम्मान किया जाना चाहिए। लेकिन वे हर दृश्य तर्क क्षमता के लिए सहायक संकेतों का सार्वभौमिक स्रोत नहीं हैं।
dataset क्या जोड़ता है
मॉडल प्रशिक्षण का समर्थन करने के लिए, Game2Real- dataset में 18 कार्यों और 65 प्रश्न-उत्तर परिवारों में लगभग 24,000 गेम नमूने शामिल हैं। बेंचमार्क नमूनों की तरह, ये खेल नमूने निष्पादन योग्य कार्य विनिर्देशों से उत्पन्न होते हैं और प्रोग्रामेटिक रूप से सत्यापित किए जाते हैं। मॉडल बिल्डरों के लिए dataset चेक करने योग्य उत्तरों के साथ एक नियंत्रित प्रशिक्षण संसाधन प्रदान करता है। मूल्यांकनकर्ताओं के लिए यह क्रॉस-सेटिंग व्यवहार को मापने के लिए उपयोग किए जाने वाले 1,000 गेम सैंपल और 400 वास्तविक दुनिया के नमूने का पूरक है।
पाठकों को आगे क्या देखना चाहिए
विजन-लैंग्वेज मॉडल के साथ काम करने वाले पाठकों के लिए, मुख्य टेकअवे यह है कि गेम बेंचमार्क्स उपयोगी नैदानिक उपकरण हो सकते हैं, लेकिन उन्हें वास्तविक दुनिया के मूल्यांकन के साथ पढ़ा जाना चाहिए। मजबूत 0.935 सहसंबंध से पता चलता है कि खेल और वास्तविक दुनिया कार्य समान मॉडल ताकतों को ट्रैक कर सकते हैं। एक शॉट हस्तांतरण परिणाम बताते हैं कि गेम प्रदर्शन स्वचालित रूप से सहायक नहीं हैं। Game2Real-Bench का सबसे विश्वसनीय उपयोग मॉडलों की तुलना करना, तर्क पैटर्न का अध्ययन करना और पहचानना है जहां गेम आधारित प्रशिक्षण या संकेत काम कर सकता है।
बेंचमार्क, dataset और कोड https://github.com/QingAnLiu/Game2Real-Bench पर उपलब्ध हैं।
SEO विवरण
मेटा विवरण: गेम2रियल-बेंच 1,000 खेल और 400 वास्तविक दुनिया के नमूनों के साथ 25 दृष्टि भाषा मॉडल का मूल्यांकन करता है ताकि यह परीक्षण किया जा सके कि खिलौना पहेली असली दृश्य तर्क को दर्पण करती हैं या नहीं।
टैगः दृष्टि-भाषा मॉडल, दृश्य तर्क Game2Real-Bench, खेल से वास्तविक स्थानान्तरण, संदर्भ में सीखना
विशेष रुप से प्रदर्शित छवि: अमूर्त, मैत्रीपूर्ण चित्रण जो पहेली टाइलों को वास्तविक दुनिया की वस्तुओं से जोड़ता है, जिसमें कोई लोग, लोगो या पाठ नहीं हैं।

Comments (0)