VisSearch बेंचमार्क multimodal एजेंटों में लंबी क्षितिज दृश्य खोज का मूल्यांकन करता है।
VisSearch-Bench ने 204 दृश्य खोज कार्यों पर 16 multimodal एजेंटों का परीक्षण किया, जो कमजोर लंबी क्षितिज दृश्य तर्क के कारण केवल 26.47% पूर्ण सफलता दिखा रहे हैं।
मुख्य जानकारी
- VisSearch-Bench पांच खोज श्रेणियों, सात डोमेन और 25 उपडोमेन में 204 मानव लिखित कार्यों पर 16 multimodal वेब-खोज एजेंटों का मूल्यांकन करता है।
- कार्यों के लिए लंबी क्षितिज दृश्य खोज की आवश्यकता होती है, जिसमें कई खोजें, पृष्ठ विज़िट, तुलनाएं, सुराग ट्रैकिंग और छवियों और वस्तुओं पर पूर्ण उत्तर शामिल हैं।
- सबसे अच्छी प्रणाली पूरी तरह से केवल 26.47% को हल करती है, यह दिखाते हुए कि दृश्य स्मृति, साक्ष्य जोड़ना और लंबी श्रृंखला तर्क प्रमुख कमजोरियां बनी हुई हैं।
- मूल्यांकन संदर्भ उत्तरों, पता लगाने योग्य साक्ष्य और सख्त स्कोरिंग का उपयोग करता है, इसलिए आंशिक सबूत या अपूर्ण उत्तर विफल हो सकते हैं।
- बेंचमार्क बेहतर दृश्य स्मृति, साक्ष्य ट्रैकिंग और multimodal एजेंटों में आंशिक निष्कर्षों के विश्वसनीय संयोजन की आवश्यकता पर प्रकाश डालता है।
मेटा विवरण: VisSearch-Bench पांच खोज श्रेणियों और सात डोमेन में 204 कार्यों का उपयोग करता है ताकि यह परीक्षण किया जा सके कि क्या 16 multimodal वेब सर्च एजेंट दृश्य साक्ष्य को प्रबंधित कर सकते हैं।
टैग: VisSearch-Bench, multimodal एजेंटों, वेब खोज, दृश्य साक्ष्य, AI बेंचमार्क
विशेष रुप से प्रदर्शित छवि: कनेक्टेड इमेज थंबनेल, सर्च ट्रेल और स्कोर किए गए उत्तर कार्ड का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक व्यक्ति नहीं, न तो लोगो, न ही पाठ।
बेंचमार्क क्या परीक्षण करने के लिए डिज़ाइन किया गया है
VisSearch-Bench परीक्षण करता है कि कैसे 16 multimodal वेब खोज एजेंट 204 मानव-लिखित कार्यों, पांच खोज श्रेणियों, सात डोमेन और 25 उपडोमेन में दृश्य साक्ष्य का प्रबंधन करते हैं। कार्यों के लिए कई खोजों, पृष्ठ विज़िट, तुलनाओं, सुराग ट्रैकिंग और छवियों और वस्तुओं पर पूर्ण उत्तर की आवश्यकता होती है। सबसे अच्छी प्रणाली पूरी तरह से केवल 26.47% को हल करती है।
कार्यों का निर्माण और स्कोरिंग कैसे किया जाता है
प्रत्येक कार्य में एक संदर्भ उत्तर, पता लगाने योग्य साक्ष्य और स्कोरिंग नियम होते हैं। मूल्यांकन पूर्ण सफलता और व्यक्तिगत शुद्धता / पूर्णता को मापता है, क्योंकि आंशिक प्रमाण या अपूर्ण उत्तर विफल हो सकते हैं।
क्यों 26.47% परिणाम उल्लेखनीय है
दृश्य संदर्भ कठिन रहता है: एजेंटों को छवियों को याद रखना, सुराग जोड़ना, उम्मीदवारों की तुलना करना और सभी हिस्सों को समाप्त करना चाहिए। उपकरण जानकारी तक पहुंचने में मदद करते हैं लेकिन लंबी क्षितिज दृश्य तर्क नहीं।
पाठकों के लिए इसका क्या अर्थ है
बेंचमार्क यथार्थवादी, बहु-चरण दृश्य खोज में कमजोरियों को उजागर करता है। उपयोगकर्ताओं के लिए,26.47% पूर्ण कार्य सफलता एक वास्तविकता जांच हैः एजेंट सुधार कर रहे हैं लेकिन कई दृश्य विवरण और लंबी श्रृंखलाओं के साथ संघर्ष करते हैं। प्रगति के लिए बेहतर दृश्य स्मृति, साक्ष्य ट्रैकिंग और आंशिक निष्कर्षों की विश्वसनीय विधानसभा की आवश्यकता होती है।

Comments (0)