AI एजेंट बेंचमार्क जैसे SWE-Bench, GAIA, WebArena और अन्य को समझाया गया है।

AI एजेंट का चयन, परीक्षण या तैनाती करने वाली टीमों के लिए, यह गाइड बताता है कि प्रमुख AI एजेन्ट बेंचमार्क क्या उपाय करते हैं, वे पारंपरिक मॉडल बेंच मार्क्स से कैसे भिन्न होते हैं, और क्यों लीडरबोर्ड स्कोर को प्रदर्शन की गारंटी के बजाय दिशात्मक संकेतों के रूप में पढ़ा जाना चाहिए। Every AI प्रदाता दावा करता है कि उसका एजेंट अत्याधुनिक है, रैंकिंग तालिका साप्ताहिक अपडेट होती है, और विपणन पृष्ठ प्रभावशाली प्रतिशत पर प्रकाश डालते हैं। किसी भी व्यक्ति के लिए जिसने उत्पादन में एक AI अभिकर्ता को तैनात किया है, संकीर्ण प्रश्न यह है कि क्या सिस्टम विश्वसनीय रूप से वह काम करता है जिसे करने के लिए इसे किराए पर लिया गया था।

एजेंट परीक्षण नमूना परीक्षा नहीं हैं

एमएमएलयू और ह्यूमन इवल जैसे पारंपरिक बेंचमार्क एक मोड़ में सही प्रतिक्रिया उत्पन्न करने के लिए एक मॉडल की क्षमता का परीक्षण करते हैंः एक प्रश्न पूछा जाता है, मॉडल जवाब देता है, और एक न्यायाधीश आउटपुट को स्कोर करता है। वे कच्ची भाषा समझ और तर्क को मापते हैं, लेकिन वे यह नहीं दिखाते कि क्या कोई सिस्टम वास्तविक दुनिया में नेविगेट कर सकता है।

एजेंट बेंचमार्क पूरी तरह से अलग होते हैं। वे एक मॉडल को ऐसे वातावरण में छोड़ देते हैं जहां उसे कई चरणों पर कार्यों के अनुक्रम लेने चाहिए, बाहरी उपकरणों का उपयोग करना चाहिए, जब कुछ गलत हो जाता है तो अनुकूलन करना चाहिए और एक लक्ष्य तक पहुंचना चाहिए जिसका उत्तर एक प्रतिक्रिया में नहीं दिया जा सकता है। मॉडल वेबसाइट ब्राउज़ कर सकता है, कोड लिख सकता है और निष्पादित कर सकते हैं, इंटरफेस के माध्यम से क्लिक करें या फ़ाइलों में हेरफेर कर सकते है। विफलता एक गलत जवाब, एक फंसे हुए लूप, एक टूटी हुई वर्कफ़्लो, या आधे रास्ते में छोड़ा गया कार्य हो सकती है। एक पारंपरिक बेन्चमार्क एक लिखित परीक्षा है; एक एजेन्ट बेंच मार्क वास्तविक उपकरण, वास्तविक घर्षण और वास्तविक आश्चर्य के साथ लाइव काम सिमुलेशन है।

प्रमुख बेंचमार्क क्या मापते हैं

एसडब्ल्यूई-बेंच, जिसे SWE-bench भी लिखा जाता है, software इंजीनियरिंग एजेंटों के लिए एक गोल्ड स्टैंडर्ड की सबसे करीबी चीज है। यह Django और scikit-learn सहित लोकप्रिय Python रिपॉजिटरी से एक वास्तविक GitHub मुद्दा प्रस्तुत करता है, और एजेंट को समस्या का समाधान करने वाले कोड पैच का उत्पादन करने के लिए कहता है। सफलता इस बात से मापी जाती है कि क्या पैच रिपोजिटरी के मौजूदा यूनिट परीक्षणों को पास करता है या नहीं।

SWE-Bench Verified एक क्यूरेटेड उपसमूह है जहां मानव इंजीनियरों ने पुष्टि की है कि प्रत्येक कार्य वास्तव में हल करने योग्य है और यूनिट परीक्षण सटीक रूप से प्रतिबिंबित करते हैं कि क्या फिक्स काम किया। यह मूल बेंचमार्क में कमजोरियों को संबोधित करता है, जहां कुछ कार्य अस्पष्ट थे और कुछ दोषपूर्ण टेस्ट सूट गलत समाधान के साथ पास हो सकते थे। उत्तीर्ण परीक्षण अच्छा कोड लिखने के समान नहीं हैः एक एजेंट मेमोरी रिसाव का परिचय देते हुए, सुरक्षा भेद्यता बनाते समय या तीन अन्य को तोड़ते हुए केवल एक संकीर्ण किनारे वाले मामले को सुलझाते हुए हर परीक्षण को संतुष्ट कर सकता है। एसडब्ल्यूई-बेंच एक विशिष्ट स्वचालित मानदंड को मापता है, न कि कोड गुणवत्ता, रखरखाव या सुरक्षा।

GAIA, जो General AI Assistants के लिए खड़ा है, जटिल प्रश्नों का परीक्षण करता है जिन्हें कई उपकरणों और विधियों में तर्क की आवश्यकता होती है। एक कार्य एजेंट को किसी दस्तावेज़ को देखने, क्रॉस-रेफरेंस वेब जानकारी देने, गणना करने और अंतिम उत्तर संश्लेषित करने के लिए कह सकता है। इसके प्रश्न internet एक्सेस वाले मानव के लिए तुच्छ रूप से आसान हैं लेकिन वर्तमान AI प्रणालियों के लिए वास्तव में कठिन हैं। GAIA जांचता है कि क्या कोई एजेंट मूल लक्ष्य खोए बिना सही क्रम में वेब ब्राउज़िंग, फ़ाइल हैंडलिंग और बहु-चरण कटौती का समन्वय कर सकता है या नहीं। सीमाः कार्यों में एकल सही उत्तर होते हैं, जबकि वास्तविक सहायक वर्कफ़्लोज़ गन्दा होता है, बदलते लक्ष्यों के साथ, अस्पष्ट और संदर्भ निर्देश जो search engine से प्राप्त नहीं किए जा सकते हैं।

WebArena परीक्षण करता है कि क्या एक एजेंट बहु-चरण कार्यों को पूरा करने के लिए यथार्थवादी वेब एप्लिकेशन नेविगेट कर सकता है। लाइव वेबसाइटों के बजाय, यह e-commerce प्लेटफार्मों, सामग्री प्रबंधन प्रणालियों, मंचों और अन्य सामान्य वेब वातावरणों के सैंडबॉक्स संस्करणों को स्पिन करता है। एजेंट को बटन पर क्लिक करना होगा, फ़ॉर्म भरना होगा, मेनू में नेवीगेट करना होगा और पृष्ठ सामग्री की व्याख्या करनी होगी। BrowserGym इसे एक मॉड्यूलर फ्रेमवर्क में विस्तारित करता है जो शोधकर्ताओं को विभिन्न वेब वातावरण और मूल्यांकन मानदंडों में प्लग करने देता है। साथ में, वे ब्राउज़र-आधारित एजेंटों का मूल्यांकन करने वाले सबसे अच्छे वर्तमान उपकरण हैं। एक प्रमुख चेतावनी संदूषण हैः कई वेबएरेना कार्य लंबे समय तक प्रसारित हुए हैं ताकि वे नए मॉडल ' training data ' में दिखाई दे सकें, इसलिए उच्च स्कोर यादृच्छिक कार्य संरचनाओं को प्रतिबिंबित कर सकते हैं। शोधकर्ता और विक्रेता शायद ही कभी खुलासा करते हैं कि वे कितनी अच्छी तरह से इसकी जांच करते हैं।

ओएसवर्ल्ड एजेंट को एक पूरा कंप्यूटर देता है। यह एजेन्ट को सैंडबॉक्स्ड डेस्कटॉप operating system के अंदर रखता है और इसे वास्तविक कंप्यूटर-उपयोग वर्कफ़्लो के साथ कार्य करता हैः फ़ाइलों में हेरफेर करना, ग्राफिक यूजर इंटरफेस एप्लिकेशन नेविगेट करना, सिस्टम सेटिंग्स समायोजित करना और कई कार्यक्रमों पर समन्वय करना। यह सबसे महत्वाकांक्षी बेंचमार्क है क्योंकि यह दर्शाता है कि मानव सहायक कंप्यूटर कैसे संचालित करेगा, और सबसे नाजुक भी होगा। यदि सिमुलेटेड operating system क्रैश हो जाता है, तो डिस्प्ले गलत तरीके से प्रस्तुत होता है, या कोई आवेदन अप्रत्याशित रूप से व्यवहार करता है, तब भी एजेंट विफल रहता है जब इसका तर्क ध्वनि था। वर्ल्ड ओएस स्कोर इसलिए मूल्यांकन बुनियादी ढांचे की स्थिरता पर बहुत अधिक निर्भर करते हैं, न केवल मॉडल क्षमता।

लीडरबोर्ड स्कोर क्या छोड़ते हैं

बेंचमार्क स्कोर को सिस्टम के बीच तुलनीय होने के लिए डिज़ाइन किया गया है, लेकिन उस डिजाइन में वह शामिल नहीं है जो उत्पादन में मानकीकृत करना सबसे कठिन और सबसे महत्वपूर्ण है। लागत और दक्षता गायब हैंः एसडब्ल्यूई-बेंच पर 80% का स्कोर करने वाला एक एजेंट दर्जनों दृष्टिकोणों की पूरी कोशिश करके और tokens और API कॉल की भारी संख्या से जलकर इसे प्राप्त कर सकता है, जबकि अन्य स्कोरिंग 70% को कंप्यूटिंग के एक अंश की आवश्यकता हो सकती है। लीडरबोर्ड सफलता दर दिखाते हैं, बिल नहीं। विलंबता अनुपलब्ध हैः क्या कोई कार्य तीस सेकंड या बीस मिनट लेता है उपयोगकर्ता अनुभव और बुनियादी ढांचे की लागत को प्रभावित करता है, और कोई प्रमुख बेंच मार्क गति पर एजेंटों को रैंक नहीं करता है।

सुरक्षा और सीमा-अनुसरण गायब हैंः क्या कोई एजेंट अनुमति देने वाली सीमाओं का सम्मान करता है, अनिश्चित होने पर विनाशकारी कार्यों से इनकार करता है और उच्च दांव वाले निर्णयों पर अनुमान लगाने के बजाय स्पष्टीकरण मांगता है? अग्रणी बेंचमार्क में से कोई भी इसका लगातार मूल्यांकन नहीं करता है। त्रुटि वसूली को कम प्रतिनिधित्व किया जाता हैः सबसे अधिक खुलासा करने वाला परीक्षण यह है कि एक एजेंट टूटे हुए लिंक, अप्रत्याशित इंटरफ़ेस या विफल उपप्रक्रिया पर कैसे प्रतिक्रिया देता है; कुछ बेंच मार्क्स आंशिक क्रेडिट देते हैं, लेकिन क्षेत्र काफी हद तक इस आयाम को याद करते हैं। स्वचालित ग्रेडिंग शोर एक और अंधा स्थान जोड़ता है। कई मूल्यांकन आउटपुट स्कोर करने के लिए किसी अन्य भाषा मॉडल का उपयोग करते हैं, इसलिए आत्मविश्वासपूर्ण गलत उत्तर न्यायाधीश को मूर्ख बना सकता है और उन अंकों को बढ़ा सकता है जो मानव समीक्षा से बच नहीं पाएंगे।

बेंचमार्क स्कोर का बुद्धिमानी से उपयोग कैसे करें

सार्वजनिक बेंचमार्क वास्तव में उन एजेंट आर्किटेक्चर को कम करने के लिए उपयोगी होते हैं जिन्हें तलाशने लायक है। एसडब्ल्यूई-बेंच पर शून्य के पास स्कोर करने वाला सिस्टम software इंजीनियरिंग वर्कफ़्लो के लिए तैयार नहीं है। जीएआईए पर संघर्ष कर रहे एक प्रणाली जटिल अनुसंधान कार्यों को विश्वसनीय रूप से संभालने की संभावना नहीं है. ये मूल्यांकन विकल्पों को समाप्त कर सकते हैं और आगे की जांच के योग्य उम्मीदवारों को सतह दे सकते हैं।

त्रुटि उत्पादन प्रदर्शन की भविष्यवाणियों के रूप में बेंचमार्क स्कोर का इलाज कर रही है। एक नियंत्रित परीक्षण वातावरण और लाइव वर्कफ़्लो के बीच अंतर व्यापक हैः उत्पादन कार्य गड़बड़ हैं, लक्ष्य कम सटीक रूप से परिभाषित होते हैं, और विफलता के वास्तविक परिणाम होते हैं। सबसे विश्वसनीय दृष्टिकोण सार्वजनिक बेंच मार्क्स को पहले फ़िल्टर के तौर पर उपयोग करना है, फिर अपने विशिष्ट वर्कफ़्लोज़ के आसपास निजी मूल्यांकन बनाना है। यदि आपका एजेंट यात्रा बुक करेगा, तो इसे बुकिंग ट्रैवल पर टेस्ट करें। अगर यह अनुबंधों का सारांश देगा, तो आपके समान अनुबंध पर इसका आकलन करें। जिस कार्य की आप देखभाल करते हैं, जो आपके पर्यावरण के करीब स्थितियों में चलाया जाता है, वह एकमात्र बेंचmark है जो आपको बताता है कि आपको क्या जानने की आवश्यकता है।

यह क्यों महत्वपूर्ण है

SWE-Bench, GAIA, WebArena, BrowserGym और OSWorld जैसे AI एजेंट बेंचमार्क स्वायत्त प्रणालियों के मूल्यांकन में वास्तविक प्रगति का प्रतिनिधित्व करते हैं। प्रत्येक क्षमता की एक सच्ची स्लाइस को उजागर करता है, और कोई भी पूरी कहानी नहीं बताता है। यह समझना कि प्रत्येक क्या उपाय करता है और जहां प्रत्येक टूट जाता है, उन टीमों को अलग करता है जो उत्पादन विफलताओं से आश्चर्यचकित होने वाली टीमों से आत्मविश्वास से एजेंटों को तैनात करती हैं। बातचीत शुरू करने के लिए लीडरबोर्ड का उपयोग करें। इसे समाप्त करने के लिये अपने स्वयं के आकलन बनाएं।

Meta Description: एक गाइड बताता है कि SWE-Bench, GAIA, WebArena और OSWorld क्या परीक्षण करते हैं, और क्यों AI एजेंट बेंचमार्क स्कोर दिशात्मक संकेत हैं, उत्पादन की गारंटी नहीं।

टैगः AI एजेंट बेंचमार्क, एसडब्ल्यूई-बेंच, GAIA, वेबएरिना, ओएसवर्ल्ड

विशेष रुप से प्रदर्शित छवि: बेंचमार्क डैशबोर्ड पैनल और एजेंट टूल का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।