उपकरण समीक्षाएँ

प्रोएक्टिव एजेंटों के लिए मानव आधारित दानेदार मूल्यांकन प्रस्तावित है।

एचएएलओ सक्रिय एजेंटों का मूल्यांकन करने के लिए मानव एनोटेशन जोड़ता है, समय और तीव्रता में अति-प्रोएक्टिविटी को मुख्य विफलता मोड पाया जाता है।

प्रोएक्टिव एजेंटों के लिए मानव आधारित दानेदार मूल्यांकन प्रस्तावित है।

मुख्य जानकारी

  • HALO सक्रिय एजेंटों के लिए एक मानव-आधारित, दानेदार मूल्यांकन ढांचा पेश करता है जो यह तय करना चाहिए कि क्या, कब और कितना स्पष्ट अनुरोध के बिना मदद करनी है।
  • हेलो-एरेना एजेंटों का परीक्षण 4 सक्रिय आवश्यकता प्रकार, 10 दैनिक डोमेन और 50 व्यक्तिगत वातावरण में करता है, जिसमें हस्तक्षेप से पहले संरचित या असंरचित स्रोतों से साक्ष्य पुनर्प्राप्ति की आवश्यकता होती है।
  • HALO-8K में 400 परिदृश्यों के 10 मॉडलों से 8,000 विशेषज्ञ-अनोटेड प्रतिक्रियाएं हैं, रिकॉर्डिंग स्वीकार्यता, कार्रवाई स्तर, समय, तीव्रता, तर्क tokens और पुनर्प्राप्ति दौर।
  • मुख्य विफलता मोड अति-प्रोएक्टिविटी हैः 61.20% अस्वीकृत प्रतिक्रियाओं के लिए समय से पहले या अत्यधिक तीव्रता का खाता है, यह दर्शाता है कि बहुत जल्दी या बहुत अधिक कार्य करना केवल कार्रवाई करने में असफल होने की तुलना में एक बड़ी समस्या है।
  • शीर्ष मॉडल अभी भी सुधार के लिए जगह छोड़ देते हैं, सबसे अच्छा मालिकाना मॉडल 72.88% स्वीकार्यता तक पहुंचता है और सर्वश्रेष्ठ open-source model 56.63% तक पहुँचता है, जो अधिक कैलिब्रेटेड, संदर्भ-जागरूक सक्रिय सहायता की आवश्यकता को उजागर करता है।

मेटा विवरणः HALO-Arena और HALO-8K सक्रिय एजेंटों का मूल्यांकन करने के लिए मानव एनोटेशन जोड़ते हैं, 8,000 प्रतिक्रियाओं में मुख्य विफलता मोड के रूप में अति-प्रोएक्टिविटी को प्रकट करते हैं।

A human-grounded granular evaluation for proactive agents is proposed.

टैगः प्रोएक्टिव एजेंट, AI मूल्यांकन, HALO, बेंचमार्क

चित्रित छवि: संरचित डेटाबेस और असंरचित दस्तावेजों से साक्ष्य की समीक्षा करने वाले एजेंटों का प्रतिनिधित्व करने वाले नोड्स के अमूर्त अनुकूल उदाहरण, समय और तीव्रता गेज के साथ; कोई लोग, लोगो या पाठ नहीं।

HALO, Human-Grounded GrAnular EvaLuation of PrOactive Agents नामक एक नए ढांचे को अधिक मानवीय तरीके से सक्रिय एजेंटों का परीक्षण करने के लिए डिज़ाइन किया गया है। यह एक ऐसी समस्या पर ध्यान केंद्रित करता है जिसे वर्णन करना आसान है और स्कोर करना मुश्किल हैः एक सहायक स्पष्ट अनुरोध के बिना निर्णय ले सकता है कि कब और कितना मदद करनी चाहिए। मौजूदा मूल्यांकन अक्सर स्वचालित अंकों या द्विआधारी फैसलों पर भरोसा करते हैं, जो बता सकते हैं कि क्या प्रतिक्रिया स्वीकार की गई थी लेकिन क्यों नहीं। एचएएलओ साक्ष्य उपयोग और हस्तक्षेप गुणवत्ता में मानव निदान जोड़ता है।

HALO क्या जोड़ता है

फ्रेमवर्क में दो मुख्य भाग हैं। HALO-Arena परीक्षण वातावरण है। यह 4 सक्रिय आवश्यकता प्रकारों को कवर करता हैः निर्भरता, अवरोधन, जोखिम और अवसर। ये परिदृश्य 10 रोजमर्रा के डोमेन और 50 व्यक्तिगत वातावरणों पर फैले हुए हैं। कार्यों का निर्माण किया जाता है ताकि एजेंट केवल अनुमान नहीं लगा सकें कि क्या मदद करनी चाहिए। उन्हें संरचित डेटाबेस या असंगठित दस्तावेजों से सबूत प्राप्त करना होगा इससे पहले कि सहायता की अनुमति दी जाए और इसके दायरे का चयन करें।

A human-grounded granular evaluation for proactive agents is proposed.

दूसरा भाग हैलो-8K, एक dataset अखाड़े से बनाया गया। इसमें 400 परिदृश्यों में 10 मॉडल से 8,000 प्रतिक्रियाएं शामिल हैं। उत्तर 20 विशेषज्ञों द्वारा एनोटेट किए जाते हैं। एनोटैशंस एक्शन लेवल, स्वीकृति फैसले और मानव निदान रिकॉर्ड करते हैं। अस्वीकृत प्रतिक्रियाओं के लिए, निदान समय, तीव्रता और अन्य मुद्दों को कवर करता है। ढांचा भी तर्क tokens और पुनर्प्राप्ति राउंड दर्ज करता है, जो प्रत्येक प्रतिक्रिया के पीछे प्रयास को मापते हैं।

स्कोरिंग अंतर क्यों मायने रखता है

हेडलाइन नंबर सीधे हैं। सर्वश्रेष्ठ मालिकाना मॉडल 72.88% स्वीकार्यता तक पहुंचता है। सबसे अच्छा open-source model 56.63% तक पहुँचता है. ये स्कोर दिखाते हैं कि शीर्ष प्रणालियां भी सुधार के लिए जगह छोड़ती हैं जब उन्हें पूछने से पहले कार्य करने के लिए कहा जाता है। विफलताओं का कारण अधिक महत्वपूर्ण है। HALO की केंद्रीय खोज यह है कि अति-प्रोएक्टिविटी प्रमुख अवलोकन विफल मोड है। समयपूर्व या अत्यधिक तीव्रता अस्वीकृत प्रतिक्रियाओं में से 61.20% के लिए जिम्मेदार है।

यह पाठकों के लिए महत्वपूर्ण है क्योंकि सक्रिय एजेंटों का उद्देश्य मददगार महसूस करना है, घुसपैठ नहीं। यदि कोई एजेंट बहुत जल्दी कार्य करता है, तो वह उपयोगकर्ता को वास्तव में सहायता की आवश्यकता होने से पहले कूद सकता है। अगर यह बहुत तीव्रता से काम करता है तो यह बहुत अधिक कर सकता है या जो स्थिति मांगती है उससे परे जा सकता है. एक एकल स्वीकृति स्कोर उन त्रुटियों को छिपा सकते हैं। HALO.s मानव एनोटेशन उन्हें दिखाई देते हैं।

साक्ष्य पहले, कार्रवाई दूसरे

डिजाइन का एक और हिस्सा साक्ष्य चरण है। कई सहायक कार्यों को केवल अंतिम उत्तर द्वारा आंका जाता है। हेलो-एरेना एजेंटों से पहले संरचित डेटाबेस या असंगठित दस्तावेजों से सबूत प्राप्त करने के लिए कहता है, और फिर यह तय करता है कि सहायता उचित है या नहीं। यह एक अलग कौशल का परीक्षण करता हैः न केवल क्या मॉडल एक प्रशंसनीय प्रतिक्रिया उत्पन्न कर सकता है, बल्कि क्या यह स्थिति को जज करने के लिये उपलब्ध जानकारी का उपयोग कर सकते हैं.

A human-grounded granular evaluation for proactive agents is proposed.

यह रोजमर्रा के वातावरण के लिए उपयोगी है, जहां मदद का सही स्तर संदर्भ पर निर्भर करता है। एक व्यक्तिगत पर्यावरण में सहायक प्रतीत होने वाली प्रतिक्रिया दूसरे में बहुत सक्रिय हो सकती है। 10 दैनिक डोमेन और 50 व्यक्तिगत वातावरण को कवर करके, फ्रेमवर्क परीक्षण करता है कि क्या एजेंट एक डिफ़ॉल्ट व्यवहार को दोहराने के बजाय अनुकूलित कर सकते हैं।

आगे के विश्लेषण से क्या पता चलता है

dataset और एरेना भी पूरक विश्लेषणों का समर्थन करते हैं। वे हस्तक्षेप और संयम, साक्ष्य अधिग्रहण, और समय और तीव्रता के कैलिब्रेशन के बीच संतुलन को देखते हैं। एक साथ, ये निष्कर्ष बताते हैं कि चुनौती केवल यह नहीं है कि क्या किसी मॉडल को कार्य करना चाहिए। चुनौती यह है कि यह आवश्यकता के लिए कार्रवाई, संदर्भ के लिए सबूत, और पल की तीव्रता से मेल खा सकता है या नहीं।

डेवलपर्स के लिए, मूल्य नैदानिक है। केवल यह जानने के बजाय कि एक मॉडल विफल हो गया था, एक टीम देख सकती है कि क्या असफलता जल्दी थी, बहुत मजबूत थी, खराब रूप से प्रमाणित थी या गलत आकलन की गई थी। उपयोगकर्ताओं के लिए मूल्य व्यावहारिक हैः बेहतर मूल्यांकन सहायक को अधिक सावधान होने का कारण बन सकता है जब वे कदम रखते हैं।

अगला क्या है

HALO व्यापक मूल्यांकन की आवश्यकता को दूर नहीं करता है। यह एक विशिष्ट अंतर को संबोधित करता हैः मानव-आधारित, सक्रिय एजेंटों के दानेदार परीक्षण. रिकॉर्ड किए गए तर्क tokens और पुनर्प्राप्ति राउंड, साथ ही विशेषज्ञ एनोटेशन, अस्वीकृति को कुछ ऐसा बनाते हैं जिसका अध्ययन किया जा सकता है। संख्या प्रगति दिखाती है, लेकिन एक स्पष्ट समस्या भी है। जैसे-जैसे सक्रिय एजंट रोजमर्रा के कार्यों के करीब जाते हैं, अगला कदम सहायक को उपयोगी होने के लिए बहुत निष्क्रिय बनाए बिना अति-प्रोएक्टिविटी को कम करना होगा।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.