उपकरण समीक्षाएँ

उपेक्षा बगः एजेंट क्या करने में विफल रहा है की गणना करना

इवल सुइट्स दृश्यमान आउटपुट को ग्रेड करते हैं लेकिन अनुपस्थित घटनाओं को याद नहीं करते हैंः छूट गए चेक, अनप्रेषित अलर्ट, अपूर्ण फाइलें। टीमों को साइड इफेक्ट की पुष्टि करनी चाहिए।

उपेक्षा बगः एजेंट क्या करने में विफल रहा है की गणना करना

मुख्य जानकारी

  • स्वचालित मूल्यांकन सूट अक्सर उत्तर या रिपोर्ट जैसे दृश्यमान आउटपुट स्कोर करते हैं, जबकि आवश्यक क्रियाओं को याद किया जाता है जो कभी नहीं हुईं, जैसे कि छोड़ दिया गया चेक, अनसेंटेड अलर्ट या अपूर्ण फाइल।
  • अनुपस्थिति ग्रेडिंग मापता है कि क्या अपेक्षित घटनाएं और दुष्प्रभाव हुए, केवल अंतिम आउटपुट कलाकृतियों के बजाय लॉग्स, कतारों, ऑडिट ट्रेल या राज्य रिकॉर्ड का उपयोग करके।
  • कई मूल्यांकन इन अंतरालों को अनदेखा करते हैं क्योंकि वे शीघ्र-आउटपुट बेंचमार्क के आसपास डिज़ाइन किए गए हैं, जबकि इवेंट-आधारित परीक्षण में सैंडबॉक्स, मॉक और कॉल रिकॉर्डिंग जैसे भारी बुनियादी ढांचे की आवश्यकता होती है।
  • टीमें यह परिभाषित करके अनुपस्थिति को दृश्यमान बना सकती हैं कि सिस्टम क्या देनदार है, न केवल इसे क्या उत्पादन करना चाहिए और फिर इस बात पर जोर देना चाहिए कि आवश्यक क्रियाएं पूर्ण निष्पादन पथ में दिखाई देती हैं।
  • चूंकि AI एजेंट अधिक टूल कॉल और वर्कफ़्लो कार्य करते हैं, विश्वसनीयता के लिए आउटपुट ग्रेडिंग और इवेंट-आधारित स्कोरिंग दोनों की आवश्यकता होती है, क्योंकि एक पॉलिश प्रतिक्रिया अभी भी असफल आवश्यक कार्रवाई को छिपा सकती है।

मेटा विवरण: जानें कि क्यों eval सुइट्स अक्सर आउटपुट को ग्रेड करते हैं लेकिन अनुपस्थिति, स्किप किए गए चेक, अनसेंड अलर्ट और अपूर्ण फाइलों की याद आती है और टीम अब इसके बारे में क्या कर सकती है।

The Omission Bug: Quantifying What the Agent Failed to Do

टैगः eval सुइट्स, अनुपस्थिति जांच, स्वचालित एजेंटों, software परीक्षण, AI मूल्यांकन

विशेष रुप से प्रदर्शित छवि: खाली चेक मार्क्स के बगल में स्कोर किए गए आउटपुट बॉक्स का अमूर्त चित्रण, एक अनओपेन फ़ाइल और एक मूक अलर्ट घंटी, अनुकूल शैली, कोई लोग, लोगो या पाठ नहीं।

Towards AI पर एक संक्षिप्त टुकड़ा स्वचालित प्रणालियों का मूल्यांकन कैसे किया जाता है, इस बारे में एक अंतर की ओर इशारा करता हैः eval सूट ग्रेड आउटपुट, लेकिन लगभग कोई भी ग्रेड अनुपस्थिति नहीं। उदाहरण ठोस हैं स्किप चेक, अनसेंड अलर्ट और फ़ाइल कभी नहीं खोली गई। डेवलपर्स, क्यूए समीक्षकों, उत्पाद प्रबंधकों और टीमों के लिए जो AI एजेंट चलाते हैं, संदेश यह है कि दृश्यमान परिणाम के लिए उच्च स्कोर अभी भी आवश्यक कार्रवाई करने में विफलता को छिपा सकता है।

अनुपस्थिति ग्रेडिंग क्या मापेगी

एक eval सूट परीक्षणों या स्कोरिंग नियमों का एक सेट है जिसका उपयोग सिस्टम की प्रतिक्रिया को जज करने के लिए किया जाता है। सरल मामले में, यह जांचता है कि क्या कोई मॉडल सही उत्तर देता है, चाहे उत्पन्न कोड टेस्ट पास करता हो, या किसी रिपोर्ट में अपेक्षित फ़ील्ड शामिल हों. यही आउटपुट ग्रेडिंग है। अनुपस्थिति ग्रेडिंग इसके विपरीत पूछती हैः जब कुछ होना चाहिए था तो क्या हुआ? एक छोड़ दिया गया चेक कोई परीक्षा परिणाम नहीं छोड़ सकता है। एक अप्रकाशित अलर्ट कतार में कोई संदेश नहीं छोड़ सकते हैं। कभी भी खुली फ़ाइल कोई पढ़ा लॉग नहीं छोड़ सकती है। स्वयं अनुपस्थिति विफलता है।

The Omission Bug: Quantifying What the Agent Failed to Do

क्यों eval सूट क्या नहीं हुआ उपेक्षा करने के लिए करते हैं

यह महत्वपूर्ण है क्योंकि कई मूल्यांकन प्रणाली कलाकृतियों के आसपास बनाई गई हैं। उन्हें स्कोर करने के लिए कुछ की आवश्यकता होती हैः एक स्ट्रिंग, एक फ़ाइल, एक परीक्षण स्थिति, token गिनती या पास / विफल परिणाम। जब सही व्यवहार एक ऐसी घटना है जो कहीं दिखाई देनी चाहिए, तो मूल्यांकन अवलोकनशीलता के करीब हो जाता है सिस्टम से लॉग्स, मैट्रिक्स और ट्रेस एकत्र करना। यदि आवश्यक घटना कभी नहीं होती है, तो स्कोरिंग के लिए कोई चीज नहीं हो सकती है। एक सूट दृश्यमान आउटपुट को स्वीकार्य के रूप में चिह्नित कर सकता है जबकि अभी भी इसके पीछे मौन दायित्व गायब है।

Many AI eval सुइट्स को प्रॉम्प्ट और अपेक्षित आउटपुट के आसपास डिज़ाइन किया गया है, क्योंकि यह बेंचमार्क डेटा से मेल खाता है। जब अपेक्षित उत्तर एक छोटा पाठ या संरचित ऑब्जेक्ट होता है तो उन्हें बनाना आसान होता है। इवेंट-आधारित अपेक्षाओं के लिए अक्सर सैंडबॉक्स, मॉक सेवाओं और कॉल रिकॉर्ड करने का एक तरीका की आवश्यकता होती है। वह बुनियादी ढांचा भारी होता है, इसलिए कई सूट इसे छोड़ देते हैं।

software परीक्षण में पहले से ही संबंधित विचार हैं। नकारात्मक परीक्षण यह जांचते हैं कि एक प्रणाली खराब इनपुट को अस्वीकार करती है या हानिकारक व्यवहार से बचती है। यहां उठाया गया मुद्दा संकीर्ण हैः न केवल इसने सिस्टम ने गलत काम किया, बल्कि सही समय पर सही काम करने में विफल रहा। स्वचालन में, इसका मतलब वैधता दिनचर्या हो सकता है जिसे कभी नहीं बुलाया गया था, चेतावनी जो कभी कतार में नहीं थी, या डेटा स्रोत जिसे कभी एक्सेस नहीं किया गया था। उन असफलताओं को नोटिस करना मुश्किल हो सकते हैं क्योंकि वे अक्सर कोई दृश्य कलाकृतियों का उत्पादन नहीं करते हैं।

कैसे टीमें अनुपस्थिति को दिखाई दे सकती हैं

पाठकों के लिए, व्यावहारिक सबक यह सूचीबद्ध करना है कि सिस्टम को क्या देना चाहिए, न केवल इसे क्या उत्पादन करना चाहिए। एक विनिर्देश कह सकता हैः यदि अपलोड विफल हो जाता है, तो अलर्ट भेजें; अगर मॉडल संवेदनशील डेटा का उपयोग करता है, एक जांच चलाएं; यदि वर्कफ़्लो किसी फ़ाइल पर निर्भर करता है तो प्रतिक्रिया उत्पन्न करने से पहले उसे पढ़ें। उनमें से प्रत्येक एक अपेक्षित घटना बनाता है। एक eval सूट जो केवल अंतिम उत्तर को ग्रेड देता है वह अभी भी एक रन पास कर सकता है जहां चेतावनी नहीं भेजी गई थी या फाइल नहीं खोली गई थी।

एक समर्थन सहायक की कल्पना करें जो पॉलिश उत्तर लौटाता है लेकिन कभी भी टिकट नहीं बनाता जब नीति कहती है कि यह होना चाहिए। अंतिम प्रतिक्रिया अच्छी लग सकती है, लेकिन कार्यप्रवाह विफल हो जाता है।

The Omission Bug: Quantifying What the Agent Failed to Do

टीमें साइड इफेक्ट्स की जांच करके अनुपस्थिति को दृश्यमान बना सकती हैं। केवल यह पूछने के बजाय कि सिस्टम ने क्या लौटाया है, पूछें कि लॉग, कतारों, ऑडिट ट्रेल या स्टेट स्टोर में क्या मौजूद होना चाहिए। एक स्किप्ड चेक तब पकड़ा जा सकता है जब परीक्षण का दावा होता है कि वैधता घटना मौजूद है। एक अनसेन्टेड अलर्ट नोटिफिकेशन जारी किए जाने की पुष्टि करके पकड़ लिया जाता है। कभी नहीं खोली गई फ़ाइल को यह जाँचकर पकड़ सकते हैं कि वर्कफ़्लो ने पढ़ने का प्रयास दर्ज किया है। इसमें से कोई भी नए मॉडल बेंचमार्क की आवश्यकता नहीं है; इसके लिए पूरे निष्पादन पथ को देखने के लिए मूल्यांकन की आवश्यकता होती है।

इसका मतलब यह नहीं है कि मौजूदा eval सूट बेकार हैं. इसका अर्थ है कि वे एक संकीर्ण प्रश्न का उत्तर देते हैं. आउटपुट ग्रेडिंग अभी भी टीम को बताती है कि क्या सिस्टम सही दृश्य परिणाम पैदा कर रहा है। अनुपस्थिति ग्रेडिंग उन्हें बताता है कि परिणाम उन कार्यों द्वारा समर्थित था जो इसके आसपास होने वाले थे।

पाठकों के लिए अंतर का क्या अर्थ है

अंतर बढ़ने की संभावना है क्योंकि एजेंट प्रश्नों के उत्तर देने से अधिक करते हैं। एजेंट सिस्टम उपकरण, शेड्यूल कार्य, खुली फाइलें, संदेश भेज सकते हैं और पृष्ठभूमि जांच चला सकते हैं। यदि मूल्यांकन केवल अंतिम प्रतिक्रिया को दर्जा देता है, तो यह एक लापता कार्रवाई को अनदेखा करते हुए सहायक वाक्य को पुरस्कृत कर सकता है। Towards AI पर छोटा टुकड़ा बेंचमार्क नंबर या उत्पाद रोडमैप प्रदान नहीं करता है, इसलिए अनिश्चितता वास्तविक हैः कितनी व्यापक रूप से eval सुइट्स ग्रेड अनुपस्थिति अकेले इस प्रॉम्प्ट से मापा जा सकता है. लेकिन सवाल विश्वसनीयता जाँच बनाने वाले किसी भी व्यक्ति के लिए उपयोगी है।

पाठकों को मूल्यांकन ढांचे के लिए देखना चाहिए जिसमें ईवेंट-आधारित दावे, ट्रेस आधारित स्कोरिंग और विफलता मामले शामिल हैं जहां सही आउटपुट एक ऐसी कार्रवाई है जो कोई उपयोगकर्ता का सामना करने वाली कलाकृति नहीं छोड़ती है। महत्वपूर्ण बदलाव आउटपुट ग्रेडिंग को त्यागना नहीं है। आउटपुट आवश्यक रहता है। अगला कदम यह पूछना है कि क्या सूट उन चीजों को भी दर्जा देता है जिन्हें होना था लेकिन ऐसा नहीं हुआ।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.