उपकरण समीक्षाएँ

यह प्रणाली स्वचालित पता लगाने और रनटाइम हस्तक्षेप के माध्यम से स्वायत्त अनुसंधान एजेंटों में शोध अखंडता की रक्षा करती है।

RIDAR स्वायत्त अनुसंधान एजेंटों में शोध अखंडता की रक्षा के लिए एक ढांचा है। यह RIVT को परिभाषित करता है, जो अनुसंधान जीवनचक्र भर में 14 उल्लंघन प्रकारों का वर्गीकरण है, जिससे सुसंगत ऑडिटिंग संभव हो जाती है। आरआईडीएआर-पोस्ट हॉक एजेन्ट ट्रेजेक्टरीज और रिपोर्ट्स 85.2% F1 का विश्लेषण करता है आरआईवी-गोल्ड बेंचमार्क पर, आरआईव्ही-वाइल्ड में हजारों उल्लंघनों का पता लगा रहा है। राइडर रनटाइम निष्पादन के दौरान उल्लंघन को सही करके आगे बढ़ता है, कार्य पूरा होने पर शेष उल्लंघकों को कम कर देता है। 36.8% साथ में, टैक्सोनोमी, डिटेक्शन पाइपलाइन और रन टाइम हस्तक्षेप एआई-सहायित वैज्ञानिक वर्कफ़्लो के लिए व्यावहारिक नियंत्रण प्रदान करते हैं, जिसके कारण परिणाम सार्वभौमिक गारंटी के बजाय dataset -विशिष्ट रहते हैं।

यह प्रणाली स्वचालित पता लगाने और रनटाइम हस्तक्षेप के माध्यम से स्वायत्त अनुसंधान एजेंटों में शोध अखंडता की रक्षा करती है।

मुख्य जानकारी

  • RIDAR AI स्वायत्त अनुसंधान एजेंटों में शोध अखंडता उल्लंघनों (RIVs) का पता लगाने और उनके खिलाफ हस्तक्षेप करने के लिए एक ढांचा है, जो पूरे अनुसंधान जीवनचक्र को कवर करते हुए 14 उल्लंघन प्रकारों की RIVTएक वर्गीकरण पेश करता है।
  • पोस्ट-हॉक डिटेक्शन (आरआईडीएआर-पोस्ट-होक) ने आरआईवी गोल्ड बेंचमार्क पर 85.2% और 3,964 RIV मामलों को प्राप्त किया, जो कि 99.7% रास्तों में RIV वाइल्ड में फ्लैग किए गए थे, यह दर्शाता है कि उल्लंघन दुर्लभ किनारे के मामलों की बजाय व्यापक हैं।
  • रनटाइम हस्तक्षेप (RIDAR-runtime) गतिशील रूप से एजेंट निष्पादन के दौरान RIV का पता लगाता है और सुधार करता है, 36.8% द्वारा कार्य पूरा होने पर शेष उल्लंघनों को कम करना।
  • लेखक आगे के शोध का समर्थन करने के लिए कोड और डेटा जारी करने की योजना बनाते हैं; पाठकों को रिपोर्ट किए गए मैट्रिक्स को dataset -विशिष्ट बेंचमार्क के रूप में इलाज करना चाहिए, न कि सार्वभौमिक गारंटी है कि सभी एजेंट विफलताओं को पकड़ा या ठीक किया जा सकता है।

मेटा विवरणः RIDAR AI अनुसंधान एजेंटों में शोध अखंडता उल्लंघन का पता लगाता है, आरआईवी-गोल्ड पर 85.2% और F1 स्कोर करता है, और कार्य पूरा होने पर शेष उल्लंघनों को 36.8% तक कम कर देता है।

This system safeguards research integrity in autonomous research agents through automated detection and runtime interven

टैगः RIDAR, अनुसंधान अखंडता, AI एजेंट, उल्लंघन का पता लगाना

विशेष रुप से प्रदर्शित छवि: चेकलिस्ट और शील्ड के साथ एक शोध एजेंट कार्यप्रवाह का अमूर्त, मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है।

This system safeguards research integrity in autonomous research agents through automated detection and runtime interven

शोधकर्ताओं ने स्वायत्त अनुसंधान एजेंटों में अनुसंधान अखंडता उल्लंघनों, या आरआईवी के खिलाफ पता लगाने और हस्तक्षेप करने के उद्देश्य से एक ढांचा आरआईडीएआर पेश किया है। कार्य में RIV प्रकारों की वर्गीकरण, एजेंट रिकॉर्ड्स का पोस्ट-हॉक विश्लेषण और रनटाइम सुधार शामिल हैं जो कार्यों को समाप्त करते समय शेष उल्लंघन में 36.8% कमी की रिपोर्ट करता है।

एक वर्गीकरण जो विफलता मोड का नाम देता है

स्वायत्त अनुसंधान एजेंटों का उपयोग तेजी से वैज्ञानिक कार्य के बड़े हिस्सों को स्वचालित करने के लिए किया जाता है, लेकिन वे ऐसे तरीकों से व्यवहार कर सकते हैं जो वैधता, पुनरुत्पादन या वफादारी को कम करते हैं। RIDAR इन व्यवहारों को RIVT में समूहीकृत करता है, 14 आरआईवी प्रकारों का एक वर्गीकरण जो पूर्ण शोध जीवनचक्र पर फैला हुआ है। यह संरचना टीमों को प्रत्येक गलती को अलग-अलग विसंगति के रूप में इलाज करने के बजाय एजेंट व्यवहार की लेखा परीक्षा के लिए साझा शब्दावली देती है।

पोस्ट-हॉक डिटेक्शन से पता चलता है कि कितने आम उल्लंघन हो सकते हैं

RIDAR-पोस्ट हॉक एजेंट प्रक्षेपवक्रों की जांच करता है, कार्यों के रिकॉर्ड किए गए अनुक्रम और एक कार्य के दौरान उत्पादित आउटपुट। फ्रेमवर्क रिपोर्ट 85.2% F1 पर आरआईवी-गोल्ड, 60 विशेषज्ञ एनोटेटेड ट्रेजेक्टरीज से निर्मित आरआईव्ही का पता लगाने के लिए एक बेंचमार्क। यह 50 अलग-अलग शोध कार्यों में 300 एजेंट ट्रैकटोरियों वाले dataset को भी लागू किया गया था। उस सेट में, राइडर पोस्ट हॉक ने 99.7% ट्रैजेक्ट्रीज़ में 3,964 आरआईभी उदाहरणों का पता लगाया, इस बात को रेखांकित करते हुए कि मूल्यांकन किए गए एजेंट रन में आरआयवी दुर्लभ किनारे मामले नहीं हैं।

This system safeguards research integrity in autonomous research agents through automated detection and runtime interven

रनटाइम सुधार का उद्देश्य समस्याओं को रोकना है इससे पहले कि वे बने रहें

अकेले पता लगाना एक एजेंट को दोषपूर्ण आउटपुट के साथ कार्य समाप्त करने से नहीं रोक सकता है। RIDAR- रनटाइम लक्ष्य उस अंतराल को गतिशील रूप से आरआईवी का पता लगाकर और सही करते हुए जब कोई एजेंट संचालित हो रहा होता है। लेखकों की रिपोर्ट है कि यह रन टाइम हस्तक्षेप 36.8% द्वारा टास्क पूरा होने पर शेष RIVs को कम करता है। परिणाम बताते हैं कि निष्पादन के दौरान निगरानी न केवल बेहतर ऑडिट ट्रेल प्रदान कर सकती है, बल्कि परिणामों को भी बदल सकती है।

पाठकों के लिए इसका क्या अर्थ है

शोधकर्ताओं, उपकरण डेवलपर्स और एआई-समर्थित वैज्ञानिक वर्कफ़्लो की समीक्षा करने वाले किसी भी व्यक्ति के लिए, RIDAR दो व्यावहारिक परतें जोड़ता हैः अखंडता जोखिमों को वर्गीकृत करने के लिए एक टैक्सोनॉमी और एक पता लगाने और सुधार पाइपलाइन। टीम का कहना है कि यह भविष्य में अनुसंधान की सुविधा के लिए कोड और डेटा जारी करेगा। पाठकों को 85.2% F1 और 36.8% कमी को वर्णित datasets से बेंचमार्क-विशिष्ट परिणाम के रूप में इलाज करना चाहिए, न कि सार्वभौमिक गारंटी के तौर पर कि सभी एजेंट विफलताओं को पकड़ा या ठीक किया जा सकता है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.