एआई के साथ कोडिंग

स्वायत्त कोडिंग एजेंटों को परिणाम-जागरूक अनुमोदन का उपयोग करना चाहिए जब यह तय करने के लिए कि क्या आगे बढ़ना है।

कैपर गेट्स एजेंट कमांड को सैंडबॉक्स ट्रेसेस में पूर्व-निष्पादित करके और फ़ाइल, नेटवर्क और गुप्त प्रभावों की समीक्षा करके हानिकारक परिणाम कम करते हैं।

स्वायत्त कोडिंग एजेंटों को परिणाम-जागरूक अनुमोदन का उपयोग करना चाहिए जब यह तय करने के लिए कि क्या आगे बढ़ना है।

मुख्य जानकारी

  • कैपर कोडिंग एजेंटों के लिए एक परिणाम-जागरूक अनुमोदन प्रणाली है जो परीक्षण करती है कि उन्हें मंजूरी देने से पहले कमांड वास्तव में क्या करते हैं।
  • पाठ-केवल अनुमोदन अपर्याप्त है क्योंकि एक ही कमांड फ़ाइलों, स्क्रिप्ट और अनुमतियों के आधार पर एक कार्यक्षेत्र में हानिरहित और दूसरे में विनाशकारी हो सकता है।
  • कैपर सिस्टम-कॉल ट्रेसिंग के साथ सैंडबॉक्स में कमांड को पूर्व निष्पादित करता है, फिर फ़ाइल परिवर्तनों, नेटवर्क प्रयासों और गुप्त रीड्स जैसे अवलोकन प्रभावों की समीक्षा करता है।
  • परीक्षणों में, कैपर ने SABER पर 6.7% और YoloFS-Ext पर 7.8% तक हानिकारक परिणाम कम कर दिए जबकि केवल 1.0% सुरक्षित कमांड को अवरुद्ध किया।
  • परिणाम से पता चलता है कि साइड इफेक्ट्स द्वारा कमांड स्ट्रिंग को गेटिंग एजेंटों के लिए जज करने से एक बदलाव, हालांकि विलंबता और व्यावहारिक तैनाती खुले प्रश्न बने हुए हैं।

मेटा विवरणः कैपर अनुमोदन से पहले एक सैंडबॉक्स में कोड एजेंट कमांड का परीक्षण करता है, केवल 1.0% सुरक्षित जुड़वां को अवरुद्ध करते हुए SABER पर 6.7% तक हानिकारक परिणामों को काटता है।

Autonomous coding agents should use consequence-aware approval when deciding whether to proceed.

टैगः कोडिंग एजेंट, AI सुरक्षा, सैंडबॉक्सिंग

विशेष रुप से प्रदर्शित छवि: सैंडबॉक्स गेट के माध्यम से गुजरने वाले कोडिंग एजेंट कमांड का अमूर्त चित्रण, अनुमोदन से पहले फ़ाइल, नेटवर्क और गुप्त आइकनों की जांच की गई है, कोई लोगो नहीं, कोई लोग नहीं हैं।

कोडिंग एजेंटों का उपयोग करने वाली टीमों के लिए, केंद्रीय प्रश्न यह है कि क्या एजेंट वास्तव में जानता है कि उसका अगला कमांड क्या करेगा। कैपर एक प्रस्तावित अनुमोदन प्रणाली है जो जांचती है कि कोई कमांड केवल कमांड टेक्स्ट को जज करने के बजाय, एजेंट द्वारा प्रतिबद्ध होने से पहले वास्तव में क्या करता है। यह कोर कोडिंग एजेन्ट सुरक्षा समस्या को संबोधित करती हैः एक आदेश जो नियमित रूप से दिखाई देता है वह विनाशकारी हो सकता है जब यह किसी विशिष्ट कार्यक्षेत्र में फ़ाइलों, स्क्रिप्ट और अनुमतियों को छूता है।

पाठ-केवल अनुमोदन जोखिम को क्यों याद करते हैं

प्रत्येक कमांड को मैन्युअल रूप से अनुमोदित करना स्केल नहीं करता है। Claude Code उपयोगकर्ता वैसे भी अनुमति संकेतों के 93% को मंजूरी देते हैं, इसलिए एजेंट अब स्वचालित स्वीकृतियों पर भरोसा करते हैं जैसे कि Claude Code, Auto Mode, नियम-आधारित चेकर्स और गार्डरेल मॉडल। वे अनुमोदक आदेश के पाठ का न्याय करते हैं।

Autonomous coding agents should use consequence-aware approval when deciding whether to proceed.

स्रोत नोट करता है कि एक कमांड का व्यवहार उस स्क्रिप्ट द्वारा तय किया जाता है जिसे वह बुलाता है और कार्यक्षेत्र में चलता है, और वही आदेश किसी परियोजना में हानिरहित हो सकता है और दूसरे में विनाशकारी।

कैसे कैपर अनुमोदन से पहले प्रभाव की जाँच करता है

कैपर यह देखने के बाद एक कमांड को मंजूरी देता है कि वह क्या करता है। प्रत्येक कमांड सिस्टम-कॉल ट्रेसिंग के तहत स्नैपशॉट सैंडबॉक्स में पूर्व-निष्पादित होता है, जो निम्न-स्तरीय ऑपरेटिंग-सिस्टम गतिविधि रिकॉर्ड करता है. LLM अनुमोदक तब देखे गए प्रभावों की एक कॉम्पैक्ट रिपोर्ट की समीक्षा करता हैः फ़ाइल परिवर्तन, नेटवर्क प्रयास और रहस्यों का पढ़ता है।

यदि कमांड को अनुमति दी जाती है, तो इसके प्रभाव प्रतिबद्ध हो जाते हैं. अगर इसे अवरुद्ध किया जाता है, The Sandbox वापस रोल कर दिया जाता है और एजेंट एक कारण प्राप्त करता है जिस पर वह कार्य कर सकता है।

परीक्षण क्या दिखाते हैं

छह मौजूदा प्रणालियों की तुलना में, कैपर का SABER पर सबसे कम हानिकारक परिणाम दर हैः 6.7%, अन्य प्रणालियों के लिए कम से कम 14.8% के मुकाबले। यह YoloFS-Ext पर भी सबसे अच्छा प्रदर्शन करता है, एक बेंचमार्क जो उपकरण एजेंटों के अंदर नुकसान को छिपाता है जिसे चलाने के लिए कहा जाता है, जिसमें 7.8% हानिरहित परिणाम दर के साथ न्यूनतम 35.3% है।

कैपर सुरक्षित जुड़वां में से केवल 1.0% को ब्लॉक करता है।

कोड और डेटाः https://github.com/wudaoz/Caper

एजेंट उपयोगकर्ताओं के लिए इसका क्या अर्थ है

परिणाम से पता चलता है कि एजेंटों को आदेशों के अर्थ का अनुमान लगाने के लिए उन्हें साइड इफेक्ट्स द्वारा गेटिंग करने के लिए स्थानांतरित कर दिया गया था। कोडिंग एजेंट के उपयोगकर्ताओं के लिए, कैपर सुझाव देते हैं कि संदर्भ और व्यवहार केवल कमांड स्ट्रिंग की तुलना में अधिक मायने रख सकते हैं। अगला व्यावहारिक सवाल यह है कि क्या सैंडबॉक्स ट्रेसिंग विलंबता जोड़ने या उपयोगी सुरक्षित आदेशों को अवरुद्ध किए बिना नियमित हो सकता है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.