AI एजेंट असुरक्षित स्रोतों को सुरक्षित रूप से कैसे संसाधित कर सकते हैं?
AI एजेंट जो अविश्वसनीय स्रोतों को पढ़ते हैं, उन्हें आर्किटेक्चरल गार्डरेल्स की आवश्यकता होती है ताकि त्वरित इंजेक्शन को दुर्भावनापूर्ण पाठ को विशेषाधिकार प्राप्त कार्यों में बदलने से रोका जा सके।
मुख्य जानकारी
- AI एजेंट जो ब्राउज़ करते हैं, फाइल पढ़ते हैं या बाहरी सामग्री को संसाधित करते हैं जब अविश्वसनीय इनपुट विशेषाधिकार प्राप्त कार्यों को प्रभावित कर सकता है तो त्वरित इंजेक्शन जोखिमों का सामना करना पड़ता है।
- सुरक्षा आर्किटेक्चरल गार्डरेल्स से आनी चाहिए, न कि JUST विनम्र संकेतों से, पढ़ने को कार्य करने और डेटा के रूप में अविश्वसनीय सामग्री का इलाज करने से अलग करके।
- उत्पत्ति ट्रैकिंग, कम से कम विशेषाधिकार अनुमतियाँ और अपरिवर्तनीय कार्यों से पहले सत्यापन हानिकारक निष्पादन की संभावना को कम करते हैं।
- व्यावहारिक कार्यप्रवाहों में फ़िल्टरिंग, नीति जांच और लेखा परीक्षा के अनुकूल सीमाएं शामिल होनी चाहिए ताकि टीमें विफलताओं का पता लगा सकें और जोखिम को नियंत्रित कर सकें।
- बिल्डरों के लिए मुख्य पाठ यह है कि किसी स्रोत को पढ़ने का अर्थ स्वचालित रूप से उसका पालन करना नहीं होना चाहिए।
मेटा विवरणः जानें कि कैसे AI एजेंट त्वरित इंजेक्शन जोखिमों को कम करने के लिए आर्किटेक्चरल गार्डरेल्स, सत्यापन और वर्कफ़्लो नियंत्रण जोड़कर अविश्वसनीय स्रोतों को सुरक्षित रूप से पढ़ सकते हैं।
टैगः AI एजेंटों, अविश्वसनीय स्रोत, त्वरित इंजेक्शन, एजेंट सुरक्षा, कार्यप्रवाह सुरक्षात्मक रेलिंग
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक ढाल-जैसे फ़िल्टर के पीछे तैरते हुए दस्तावेजों को पढ़ने वाले AI एजेंट का अमूर्त, मैत्रीपूर्ण चित्रण, जिसमें कोई वास्तविक व्यक्ति, लोगो या पाठ नहीं है।
How Can AI Agents Read Untrusted Sources Safely? 89 शीर्षक से एक पोस्ट पहली बार Towards Data Science पर दिखाई दिया। इसमें तर्क दिया गया है कि AI एजेंट जो वेब ब्राउज़ करते हैं, email खोलते हैं या फ़ाइलों को ग्रहण करते हैं उन्हें हर बाहरी स्रोत को समान रूप से भरोसेमंद नहीं माना जाना चाहिए। सलाह यह है कि एजेंट कैसे अविश्वसनीय स्रोत पढ़ते हैं और उन स्रोतों को कार्यप्रवाह को प्रभावित करने की अनुमति दी जाती है, इसके आसपास वास्तुशिल्प गार्डरेल जोड़ना है। टीम निर्माण या ऑपरेटिंग एजेंट सिस्टम के लिए, बिंदु व्यावहारिक हैः सुरक्षा मॉडल विनम्रतापूर्वक व्यवहार करने की उम्मीद पर कम निर्भर करती है और सिस्टम को डिजाइन करने पर अधिक निर्भर करता है ताकि असुरक्षित इनपुट आसानी से विशेषाधिकार प्राप्त कार्रवाई न हो सके।
क्यों अविश्वसनीय सामग्री नियंत्रण समस्या बन जाती है
AI एजेंट एक साधारण chatbot से भिन्न होता है जब यह जानकारी प्राप्त कर सकता है, उपकरण चुनता है, फ़ाइलें लिख सकता है , संदेश भेज सकता है या डाउनस्ट्रीम सिस्टम को ट्रिगर कर सकता हैं। वह क्षमता मूल्य पैदा करती है, लेकिन यह हमले की सतह का विस्तार भी करता है। वेबपेज, PDF , स्प्रेडशीट, email या टिकट टिप्पणी में सामान्य सामग्री, छिपी हुई निर्देश या भ्रामक पाठ हो सकते हैं। यदि एजेंट इसे पढ़ता है और फिर कार्य करता है, तो सामग्री अवलोकन से संचालन में स्थानांतरित हो गई है।
यह वह जगह है जहां शीघ्र इंजेक्शन प्रासंगिक हो जाता है। त्वरित इंजेક્શન एक ऐसी तकनीक है जहाँ किसी मॉडल को आपूर्ति किए गए पाठ अपने स्वयं के आदेशों के साथ डेवलपर के निर्देशों को ओवरराइड करने का प्रयास करते हैं। एक दुर्भावनापूर्ण दस्तावेज़ एजेंट को पहले के नियमों की अनदेखी करने, निजी डेटा प्रकट करने, API पर कॉल करने या बाद के चरण में अपना व्यवहार बदलने के लिए कह सकता है। जोखिम न केवल यह है कि मॉडल एक बुरा जवाब देता है, बल्कि सिस्टम खराब कार्रवाई करता है।
Towards Data Science पोस्ट समस्या को इस तरह से फ्रेम करता है जो इंजीनियरों और उत्पाद टीमों के लिए उपयोगी हैः महत्वपूर्ण सवाल यह नहीं है कि क्या कोई एजेंट एक स्रोत को समझ सकता है, लेकिन क्या आर्किटेक्चर उस स्रोत को वर्कफ़्लो में संवेदनशील चरणों को प्रभावित करने देता है।
वास्तुशिल्प गार्डरेल का व्यवहार में क्या अर्थ है
आर्किटेक्चरल गार्डरेल्स एजेंट व्यवहार के चारों ओर रखे गए सिस्टम-स्तरीय नियंत्रण हैं, न कि एक एकल संकेत जो कहता है "सुरक्षित रहें।" वे परिभाषित करते हैं कि एजेंट क्या पढ़ सकता है, इसे उस रीडिंग की व्याख्या कैसे करनी चाहिए और यह आगे क्या कर सकता है।
एक उपयोगी प्रारंभिक बिंदु पढ़ने को कार्य करने से अलग करना है। कोई एजेंट किसी दस्तावेज़ को ले जा सकता है, उसका सारांश दे सकता है और उस दस्तावेज़ को आदेश जारी करने की अनुमति दिए बिना उसके विश्वास स्तर को वर्गीकृत कर सकता है। एक बार जब सामग्री नियंत्रित चैनल के अंदर होती है, तो सिस्टम पूछ सकता है कि क्या इसे डेटा के रूप में माना जाना चाहिए, निर्देशों या दोनों. कई मामलों में, सबसे सुरक्षित उत्तर यह है कि अविश्वसनीय सामग्री को डेटा का इलाज किया जाना चाहिए।
एक अन्य गार्डरेल उत्पत्ति है। सिस्टम को पता होना चाहिए कि संदर्भ का प्रत्येक टुकड़ा कहां से आया हैः सार्वजनिक वेबसाइट, निजी रिपॉजिटरी, उपयोगकर्ता अपलोड, आंतरिक टिकट या तृतीय-पक्ष API। उत्पत्ति वर्कफ़्लो को विभिन्न स्रोतों पर अलग-अलग नियम लागू करने की अनुमति देती है। एक ऐसा स्रोत जो सार्वजनिक और अप्रमाणित हो, उसे ड्राफ्ट के बारे में सूचित करने की इजाजत दी जा सकती है लेकिन धनवापसी ट्रिगर नहीं कर सकता, संदेश भेजने या डेटाबेस संपादित करने की नहीं।
न्यूनतम विशेषाधिकार भी केंद्रीय है. यदि एक एजेंट को किसी प्रश्न का उत्तर देने के लिए स्रोत पढ़ने की आवश्यकता होती है, तो उसे स्वचालित रूप से उस स्रोत को संशोधित करने या असंबंधित प्रणालियों तक पहुंचने के लिए क्रेडेंशियल प्राप्त नहीं करना चाहिए। संकीर्ण अनुमतियां गलत व्याख्या, भ्रामक दस्तावेज़ या समझौता किए गए बाहरी पृष्ठ द्वारा होने वाले नुकसान को कम करती हैं।
कार्रवाई से पहले सत्यापन अंतिम सामान्य नियंत्रण है। इससे पहले कि कोई एजेंट अपरिवर्तनीय या संवेदनशील कदम उठाए, सिस्टम को जांच की आवश्यकता हो सकती हैः मानव अनुमोदन, एक निर्धारात्मक नीति जाँच, सैंडबॉक्स्ड ड्राई रन, या केवल मूल कार्य और प्रस्तावित क्रिया के आधार पर मॉडल से दूसरी समीक्षा। लक्ष्य वास्तविक दुनिया में घटना बनने से पहले जोखिम भरे रास्ते को रोकना है।
एजेंट कार्यप्रवाहों के लिए सलाह कैसे लागू करें
उन टीमों के लिए जो पहले से ही पुनर्प्राप्ति, ब्राउज़िंग या टूल-कॉल एजेंट का उपयोग कर रहे हैं, पोस्ट मॉडल स्वैप की बजाय एक डिज़ाइन समीक्षा का सुझाव देता है। पूछें कि कौन से स्रोत अविश्वसनीय हैं, वे स्रोत क्या कार्रवाई को प्रभावित कर सकते हैं और यदि किसी दस्तावेज़ में छिपे हुए निर्देश शामिल हैं तो क्या होता है। फिर वर्कफ़्लो के प्रत्येक चरण को मैप करें और सीमाओं पर नियंत्रण जोड़ें।
एक सरल पैटर्न फिल्टर चरण के माध्यम से अविश्वसनीय सामग्री चलाना है। फ़िल्टर संदिग्ध निर्देशों को हटा या चिह्नित कर सकता है, टेक्स्ट को छिपाने वाले स्वरूपण को स्ट्रिप करता है, सामग्री को नियंत्रित डेटा प्रारूप में सारांशित करता है या इसे कम-प्राधिकरण context window पर रूट करता है। अगला चरण तब यह तय कर सकते हैं कि क्या सारांश कार्य के लिए पर्याप्त है। यदि कार्य को कार्रवाई की आवश्यकता होती है, तो नीति परत को उपयोगकर्ता के मूल इरादे और सिस्टम के अनुमत संचालन के खिलाफ प्रस्तावित कार्रवाई का मूल्यांकन करना चाहिए।
इस दृष्टिकोण से डिबगिंग और ऑडिटिंग में भी मदद मिलती है। जब कोई एजेंट खराब व्यवहार करता है, तो एक टीम यह पता लगा सकती है कि समस्या पुनर्प्राप्ति, व्याख्या, उपकरण चयन या निष्पादन से आई थी। गार्डरेल के बिना, वे परतें एक साथ मिश्रित होती हैं, और विफलताओं को पुनः पेश करना मुश्किल हो जाता है।
बिल्डरों के लिए शिफ्ट का क्या अर्थ है
व्यापक सबक यह है कि एजेंट सुरक्षा एक कार्यप्रवाह डिजाइन समस्या बन रही है। AI एजेंट प्रश्नों के उत्तर देने से कार्यों को पूरा करने की ओर बढ़ते हैं, सबसे महत्वपूर्ण सुरक्षा परत प्रॉम्प्ट में चेतावनी नहीं है. यह अविश्वसनीय जानकारी और विशेषाधिकार प्राप्त कार्रवाई के बीच सीमा है।
रीडर्स बिल्डिंग एजेंटों के लिए, व्यावहारिक टेकअवे यह मानकर शुरू करना है कि बाहरी सामग्री भ्रामक, अपूर्ण या विरोधाभासी हो सकती है। फिर वास्तुकला को डिजाइन करें ताकि स्रोत पढ़ना स्वचालित रूप से इसका पालन करने का मतलब न हो। वह अंतर AI एजेंट गैर-विश्वसनीय स्रोतों को सुरक्षित रूप से पढ़ने का मूल है।
Comments (0)