उपकरण समीक्षाएँ

एजेंटिक गोपनीयता और सुरक्षा में खुले और उभरते मुद्दे: एक संदर्भात्मक परिप्रेक्ष्य

रिपोर्ट AI एजेंट जोखिमों को प्रासंगिक अखंडता के माध्यम से फ्रेम करती है और LLM संचालित नीति इंजन का सुझाव देती है जब कार्रवाई और डेटा प्रवाह उपयुक्त होते हैं।

एजेंटिक गोपनीयता और सुरक्षा में खुले और उभरते मुद्दे: एक संदर्भात्मक परिप्रेक्ष्य

मुख्य जानकारी

  • Google Research विशेषज्ञ कार्यशाला की रिपोर्ट में तर्क दिया गया है कि भरोसेमंद AI एजेंटों को यह आकलन करना चाहिए कि क्या कार्रवाई किसी दिए गए संदर्भ के लिए उपयुक्त हैं, न कि केवल उपयोगकर्ता निर्देशों का पालन करें।
  • एजेंटिक सिस्टम पारंपरिक software की तुलना में सुरक्षित करने के लिए कठिन हैं क्योंकि वे अस्पष्ट प्राकृतिक-भाषा इंटरफेस, संभाव्य LLM नियंत्रण प्रवाह और लंबे समय तक चलने वाले प्रत्यायोजित कार्यों का उपयोग करते हैं जो उपयोगकर्ता पर्यवेक्षण को अभिभूत कर सकते हैं।
  • रिपोर्ट गोपनीयता और सुरक्षा पर लागू होती है, अभिनेताओं के माध्यम से सुरक्षित सूचना प्रवाह को परिभाषित करती है, जानकारी प्रकारों और संचरण सिद्धांतों का विस्तार करते हुए, फिर एजेंट कार्यों के लिए संदर्भात्मक सुरक्षा के लिए विचार बढ़ाता है।
  • यह एक पर्यवेक्षक परत के भीतर गतिशील, मशीन-पठनीय, संदर्भ-निर्भर नीतियों को बनाने के लिए LLMs का उपयोग करने का प्रस्ताव करता है जो उपयोगकर्ता कार्यक्षेत्र छोड़ने से पहले डेटा प्रवाह और कार्यों का मूल्यांकन कर सकता है।
  • अनुशंसित रक्षा बहुस्तरीय हैः गतिशील सैंडबॉक्सिंग, मॉडल-स्तर तर्क, उपयोगकर्ता केंद्रित नियंत्रण, मल्टी-एजेंट गार्डरेल, पारिस्थितिकी तंत्र शासन और स्वायत्त एजेंट सुरक्षा का परीक्षण करने के लिए नए बेंचमार्क।

मेटा विवरणः 50+ विशेषज्ञों के साथ बनाई गई Google Research की नई कार्यशाला रिपोर्ट में बताया गया है कि कैसे प्रासंगिक मानदंड स्वायत्त AI एजेंटों को निजी, सुरक्षित और भरोसेमंद रख सकते हैं।

Open and Emerging Issues in Agentic Privacy and Security: A Contextual Perspective

टैगः AI एजेंट, प्रासंगिक अखंडता,AI गोपनीयता AI, सुरक्षा,Google Research

जो कोई भी अपनी ओर से कार्य करने वाले AI एजेंटों का निर्माण या खरीद करता है और किसी को भी इस बात की चिंता होती है कि वे एजेंट व्यक्तिगत डेटा के साथ क्या कर सकते हैं अब उनके पास काम करने के लिए एक विस्तृत शोध एजेंडा है। 5 अक्टूबर, 2026, Eugene Bagdasarian, a Research Scientist at Google Research, and Marco Gruteser, a Principal Scientist there, ने "ओपन एंड Emergent Problems इन Agentic Privacy और सिक्योरिटीः ए Contextual Angle" शीर्षक वाली एक कार्यशाला रिपोर्ट प्रकाशित की। यह रिपोर्ट 2013 में आयोजित Google Contextual Agent Privacy और सुरक्षा (सीएपीएस) वर्कशॉप से बाहर निकली थी, और 50 से अधिक अकादमिक और उद्योग के नेताओं को इकट्ठा करती है। इसका केंद्रीय तर्क सीधा हैः एक एजेंट जो यह आकलन नहीं कर सकता है कि स्थिति के लिए कार्रवाई उचित है या नहीं, वह विश्वसनीय एजेंट नहीं है।

क्यों उपयोगी एजेंटों को सुरक्षित करना मुश्किल है

रिपोर्ट एक तनाव से शुरू होती है जिसे कोई भी जिसने सहायक को कार्य सौंपा है, वह पहचान लेगा। वास्तव में उपयोगी होने के लिए, एजेंट को अक्सर व्यक्तिगत डेटा तक पहुंच और कई अलग-अलग सेटिंग्स पर परिणामी कार्रवाई करने की क्षमता की आवश्यकता होती है। वही एक्सेस और लचीलापन हैं जो एजेंटों का प्रबंधन करना मुश्किल बनाते हैं।

लेखक तीन तरीकों से एजेंटों को पारंपरिक software से अलग करते हैं। सबसे पहले, वे असंरचित इंटरफेस के माध्यम से काम करते हैं natural प्राकृतिक भाषा, छवियां इसलिए इनपुट अस्पष्ट है और "प्रत्याशित व्यवहार" को परिभाषित करना मुश्किल है, जो त्वरित इंजेक्शन जैसे विरोधी चाल का दरवाजा खोलता है, जहां छिपे हुए निर्देश एक एजेंट की कार्रवाइयों को अपहरण कर लेते हैं। दूसरा, उनका नियंत्रण प्रवाह संभाव्यतावादी हैः क्योंकि large language model (LLM) गतिशील रूप से योजना उत्पन्न करता है, निष्पादन पथ उन तरीकों से भिन्न होते हैं जिन्हें सुरक्षित करने के लिए पारंपरिक परीक्षण विधियों में संघर्ष होता है। तीसरा, एजेंट तेजी से लंबे समय तक कार्य चलाते हैं और अन्य एजेंट्स को उप-कार्य सौंपते हैं, जिससे पारंपरिक उपयोगकर्ता पर्यवेक्षण कम प्रभावी हो जाता है और जोखिम "पुष्टि थकान" जब तक वे ध्यान देना बंद नहीं करते तब तक उपयोगकर्ताओं को रबर-स्टॉप संकेत देता है।

Open and Emerging Issues in Agentic Privacy and Security: A Contextual Perspective

लापता परत के रूप में संदर्भ

इन समस्याओं का उत्तर रिपोर्ट के सिद्धांत से आता है Contextual Integrity (सीआई) गोपनीयता को सरल गुप्तता या उपयोगकर्ता नियंत्रण के रूप में मानने के बजाय, सीआई इसे स्थापित सामाजिक मानदंडों के अनुसार उपयुक्त सूचना प्रवाह के तौर पर परिभाषित करता है। इस ढांचे में एक मानक तीन भागों वाला होता हैः इसमें शामिल अभिनेता (कौन किसके बारे में जानकारी भेज रहा है और प्राप्त कर रहा है), सूचना के प्रकार (चिकित्सा रिकॉर्ड, वित्तीय डेटा आदि), और संचरण सिद्धांत (प्रवाह को नियंत्रित करने वाले नियम जैसे कि गोपनीयता या पारस्परिकता) । क्लासिक उदाहरण: आप खुशी-खुशी उपहार खरीदारी सूची को आभासी शॉपिंग सहायक के साथ साझा कर सकते हैं, लेकिन अपने परिवार और दोस्तों के साथ नहीं।

रिपोर्ट इस विचार का विस्तार सूचना साझा करने से करती है जिसे वह संदर्भात्मक सुरक्षा कहती है - एजेंट के कार्यों की उपयुक्तता, न कि उसके डेटा प्रवाह। लक्ष्य एक ऐसी प्रणाली है जो यह आकलन कर सकती है कि क्या कोई कार्रवाई इसे पूरा करने से पहले स्थिति में फिट बैठती है या नहीं।

मानदंडों और अनुमतियों के बीच की खाई को पाटना

ऐतिहासिक रूप से, उच्च स्तरीय प्रासंगिक मानदंडों और निम्न-स्तरीय सिस्टम अनुमतियों के बीच एक अर्थ संबंधी अंतर रहा है। "एक सम्मेलन के लिए मेरी यात्रा का आयोजन करते समय मेरे डेटा की रक्षा करें" जैसे अनुरोध को फ्लाइट बुक करने, वीजा के लिए आवेदन करने या आयोजकों को ईमेल करने पर क्या साझा किया जा सकता है, इसके बारे में ठोस नियमों में अनुवादित करना होगा। मैन्युअल अनुमतियां और विशेषज्ञ द्वारा लिखित नीतियाँ ऐसी दुनिया तक नहीं पहुंच सकती हैं जहां एजेंट स्वायत्त रूप से कई जटिल, लंबे समय तक चलने वाले कार्यों को चलाते हैं।

रिपोर्ट में तर्क दिया गया है कि LLMs , सीआई विकसित होने के बाद से पहली बार, मशीन-पठनीय नीति उत्पन्न करना संभव बनाता है जो वास्तव में संदर्भ पर निर्भर होता है। यह पर्यवेक्षक परत के भीतर एक प्रासंगिक नीति इंजन की वकालत करता है जो कार्यों की उपयुक्तता को मॉनिटर और लागू करता है। इस इंजन में एक गतिशील नीति पीढ़ी लूप शामिल होगा जो वास्तविक समय में संचालित होता है, उपयोगकर्ता के अनुरोध के लिए नीतियों का अनुकूलन करता है और रनटाइम पर खोजे गए नए टूल और क्षमताओं सहित खुले संदर्भों ताकि किसी भी जानकारी को उपयोगकर्ता के कार्यक्षेत्र छोड़ने से पहले अनुरोधित डेटा प्रवाह का मूल्यांकन किया जा सके।

एक बहुस्तरीय रक्षा

कोई भी एकल फिक्स एजेंटिक गोपनीयता और सुरक्षा को कवर नहीं करता है, इसलिए रिपोर्ट ढेर भर में अवसरों की रूपरेखा तैयार करती हैः

Open and Emerging Issues in Agentic Privacy and Security: A Contextual Perspective
  • सिस्टम-स्तरीय सैंडबॉक्सिंग। एजेंटों के लिए, लेखक गतिशील रूप से सीमित क्षमताओं का पता लगाते हैं, एजेंट की पहचान स्थापित करते हैं और संदर्भ परिवर्तन के रूप में डेटा एक्सेस प्रदान या रद्द करते हैं।
  • मॉडल-स्तरीय तर्क। जटिल कार्यों को संभालने वाले एजेंटों को यह निर्णय लेना चाहिए कि क्या कोई कार्रवाई, जैसे उपयोगकर्ता डेटा साझा करना, उचित है। अनुसंधान से मॉडलों को अंडर-निर्दिष्ट संकेतों को स्पष्ट करने और मानदंडों के परिवर्तन के रूप में उपयुक्तता के बारे में तर्क देने में मदद मिलनी चाहिए।
  • उपयोगकर्ता-केंद्रित नियंत्रण। परिचित "नोटिस एंड चॉइस" फ्रेमवर्क मानता है कि लोग ठीक-ठीक, अनुमानित निर्णय ले सकते हैं। एजेंट व्यवहार संभाव्यतावादी, उच्च मात्रा और जनरेटिव है, इसलिए रिपोर्ट गतिशील, प्रासंगिक, व्यक्तिगत नियंत्रणों की खोज करती है जो उपयोगकर्ताओं को वास्तव में सोचने के तरीके से मेल खाते हैं।
  • बहु-एजेंट इंटरैक्शन। जटिल कार्यों पर सहयोग करने वाले एजेंटों को गार्डरेल की आवश्यकता होती है जो उन्हें सांठगांठ और प्रासंगिक मानदंडों का उल्लंघन करने से रोकते हैं।
  • पारिस्थितिकी तंत्र का शासन। मानदंड विभिन्न क्षेत्रों और संगठनों में भिन्न होते हैं, इसलिए रिपोर्ट मानदण्ड एकत्र करने और साझा करने, संघर्ष को हल करने, परिवर्तन पर बातचीत करने और अनुपालन सत्यापित करने के तंत्र की जांच करती है।

गति में सुरक्षा का परीक्षण

रिपोर्ट में अत्यधिक स्वायत्त, बहु-एजेंट प्रणालियों के लिए उपयुक्त नए मूल्यांकन विधियों का भी आह्वान किया गया है। यह मानकीकृत, मल्टी-एजेन्ट बेंचमार्क dynam गतिशील "पर्यावरणों की आवश्यकता पर प्रकाश डालता है जहां शोधकर्ता लंबे समय तक जटिल, कैस्केडिंग इंटरैक्शन को सुरक्षित रूप से अनुकरण कर सकते हैं। open-source सैंडबॉक्स जैसे लेखक तर्क देते हैं कि अकादमिक और उद्योग गोपनीयता, सुरक्षा और सुरक्षा के लिए एक साझा आधार रेखा देंगे।

पाठकों के लिए इसका क्या अर्थ है

अभी के लिए, रिपोर्ट एक उत्पाद घोषणा की बजाय एक शोध एजेंडा है। यह दावा नहीं करता है कि Google ने प्रासंगिक नीति इंजन को शिप किया है, न ही यह प्रदर्शन संख्या प्रदान करता है। जो वह करता है वह समस्या का नाम स्पष्ट रूप से देता है और दिशा निर्धारित करता हैः एजेंटों को उस संदर्भ के सामाजिक मानदंडों द्वारा प्रतिबंधित किया जाना चाहिए जिसमें वे संचालित होते हैं, और इसे लागू करने के लिए बुनियादी ढांचे को सिस्टम, मॉडल, उपयोगकर्ताओं और व्यापक पारिस्थितिकी तंत्र में फैले रहना चाहिए।

लेखक कार्य के लिए एक कॉल के रूप में काम करते हैं, यह तर्क देते हुए कि किसी भी एकल अनुशासन, संगठन या क्षेत्र के लिए सुरक्षित, सुरक्षित, गोपनीयता-सम्मानित एजेंटिक पारिस्थितिकी तंत्र बहुत बड़ा कार्य है। वे व्यापक शोध समुदाय को आमंत्रित करते हैं अकादमिक, सरकार, नागरिक समाज और उद्योग पूरी तकनीकी रिपोर्ट पढ़ने और योगदान करने के लिए। सह-प्राइमरी लेखक Lillian Tsai का श्रेय, सारा डी हास ने वर्कशॉप और लेखन के समन्वय के लिए, और 50 से अधिक शोधकर्ताओं और भागीदारों के योगदान के साथ, दूसरों के बीच वैचारिक मार्गदर्शन के साथ Kassem Fawaz, Stefan Mellem, Helen Nissenbaum और Nina Taft ।

आज एजेंटों को तैनात करने वाले किसी भी व्यक्ति के लिए, व्यावहारिक सीख यह है कि उपयुक्तता एक डिजाइन आवश्यकता बन रही है, न कि बाद की सोच। रिपोर्ट का ढांचा अब पूछे जाने वाले सवालों का सुझाव देता हैः यह एजेंट किस डेटा को छूता है, कौन और लूप में है, और क्या सिस्टम के पास कोई तरीका है जांचें कि क्या कार्रवाई होने से पहले संदर्भ फिट बैठती है?

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.