LEANGUARD उपकरण का उपयोग करने वाले एजेंटों के लिए दुबला-सत्यापित गार्डरेल प्रदान करता है।
लीनगार्ड LLM एजेंट टूल कॉल को रनटाइम पर लीन4 नीतियों के खिलाफ जांचता है, निषिद्ध कार्यों को अवरुद्ध करता है, प्रॉम्प्ट-इंजेक्शन की सफलता कम कर देता है और मरम्मत में सहायता करता है।
मुख्य जानकारी
- लीनगार्ड Lean4 नीतियों का उपयोग करके रनटाइम पर टूल कॉल की पुष्टि करता है, पर्यावरण तक पहुंचने से पहले निषिद्ध कार्यों को अवरुद्ध कर देता है।
- यह औपचारिक राज्य और इतिहास-जागरूक नियमों का उपयोग करता है, जिसमें विफलता-बंद जांच और LeanLTL शब्दार्थ से जुड़ी एक निर्णय प्रक्रिया होती है।
- रिपोर्ट किए गए परिणाम दिखाते हैं कि यह शून्य निषिद्ध ताऊ-बेंच कॉल निष्पादित करता है और डीटीएपी प्रॉम्प्ट इंजेक्शन सफलता को 57.9% से घटाकर 5.9% कर देता है।
- अस्वीकृत कॉल को फीडबैक या प्रूफ-गाइडेड रिपेयर के माध्यम से संभाला जा सकता है, जो वैध कार्य प्रदर्शन को संरक्षित करते हुए एजेंटों को समायोजित करने में मदद करता है।
मेटा विवरणः लीनगार्ड उपकरण का उपयोग करने वाले भाषा-मॉडल एजेंटों को लीन4 नीतियों के खिलाफ जांचता है, निषिद्ध कॉल को अवरुद्ध करता है और डीटीएपी पर शीघ्र इंजेक्शन की सफलता को कम करता है।
टैगः LeanGuard, Lean4, भाषा-मॉडल एजेंट, टूल कॉल, शीघ्र इंजेक्शन
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक चेकपॉइंट गेट फ़िल्टरिंग टूल का अमूर्त, मैत्रीपूर्ण चित्रण शैली किसी एजेंट से कॉल करता है, कोई वास्तविक व्यक्ति नहीं, कोई लोगो, कोई पाठ नहीं।
लीनगार्ड उन टीमों के लिए है जो भाषा-मॉडल एजेंटों को बाहरी उपकरणों को कॉल करने देते हैं लेकिन कार्यों को रोकने की आवश्यकता होती है, उनकी अपनी डोमेन नीतियां निषिद्ध करती हैं। प्रस्तुत रनटाइम हर प्रस्तावित टूल कॉल को पर्यावरण तक पहुंचने से पहले लीन 4 में लिखी गई नीति के खिलाफ जांचता है। रिपोर्ट किए गए परीक्षणों में, 0.8 बिलियन से 27 अरब रेंज में पांच क्यूवेन मॉडल वाले ताऊ-बेंच पर असुरक्षित एजेंट कम से कम 33 प्रतिबंधित कॉल निष्पादित करते हैं, जबकि लीनगार्ड कोई भी नहीं करता है; डीटीएपी पर यह प्रत्यक्ष प्रॉम्प्ट इंजेक्शन सफलता को 57.9% से घटाकर 5.9% कर देता है।
पॉलिसी गेट क्यों एक संकेत से अधिक रोक सकता है
टूल-उपयोग करने वाले एजेंट अक्सर पाठ संकेतों के माध्यम से निर्णय लेते हैं और फिर बाहरी प्रणालियों को कॉल जारी करते हैं। एक शीघ्र निर्देश किसी मॉडल को कुछ नहीं करने के लिए कह सकता है, लेकिन यह निर्देश प्रवर्तन बिंदु नहीं है। लीनगार्ड चेक को रनटाइम में ले जाता हैः कॉल का मूल्यांकन पर्यावरण तक पहुंचने से पहले किया जाता है।
नीतियां राज्य भविष्यवाणियों को जोड़ती हैं, जो उन शर्तों का वर्णन करती हैं जिन्हें अब रखा जाना चाहिए, स्कोप किए गए पिछले समय के अस्थायी ऑपरेटरों के साथ, जो एक नियम को निष्पादन इतिहास में पहले चरणों का उल्लेख करने देते हैं। यह महत्वपूर्ण है क्योंकि एक कार्रवाई जो अपने आप स्वीकार्य लगती है वह पिछली कार्रवाइयों के बाद असुरक्षित हो सकती है।
मूल्यांकन विफलता-बंद है। यदि रनटाइम यह पुष्टि नहीं कर सकता कि कॉल की अनुमति है, तो वह कॉल को अस्वीकार करता है। निर्णय प्रक्रिया एक लीनएलटीएल सिमेंटिक्स के बराबर साबित होती है, जो चेक को औपचारिक आधार देती है जिस तरह से नीति निष्पादन इतिहास का वर्णन करती है।
कैसे LeanGuard अवरुद्ध कॉल को ठीक करता है
अस्वीकृत कॉल को दो तरीकों से ठीक किया जा सकता है।
प्रतिक्रिया के साथ, एजेंट को उल्लंघन किए गए नियम और एक संकेत प्राप्त होता है। मॉडल फिर एक और कॉल का प्रयास कर सकता है। ताऊ-बेंच परीक्षणों में, फीडबैक कार्य सफलता को महत्वपूर्ण रूप से नहीं बदलता है, लेकिन यह बार-बार अवरुद्ध कॉल को कम करता है और पांच मॉडलों की तुलना में चार के लिए कार्य सफलता बढ़ाता है।
प्रूफ-गाइडेड रिपेयर के साथ, लीन मेटाप्रोग्रामिंग एक आसन्न कॉल की खोज करता है जो उपयोगकर्ता के इरादे को संरक्षित करता है और यह साबित करता है कि नीति इसे मॉडल के बिना स्वीकार करती है। दोहराए गए अस्वीकरणों पर, मरम्मत 2 मिलीसेकंड के मध्य में तर्क मूल्यों के कारण 252 से इनकार करने वाले 88 के लिए अनुमेय संपादन का प्रमाण देती है।
रिपोर्ट किए गए नतीजे क्या दिखाते हैं
ताऊ-बेंच परिणाम गार्ड क्या करता है का सबसे स्पष्ट संकेत है। अनगार्डेड एजेंट कम से कम 33 कॉल निष्पादित करते हैं जो कि लीन नीति निषिद्ध है, जबकि LeanGuard कोई भी निष्पादन नहीं करता है. यह सुझाव देता है कि रनटाइम उन परीक्षणों में प्रतिबंधित कार्यों को ब्लॉक कर सकता है बिना फीडबैक का उपयोग किए जाने पर महत्वपूर्ण रूप से कार्य सफलता को बदलते हुए।
डीटीएपी परिणाम प्रत्यक्ष शीघ्र इंजेक्शन को संबोधित करता है। लीनगार्ड 57.9% से 5.9% तक सफलता कम कर देता है. यह जोखिम को पूरी तरह से नहीं हटाता है, लेकिन यह रिपोर्ट की गई सेटिंग में बहुमत-हमले की सफलता दर को बहुत छोटे में बदल देता है।
दूरसंचार परिणाम उपयोगिता के बारे में एक व्यावहारिक नोट जोड़ता है। उन कार्यों में जहां सौम्य कार्य को लिखने की आवश्यकता नहीं होती है, सौम्य सफलता अपरिवर्तित रहती है। एक उपयोगी गार्ड को सामान्य कार्यों को दंडित किए बिना जोखिम भरे कार्यों को रोकना चाहिए जिनकी उन्हें आवश्यकता नहीं है।
एजेंट बिल्डरों के लिए इसका क्या अर्थ है
एजेंट कार्यप्रवाह बनाने वाले पाठकों के लिए, मुख्य विचार यह है कि टूल कॉल को औपचारिक घटनाओं के रूप में माना जा सकता है जिन्हें पर्यावरण तक पहुंचने से पहले जांचना, अस्वीकार करना या सही किया जाना चाहिए। जो केवल मॉडल निर्देशों पर भरोसा करने से अलग है।
रिपोर्ट की गई संख्या सीमाओं को भी दिखाती है। गार्ड निषिद्ध ताऊ-बेंच कॉल को अवरुद्ध करता है, लेकिन तर्क मूल्यों के कारण 252 में से 88 पर मरम्मत सफल हो जाती है। फीडबैक नंगे इनकार की तुलना में अधिकांश मॉडलों में मदद करता है लेकिन यह टौ-बैंक पर समग्र कार्य सफलता को महत्वपूर्ण रूप से नहीं बदलता है। अगला प्रश्न केवल यह नहीं है कि क्या एक नीति गेट खराब कार्यों को ब्लॉक कर सकता है, बल्कि वैध काम को जारी रखने के लिए कितनी प्रतिक्रिया और मरम्मत की आवश्यकता होती है।

Comments (0)