हस्ताक्षरित लेकिन निर्देशनीय ऑफ़लाइन retrieval-augmented generation पाठ-वेक्टर अखंडता अंतराल को माप और बंद कर सकता है।
हस्ताक्षरित ऑफ़लाइन LLM पुनर्प्राप्ति पैक छेड़छाड़ किए गए वेक्टरों को छिपा सकते हैं; सहिष्णुता और मार्जिन अंतराल हमलावरों को उत्तरों का संचालन करने देते हैं, जैसा कि Raspberry Pi 5 परीक्षण दिखाते हैं।
मुख्य जानकारी
- हस्ताक्षर सत्यापित कर सकते हैं कि किसने ऑफ़लाइन ज्ञान पैक प्रकाशित किया है, लेकिन वे गारंटी नहीं देते हैं कि इसके संग्रहीत वैक्टर विश्वसनीय रूप से संग्रहित पाठ के साथ मेल खाते हैं।
- यदि embeddings के साथ छेड़छाड़ की जाती है, तो एक स्थानीय RAG प्रणाली को हमलावर-चयनित दस्तावेजों की ओर निर्देशित किया जा सकता है जबकि दृश्य पाठ और हस्ताक्षर अभी भी सामान्य दिखाई देते हैं।
- सत्यापनकर्ता की 'पर्याप्त निकट' सहिष्णुता एक अंधे स्थान का निर्माण कर सकती है: छोटे पुनर्प्राप्ति मार्जिन वाली क्वेरी जांच पास कर सकते हैं लेकिन फिर भी उन्हें पुनः निर्देशित किया जा सकता है, और अत्यधिक ढीली सहनशीलता लगभग सभी प्रश्नों को उजागर करती है।
- Raspberry Pi 5 पर परीक्षण से पता चला है कि इस तरह के हमलों में सही उत्तरों को तेजी से कम किया जा सकता है, 0.75 से 0.39, भले ही ज्ञान पैक हस्ताक्षर-आधारित अखंडता जांच पास करता हो।
- प्रैक्टिकल ऑडिट में सत्यापनकर्ता का ही परीक्षण किया जाना चाहिए, पैक हस्ताक्षर की नहीं क्योंकि सहिष्णुता सेटिंग्स को साइलेंट रिकवरी हमले के रूप में शोषण किया जा सकता है।
मेटा विवरण: एक अध्ययन से पता चलता है कि स्थानीय पुनर्प्राप्ति प्रणालियों के लिए हस्ताक्षरित ज्ञान पैक छेड़छाड़ किए गए वेक्टरों को छिपा सकते हैं; Raspberry Pi 5 परीक्षणों ने सही उत्तरों को 0.75 से 0.39 तक काट दिया।
टैग: ऑफलाइन पुनर्प्राप्ति, हस्ताक्षरित ज्ञान पैक, embedding अखंडता, Raspberry Pi 5, स्थानीय
चित्र: हस्ताक्षरित दस्तावेज़ पैक, वेक्टर तीर और एक छोटे कंप्यूटर बोर्ड का अमूर्त मैत्रीपूर्ण चित्रण; कोई लोग, लोगो या पाठ नहीं।
यह किसके लिए है और क्या पाया गया
ऑफ़लाइन retrieval-augmented generation सिस्टम के बिल्डर्स और ऑडिटरों को एक अध्ययन से ठोस चेतावनी मिलती हैः ज्ञान पैक पर हस्ताक्षर इसके प्रकाशक की पहचान कर सकते हैं, फिर भी यह गारंटी नहीं देता है कि पैकेज के संग्रहीत वेक्टर पैकेट के संग्रहित पाठ का निष्ठापूर्वक प्रतिनिधित्व करते हैं। इस काम में पांच कॉर्पोरेट्स और दो embedding मॉडल का मूल्यांकन किया गया था, और इसमें स्थानीय LLM चलाने वाले Raspberry Pi 5 पर एंड-टू-एंड हमले का भी परीक्षण किया गया।
एक स्थानीय सहायक के लिए, पुनर्प्राप्ति आमतौर पर उपयोगकर्ता की क्वेरी को संख्यात्मक वेक्टर में बदलकर और ज्ञान पैक में पहले से संग्रहीत वैक्टरों के साथ तुलना करके शुरू होती है। यदि उन संग्रहित वेक्टर्स को बदला जाता है, तो सहायक को चुने हुए दस्तावेज़ की ओर निर्देशित किया जा सकता है जबकि दृश्य पाठ और प्रकाशक हस्ताक्षर अभी भी सामान्य दिखाई देते हैं।
हस्ताक्षर पर्याप्त क्यों नहीं हैं
एक हस्ताक्षरित ज्ञान पैक को पाठ और पूर्व-गणना embeddings दोनों के साथ ऑफ़लाइन यात्रा करने के लिए डिज़ाइन किया गया है, इसलिए प्राप्त प्रणाली vector database का पुनर्निर्माण किए बिना खोज कर सकती है। अंतराल प्रकट होता है क्योंकि हस्ताक्षर उस प्रश्न से अलग सवाल का उत्तर दे सकता है जो पुनःप्राप्ति के लिए मायने रखता है। यह दिखा सकता है कि पैक किसने प्रकाशित किया था, लेकिन यह जांच नहीं करता है कि क्या प्रत्येक embedding अभी भी इसके मिलान वाले मार्ग से मेल खाता है।
एक सत्यापनकर्ता इसे हल करने की कोशिश कर सकता है यदि वेक्टरों को पुनः गणना करके और प्रकाशित किए गए मानों को स्वीकार करते हैं, तो कॉसिनस सहिष्णुता का उपयोग करके। अध्ययन मार्जिन कानून के रूप में परिणाम को फ्रेम करता हैः सत्यापक उन प्रश्नों पर छोड़ देता है जिनकी कोणीय पुनर्प्राप्ति सीमा स्वीकृत सहनशीलता से छोटी होती है। सरल शब्दों में, मार्जिन शीर्ष रिकवरी उम्मीदवार और अगले उम्मीदवार के बीच का अंतर होता है। जब वह अंतराल अनुमत संख्यात्मक बहाव से छोटा होता है, तो एक छेड़छाड़ किया गया वेक्टर जांच पास कर सकते हैं और फिर भी रैंकिंग बदल सकते हैं।
मापा गया एक्सपोजर का क्या अर्थ है
रिपोर्ट की गई संख्या से पता चलता है कि हानिरहित शोर के लिए चुना गया सहिष्णुता अभी भी क्वेरी को कमजोर छोड़ सकता है। एक फ्लोटिंग-पॉइंट-शोर सहनशीलता 5.5% तक प्रश्नों को उजागर करती है। जब सटीक डुप्लीकेट दस्तावेजों को बाहर रखा जाता है, तो किसी भी कॉर्पस में एक्सपोजर अधिकतम 1.2% होता है। यह एक छोटा सा हिस्सा है, लेकिन इसका मतलब है कि कुछ प्रश्न हस्ताक्षर तोड़ने के बिना पुनर्निर्देशित किए जा सकते हैं।
एक दूसरा परिणाम अधिक गंभीर है। CPU INT8-FP32 अंतरों से कैलिब्रेट की गई सीमा 98-100% प्रश्नों को उजागर करती है। इससे पता चलता है कि यदि कोई सत्यापनकर्ता पैक द्वारा प्रकाशित वेक्टर और कम-सटीक अनुमान सेटिंग्स के तहत पुनः गणना किए गए वैक्टर के बीच बहुत अधिक भिन्नता स्वीकार करता है तो यह लगभग अप्रभावी हो सकता है।
Raspberry Pi 5 परीक्षण उपयोगकर्ता-स्तरीय प्रभाव को दर्शाता है। इस तरह के हमले के तहत, सही उत्तर 0.75 से 0.39 तक गिर जाते हैं। एक स्थानीय प्रणाली में, यह ज्यादातर विश्वसनीय सहायक से पुनर्प्राप्ति को बदल देता है जो परीक्षण की गई सेटिंग में 0.39 पर सही जवाब देता है, भले ही ज्ञान पैक अभी भी हस्ताक्षर जांच पास कर सकता है।
क्यों बिट-टू-बिट जाँच कठिन है
अध्ययन में उल्लेख किया गया है कि सामान्य फ्लोटिंग-पॉइंट और डायनामिक-आईएनटी8 इन्फरेंस पाइपलाइन बैच आकार या आर्किटेक्चर पर बिट-पुनरुत्पादित नहीं होते हैं। इसलिए एक ही दस्तावेज़ embedding मॉडल को कैसे चलाया जाता है, इसके आधार पर थोड़ा अलग संख्यात्मक वेक्टर उत्पन्न कर सकता है। यदि कोई सत्यापनकर्ता विभिन्न मशीनों पर ईमानदार पैक स्वीकार करना चाहता है तो कुछ सहिष्णुता अपरिहार्य है।
यह एक संकीर्ण डिजाइन समस्या पैदा करता है। सत्यापनकर्ता को सामान्य संख्यात्मक मतभेदों के लिए पर्याप्त बहाव की अनुमति देने की आवश्यकता होती है, लेकिन किसी हमलावर द्वारा पुनर्प्राप्ति में बदलाव करने के लिए अपर्याप्त बहाव नहीं होता है। मार्जिन कानून बताता है कि क्यों एक एकल निश्चित सहिष्णुता विफल हो सकती हैः प्रत्येक क्वेरी का अपना रिकवरी मार्जिन होता है, इसलिए एक ही "निकट पर्याप्त" नियम एक प्रश्न के लिए सुरक्षित और दूसरे के लिए असुरक्षित हो सकता है।
एक संभावित सुधार और पाठकों को क्या देखना चाहिए
लेखकों ने कच्चे वेक्टर निकटता के बजाय क्वांटिसेशन कोड को सत्यापित करने का भी परीक्षण किया। सत्यापनकर्ता द्वारा तय की गई अस्पष्टता, एक कैलिब्रेटेड गार्ड बैंड और कैनोनिकलाइजेशन के साथ, विधि तीन प्लेटफार्मों पर हर ईमानदार वैक्टर को स्वीकार करती है और प्रकाशक को कोई विकल्प नहीं छोड़ती है, पेपर के अनुसार। सीधे शब्दों में कहें तो, सत्यापक संपीड़ित embedding फॉर्म की अधिक सख्ती से जांच करता है, न कि व्यापक "पर्याप्त करीब" रेंज की अनुमति देता है।
एक मजबूत जांच की आवश्यकता सूचकांक परीक्षण में दिखाई देती है। 57,638 दस्तावेजों पर FAISS उत्पाद-क्वांटिसेशन इंडेक्स पर, हेरफेर किए गए वेक्टर जो सभी अखंडता ऑडिट पास करते हैं, हमलावर के दस्तावेज़ को लक्ष्य के 25% के लिए पहले रखते हैं। इसका मतलब है कि पुनर्प्राप्ति आदेश अभी भी हमलावर द्वारा नियंत्रित होने के दौरान एक लेखा परीक्षा संतुष्ट हो सकती है।
कार्य रिपोर्ट करता है कि कोड, डेटा और पूर्व-पंजीकृत नकारात्मक परिणाम, जिसमें निरसन, संदर्भ छंटाई और सिमेंटिक स्क्रीनिंग शामिल हैं, एक डिजिटल ऑब्जेक्ट पहचानकर्ता और स्रोत में प्रदान किए गए GitHub लिंक के साथ खुले हैं। स्थानीय पुनर्प्राप्ति पैक को तैनात करने या लेखा परीक्षा करने वाले किसी भी व्यक्ति के लिए, व्यावहारिक अनुवर्ती सत्यापनकर्ता का परीक्षण करना हैः महत्वपूर्ण सवाल यह नहीं है कि क्या पैक पर हस्ताक्षर किया गया है, लेकिन क्या इसकी सहिष्णुता सेटिंग को मूक पुनः प्राप्ति हमले में बदल दिया जा सकता है।

Comments (0)