क्या टेक्स्ट embeddings पाठ को पूरी तरह से पकड़ सकता है?

विशेष रुप से प्रदर्शित छवि: वेक्टर संख्याओं का अमूर्त मैत्रीपूर्ण चित्रण जो पठनीय वाक्यों में बहता है, कोई वास्तविक व्यक्ति नहीं, कोई लोगो नहीं, न ही पाठ।

मेटा विवरण: एक vec2text अध्ययन से पता चलता है कि पाठ एम्बेडिंग मूल वाक्यों को प्रकट कर सकता है, 32-टोकन अनुक्रमों का 92 प्रतिशत पुनर्प्राप्त करता है और वेक्टर डेटाबेस गोपनीयता प्रश्न उठाता है।

टैगः वेक्टर डेटाबेस, एम्बेडिंग, RAG, गोपनीयता, vec2text

वेक्टर डेटाबेस का उपयोग करने वाले डेवलपर्स, सुरक्षा टीमों और व्यवसायों के लिए, ईएमएनएलपी 2023 में प्रस्तुत एक vec2text अध्ययन एक व्यावहारिक चेतावनी देता हैः Retrieval Augmented Generation (आरएजी) सिस्टम के पीछे की संख्या मूल पाठ को छिपा नहीं सकती है जैसा कि कई लोग मानते हैं। पेपर Text Embeddings Reveal एसाट अस टेक्स्ट में, लेखकों ने एक विधि का वर्णन किया जिसे वैक 2टेक्स्ट कहा जाता है जिसने 32 टोकन अनुक्रमों के 92% ठीक से बरामद किए और 50 चरणों के बाद 97 के ब्लू स्कोर पर पहुंच गए। यह इसलिए महत्वपूर्ण है क्योंकि कई AI उत्पाद दस्तावेजों के बजाय एम्बेड स्टोर करते हैं और उन एम्बेडेड को अपारदर्शी बनाते हैं ताकि गोपनीयता आसान हो सके।

वेक्टर डेटाबेस बढ़ी क्योंकि RAG हर जगह एम्बेडिंग बनाया

जनरेटिव AI के तेजी से उदय ने कई कंपनियों को ऐसे सिस्टम बनाने के लिए प्रेरित किया जो अपने स्वयं के दस्तावेज़ संग्रहों से सवालों का जवाब देते हैं। एक आम और सस्ता शुरुआती बिंदु आरएजी है, जो कि पेपर रिट्रीवल-Augmented Generation फॉर नॉलेज -Intensive NLP Tasks से जुड़ा हुआ दृष्टिकोण है। एक विशिष्ट सेटअप में, दस्तावेज डेटाबेस में संग्रहीत किए जाते हैं, सिस्टम उपयोगकर्ता के प्रश्न के लिए सबसे अधिक प्रासंगिक लोगों को पुनर्प्राप्त करता है, और एक भाषा मॉडल पुनः प्राप्त पाठ द्वारा सूचित उत्तर उत्पन्न करता है।

RAG में प्रासंगिकता आमतौर पर एम्बेडिंग द्वारा निर्धारित की जाती है, एक एम्बेड मॉडल द्वारा उत्पादित वेक्टर प्रतिनिधित्व। काम करने वाली धारणा यह है कि संबंधित दस्तावेज एम्बेडेड स्पेस में करीब होना चाहिए, इसलिए संख्याओं में समानता अर्थ में समानता के लिए खड़ी हो सकती है। जैसे-जैसे आरएजी आम हो गया, वैक्टर डेटाबेस बड़ी संख्या में एम्बेड्स को संग्रहीत और खोजने के लिए डिज़ाइन किए गए टूल के नए वर्ग के रूप में उभरे। एम्बेडिग सर्च को आसान बनाने का दावा करने वाले स्टार्टअप्स ने सैकड़ों मिलियन डॉलर का फंडिंग आकर्षित किया, और कई नए अनुप्रयोगों ने भंडारण के लिए पाठ को वैक्टर में परिवर्तित करना शुरू कर दिया।

एक सॉफ़्टवेयर इंजीनियर जो RAG प्रणाली का निर्माण कर रहा है, वह देख सकता है कि डेटाबेस में स्वयं पाठ नहीं होता। इसमें एम्बेडिंग वेक्टर होते हैं, जो यादृच्छिक प्रतीत होने वाली संख्याओं की पंक्तियों की तरह दिख सकते हैं। मूल पाठ को गोपनीयता नीति द्वारा संरक्षित किया जा सकता है, लेकिन सिस्टम उसी पठनीय रूप में डेटाबेस प्रदाता को पाठ नहीं भेजता है। इससे एक सवाल उठता हैः यदि एम्बेडमेंट यादृच्छापूर्ण लगते हैं, तो क्या उन्हें अभी भी वापस टेक्स्ट में बदल दिया जा सकेगा?

एम्बेडिंग संख्या यादृच्छिक लगती है, लेकिन वे सीमाएं ले जाते हैं

एम्बेडिंग को मानव-पठनीय होने के लिए डिज़ाइन नहीं किया गया है। सिमेंटिक समानता की आवश्यकता से परे, यह कहने का कोई निश्चित नियम नहीं है कि किसी दिए गए टेक्स्ट इनपुट को कौन सा एम्बेड करना चाहिए। एक एंबेडिंग वेक्टर के अंदर संख्याएं उनके आरंभकरण के आधार पर भिन्न हो सकती हैं, और लोग एम्बेडेशन के बीच समानता की व्याख्या कर सकते हैं बिना उनमें मौजूद व्यक्तिगत नंबरों को समझे।

एक तंत्रिका एम्बेडिंग मॉडल इनपुट के रूप में पाठ लेता है और खोज के लिए एक एम्बेड वेक्टर का उत्पादन करता है। टेक्स्ट एम्बेड्स न्यूरल नेटवर्क के आउटपुट होते हैं, जो गैर-रैखिक कार्यों द्वारा जुड़े मैट्रिक्स गुणन के अनुक्रमों से बनाए जाते हैं। पारंपरिक टेक्स्ट प्रोसेसिंग न्यूरल नेटवर्क्स में, एक स्ट्रिंग को टोकन वैक्टर में विभाजित किया जाता है जो दोहराए गए गैर-रेखीय संचालन से गुजरते हैं। आउटपुट परत पर, टोकन को एकल एम्बेडेशन वेक्टर में औसत कर दिया जाता है।

सिग्नल प्रोसेसिंग के एक सिद्धांत को डेटा प्रोसेसਿੰਗ असमानता कहा जाता है, जिसमें फ़ंक्शंस इनपुट में जानकारी नहीं जोड़ सकते हैं; वे केवल पहले से मौजूद जानकारी को बनाए रख या कम कर सकते हैं। भले ही तंत्रिका नेटवर्क की गहरी परतें उच्च-स्तरीय प्रतिनिधित्व बनाने के लिए दिखाई दे सकती हैं, लेकिन वे दुनिया के बारे में नई जानकारी नहीं डाल रही हैं जो इनपुट से नहीं आई थीं। गैर-रैखिक परतें भी कुछ सूचनाओं को नष्ट करती हैं। एक सामान्य गैर-रेखीय परत, ReLU, बस नकारात्मक इनपुट को शून्य पर सेट करता है। ऐसी कई परतों के बाद, एक विशिष्ट टेक्स्ट एम्बेडिंग मॉडल मूल पाठ का हर विवरण बरकरार नहीं रख सकता है।

यह प्रश्न मशीन लर्निंग में नया नहीं है। कंप्यूटर विजन में, शोधकर्ताओं ने दिखाया है कि कभी-कभी गहरे प्रतिनिधित्व को उलटा किया जा सकता है। दोसोविट्स्की से जुड़े 2016 के परिणाम से पता चला कि छवियों को मूल इनपुट के धुंधले लेकिन समान संस्करणों का उत्पादन करते हुए गहन संक्षारक तंत्रिका नेटवर्क के फीचर आउटपुट से पुनर्प्राप्त किया जा सकेगा। Discriminatively Trained Classifiers के Feedforward Inversion के माध्यम से Understanding Invariance में वर्णित कार्य से पता चलता है कि इन्वर्शन मॉडल इमेजनेट क्लासिफायर के केवल 1000 संभाव्यता आउटपुट दिए गए चित्रों का पुनर्गठन कर सकते हैं, जिनमें से अधिकांश 0.0 के करीब हैं।

Vec2text एक छोटे वेक्टर उदाहरण को पठनीय पाठ में परिवर्तित करता है

यह एक खिलौना सेटिंग के साथ शुरू होता है: टेक्स्ट इनपुट 32 टोकन, लगभग 25 शब्दों तक सीमित हैं और 768 फ्लोटिंग-पॉइंट नंबरों के वैक्टर में एम्बेडेड हैं। 32-बिट परिशुद्धता पर, पेपर का उदाहरण इन एम्बेडिंग को 32 * 768 = 24,576 बिट्स या लगभग 3 किलोबाइट्स के रूप में वर्णित करता है। सवाल यह है कि क्या उस वेक्टर से पाठ को पूरी तरह से पुनर्निर्माण किया जा सकता है?

सफलता का आकलन करने के लिए, पेपर सटीक मिलान का उपयोग करता है, जो पूछता है कि कितनी बार पुनर्प्राप्त पाठ इनपुट के समान होता है। यह नोट करता है कि कोई भी पूर्ववर्ती प्रतिस्थापन विधियों को सटीक मैच पर सफलता नहीं मिली थी, जिससे यह एक महत्वाकांक्षी लक्ष्य बन गया था। यह BLEU स्कोर का भी उपयोग करता हैं, एक समानता उपाय जिसे लगभग प्रतिशत के रूप में सोचा जा सकता है कि उलटा पाठ मूल के कितने करीब है।

पहला दृष्टिकोण सीधा हैः एम्बेडिंग-टेक्स्ट जोड़ों का एक बड़ा डेटासेट इकट्ठा करें और इनपुट के रूप में एम्बेड किए गए पाठ को आउटपुट करने के लिए एक मॉडल को प्रशिक्षित करें। पिछले काम में केवल डिकोडर वास्तुकला का उपयोग किया गया था, जो कि एम्बैडिंग को उपसर्ग के तौर पर इनपुट करता है। पेपर ने शुरू में एन्कोडर साइड पर अपस्केल वाले वाक्य एम्बेडेशन पर कंडीशंड एनकोडर-डीकोडर मॉडल को प्रशिक्षण दिया। यह पहला मॉडल लगभग 30/100 के BLEU स्कोर तक पहुंच गया। व्यवहार में, यह इनपुट का विषय अनुमान लगा सकता है और कुछ शब्दों को पुनर्प्राप्त कर सकता है, लेकिन यह उनका क्रम खो देता है और अक्सर ज्यादातर गलत शब्द प्राप्त होते हैं। सटीक मिलान स्कोर शून्य के करीब होता है। कागज बताता है कि एक मॉडल से दूसरे मॉडल के आउटपुट को रिवर्स करना मुश्किल है, जटिल जनरेशन कार्यों की तुलना में जैसे सही सोनेट या कई विशेषताओं को संतुष्ट करना।

एक बाद के वास्तुकला परिवर्तन ने अंतर किया। अंतिम विधि में अपस्केल परिकल्पना एम्बेडिंग के साथ-साथ एक अतिरिक्त अनुमान पाठ शामिल है। जब मॉडल टेक्स्ट उत्पन्न करता है, तो शोधकर्ताओं ने उस परिकલ્પना को फिर से सम्मिलित कर दिया और इसकी तुलना सच्चे एम्बेडमेंट से की। कॉसिन समानता लगभग 0.97 थी, जिसका अर्थ है कि जेनरेट किए गए पाठ एम्बेडेड स्पेस में करीब थे लेकिन मूल पाठ के समान नहीं थे। यदि एंबेडिंग मॉडल हानिकारक था और उसी आउटपुट में कई अलग-अलग इनपुट मैप करते हैं, तो सटीक पुनर्निर्माण असंभव होगा क्योंकि सिस्टम यह नहीं बता सकता था कि कौन सा अनुक्रम एम्बेडन का उत्पादन करता है। व्यवहार में, पेपर कहता है कि इसने इन टकरावों का निरीक्षण नहीं किया।

उस अवलोकन ने vec2text का नेतृत्व किया। विधि को एक प्रकार के सीखे गए अनुकूलन के रूप में वर्णित किया गया है। ग्राउंड-सत्य एम्बेडिंग, वर्तमान परिकल्पना पाठ और एम्बेड स्पेस में परिकલ્પना की स्थिति को देखते हुए, एक सुधारक मॉडल सच्चे पाठ के करीब एक नए टेक्स्ट अनुक्रम की भविष्यवाणी करता है। सिस्टम पुनरावर्ती रूप से अनुमानों को उत्पन्न करता है, उन्हें फिर से सम्मिलित करता है और उन्हें इनपुट के तौर पर वापस खिलाता है। सुधार का एक ही पास BLEU स्कोर 30 से बढ़ाकर 50 कर देता है। 50 चरणों और कुछ चालों के साथ, विधि 92% 32-टोकन अनुक्रमों को ठीक करती है और 97 के ब्ल्यू स्कोर तक पहुंच जाती है। पेपर बताता है कि 97 के बीएलईयू स्कोर का मतलब आमतौर पर लगभग सही पुनर्निर्माण होता है, शायद कुछ विराम चिह्न गलत जगह पर होते हैं।

आरएजी बिल्डरों के लिए इसका क्या अर्थ है और यह अभी भी स्पष्ट नहीं है

आरएजी सिस्टम बनाने वाली टीमों के लिए, परिणाम बदलता है कि एम्बेडिंग को कैसे देखा जाना चाहिए। एक एम्बेड करना सिर्फ एक हानिरहित खोज कुंजी नहीं है। यदि डेटाबेस का उल्लंघन किया जाता है, या यदि कोई सेवा प्रदाता एम्बेडेड तक पहुंच सकता है और इन्वर्शन तकनीकों को लागू कर सकता है, तो संग्रहीत वेक्टर कुछ मामलों में मूल पाठ प्रकट कर सकते हैं। पेपर का सबसे मजबूत परिणाम 32-टोकन अनुक्रम के लिए है, इसलिए यह दावा नहीं करता है कि हर लंबे दस्तावेज़ को उसी विश्वसनीयता के साथ फिर से बनाया जा सकता है।

कई प्रश्न खुले रहते हैं। क्योंकि एक एम्बेडिंग वेक्टर में बिट्स की निश्चित संख्या होती है, इसलिए एक बिंदु होना चाहिए जहां टेक्स्ट लंबाई उस से अधिक हो जो वेक्टर पूरी तरह से संरक्षित कर सकता है। पेपर नोट करता है कि कुछ एंबेडिंग मॉडल हजारों टोकन तक दस्तावेजों को एम्बेड कर सकते हैं, और यह भविष्य के कामों का विश्लेषण करने के लिए पाठ की लंबाई, एम्बेडेड आकार, और सम्मिलित प्रतिवर्तीता के बीच संबंध छोड़ देता है। एक अन्य खुला सवाल रक्षा हैः क्या एम्बैडिंग मॉडलों को डिज़ाइन किया जा सकता है ताकि उन्हें उत्पन्न किए गए पाठ को अस्पष्ट करते हुए खोज के लिए उपयोगी बने रहें?

विधि स्वयं पाठ तक सीमित नहीं है. vec2text के पीछे मूल विचार एम्बेडिंग स्पेस में पुनरावर्ती अनुकूलन है, और पेपर कहता है कि यह टेक्स्ट-विशिष्ट चालें का उपयोग नहीं करता है। इससे पता चलता है कि इसी तरह की वसूली समस्याओं का अध्ययन अन्य तरीकों से किया जा सकता है, जब तक कि सिस्टम को एम्बेड करने वाले मॉडल तक ब्लैक-बॉक्स एक्सेस हो। अभी के लिए, आरएजी उपयोगकर्ताओं के लिए सबसे स्पष्ट सबक सरल हैः एम्बेडेशन यादृच्छिक लग सकते हैं, लेकिन वे स्वचालित रूप से सुरक्षित नहीं हैं।