चंकिंग विरोधाभासः क्यों RAG पुनर्प्राप्ति शुरू होने से पहले टूट जाता है

मेटा विवरणः जानिए कि जब टुकड़े बहुत छोटे या बड़े होते हैं तो चंकिंग क्यों विफल हो जाता है, और कैसे गोल्डिलॉक्स समस्या आरएजी प्रणालियों में पुनर्प्राप्ति सटीकता को आकार देती है।

टैगः उत्पादन आरएजी, चंकिंग, पुनर्प्राप्ति-वर्धित पीढ़ी, वेक्टर डेटाबेस, अंतर्ग्रहण पाइपलाइन

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> संतुलित टुकड़ों में काटे जा रहे दस्तावेजों के अमूर्त मैत्रीपूर्ण चित्रण, कोई लोग, लोगो या पाठ नहीं।

यह Production RAG चंकिंग गाइड उन इंजीनियरों के लिए है जो उत्पादन-ग्रेड रिट्रीवल- Augmented Generation (आरएजी) सिस्टम का निर्माण करते हैं, जो कंपनी दस्तावेजों से सवालों के जवाब देते हैं। चल रहे Production RAG Series के भाग 4 में कहा गया है कि सटीकता अक्सर एक बड़े भाषा मॉडल LLM को देखने से पहले तय की जाती हैः निगलना के दौरान, जब 500 पृष्ठ वाले कर्मचारी पुस्तिका टुकड़ों में विभाजित होती है। भाग 3 ने तर्क दिया कि असीमित संदर्भ विंडो व्यावहारिक उत्तर नहीं है। कंपनी के प्रलेखन के सैकड़ों पन्नों को फ़ीड करना API लागत बढ़ाता है, क्वेरी विलंबता बढ़ाती है, ध्यान को पतला करता है और लॉस्ट इन द मिडल घटना को उजागर करता है, जहां छिपे हुए तथ्यों को याद किया जाता है। बेहतर नियम केवल विशिष्ट आवश्यक जानकारी प्राप्त करना है।

पाइपलाइन यूजर के पूछने से पहले शुरू होती है

एक उत्पादन प्रणाली में दो पथ होते हैं. पूर्ण प्रवाह डॉक्यूमेंट्स टू चंकिंग, एम्बेडिंग, वेक्टर या Document DB, रिट्रीवल है, फिर LLM Prompt। ऑफ़लाइन सेवन कच्चे स्रोतों से शुरू होता हैः पीडीएफ, विकी, कोडबेस, कॉन्फ्लुएंस, डीबीएस, टिकट। यह पाठ, तालिकाओं, कोड और हेडर को पार्स करता है और साफ करता है; टुकड़े दस्तावेज़; ब्रेडक्रंब, पेज, सोर्स और parent_id के साथ मेटाडेटा को समृद्ध बनाता है; एम्बेड बनाती है, टेक्स्ट को वेक्टर निर्देशांक में परिवर्तित करती है; फिर रिकॉर्ड को ए Vector Database और Document Store में संग्रहीत करती है। ऑनलाइन पथ उपयोगकर्ता प्रश्न को एम्बेडेड करता है, वैक्टर या कीवर्ड रिकवरी चलाता है, टॉप-के मिलान वाले chunks, रेरैंक्स और फ़िल्टर मेटाडाटा देता है, संदर्भ जोड़ता है LLM , और उत्तर का उत्पादन करता है।

एक त्वरित प्रोटोटाइप खराब विभाजन को छिपा सकता है

श्रृंखला एक तीन-पंक्ति की त्वरित शुरुआत की कहानी बताती है। एक टीम नमूना पीडीएफ लोड करती है, chunk_size=1000 और chunk _overlap = 200 के साथ RecursiveCharacterTextSplitter का उपयोग करता है, फिर split_documents (((docs) को बुलाता है। पांच नमूने प्रश्नों में पाँच अच्छे उत्तर मिलते हैं। दो दिन बाद, बॉट से कनेक्ट करने के बाद 50,000 फ़ाइलें 50,000 कर्मचारी नीतियां, SEC वित्तीय फाइलिंग, API प्रलेखन, और वास्तुकला विकी स्लैक रिपोर्ट त्रुटियों. बॉट कहता है कि Q3 राजस्व गिरावट आई 24%, जबकि आधिकारिक कमाई कहती है वैश्विक राजस्व बढ़ गया 24% । यह एक कर्मचारी को बताता है कि वे माता-पिता की छुट्टी के लिए पात्र नहीं हैं और एक अंत बिंदु देता है API जो मौजूद नहीं है। पहली टीम रिलीज़ पर संदेह करती है LLM, GPT-4o-mini से क्लाउड सोननेट तक अपग्रेड करना 3.5 , तापमान सेटिंग 0.0, और पाठ पुनर्निर्माण प्रणाली को चार घंटे बिताना। डेटाबेस को पुनः प्राप्त करने से कुछ भी सही जवाब नहीं मिलता

छोटे-छोटे टुकड़े सच्चे बयानों को अर्धसत्य में बदल सकते हैं

कोई सार्वभौमिक जादुई संख्या नहीं है। 100 टोकन, 500 टोकन,1,000 या 2,000 टोकन का एक टुकड़ा आकार सामग्री के लिए गलत हो सकता है। छोटे-छोटे टुकड़े, जैसे कि 50 टोकन या 1 से 2 वाक्य, कीवर्ड से मेल खा सकते हैं लेकिन संदर्भ को काट सकते हैं। एक पुस्तिका में कहा गया है कि कर्मचारी प्रति वर्ष 20 दिनों की सशुल्क छुट्टी के हकदार हैं, जबकि ठेकेदार और इंटर्न योग्य नहीं हैं। यदि दो हिस्सों में विभाजित किया जाता है, तो पात्र भुगतान अवकाश के लिए एक क्वेरी केवल अवकाश वाक्यांश प्राप्त कर सकती है, जो 99% मैच की तरह दिख सकती है। बॉट तब किसी इंटर्न को बता सकता है कि वे अर्हता प्राप्त करते हैं। यह आधा सच हैः पाठ वास्तविक था, लेकिन खंडकरण ने इसके अपवाद से नियम अलग कर दिया। जोखिम स्थितियों, परिभाषाओं और सर्वनामों पर भी यही लागू होता है। लक्ष्य 400 टोकन वाला कठोर टुकड़ा नहीं है; प्रत्येक इकाई को एक पूर्ण विचार के रूप में अकेले खड़ा होना चाहिए।

बड़े टुकड़े एक केंद्रित प्रश्न को धुंधला कर सकते हैं

ओवरसाइज़्ड टुकड़े विपरीत समस्या पैदा करते हैं। भले ही आधुनिक एम्बेडिंग मॉडल हजारों टोकन को संसाधित कर सकते हैं, एक 2,000-टोकन चॉक स्वचालित रूप से बेहतर नहीं है। एक 2,000 टोकन चैक कार्यालय पार्किंग गेराज परमिट पर 1-500 टोकन कवर कर सकता है, 501-1000 स्वास्थ्य देखभाल और दंत चिकित्सा कवरेज पर,10011500 इंजीनियरों के लिए कुबेरनेट्स क्लस्टर एक्सेस और ग्राहक डिनर व्यय नीतियों और अल्कोहल सीमाओं पर 15012000 । एक एम्बेडिंग मॉडल एक वेक्टर में चैंक को संपीड़ित करता है, उदाहरण के लिए 768 या 1,536 संख्याएं। कई ट्रांसफार्मर एंबेडिंग मॉडलों का उपयोग करें Mean Pooling, औसतन टोकन वैक्टर। तब वेक्टर लगभग चार विषयों का प्रतिनिधित्व करता है 25% और प्रत्येक टोकन बजट बर्बाद हो जाता है। किसी क्लाइंट के लिए अधिकतम खाद्य खर्च के बारे में १२-टोकेन प्रश्न केंद्रित होता है। विशाल प्रतीकात्मक चिह्न कम मिल सकता है Cosine Similarity, जैसे कि 75% क्योंकि वेक्टर पार्किंग क्लस्टर्स की ओर खींचता

गोल्डिलॉक्स प्रश्न और टोकन-चरित्र जाल

व्यावहारिक लक्ष्य सबसे छोटी पाठ इकाई है जो पुनर्प्राप्ति कार्य के लिए पर्याप्त स्व-निहित अर्थ को संरक्षित करती है। chunk_size = 500 सेट करने से पहले, पूछें कि स्प्लिटर क्या गिन रहा है। वर्ण टोकन नहीं हैं। एक रिकर्सिव कैरेक्टरटेक्स्टस्प्लेटर चरित्र गणना पर काम कर सकता है, जबकि एम्बेडिंग मॉडल और प्रॉम्प्ट बजट टोकन का उपयोग करते हैं, इसलिए 500 की सेटिंग का मतलब 500 टोकन भी नहीं हो सकता है। भाग 5 में उन्नत चंकिंग आर्किटेक्चर शामिल होंगे: Bounded Semantic Chunking, माता-पिता-Document Retrieval, ब्रेडक्रंब्स और एंथ्रोपिक Contextual Retrieval. पाठकों के लिए, टेकऑवे ठोस हैः ट्यूनिंग मॉडलों से पहले टुकड़े ऑडिट करें। एक खराब कटौती गलत उत्तर को प्रशंसनीय बना सकती है, भले ही LLM भ्रम न हो।