उन्नत retrieval-augmented generation चंकिंग में पदानुक्रमित, सिमेंटिक और प्रासंगिक पुनर्प्राप्ति शामिल है।

यदि आप वास्तविक दुनिया के दस्तावेजों पर एक पुनर्प्राप्ति-Augmented Generation ( RAG ) प्रणाली का निर्माण कर रहे हैं, तो यह लेख बताता है कि आधार रेखा खंडित क्यों टूट जाती है और इसे ठीक करने के लिए उन्नत आर्किटेक्चर क्या करते हैं।

क्यों बेसलाइन चंकिंग एक दीवार को हिट करता है

इस श्रृंखला के भाग 4 में इनजेक्शन पाइपलाइन मूल बातें शामिल थीं: ओवरलैप के साथ पुनरावर्ती चरित्र विभाजन, कोड और तालिकाओं के लिए संरचना-जागरूक विभाजन, और क्यों e5-बेस जैसे मॉडल चुपचाप 512 tokens से परे पाठ को काटते हैं। ये दृष्टिकोण तब काम करते हैं जब दस्तावेजों में स्वच्छ पैराग्राफ और स्पष्ट मार्कडाउन शीर्षक होते हैं।

उत्पादन डेटा शायद ही कभी सहयोग करता है। एक 90-मिनट की मीटिंग ट्रांसक्रिप्ट में कोई शीर्षक नहीं होता है और वक्ताओं को चेतावनी के बिना विषयों पर कूदना पड़ता है। इस बीच, वेक्टर खोज को सटीकता के लिए छोटे 150- token स्निपेट्स की आवश्यकता हो सकती है, जबकि LLM को महत्वपूर्ण चेतावनियों को याद किए बिना सुरक्षित रूप से जवाब देने के लिए पूरी दो-पृष्ठ नीति की आवश्यकता होती है। मुख्य तनावः खोज छोटे टुकड़े चाहता है, पीढ़ी बड़े संदर्भ चाहती है।

रणनीति 4: कठोर सीमाओं के साथ सिमेंटिक चंकिंग

फिक्स्ड-साइज़ स्प्लिटर्स वर्णों की गिनती करते हैं - वे यह पता नहीं लगा सकते कि एक बातचीत ने अचानक विषय बदल दिया है। सिमेंटिक चंकिंग इसके बजाय लगातार वाक्यों के अर्थ का विश्लेषण करता है।

तंत्र चार चरणों में काम करता है। सबसे पहले, दस्तावेज़ को अलग-अलग वाक्यों में तोड़ दें। दूसरा, प्रत्येक वाक्य के लिए एक embedding वेक्टर उत्पन्न करें। तीसरा, वाक्य i और वाक्य i + 1 के बीच कॉसिनस दूरी की गणना करें। चौथा, जब वह दूरी एक सीमा से ऊपर पहुंच जाती है, तो एक नया टुकड़ा बॉर्डर डालें।

एक अव्यवस्थित कार्यकारी रणनीति सत्र प्रतिलेख पर विचार करें। तीन AWS क्षेत्रों में लगभग Kubernetes समूहों के बारे में वाक्य, श्रमिक नोड्स CPU लोड पर स्केलिंग करते हैं, और पॉड व्यवधान बजट सभी वेक्टर स्पेस 0.10 से 0.12 तक की दूरी में एक साथ बैठते हैं। फिर कोई कहता हैः "वैसे, हमारी यात्रा व्यय नीति रात्रिभोज को $75 तक कवर करती है।" दूरी 0.85 तक कूद जाती है। वह स्पाइक कटौती को ट्रिगर करता है।

भागने वाला टुकड़ा और सूक्ष्म-टुकड़ा

असीमित सिमेंटिक चंकिंग दो कारणों से उत्पादन में खतरनाक है।

भागने वाला टुकड़ा: यदि कोई वकील "Proprietary Rights पर छह पृष्ठ लिखता है & Intellectual Property," प्रत्येक वाक्य अर्थशास्त्र से संबंधित है. दूरी कभी भी स्पाइक्स नहीं होती। आकार की सीमा के बिना, सिस्टम एक एकल 4,000- token राक्षस टुकड़ा पैदा करता है जो embedding मॉडल सीमा को पार कर जाता है और गंभीर सिमेंटिक धुंधलापन का कारण बनता है।

सूक्ष्म-टुकड़ा: एक त्वरित स्लैक संवाद या customer support चैट में, लोग हर वाक्य पर विषयों को छोड़ देते हैं. प्रत्येक पंक्ति पर दूरी बढ़ जाती है, 15- token बेकार टुकड़े बनाते हुए।

फिक्सः बाउंड सिमेंटिक चंकिंग

उत्पादन प्रणालियां हार्ड साइज गार्डरेल्स के साथ सांख्यिकीय सीमाओं को जोड़ती हैं। एक विशिष्ट कॉन्फ़िगरेशन प्रतिशत-आधारित ब्रेकपॉइंट थ्रेसहोल्ड (दस्तावेज़ में दूरी स्पाइक्स का 90 वाँ या 95 वां प्रतिशत), 100 tokens का न्यूनतम टुकड़ा आकार, और अधिकतम 500 tokens . केवल शीर्ष 5% 10% 10% विषय सबसे बड़ी शिफ्ट कटौती ट्रिगर करती है। सिमेंटिक मॉडल यह तय करता है कि विषय स्वाभाविक रूप से कहां बदलते हैं; मिन और मैक्स लिमिट इसे माइक्रो-चुनक्स या भगोड़े दिग्गजों बनाने से रोकते हैं।

रणनीति 5: मूल-दस्तावेज पुनर्प्राप्ति

मूल-दस्तावेज पुनर्प्राप्ति (जिसे छोटे से बड़े तक की पुनःप्राप्ति भी कहा जाता है) खोज इकाई को पीढ़ी इकाई से अलग करती है। यह एंटरप्राइज़ RAG में सबसे शक्तिशाली वास्तुशिल्प पैटर्नों में से एक है।

समानता: एक विश्वविद्यालय पुस्तकालय में, आप कैटलॉग सूचकांक कार्ड की खोज करते हैं, जिसमें JUST शीर्षक, विषय और कॉल नंबर होता है। एक बार जब लाइब्रेरियन को कार्ड मिल जाता है, तो वे आपको पढ़ने के लिए कार्ड नहीं देते - वे आपको शेल्फ पर ले जाते हैं और आपको पुस्तक का पूरा अध्याय सौंपते हैं।

व्यवहार में, आप PostgreSQL , Redis या S3 जैसे दस्तावेज़ स्टोर में एक माता-पिता का टुकड़ा (लगभग 1,000 tokens या पूर्ण अनुभाग) संग्रहीत करते हैं। आप उस पिता को छोटे बच्चे के टुकड़ों (120 150 150 प्रत्येक tokens ) में स्लाइस करते हैं और केवल बच्चों को अपने vector database में एम्बेड करते हैं. प्रत्येक बच्चा अपने माता- पिता से वापस लिंक करने वाला एक 'परेंट_आईडी' रखता है।

A walkthrough : द $8,400 सरप्राइज बिल

मान लीजिए कि एक कर्मचारी पुस्तिका के पृष्ठ 18 में अनुभाग 4.3 पर है & इसके चार उपखंड हैंः प्रति सत्र $20 सह-भुगतान के साथ इन-नेटवर्क कवरेज, शून्य कटौती योग्य और असीमित वार्षिक सत्र; एक वार्षिक $500 कटौती के बाद Standard Allowed Amount की आउट-ऑफ-नेटवर्किंग कवरेज वापसी; 10 से अधिक किसी भी सत्र के लिए महत्वपूर्ण 10-सत्र पूर्व प्राधिकरण नियम Form MH-201 की आवश्यकता होती है, जिसमें अप्रमाणित सत्र पूरी तरह से मना कर दिए जाते हैं; और 60 दिनों के भीतर एक सूचीबद्ध सुपरबिल की आवश्यकता वाले दावा नियम।

आप पूरे अनुभाग 4.3 (लगभग 900 tokens ) को `parent_id = "Parent_benefit_4_3"') के तहत एक मूल खंड के रूप में संग्रहीत करते हैं। आप इसे तीन बाल टुकड़ों में काटते हैं और केवल उन्हें एम्बेड करते हैं.

एक कर्मचारी आंतरिक chatbot से पूछता हैः "मैं एक निजी चिकित्सक को देखना चाहता हूं जो पूरे वर्ष के लिए हमारा बीमा साप्ताहिक नहीं लेता है। मुझे कितनी प्रतिपूर्ति की जाएगी?" वाक्यांश "सभी साल के लिए सप्ताह में" 52 सत्रों का तात्पर्य करता है।

वेक्टर खोज बच्चे 2 (आउट-ऑफ-नेटवर्क प्रतिपूर्ति और कटौती योग्य) को एक 0.93 समानता स्कोर के साथ मेल खाती है। यदि सिस्टम केवल चाइल्ड 2 को LLM में भेजता है, तो उत्तर हैः "आपको अपने $500 कटौती के बाद 70% पुनर्भुगतान प्राप्त होगा!" कुछ भी आविष्कार नहीं किया गया हैलेकिन यह एक विनाशकारी आधा सच है। कर्मचारी पुस्तकें 52 सत्रों की कुल राशि $10,400. 1 से 10 तक के सत्र वापस कर दिए जाते हैं। 11 से 52 सत्र अस्वीकार कर दिए गए क्योंकि किसी ने उल्लेख नहीं किया था Form MH-201। कर्मचारी $8,400 आश्चर्यचकित बिल के साथ फंस जाता है।

वेक्टर सर्च ने चाइल्ड 3 को क्यों नहीं निकाला? क्योंकि कर्मचारी ने "रिफंड" के लिए खोज की, न कि "क्लिनिकल ऑथराइजेशन"। 50,000 टुकड़ों के डेटाबेस में, चाईल्ड 3 कम स्कोर किया और पीछे रह गया।

माता-पिता-बच्चे के पुनर्प्राप्ति के तहत, बच्चा 2 खोज जीतता है, कोड अपने `parent_id` को पढ़ता है , PostgreSQL से पूर्ण 900- token माता पिता को प्राप्त करता है और इसे LLM में पास करता है। अब मॉडल 70% दर और 10-सत्र नियम को एक साथ देखता है। सर्च ने सुई पाई; हेनस्टैक के प्रासंगिक भाग का उपयोग करके उत्तर दिया गया।

भंडारण कार्यान्वयन भिन्न होते हैं. आपको दो अलग-अलग भौतिक डेटाबेस की आवश्यकता नहीं है, आप वैचारिक रूप से एक खोज योग्य बाल प्रतिनिधित्व और पुनर्प्राप्त करने योग्य मूल दस्तावेज़ बनाए रखते हैं।

Breadcrumb Metadata

algorithms को विभाजित करने के अलावा, मेटाडेटा संवर्धन वह है जहां उत्पादन पाइपलाइन लाभ उठाते हैं। सबसे सरल और सस्ता रूप ब्रेडक्रंब्स है।

समस्या अस्पष्ट अनाथ टुकड़ा है। एक पार्सर 200-पृष्ठ कर्मचारी पुस्तिका से इसे निकालता हैः "अनुरोधों को फॉर्म 104-बी का उपयोग करके कम से कम दो सप्ताह पहले प्रस्तुत किया जाना चाहिए। देर से सबमिशन संसाधित नहीं किए जाएंगे"।

एक कर्मचारी पूछता है: "मुझे पितृत्व अवकाश के लिए अपना अनुरोध कब प्रस्तुत करना चाहिए?" खंड "अनुरोधों" पर मेल खाता है। लेकिन फॉर्म 104-बी वास्तव में क्या है? पितृत्व छुट्टी, छुट्टियां, नए laptop का आदेश देना , या सम्मेलन कक्ष बुक करना? अनुभाग शीर्षक तीन पृष्ठ पहले दिखाई दिया था, और यह टुकड़ा इसे खो गया।

ब्रेडक्रंब दस्तावेज़ के पदानुक्रमित पथ को प्रत्येक टुकड़े से जोड़ते हैं "[उदाहरण के लिए, "Employee Handbook > Leave Policies > Paternity Leave > Submission Requirements" यह प्रत्येक खंड को इसका संगठनात्मक GPS देता है, इसलिए पुनर्प्राप्ति अन्यथा समान पाठ को स्पष्ट कर सकती है।

आपके पाइपलाइन के लिए इसका क्या अर्थ है

इस श्रृंखला में प्रगति जानबूझकर की जाती है। आधार रेखा विभाजन आपको एक कामकाजी प्रोटोटाइप प्राप्त करता है। बाउंड सिमेंटिक चंकिंग गन्दा प्रतिलेखों और शीर्षक-मुक्त दस्तावेजों को संभालता है। मूल दस्तावेज़ पुनर्प्राप्ति खोज-सटीक बनाम पीढ़ी-परिप्रेक्ष्य संघर्ष को हल करती है। ब्रेडक्रंब उस संरचनात्मक संदर्भ को बहाल करते हैं जिसे पार्सर दूर कर देते हैं। Anthropic का प्रासंगिक पुनःप्राप्ती embedding से पहले खंड-विशिष्ट संदर्भ के पूर्ववर्ती द्वारा उसी विचार का विस्तार करता है.

वास्तविक कॉर्पोरेट डेटा पर निर्माण करने वाली टीमों के लिए, व्यावहारिक टेकअवे यह है कि चंकिंग रणनीति आपकी RAG प्रणाली को सही ढंग से जवाब देने की सीमा निर्धारित करती है। $8,400 उदाहरण एक काल्पनिक किनारे वाला मामला नहीं है - यह नीति दस्तावेजों पर भोली पुनर्प्राप्ति का सामान्य विफलता मोड है। आप जो खोज करते हैं उसे मॉडल में फ़ीड करने से अलग करना एकल उच्चतम लीवरेज परिवर्तन है जिसे अधिकांश पाइपलाइन बना सकते हैं।

अक्सर पूछे जाने वाले प्रश्न

RAG में छोटा-से-बड़ा पुनर्प्राप्ति क्या है?

छोटे से बड़े पुनर्प्राप्ति, जिसे मूल-दस्तावेज पुनःप्राप्ति भी कहा जाता है, सटीक वेक्टर खोज के लिए छोटे बच्चे टुकड़े एम्बेड करता है लेकिन पीढ़ी के लिए LLM को बड़ा मूल दस्तावेज़ पास करता है। यह खोज परिशुद्धता और पीढ़ी संदर्भ के बीच संघर्ष को हल करता है.

सिमेंटिक चंकिंग को आकार सीमा की आवश्यकता क्यों है?

सीमाओं के बिना, सिमेंटिक रूप से समान दस्तावेज runaway chunks का उत्पादन करते हैं जो embedding मॉडल की सीमा को पार कर जाते हैं, जबकि त्वरित विषय-स्विचिंग वार्तालापों में बेकार सूक्ष्म टुकड़े पैदा होते हैं। प्रतिशत थ्रेसहोल्ड्स प्लस मिन और मैक्स token बॉन्ड दोनों विफलता मोड को चेक में रखते हैं।

क्या मुझे माता-पिता-बच्चे पुनर्प्राप्ति के लिए दो अलग डेटाबेस की आवश्यकता है?

नहीं. आपको एक खोज योग्य बाल प्रतिनिधित्व और पुनः प्राप्त करने योग्य अभिभावक दस्तावेज़ की आवश्यकता है, लेकिन ये एक ही प्रणाली में रह सकते हैं। कई टीमें बच्चों के लिए vector database का उपयोग करती हैं और माता-पिता के लिए दस्तावेज भंडार जैसे कि PostgreSQL , Redis या S3 का उपयोग करते हैं।

RAG मेटाडेटा में ब्रेडक्रंब्स क्या हैं?

ब्रेडक्रंब्स प्रत्येक खंड से जुड़े पदानुक्रमित पथ लेबल हैं, जैसे कि अनुभाग और उप-अनुभाग शीर्षक। वे संरचनात्मक संदर्भ को पुनर्स्थापित करते हैं जो पार्सर्स स्ट्रिप दूर कर देते हैं, जिससे पाठ को पुनः प्राप्त करने में मदद मिलती है जो अन्यथा कई असंबंधित प्रश्नों के साथ मेल खाएगा।