अपने LLM अनुप्रयोगों के लिए एक चंकिंग रणनीति चुनने के लिए निर्णय-वृक्ष दृष्टिकोण का उपयोग करें।

मेटा विवरण: छह-प्रश्न निर्णय वृक्ष, रणनीति व्यापार और विफलता संकेतों का उपयोग करके पुनर्प्राप्ति संवर्धित पीढ़ी के लिए एक चंकिंग रणनीति चुनना सीखें।

टैगः चंकिंग रणनीति, पुनर्प्राप्ति-वर्धित पीढ़ी, दस्तावेज़ संरचना, वेक्टर खोज, एम्बेडिंग मॉडल

विशेष रुप से प्रदर्शित छवि: अमूर्त, मैत्रीपूर्ण चित्रण शैली जिसमें दस्तावेजों को कनेक्टेड ब्लॉकों में विभाजित किया जा रहा है, बिना किसी वास्तविक व्यक्ति, लोगो और पाठ के

किन सीमाओं को कम करना ज़रूरी है

यह मार्गदर्शिका पुनर्प्राप्ति-वर्धित पीढ़ी प्रणालियों के बिल्डरों के लिए है। यह बताता है कि किसी परिचित पद्धति पर डिफ़ॉल्ट रूप से जाने के बजाय दस्तावेज़ संरचना, पुनःप्राप्ति आवश्यकताओं, लागत और विफलता संकेतों को देखते हुए एक चंकिंग रणनीति कैसे चुननी है।

जब दस्तावेज़ एम्बेडिंग मॉडल या LLM संदर्भ विंडो से अधिक बड़े होते हैं, तो उन्हें छोटे टुकड़ों में विभाजित किया जाना चाहिए। खंड का आकार और ओवरलैप सरल कॉन्फ़िगरेशन सेटिंग्स की तरह दिख सकता है, लेकिन वे सीधे पुनर्प्राप्ति को प्रभावित करते हैं। खराब सीमाएं सिस्टम को उस मार्ग को याद करने के लिए प्रेरित कर सकती हैं जो एक क्वेरी का जवाब देता है, या तकनीकी रूप से प्रासंगिक होने वाले खंड को वापस करने का कारण बनता है लेकिन इसे उपयोगी बनाने के लिए आवश्यक परिवेश का अभाव होता है।

एक खंडित रणनीति यह परिभाषित करती है कि दस्तावेज़ को कहाँ विभाजित किया जाता है। जब सीमाएं सही संदर्भ बनाए रखती हैं, तो एम्बेडमेंट्स, वेक्टर सर्च और जनरेशन के साथ काम करने का एक मजबूत आधार होता है. जब सीमाएँ महत्वपूर्ण संदर्भ तोड़ देती हैं, तब रीरैंकिंग और प्रॉम्प्ट ट्यूनिंग पूरी तरह से पुनर्प्राप्त नहीं कर सकती है जो विभाजन के दौरान खो गई थी। प्रत्येक दस्तावेज़ के लिए कोई भी एकल खंडित विधि अच्छी तरह से काम नहीं करती है, इसलिए विकल्प दस्तावेज़ की संरचना और पुनः प्राप्ति कार्य पर निर्भर करता है।

छह सवाल जो चुनाव को सीमित करते हैं

प्रत्येक खंडित रणनीति दस्तावेज़ के बारे में एक विशिष्ट धारणा पर आधारित होती है। यदि रणनीति दस्तावेज को फिट करती है, तो इसकी अतिरिक्त जटिलता सार्थक हो सकती है। अगर यह फिट नहीं करता है, यह पुनर्प्राप्ति में सुधार किए बिना ओवरहेड जोड़ता है। उदाहरण के लिए, लघु FAQ प्रविष्टि के लिए सिमेंटिक खंडन अनावश्यक है, जबकि निश्चित आकार का खंडन अनुबंध में संबंधित क्लॉज़ को विभाजित कर सकता है। ये बेमेल पीढ़ी शुरू होने से पहले ही पुनः प्राप्ति की समस्याएं पैदा कर सकते हैं।

दस्तावेज और पुनर्प्राप्ति स्थितियों को एक रणनीति में मैप करने के लिए निम्नलिखित छह प्रश्नों का उपयोग करें।

प्रश्न 1: क्या दस्तावेज़ को खंडित करने की आवश्यकता है?

संक्षिप्त, स्व-निहित सामग्री को खंडित करने की आवश्यकता नहीं हो सकती है। अक्सर पूछे जाने वाले प्रश्न प्रविष्टियाँ, उत्पाद विवरण या एकल कॉन्फ़िग स्निपेट एक एम्बेडिंग कॉल के भीतर आराम से फिट होते हैं और ठीक एक विषय को कवर करते हैं।

यदि दस्तावेज़ मॉडल की संदर्भ खिड़की के भीतर अच्छी तरह से बैठता है और विषयों को मिश्रित नहीं करता है, तो इसे पूरा एम्बेड करें और खंडन छोड़ दें। पहले से ही सुसंगत सामग्री को विभाजित करना केवल पुनर्प्राप्ति ओवरहेड जोड़ता है। अगर दस्तावेज़ बहुत लंबा है, या एक से अधिक विषय शामिल हैं, प्रश्न 2 पर जारी रखें

प्रश्न 2: क्या दस्तावेज़ की स्पष्ट आंतरिक संरचना है?

कुछ दस्तावेजों में पहले से ही प्राकृतिक सीमाएं होती हैं जो प्रतिबिंबित करती हैं कि उनकी सामग्री कैसे व्यवस्थित की जाती है। मार्कडाउन शीर्षक, एचटीएमएल तत्व, पीडीएफ अनुभाग और तालिकाएँ, और कोड फ़ंक्शंस या कक्षाएं सभी सार्थक खंड सीमा प्रदान कर सकती हैं।

यदि दस्तावेज़ में एक विश्वसनीय संरचना है जो तार्किक सामग्री इकाइयों को मैप करती है, तो दस्तावेज़-आधारित खंडन का उपयोग करें। अनुभागों, पैराग्राफ, तालिकाओं, कार्यों या अन्य संरचनात्मक तत्वों को एक साथ रखते हुए दस्तावेज को इसके प्रारूप के अनुसार पार्स किया जाता है। अगर संरचना असंगत, अपूर्ण है, या उपयोगी सीमाएं प्रदान नहीं करती है तो प्रश्न 3 पर जारी रखें।

प्रश्न 3: क्या टुकड़ों को दस्तावेज़ में कहीं और से संदर्भ की आवश्यकता है?

कुछ दस्तावेजों में निर्भरताएं होती हैं जो पूरे पाठ को कवर करती हैं। एक कानूनी अनुबंध खंड एक में एक शब्द को परिभाषित कर सकता है और इसे खंड आठ में उपयोग कर सकते हैं। तकनीकी विनिर्देश में ऐसी शब्दावली हो सकती है जो केवल पहले पैराग्राफ के बगल में समझ में आती है।

यदि पुनर्प्राप्ति को उस दस्तावेज़-व्यापी संबंध को संरक्षित करने की आवश्यकता है, तो देर से चंकिंग का उपयोग करें। पहले एक लंबे संदर्भ मॉडल के साथ पूर्ण दस्तावेज एम्बेड करें, फिर उस परिणाम से खंड-स्तरीय एम्बेडिंग प्राप्त करें, ताकि प्रत्येक टुकड़ा अभी भी पूरे दस्तावेज़ का पता लगा सके। अगर chunks बिना अर्थ खोए अपने आप खड़े हो सकते हैं, प्रश्न 4 पर जारी रखें।

प्रश्न 4: क्या सूचना घनत्व भिन्न होता है, या आपको कई स्तरों की बारीकियों की आवश्यकता होती है?

यह प्रश्न दो अलग-अलग स्थितियों को कवर करता है, प्रत्येक एक अलग रणनीति की ओर इशारा करते हैं।

यदि सूचना घनत्व अनुभागों में भिन्न होता है, तो सामग्री से मेल खाने के लिए खंड आकार और ओवरलैप जैसे पैरामीटर को गतिशील रूप से समायोजित करने के लिए अनुकूली चंकिंग का उपयोग करें। घने, जानकारी-समृद्ध अनुभाग छोटे, अधिक दानेदार टुकड़ों का उपयोग कर सकते हैं, जबकि व्यापक या कम घना वर्ग बड़े टुकड़े का प्रयोग कर सकता है।

यदि एक ही कॉर्पस को दोनों व्यापक प्रश्नों का समर्थन करने की आवश्यकता है, जैसे कि दस्तावेज़ क्या कवर करता है, और विशिष्ट प्रश्न, जैसे सटीक वाक्यविन्यास, पदानुक्रमित चंकिंग का उपयोग करें, मोटे माता-पिता के टुकड़ों और बारीक दाने वाले बच्चे के टुकड़े के साथ।

यदि कोई भी शर्त लागू नहीं होती है, तो प्रश्न 5 पर जारी रखें।

प्रश्न 5: क्या पुनर्प्राप्ति गुणवत्ता लागत और विलंबता से अधिक महत्वपूर्ण है?

यदि पुनर्प्राप्ति गुणवत्ता प्राथमिकता है और बजट प्रति दस्तावेज़ एक मॉडल कॉल का समर्थन करता है, तो तार्किक ब्रेकपॉइंट या परमाणु प्रस्तावों की पहचान करने के लिए एलएलएम-आधारित चंकिंग का उपयोग करें।

यदि गुणवत्ता अभी भी मायने रखती है लेकिन प्रति दस्तावेज़ मॉडल कॉल बहुत महंगे हैं, और विषय शिफ्ट अप्रत्याशित हैं, तो वाक्य-एम्बेडिंग दूरी के आधार पर सिमेंटिक चंकिंग का उपयोग करें। यह LLM पास की तुलना में कम खर्चीला है जबकि अभी भी अर्थ के लिए लेखांकन करता है।

यदि गति और लागत प्राथमिकता है, तो प्रश्न 6 पर जारी रखें।

प्रश्न 6: क्या यह एक दस्तावेज प्रकार है, या विषम संग्रह?

यदि कॉर्पस दस्तावेज़ प्रकारों को मिलाता है जहां सही रणनीति एक दस्तावेज से दूसरे में भिन्न होती है, तो एजेंटिक चंकिंग का उपयोग करें। उदाहरण के लिए, संग्रह में संरचित रिपोर्ट, कथा प्रतिलेख और कोड हो सकते हैं। एक एजेंट प्रत्येक दस्तावेज़ की जांच कर सकता है और उपयुक्त दृष्टिकोण चुन सकता है।

यदि संग्रह यथोचित रूप से समान है, तो रिकर्सिव चंकिंग एक व्यावहारिक डिफ़ॉल्ट है। यह अनुच्छेद, वाक्य और फिर शब्द सीमाओं पर सामग्री को विभाजित करता है जब तक कि टुकड़े लक्ष्य आकार में फिट नहीं हो जाते हैं, जबकि प्रति-दस्तावेज विश्लेषण की आवश्यकता के बिना प्राकृतिक संरचना को संरक्षित करते हुए।

यदि भाग की गुणवत्ता से अधिक गति मायने रखती है, तो त्वरित प्रोटोटाइप के लिए निश्चित आकार का खंड एक उचित बैकअप है।

रणनीतियों की तुलना

निर्णय वृक्ष आमतौर पर इन रणनीतियों में से एक पर उतरता है, हालांकि वास्तविक प्रणालियां अक्सर एक से अधिक मिश्रण करती हैं।

दस्तावेज़-आधारित खंड तब काम करता है जब दस्तावेज में स्पष्ट संरचना होती है, जैसे शीर्षक, तालिकाएँ या कोड इकाइयाँ। इसका मूल्य यह है कि यह स्रोत प्रारूप में पहले से मौजूद तार्किक सीमाओं को संरक्षित करता है।

लेट चंकिंग तब उपयोगी होता है जब टुकड़ों को दस्तावेज़ में कहीं और से संदर्भ की आवश्यकता होती है। इसके लिए एक लंबे-संदर्भ मॉडल की आवश्यकता होगी और पहले पूरे दस्तावेज़ को एम्बेड करना होगा, इसलिए यह सरल विभाजन से अधिक जटिल है।

अनुकूली खंडन तब मदद करता है जब सूचना घनत्व भिन्न होता है। यह खंड आकार और ओवरलैप को समायोजित करता है, लेकिन वह लचीलापन कार्यान्वयन जटिलता जोड़ सकता है।

पदानुक्रमित खंड तब उपयोगी होता है जब कॉर्पस को एक ही समय में व्यापक और विशिष्ट पुनर्प्राप्ति का समर्थन करना चाहिए। यह माता-पिता और बच्चे के टुकड़े रखता है, जो विभिन्न क्वेरी प्रकारों के साथ मदद कर सकते हैं लेकिन अधिक पुनः प्राप्ति तर्क की आवश्यकता हो सकती है।

एलएलएम-आधारित चंकिंग वह विकल्प है जब पुनर्प्राप्ति गुणवत्ता प्राथमिकता होती है और प्रति दस्तावेज़ एक मॉडल कॉल स्वीकार्य होता है। यह तार्किक ब्रेकपॉइंट या परमाणु प्रस्तावों की पहचान कर सकता है, लेकिन यह सरल तरीकों की तुलना में अधिक महंगा है।

वाक्य-एम्बेडिंग दूरी पर आधारित सिमेंटिक चंकिंग एक मध्य विकल्प है जब गुणवत्ता मायने रखती है लेकिन प्रति दस्तावेज़ LLM कॉल बहुत महंगे होते हैं। यह अर्थ के लिए खाता है जबकि LLM पास से कम महंगा होता है।

एजेंटिक चंकिंग विषम संग्रहों को फिट करता है। यह प्रत्येक दस्तावेज़ के लिए एक अलग दृष्टिकोण का चयन कर सकता है, लेकिन इसके लिए दस्तावेजों का निरीक्षण करने और उन्हें विभाजित करने का निर्णय लेने के लिए एजेंट की आवश्यकता होती है।

पुनरावर्ती चंकिंग उचित रूप से समान संग्रहों के लिए एक व्यावहारिक डिफ़ॉल्ट है। यह प्रति-दस्तावेज विश्लेषण की आवश्यकता के बिना पैराग्राफ, वाक्य और शब्द सीमाओं पर विभाजन करके प्राकृतिक संरचना को संरक्षित करता है।

फिक्स्ड-साइज चंकिंग एक त्वरित बैकबैक है जब गति खंड गुणवत्ता से अधिक मायने रखती है। यह प्रोटोटाइप के लिए उपयोगी हो सकता है, लेकिन यह संबंधित सामग्री को विभाजित कर सकता है जब दस्तावेज़ में संरचना या निर्भरता होती है।

सिग्नल कि एक चंकिंग रणनीति समीक्षा की आवश्यकता है

एक रणनीति जो कागज पर सही दिखती है, जब वह वास्तविक दस्तावेजों से मिलती है तब भी गलत व्यवहार कर सकती है। इन संकेतों के लिए देखें।

यदि पुनर्प्राप्ति एक प्रश्न का उत्तर देने वाले मार्ग को याद करती है, तो सीमाएं प्रासंगिक सामग्री को टुकड़ों में विभाजित कर सकती हैं या इसे लौटाए गए टुकड़े से बाहर रख सकती हैं।

यदि सिस्टम एक ऐसा टुकड़ा लौटाता है जो तकनीकी रूप से प्रासंगिक हो लेकिन आसपास के संदर्भ का अभाव हो, तो सीमाएं उन्हें समझने के लिए आवश्यक जानकारी को तोड़ते हुए कीवर्ड को संरक्षित कर सकती हैं।

यदि संक्षिप्त, सुसंगत दस्तावेजों को अनावश्यक रूप से विभाजित किया जा रहा है, तो रणनीति गुणवत्ता में सुधार के बिना पुनर्प्राप्ति ओवरहेड जोड़ सकती है।

यदि अनुबंधों जैसे संरचित दस्तावेजों को निश्चित आकार से विभाजित किया जा रहा है, तो संबंधित खंड अलग हो सकते हैं, जिससे पुनर्प्राप्ति की समस्याएं उत्पन्न होती हैं जो पीढ़ी के बजाय पूर्व-प्रसंस्करण में पैदा होती हैं।

यदि सिमेंटिक चंकिंग का उपयोग सरल सामग्री के लिए किया जाता है जैसे कि एक छोटी FAQ प्रविष्टि, तो अतिरिक्त जटिलता उचित नहीं हो सकती।

यदि पुनः रैंकिंग और शीघ्र ट्यूनिंग के बाद पुनर्प्राप्ति की गुणवत्ता कमजोर बनी रहती है, तो समस्या यह हो सकती है कि चंकिंग के दौरान महत्वपूर्ण संदर्भ पहले से ही खो गया था।

अगला कदम

एक चंकिंग रणनीति चुनना आपके दस्तावेज़ों की संरचना और उन्हें समर्थन करने के लिए आवश्यक पुनर्प्राप्ति कार्य को समझने से शुरू होता है। दस्तावेज़ संरचना, संदर्भ निर्भरताएं, सूचना घनत्व, पुनः प्राप्ति आवश्यकताएँ और लागत सभी विकल्प को आकार देती हैं।

एक उपयुक्त प्रारंभिक बिंदु की पहचान करने के लिए छह प्रश्नों का उपयोग करें, फिर इसे अपनी स्वयं की क्वेरी और पुनर्प्राप्ति परिणामों के साथ मान्य करें। सबसे सरल रणनीति से शुरू करें जो आपकी आवश्यकताओं को पूरा करती है, और अधिक उन्नत दृष्टिकोण केवल तभी पेश करें जब वे किसी विशिष्ट पुनःप्राप्ति चुनौती को संबोधित करते हैं।

सबसे अच्छे परिणाम टुकड़े की सीमाओं से मेल खाने के लिए आते हैं जो आपको पुनः प्राप्त करने की आवश्यकता है, जबकि अतिरिक्त जटिलता को इसके द्वारा प्रदान किए गए मूल्य के आनुपातिक रखते हुए।