ग्राफ- RAG और मानक RAG की तुलना करना: तथ्यात्मक घनत्व वाले प्रश्नों के लिए एक भ्रम बेंचमार्क
दोहराए जाने योग्य बेंचमार्क, मीट्रिक और अंधा स्कोरिंग रूब्रिज का उपयोग करके तथ्यात्मक-घन क्वेरी पर निर्धारात्मक 3-स्तरीय ग्राफ- RAG और वेक्टर RAG की तुलना करें।
मुख्य जानकारी
- इस लेख में तथ्यात्मक-घने प्रश्नों पर मानक वेक्टर RAG पाइपलाइन के साथ एक निर्धारात्मक 3-स्तरीय ग्राफ- RAG प्रणाली की तुलना करने के लिए दोहराए जाने योग्य बेंचमार्क विधि का प्रस्ताव किया गया है।
- तथ्य-घन प्रश्नों के लिए कई जुड़े तथ्यों की आवश्यकता होती है, जैसे कि संस्थाएं, संबंध, तिथियां और संख्याएँ, जहां मानक वेक्टर पुनर्प्राप्ति दस्तावेजों में विभाजित साक्ष्य को याद कर सकती है।
- एक निष्पक्ष तुलना में रिकवरी पथ, ग्राफ स्नैपशॉट, बीज और कैशिंग व्यवहार को रिकॉर्ड करते समय समान कॉर्पस, प्रश्नों, पीढ़ी मॉडल और लॉक सेटिंग्स का उपयोग करना चाहिए।
- मूल्यांकन को तथ्यों के कवरेज, उत्तर की शुद्धता, उद्धरण वैधता, अस्वीकृति व्यवहार, निर्धारकता और विफलता मोड का आकलन करना चाहिए ताकि यह निर्णय लिया जा सके कि क्या ग्राफ- RAG s जोड़ा गया जटिलता सार्थक है।
मेटा विवरणः एक निर्धारित 3-Tiered Graph- RAG प्रणाली को दोहराए जाने वाले मूल्यांकन चरणों के साथ तथ्यात्मक-घन क्वेरी पर मानक वेक्टर RAG पाइपलाइन के खिलाफ बेंचमार्क करना सीखें।
टैगः ग्राफRAG, RAGEवैल्यूएशन, वेक्टरराग, एआईइंजीनियरिंग
![एक vector database के बगल में एक तीन-स्तरीय ग्राफ नेटवर्क का सार मैत्रीपूर्ण चित्रण, निर्धारक मूल्यांकन चेकलिस्ट के साथ]
यह गाइड AI इंजीनियरों, उत्पाद प्रबंधकों और मूल्यांकन लीड के लिए है जिन्हें तथ्यात्मक-घन क्वेरी पर एक मानक वेक्टर RAG पाइपलाइन के खिलाफ 3-Tiered Graph- RAG प्रणाली की तुलना करने के लिए दोहराए जाने वाले तरीके की आवश्यकता होती है।
यह तुलना क्यों महत्वपूर्ण है
तथ्य-घन क्वेरी ऐसे प्रश्न हैं जो जानकारी के कई विशिष्ट टुकड़ों पर निर्भर करते हैं, जैसे कि संस्थाएं, संबंध, तिथियां, संख्यात्मक मान या शर्तें। एक मानक वेक्टर RAG पाइपलाइन आमतौर पर embedding समानता द्वारा पाठ खंडों को पुनर्प्राप्त करती है। जब उत्तर एक निकटवर्ती पैराग्राफ में निहित होता है तो यह अच्छी तरह से काम कर सकता है। यह तब भी विफल हो सकता है जब उत्तर में कई जुड़े तथ्यों की आवश्यकता होती है जिन्हें दस्तावेजों में विभाजित किया जाता है।
एक ग्राफ- RAG प्रणाली संस्थाओं और तथ्यों को जोड़ने के लिए ग्राफ संबंधों का उपयोग करती है। एक निर्धारक 3-Tiered Graph- RAG सिस्टम दो महत्वपूर्ण शर्तें जोड़ता हैः पुनर्प्राप्ति पथ निश्चित सेटिंग्स के तहत पुनः प्रस्तुत करने योग्य होना चाहिए, और सिस्टम तीन स्तरीय संरचना में संगठित किया गया है। यदि तीन स्तरों की सटीक सामग्री प्रलेखित नहीं है, तो किसी विशिष्ट वास्तुकला को न मानें। कॉन्फ़िगरेशन को स्थिर रखें और मूल्यांकन करें कि सिस्टम वास्तव में क्या करता है।
यह तुलना इसलिए महत्वपूर्ण है क्योंकि ग्राफ सिस्टम को अधिक रखरखाव की आवश्यकता हो सकती है, जबकि वेक्टर सिस्टम सरल हो सकते हैं। एक बेंचमार्क टीम को यह तय करने में मदद करता है कि क्या जोड़ा गया संरचना उत्पाद के लिए महत्वपूर्ण प्रश्नों पर उत्तर गुणवत्ता में सुधार करती है या नहीं।
चरण-दर-चरण बेंचमार्क डिजाइन
- एक तथ्य-घन क्वेरी सेट का निर्माण करें। ऐसे प्रश्न बनाएं जिनमें केवल व्यापक सारांश ही नहीं, बल्कि कई तथ्यों की आवश्यकता हो। वास्तविक कार्यभार के हिस्से होने पर इकाई नामों, संबंधों, तिथियों, संख्याओं और बाधाओं को शामिल करें। विकास के लिए उपयोग किए जाने वाले सवालों को अंतिम स्कोरिंग से अलग करें ताकि सिस्टम केवल परीक्षण आइटम पर ट्यून न किया जाए।
- दो तुलना इकाइयों को परिभाषित करें. एक निर्धारक 3-Tiered Graph- RAG प्रणाली और एक मानक वेक्टर RAG पाइपलाइन दोनों के लिए समान प्रश्न सेट, कॉर्पस, उत्तर लंबाई सीमा और पीढ़ी मॉडल का उपयोग करें। यदि उत्पादन मॉडल सिस्टम के बीच बदलता है, तो तुलना पुनर्प्राप्ति वास्तुकला के बजाय मॉडल व्यवहार को मापेगी।
- निर्धारक सेटिंग्स को लॉक करें. प्रत्येक रन के लिए, मॉडल संस्करण, तापमान, बीज यदि समर्थित है, पुनर्प्राप्ति गणना, खंड आकार, ग्राफ स्नैपशॉट और किसी भी कैशिंग व्यवहार को रिकॉर्ड करें। निर्धारकता का अर्थ है कि एक ही इनपुट को उसी आउटपुट का उत्पादन करना चाहिए जब सेटिंग अपरिवर्तित होती हैं। External APIs, यादृच्छिक रैंकिंग, फ्लोटिंग-प्वाइंट ऑपरेशन और कैश स्टेट अभी भी पुनरुत्पादकता को तोड़ सकते हैं, इसलिए उन्हें लॉग करें।
- ऐसे मेट्रिक्स चुनें जो कार्य से मेल खाते हों। पुनर्प्राप्ति के लिए, ट्रैक करें कि क्या आवश्यक तथ्य पुनः प्राप्त संदर्भ में दिखाई देते हैं। पीढ़ी के लिए उत्तर की शुद्धता, उद्धरण वैधता और क्या सिस्टम कहता है कि यह सबूत गायब होने पर जवाब नहीं दे सकता है। संचालन के लिए यदि आपकी टीम के पास वास्तविक डेटा हो तो केवल विलंबता और लागत का पता लगाएं। सीमाओं का आविष्कार न करें।
- एक स्कोरिंग रूब्रिक बनाएं। प्रत्येक क्वेरी के लिए, आवश्यक तथ्यों और आवश्यक संबंधों को सूचीबद्ध करें। जहां संभव हो सटीक संस्थाओं, तिथियों और संख्याओं के लिए प्रोग्रामेटिक जांच का उपयोग करें। उत्तर की गुणवत्ता, उद्धरण सटीकता और क्या कोई प्रतिक्रिया उपयोगकर्ता को गुमराह करती है या नहीं इसके लिए मानव समीक्षा का प्रयोग करें। जब संभव हो तो समीक्षकों को यह न बताएं कि किस प्रणाली ने जवाब दिया है।
- दोनों प्रणालियों को एक ही तरीके से चलाएं। प्रत्येक क्वेरी के लिए, प्रश्न, पुनः प्राप्त किए गए टुकड़े या ग्राफ नोड्स, उत्पन्न उत्तर, उपयोग की गई सेटिंग्स और किसी भी त्रुटि संदेशों को संग्रहीत करें। केवल तभी दोहराएँ जब सेटिंग पूरी तरह से लॉक न हों। यदि सिस्टम निर्धारक हैं और इनपुट तय हैं, तो पुनर्प्राप्ति पथ के लिए एक साफ रन पर्याप्त हो सकता है, लेकिन सत्यापन रन अभी भी परिचालन स्थिरता के लिए उपयोगी हैं।
- विजेता चुनने से पहले त्रुटियों को वर्गीकृत करें. एक विफलता अनुपलब्ध स्रोत दस्तावेजों, खराब चंकिंग, गलत ग्राफ किनारों, खराब रैंकिंग, गायब उद्धरण या अविश्वसनीय उत्तर से आ सकती है। यह कदम RAG आर्किटेक्चर को दोष देने से रोकती है जब वास्तविक समस्या डेटा की गुणवत्ता होती है।
परिणामों को कैसे पढ़ें
लक्ष्य यह साबित करना नहीं है कि ग्राफ पुनर्प्राप्ति हमेशा बेहतर होती है। उद्देश्य यह देखना है कि निर्धारक 3-Tiered Graph- RAG प्रणाली मॉडल तक पहुंचने वाले साक्ष्य को कहाँ बदलती है। एक मानक वेक्टर RAG पाइपलाइन एकल-तथ्य प्रश्नों का उत्तर दे सकती है। जब जवाब जुड़े तथ्यों पर निर्भर करता है, तो एक ग्राफ़ उन्मुख प्रणाली मदद कर सकती है, लेकिन केवल तभी जब ग्राफ सटीक हो और पुनः प्राप्ति पथ विश्वसनीय हो।
आविष्कारित स्कोर जोड़ने के बिना टिप्पणियों को व्यवस्थित करने के लिए एक तालिका का उपयोग करें।
| मूल्यांकन आयाम | एक मानक वेक्टर RAG पाइपलाइन में क्या जांचना है | एक निर्धारात्मक 3-Tiered Graph- RAG प्रणाली में क्या जांचना है |
|---|---|---|
| साक्ष्य प्राप्ति | क्या समान खंडों में आवश्यक तथ्य हैं | क्या विन्यस्त स्तर पथ संस्थाओं, संबंधों और तथ्यों को जोड़ता है |
| तथ्यों का कवरेज | क्या आवश्यक संस्थाएँ, तिथियाँ और संख्याएं पुनर्प्राप्त संदर्भ में दिखाई देती हैं | क्या मल्टी-हॉप तथ्यों को नोड्स या किनारों के बिना दर्शाया जाता है |
| नियतवाद | क्या एक ही क्वेरी स्थिर सेटिंग्स के तहत एक ही टुकड़े और उत्तर लौटाता है | क्या एक ही क्वेरी उसी स्तर पथ का अनुसरण करती है और निश्चित सेटिंग्स के तहत उत्तर देती है |
| विफलता मोड | क्या यह प्रासंगिक लेकिन अपूर्ण पाठ प्राप्त करता है | क्या ग्राफ निर्माण या पारगमन किसी संबंध को याद करता है |
यदि ग्राफ प्रणाली अधिक तथ्य-घन प्रश्नों का सही उत्तर देती है, तो अगला सवाल यह है कि क्या सुधार अतिरिक्त इंजीनियरिंग बोझ के लायक है। अगर ऐसा नहीं होता है, बेंचमार्क से पता चलता है कि वर्तमान कार्यभार के लिए एक सरल वेक्टर पाइपलाइन पर्याप्त हो सकती है।
टीमों के लिए इसका क्या मतलब है
उत्पाद टीमों के लिए, यह बेंचमार्क एक निर्णय उपकरण है। तथ्यात्मक घने प्रश्न अक्सर आंतरिक ज्ञान आधारों, अनुपालन समीक्षाओं, तकनीकी सहायता, अनुसंधान सहायकों और उद्यम प्रलेखन में दिखाई देते हैं। इन कार्यों को सटीक साक्ष्य की आवश्यकता होती है, न कि केवल धाराप्रवाह पाठ।
इंजीनियरिंग टीमों के लिए, तुलना स्पष्ट करती है कि क्या बाधा पुनर्प्राप्ति, पीढ़ी या डेटा संरचना है। यदि दोनों सिस्टम सही तथ्यों को पुनः प्राप्त करते हैं लेकिन उत्तर अभी भी गलत है, तो RAG आर्किटेक्चर को बदलना मदद नहीं कर सकता है। अगर ग्राफ प्रणाली अधिक जुड़े साक्ष्य वापस लेती है, अगला कदम यह परीक्षण करना है कि उस सबूत से भ्रम कम हो जाता है और उद्धरण की गुणवत्ता में सुधार होता है या नहीं।
गैर-विशेषज्ञों के लिए, व्यावहारिक टेकअवे सरल हैः एक ग्राफ आधारित प्रणाली उपयोगी हो सकती है जब उत्तर संबंधों पर निर्भर करते हैं, लेकिन इसके मूल्य को उसी सवालों और सेटिंग्स से मापा जाना चाहिए जो वास्तविक उपयोगकर्ता सामना करेंगे।
आम गलतियाँ
- केवल आसान, एकल-तथ्य प्रश्नों का उपयोग करना। यह दोनों प्रणालियों की ताकत और कमजोरियों को छुपाता है।
- सिस्टम के बीच कॉर्पस, मॉडल या उत्तर की लंबाई बदलना। इससे तुलना अविश्वसनीय हो जाती है।
- उद्धरणों को सटीकता के प्रमाण के रूप में व्यवहार करना. एक उद्धरण वास्तविक हो सकता है लेकिन फिर भी गलत तथ्य की ओर इशारा करता है।
- रखरखाव की उपेक्षा करना. एक ग्राफ प्रणाली को सही नोड्स, किनारों, अपडेट और गुणवत्ता जांच की आवश्यकता होती है।
- यह भूलना कि नियतवाद टूट सकता है. कैश की स्थिति, बाहरी सेवाएं और असमर्थित यादृच्छिक बीज परिणाम बदल सकते हैं.
- मान लें कि तीन स्तरों का एक विशिष्ट अर्थ है। यदि स्रोत सामग्री उन्हें परिभाषित नहीं करती है, तो उन्हें स्थिर रखें और अवलोकन व्यवहार का परीक्षण करें।
- एक स्कोर प्रकाशित करना जिसे कभी मापा नहीं गया था। स्रोत सामग्री बेंचमार्क संख्या प्रदान नहीं करती है, इसलिए टीमों को केवल अपने स्वयं के नियंत्रित रन से परिणाम रिपोर्ट करने चाहिए।
Comments (0)