मेरे जल विद्युत बेंचमार्क एजेंटिक retrieval-augmented generation और सादे हाइब्रिड retrieval-augmented generation के बीच अंतर का खुलासा किया .
जलविद्युत के लिए Agentic RAG , Ollama पर स्थानीय रूप से चलाया जाता है, पुनर्प्राप्ति परिशुद्धता में वृद्धि हुई लेकिन सामान्य RAG की तुलना में मिश्रित निष्ठा के साथ विलंबता जोड़ी गई।
मुख्य जानकारी
- परियोजना Ollama का उपयोग करके छोटे जलविद्युत इंजीनियरिंग के लिए एक स्थानीय, ओपन-वेट Agentic RAG प्रणाली बनाती है, दस्तावेज प्रसंस्करण, embeddings , पुनर्प्राप्ति, पीढ़ी और रनटाइम जांच के लिए भुगतान किए गए अनुमान APIs से बचना।
- बेंचमार्क परिणाम मिश्रित हैंः एजेंटिक पुनर्प्राप्ति परिशुद्धता में सुधार करती है, लेकिन विलंबता काफी बढ़ जाती है और निष्ठा स्वचालित रूप से एक अच्छी तरह से डिज़ाइन की गई सादे RAG पाइपलाइन से अधिक नहीं होती है।
- Conventional RAG जलविद्युत प्रश्नों के साथ संघर्ष करता है जो कई मैनुअल, तालिकाओं, गणना या इंजीनियरिंग सिफारिशों को कवर करते हैं, जबकि एजेंटिक वर्कफ़्लो संदर्भ पर्याप्तता का आकलन करने, उपकरण का उपयोग करने और असमर्थित दावों को ध्वजांकित करने का प्रयास करते हैं।
- मिश्रित प्रारूप वाले जलविद्युत दस्तावेजों को मेटाडेटा ट्रैकिंग और कैशिंग के साथ कार्यालय फ़ाइलों, पीडीएफ, स्कैन किए गए पृष्ठों, तालिकाओं और छवियों के लिए एक बहु-स्तरीय पार्सिंग पाइपलाइन की आवश्यकता होती है, क्योंकि खराब पार्स सीधे डाउनस्ट्रीम पुनर्प्राप्ति और पीढ़ी को कम कर देता है।
- खंडन एक नियम-आधारित मार्कडाउन-जागरूक पदानुक्रमित पाइपलाइन का उपयोग करता है जो शीर्षक, पैराग्राफ, वाक्य सीमाओं और सशर्त ओवरलैप के बजाय LLM या embedding -आधारित सिमेंटिक विभाजन का लाभ उठाता है।
एक डेवलपर ने Small Hydropower Plant (एसएचपी) इंजीनियरिंग के लिए एक Agentic RAG प्रणाली का निर्माण किया है जो Ollama के माध्यम से पूरी तरह से स्थानीय, ओपन-वेट मॉडलों पर चलता है, जिसमें दस्तावेज़ प्रसंस्करण, embeddings , पुनर्प्राप्ति, उत्तर पीढ़ी या रनटाइम गुणवत्ता जांच के लिए कोई भुगतान किए गए अनुमान की आवश्यकता नहीं होती है। परियोजना परीक्षण करती है कि क्या बहु-एजेंट पुनःप्राप्त कार्यप्रवाह निजी तकनीकी दस्तावेजों से खींचे गए उत्तरों में सुधार कर सकता है। प्रारंभिक फैसला मिश्रित हैः पुनः प्राप्ति परिशुद्धता में सुधार होता है, लेकिन विलंबता काफी बढ़ जाती है, और सिस्टम निष्ठा पर स्वचालित रूप से अच्छी तरह से डिज़ाइन की गई सादे RAG पाइपलाइन को हरा नहीं करता है।
यह कार्य उन शिक्षार्थियों और स्वतंत्र छात्रों को लक्षित करता है जो आवर्ती API बिलों को अवशोषित नहीं कर सकते हैं। संगत hardware वाला कोई भी व्यक्ति प्रति प्रश्न या प्रति token का भुगतान किए बिना मॉडल और निर्भरताओं को एक बार डाउनलोड कर सकता है, फिर प्रयोग कर सकता हैः ऑफ़लाइन बेंचमार्किंग के लिए, लेखक ने सुनहरे dataset के खिलाफ उत्तर देने के लिए Gemini और ग्रोक फ्री टियर का उपयोग किया; एक स्थानीय Ollama न्यायाधीश बदल सकता है। मुक्त-स्तरीय कोटा और उपलब्धता बदल सकती है, इसलिए वे असीमित संसाधन नहीं हैं।
क्यों मानक RAG इंजीनियरिंग दस्तावेजों के साथ संघर्ष करता है
एक पारंपरिक पाइपलाइन कुछ दस्तावेजों को पुनर्प्राप्त करती है, उन्हें LLM में भेजती है और उत्तर उत्पन्न करती है। यह सरल लुकअप प्रश्नों के लिए पर्याप्त है। जब कोई सवाल कई मैनुअल तक फैला होता है, संख्यात्मक तर्क की आवश्यकता होती है, तालिकाओं में शामिल होते हैं या संयंत्र प्रलेखन पर आधारित इंजीनियरिंग सिफारिश मांगते हैं तो यह कमजोर हो जाता है।
SHP परियोजनाएं तकनीकी मैनुअल, नियामक दिशानिर्देशों, टरबाइन-चयन संदर्भ, जल विज्ञान दस्तावेजों, वित्तीय नीतियों, स्कैन की गई रिपोर्टों, तालिकाओं और चित्रों को मिलाती हैं। एक ही प्रश्न में कई प्रकार के साक्ष्य की आवश्यकता हो सकती हैः कौन सा टरबिन किसी दिए गए सिर और निर्वहन के लिए उपयुक्त है, जो विनियामक आवश्यकताएँ लागू होती हैं, जो रखरखाव प्रथाएं मिट्टी के कटाव को कम करती हैं, प्रदान किए गए मूल्यों से बिजली का उत्पादन क्या होता है, और क्या उत्तर वास्तव में पुनर्प्राप्त दस्तावेज़ों द्वारा समर्थित है। Traditional RAG मार्गों को पुनः प्राप्त कर सकता है लेकिन यह न्याय करने का कोई तंत्र नहीं है कि संदर्भ पर्याप्त है या नहीं, गणना के लिए उपकरण की आवश्यकता है या उत्पन्न उत्तर में असमर्थित दावे शामिल हैं। एजेंटिक दृष्टिकोण ठीक उस अंतर को लक्षित करता है।
विश्लेषणः मिश्रित प्रारूपों को प्रयोग करने योग्य साक्ष्य में बदलना
जलविद्युत ज्ञान डिजिटल पीडीएफ, स्कैन की गई रिपोर्टों, वर्ड दस्तावेजों, प्रस्तुतियों, स्प्रेडशीट और छवियों के रूप में आता है। परियोजना एक बहु-स्तरीय पार्सिंग पाइपलाइन का उपयोग करती है जो चंकिंग से पहले फ़ाइलों को मार्कडाउन में परिवर्तित करती है और embedding .
टियर 1 समर्पित पार्सर्स के साथ कार्यालय दस्तावेजों और पाठ को संभालता है, जो पहले से ही सुलभ संरचना वाली फ़ाइलों के लिए महंगे ओसीआर से बचते हैं। टियर 2 शीर्षक और तालिका संरचना को बनाए रखने का लक्ष्य रखते हुए मार्कडाउन निकालने के लिए pymupdf4llm के माध्यम से पीडीएफ भेजता है। कम से कम 80 वर्णों का आउटपुट स्वीकार किया जाता है; छोटा आउटपुट या असफल निष्कर्षण डॉक्लिंग में गिर जाता है। यह सीमा एक ज्ञात सीमा के साथ व्यावहारिक रूटिंग हेरिस्टिक हैः PDF मिश्रण डिजिटल टेक्स्ट और स्कैन किए गए पृष्ठ तब भी पास हो सकते हैं जब कुछ पृष्ठों को OCR की आवश्यकता होती है। पेज-स्तरीय गुणवत्ता जांच इसमें सुधार करेगी।
टियर 3 स्कैन किए गए पीडीएफ और असफल निष्कर्षणों को डॉकलिंग के साथ संसाधित करता है, जब आवश्यक बैकएंड उपलब्ध होता है तो ओसीआर और तालिका-संरचना वसूली सक्षम होती है। छवियां भी डॉकिंग पथ में प्रवेश करती हैं। PDF OCR कॉन्फ़िगरेशन CUDA त्वरण का उपयोग करके वैकल्पिक रूप से रैपिडओसीआर के साथ ईज़ीओसी आर पसंद करता है और अन्यथा CPU पर वापस गिरता है। जटिल चित्र, घनी सारणी और सूत्र मुश्किल रहते हैं, इसलिए निकाले गए मार्कडाउन को हर विवरण को सही ढंग से पुनः पेश करने के लिए नहीं माना जाना चाहिए।
प्रत्येक पार्स स्रोत जानकारी रिकॉर्ड करता हैः फ़ाइल नाम, फ़ाइल प्रकार, सामग्री हैश, पार्सिंग अवधि और पृष्ठ संख्या जहां उपलब्ध हो। विफलताओं को स्पष्ट रूप से दर्ज किया जाता है। कंटेंट हैश कैशिंग का समर्थन करता है, इसलिए एक अपरिवर्तित दस्तावेज़ अपने मौजूदा मार्कडाउन आउटपुट का पुनः उपयोग करता है। एक चेतावनी: बाइनरी एसएचए -256 डिडुप्लीकेशन समान फाइलों पर भारी विश्लेषण और ओसीआर कंप्यूटिंग की बर्बादी को रोकता है, लेकिन उसी परिवर्तित फ़ाइल के लिए, द्विआधारी विघटन लागू नहीं होता है. सिस्टम उन्हें दो पूरी तरह से अलग-अलग फ़ाइलों के रूप में मानता है।
एक वास्तविक मेटाडेटा रिकॉर्ड इस आउटपुट के आकार को दर्शाता हैः स्रोत पथ `D:\ GenAI _Code\Agentic_ RAG \data\raw\AK - Hydrology of Ungauged Catchment. PDF ∀, फ़ाइल प्रकार PDF , फाइल हैश ゙127653ce9e3151fd6732fd83bfc66e570ab762bdafb22d568fcef524ce0d19bc□, पृष्ठ गणना 0, पार्स अवधि 0.0 सेकंड, और कोई त्रुटि नहीं। पार्सिंग गुणवत्ता सीधे सब कुछ डाउनस्ट्रीम को प्रभावित करती हैः यदि तालिका अपनी इकाइयों खो देती है या ओसीआर गलत सबूतों के साथ सूत्र, पुनर्प्राप्ति और पीढ़ी का काम करता है।
चंकिंग: चार-पास, नियम आधारित पाइपलाइन
मार्कडाउन-जागरूक पदानुक्रमित चंकर एक LLM या embedding -आधारित सिमेंटिक विभाजन मॉडल के बजाय सीमाओं के लिए दस्तावेज़ संरचना और पाठ लंबाई का उपयोग करता है। यह चार पास चलाता है।
पास 1 पूरे दस्तावेज़ को स्कैन करता है और इसे संरचनात्मक अनुभागों में विभाजित करता है, पंक्ति-दर-पंक्ति चल रहा है और एक रूपरेखा की तरह शीर्षकों (# , ##, ###, *##) पर नज़र रखता है। एक शीर्षक या क्षैतिज डिवाइडर (---) वर्तमान खंड को बंद कर देता है। जब किसी हेडिंग में "स्लाइड 12" या "पृष्ठ 8", जैसे लेबल शामिल होते हैं तो उस स्थान को मेटाडेटा के रूप में कैप्चर किया जाता है हालांकि पृष्ठ संदर्भ इस बात पर निर्भर करते हैं कि पार्सिंग संरक्षित क्या है और प्रत्येक टुकड़े के लिए स्वचालित रूप से उपलब्ध नहीं हैं।
पास 2 अनुभागों को 1,800 वर्णों के लक्ष्य-आकार वाले टुकड़ों में विभाजित करता है, पैराग्राफ सीमाओं पर लंबे पाठ और वाक्य की सीमाओं (., !, ?) पर ओवरसाइज़ेड पैराग्राफ़्स को विभाजित कर देता है। ओवरलैप एक निश्चित स्लाइडिंग विंडो के बजाय सशर्त होता हैः पिछले अनुच्छेद केवल तभी ले जाया जाता है जब यह 150 अक्षर या उससे कम हो। डिफ़ॉल्ट ∀max_chars = 1800` और ▽overlap_chards = 150゙ होते हैं, और 1,800-वर्ण सेटिंग एक लक्ष्य होती है, न कि कड़ाई से अधिकतमलंबी व्यक्तिगत वाक्यों, तालिका पंक्तियों, खंड विलय, और जोड़े गए स्रोत मेटाडेटा बड़े हिस्से का उत्पादन कर सकते हैं।
एक कामकाजी उदाहरण तर्क को स्पष्ट करता है। एक खंड में चार पैराग्राफ होते हैंः फ्रांसिस टरबाइन रनर डिजाइन पर 900 वर्ण, गाइड वैन और पानी के प्रवाह पर 800, 85 का कहना है कि "कैविटेशन तब होता है जब स्थानीय जल दबाव वाष्प दबाव से नीचे गिर जाता है", और 600 निवारक कोटिंग्स और ब्लेड रखरखाव पर। टुकड़ा 1 1,785 अक्षरों पर पहले तीन अनुच्छेद लेता है। चौथा जोड़ना 2,385 तक पहुंच जाएगा, 1,800 से अधिक होगा, इसलिए भाग 1 सहेजा गया है। चूंकि अंतिम पैराग्राफ़ 85 पात्र हैं 150 150 भत्ता के भीतर 150 यह एक प्राकृतिक पुल के रूप में आगे बढ़ता है, और Chunk 2 कोट पाठ से पहले कैविटैशन वाक्य के साथ खुलता है। यदि वह पैराग्रैग 600 वर्ण था, तो इसे दोहराते हुए भाग 2 की क्षमता का एक तिहाई बर्बाद हो जाएगा, इसलिए स्थिति विफल हो जाती है और हिस्सा 2 केवल चौथे पैराग्राम के साथ साफ-सुथरा शुरू होता है।
तालिकाओं को अलग-अलग उपचार मिलता है। चंकर मार्कडाउन टेबल्स का पता लगाता है, बड़ी टेबलों को पंक्ति दर पंक्ति काट देता है और प्रत्येक स्लाइस के शीर्ष पर हेडर और डिवाइडर पंक्ति दोहराता है ताकि संख्याएं अपना अर्थ बनाए रखें। एक 40-पंक्ति की तालिका 1,800 वर्ण से अधिक छोटी तालिका बन जाती है जो प्रत्येक कॉलम नाम लेती हैं। स्लाइसेस को टैग किया जाता है ∀is_table = True` इसलिए एजेंट तालिका-विशिष्ट फ़िल्टर्ड खोज चला सकता है।
पास 3 150 वर्णों के तहत छोटे बचे हुए टुकड़ों को मिलाता है। पास 4 एक उद्धरण बैनर इंजेक्ट करके और token की गणना करके प्रत्येक खंड को समृद्ध करता है। यह ब्यानर एक वास्तविक विफलता मोड को संबोधित करता हैः "ऑपरेटिंग हेड 45 मीटर" पढ़ने वाला एक अलग-अलग हिस्सा embedding मॉडल या LLM का कोई विचार नहीं देता है कि यह किस संयंत्र या टर्बाइन पर लागू होता है। इंजेक्टेड संदर्भ इस तरह दिखता है ∀[स्रोत: Turbine_Manual. PDF । Location: Slide/Page 12 । Section: Turbine Manual > Selection Guidelines > Francis Turbines]`, सीधे पाठ के ऊपर रखा जाता है। अंतिम टुकड़े ∀chunks.jsonl` पर लिखे जाते हैं।
मूल्यांकन क्या दिखाता है और आगे क्या आता है
पाइपलाइन का पूर्ण कार्यान्वयन Agentic RAG के रूप में प्रकाशित किया गया है Small Hydropower। अब तक के मूल्यांकन के आधार पर, मल्टी-एजेंट वर्कफ़्लो पुनर्प्राप्ति सटीकता में सुधार करता है लेकिन इसमें पर्याप्त विलंबता लागत होती है और निष्ठा पर स्वचालित रूप से एक अच्छी तरह से डिज़ाइन की गई सादे RAG पाइप लाइन को पीछे नहीं छोड़ती है। यह बारीकियां किसी के लिए भी एजेंटों को अपनाने का निर्णय लेने के लिए मायने रखती हैंः बेहतर रिकवरी बेहतर ग्राउंडेड उत्तरों की गारंटी नहीं देती है, और सिस्टम में निर्मित रनटाइम गुणवत्ता जांच ठीक इसलिए मौजूद हैं क्योंकि असमर्थित दावे जोखिम बने रहते हैं।
परियोजना का व्यापक मूल्य एक सीखने के ढांचे के रूप में है। इसमें दस्तावेज़ ग्रहण, हाइब्रिड पुनर्प्राप्ति, एजेंट ऑर्केस्ट्रेशन, टूल उपयोग और सीमित बजट पर मूल्यांकन शामिल हैं जो हाइड्रोपावर से परे स्थानांतरित होते हैं। खुले प्रश्न ठोस हैंः मिश्रित डिजिटल-स्कैन किए गए पीडीएफ को पकड़ने के लिए पृष्ठ-स्तरीय पार्सिंग गुणवत्ता जांच, और विलंबता जोड़ने के बिना निष्ठा अंतराल को बंद करना। निजी दस्तावेज बनाने वाले पाठकों के लिए RAG , टेकअवे पहले विश्लेषण और चंकिंग निष्ठा में निवेश करना है, फिर मापें कि क्या एजेन्टिक आर्किटेक्चर अपनी लागत अर्जित करता है।

Comments (0)