क्या RAG अभी भी AI इंजीनियरों के लिए आवश्यक है?
RAG मृत नहीं है; यह एजेंटिक वर्कफ़्लो के लिए आवश्यक पुनर्प्राप्ति इंजीनियरिंग में विकसित होने वाले, पुनः प्राप्ति, स्मृति और उपकरणों में LLM -संचालित एजेंटों को आधार देता है।
मुख्य जानकारी
- आरएजी अप्रचलित नहीं है; यह कोर इन्फ्रास्ट्रक्चर बन गया है जो एजेंटों को नियोजन, निर्णय और बहु-चरण कार्यप्रवाह के लिए प्रासंगिक संदर्भ प्रदान करता है।
- आरंभिक सहज RAG पाइपलाइनों ने उत्पादन में संघर्ष किया, लेकिन सुधारात्मक RAG और RAG-Fusion जैसे नए दृष्टिकोण एजेंटों के लिए पुनर्प्राप्ति को अधिक अनुकूली और उपयोगी बनाते हैं।
- एजेंटिक प्रणालियों में, पुनर्प्राप्ति अब एक बार का त्वरित कदम नहीं है; तर्क की आवश्यकता के अनुसार एजेंट गतिशील रूप से उपयोग कर सकते हैं, मूल्यांकन और पुनः प्राप्ति को दोहरा सकते हैं।
- पुनर्प्राप्ति एजेंट मेमोरी की जरूरतों का भी समर्थन करती है, जिसमें कामकाजी, एपिसोडिक और दीर्घकालिक शब्दार्थ ज्ञान शामिल हैं, बिना भारी संदर्भ खिड़कियों के।
- AI टीमों के लिए, टिकाऊ मूल्य पुनर्प्राप्ति और संदर्भ इंजीनियरिंग में निहित है - हाइब्रिड पुनःप्राप्ति, संदर्भ अनुकूलन, संरचित और असंरचित डेटा हैंडलिंग, और एजेंट लूप्स में एकीकरण-सरल वेक्टर अनुक्रमण नहीं।
मेटा विवरणः RAG मृत नहीं है. यह संदर्भ को पुनः प्राप्त करके AI एजेंटों को आधार देता है, वर्कफ़्लोज़, मेमोरी और निर्णयों को शक्ति प्रदान करता है। क्यों पुनर्प्राप्ति इंजीनियरिंग AI टीमों के लिए महत्वपूर्ण बनी हुई है।
टैगः AI एजेंट, आरएजी, पुनर्प्राप्ति इंजीनियरिंग, एलएलएम, एजेन्टिक वर्कफ़्लो
 मृत नहीं है। इस टुकड़े का कहना है कि आरएजी स्वायत्त एजेंटिक सिस्टम को संचालित करने वाली नींव परत बन गई है, उपकरण जो केवल एक समय में एक प्रश्न का उत्तर देने के बजाय चरणों की योजना बनाते हैं, कार्यों का चयन करते हैं और कार्य पूरा करते हैं।
तर्क एक ऐसे संक्रमण का जवाब देता है जिसे कई बिल्डर AI उत्पादों के लिए केंद्रीय मानते हैंः सिस्टम सिंगल-टर्न चैट इंटरफेस से स्वायत्त, मल्टी-स्टेप वर्कफ़्लो में जा रहे हैं। उन कार्यप्रवाहों में, एक बड़ा भाषा मॉडल (LLM) योजनाकार, टूल चयनकर्ता और निष्पादक के रूप में काम कर सकता है। यदि LLM यह तय कर सकते हैं कि आगे क्या करना है, तो टीमें पूछती हैं कि क्या RAG documentsएक बार दस्तावेजों से उत्तर को बेहतर बनाने का एक आम तरीका tempor एक अस्थायी पुल बन गया है जो इंजीनियरों ने पीछे छोड़ दिया है।
बहस क्यों हुई
एलएलएम उन्नत डीप लर्निंग मॉडल हैं जिन्हें प्राकृतिक भाषा पाठ को समझने और उत्पन्न करने के लिए डिज़ाइन किया गया है। वे जनरेशन और प्रश्न-उत्तर कार्यों में उच्च प्रदर्शन दिखाते हैं, लेकिन वे भ्रम कर सकते हैं, जिसका अर्थ है कि वे प्रशंसनीय लगने वाली लेकिन गलत या निर्मित जानकारी का उत्पादन कर सकती हैं। यह समस्या विशेष रूप से तब हो सकती है जब मॉडल को सटीक उत्तर देने के लिए पर्याप्त ज्ञान की कमी होती है।
2020 में, लुईस एट अल. ने पेपर Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks में RAG पेश किया। RAG आर्किटेक्चर बाहरी डेटा स्रोतों का उपयोग करके LLM की प्रतिक्रिया को आधार देता है, आमतौर पर वेक्टर डेटाबेस में संग्रहीत होता है। अनुक्रमित मार्ग जब प्रासंगिक होते हैं और मॉडल के उत्तर पीढ़ी को बढ़ाने के लिए उपयोग किए जाते हैं।
जब आरएजी ने पहली बार कर्षण प्राप्त किया, तो पैटर्न सीधा था। पाठ दस्तावेजों को निश्चित टुकड़ों में विभाजित किया गया था, उन टुकड़ों के लिए एम्बेडिंग की गणना की गई थी और वेक्टर डेटाबेस में संग्रहीत किए गए थे। वैक्टर खोज, कॉसिनस समानता या किसी अन्य दूरी मीट्रिक का उपयोग करते हुए, अर्थपूर्ण रूप से प्रासंगिक संदर्भ पुनर्प्राप्त करता है और इसे प्रॉम्प्ट के अंदर रखता है।
कि भोले RAG पैटर्न सरल क्यू के लिए काफी अच्छी तरह से काम किया&वेक्टर खोज उन प्रश्नों के साथ संघर्ष करती है जिनके लिए सटीक कीवर्ड मिलान की आवश्यकता होती है। यह विभिन्न संस्थाओं के बीच संबंधों को समझने के लिए भी संघर्ष करता है जब तक कि उन रिश्तों का स्पष्ट रूप से पाठ टुकड़ों में उल्लेख नहीं किया जाता है। मानक खंडन दस्तावेज़ पदानुक्रम और महत्वपूर्ण संदर्भ को नष्ट कर सकता है।
नए पुनर्प्राप्ति पैटर्न पुराने अंतराल को संबोधित करते हैं
इन सीमाओं को संबोधित करने के लिए, वैकल्पिक आरएजी संस्करण उभरे हैं। जब बाहरी स्रोत किसी प्रश्न का उत्तर देने के लिए अपर्याप्त होते हैं तो वेब से डेटा शामिल करके सूचना पुनर्प्राप्ति में सुधार करता है। रैग-फ्यूजन, जो रैकौकास एट अल द्वारा प्रस्तावित किया गया था, क्वेरी को फिर से तैयार करता है, प्रत्येक संस्करण के लिए प्रासंगिक मार्गों को निकालता है और अंतिम उत्तर उत्पन्न करने के लिये उन मार्गों का विलय करता है.
इन घटनाओं से पता चलता है कि एजेंटों के आगमन के कारण RAG गायब नहीं हुआ। यह परिपक्व हो गया। प्रारंभिक संस्करण एक सरल पाइपलाइन था। नए संस्करण अधिक अनुकूली हैं, और वह अनुकूलन क्षमता एजेंट वर्कफ़्लो को बेहतर ढंग से फिट करती है।
क्यों एजेंट अभी भी पुनर्प्राप्ति पर निर्भर करते हैं
RAG का उपयोग कंपनी के चैटबॉट्स, विशेष ज्ञान आधारों, एआई-सहायता वेब खोजों और कोडेक्स और क्लाउड जैसे एजेंटिक कोडिंग टूल में किया जाता है। इसे ईमेल, कैलेंडर और संपर्कों के साथ वैयक्तिकृत और एकीकृत भी किया जा सकता है।
एक एजेंट का प्राथमिक कार्य निर्णय लेना और कार्रवाई करना है, लेकिन प्रत्येक निर्णय डेटा पर निर्भर करता है। उस डेटा को प्रशिक्षण के दौरान उपयोग किया जा सकता है या अनुमान लगाने के दौरान पुनर्प्राप्त किया जाता है। कोई एजेंट केवल उतना ही बुद्धिमान होता है जितना कि उसके फैसले को ग्राउंड करने वाला डेटा। चाहे कोई एजंट किसी ग्राहक मुद्दे की जांच कर रहा हो, कोड लिख रहा हो या एंटरप्राइज़ डेटाबेस से पूछताछ कर रहे हों, हर निर्णय में संदर्भ-संबंधित, उच्च-सटीक डेटा की आवश्यकता होती है।
यह वह जगह है जहां आरएजी एक स्टैंडअलोन सिस्टम से क्रिटिकल इंफ्रास्ट्रक्चर में बदल जाता है। पुनर्प्राप्ति अब पीढ़ी के लिए एक स्थिर, एक बार पूर्ववर्ती नहीं है। एजेंटिक वर्कफ़्लो में, पुनः प्राप्ति एक उपकरण बन जाती है जिसे एजेंट गतिशील रूप से उपयोग करने का निर्णय ले सकता है, मूल्यांकन कर सकता है और दोहरा सकता है जब इसकी तर्क प्रक्रिया को अतिरिक्त संदर्भ की आवश्यकता होती है।
एजेंटों को कार्यशील स्मृति, एपिसोडिक मेमोरी और दीर्घकालिक शब्दार्थ ज्ञान की भी आवश्यकता होती है। उन्नत पुनर्प्राप्ति रणनीतियाँ एक एजेंट को संदर्भ खिड़कियों को उड़ाए बिना स्वच्छ रूप से लंबी अवधि की स्मृति में क्वेरी करने देती हैं।
इसका AI टीमों के लिए क्या अर्थ है
यदि कोई RAG को केवल गतिशील एम्बेडिंग के साथ एक बुनियादी वेक्टर सूचकांक बनाने के रूप में परिभाषित करता है, तो वह संकीर्ण कौशल जल्दी से कमोडिटीकृत हो रहा है। लेख का तर्क है कि अब कोई भी सिर्फ भोली आरएजी पाइपलाइनों के निर्माण के लिए काम पर नहीं रखा गया है।
अधिक टिकाऊ कौशल पुनर्प्राप्ति और संदर्भ इंजीनियरिंग है: यह जानना कि हाइब्रिड पुनःप्राप्ति प्रणालियों की वास्तुकला कैसे करें, संदर्भ रणनीतियों का अनुकूलन करें, संरचित और असंगठित डेटा को संभालें, और स्वायत्त एजेंट लूप में पुनर्प्राप्ती को एकीकृत करें।
RAG अब पूरा एप्लिकेशन नहीं है। यह एजेंट का संवेदी और मेमोरी इंजन है AI उत्पादन प्रणाली बनाने वाली टीमों के लिए, अंदर और बाहर की वसूली को समझना वैकल्पिक नहीं है. यह कैसे एजेंट सटीक, निर्धारक परिणाम प्रदान करते हैं।

Comments (0)