कार्य परिष्करण और व्यक्तिगत अनुकूलन में सुधार retrieval-augmented generation
तीन एजेंट क्वेरी, जज और उत्तर भूमिकाओं को समन्वयित करते हैं ताकि बेंचमार्क में पुनर्प्राप्ति, साक्ष्य समर्थन और तर्क सटीकता में सुधार हो सके।
मुख्य जानकारी
- TRIO प्रक्रिया को तीन विशेष भूमिकाओं में विभाजित करके बहु-एजेंट RAG में सुधार करता हैः क्वेरी, जज और उत्तर एजेंट।
- Query Agent उन साक्ष्यों को पुनः प्राप्त करने पर केंद्रित है जो डाउनस्ट्रीम उत्तर गुणवत्ता में मदद करते हैं, न कि JUST सामयिक रूप से समान दस्तावेज।
- Judge Agent मूल्यांकन करता है कि क्या सबूत पर्याप्त हैं, कमजोर या गायब संदर्भ से आत्मविश्वासपूर्ण उत्तरों को कम करते हुए।
- Answer Agent शोर या अपूर्ण साक्ष्य पर अधिक मज़बूती से तर्क करने के लिए पुरस्कार-संचालित पाठ्यक्रम सीखने का उपयोग करता है।
- TRIO ने पांच गुणवत्ता आश्वासन बेंचमार्क में Exact Match के मजबूत परिणामों और अनदेखी PubMedQA पर 76.6% की सटीकता की सूचना दी, जिसमें कॉम्पैक्ट 4B और 8B मॉडल शामिल हैं, हालांकि यह बहु-एजेंट जटिलता जोड़ता है।
TRIO बहु-एजेंट RAG सटीकता में सुधार के लिए तीन विशेष एजेंटों का समन्वय करता है
मेटा विवरण: TRIO एक मल्टी-एजेंट RAG फ्रेमवर्क है जो पांच QA बेंचमार्क और अदृश्य PubMedQA में सटीकता बढ़ाने के लिए क्वेरी, जज और उत्तर एजेंटों का समन्वय करता है।
टैगः बहु-एजेंट RAG , retrieval-augmented generation , TRIO, प्रश्न का उत्तर देना, PubMedQA
विशेष रुप से प्रदर्शित छवि: प्रश्न-उत्तर पाइपलाइन पर तीन जुड़े एजेंट नोड्स का एक अमूर्त चित्रण, बिना लोगों, लोगो या पाठ के।
RAG कार्य विभाजन क्यों मायने रखता है
RAG साक्ष्य पुनः प्राप्त करता है, फिर उत्तर देता है। यह ग्राउंडिंग में सुधार कर सकता है लेकिन तीन चुनौतियां पैदा करता हैः विषयगत रूप से समान लेकिन असहाय पुनर्प्राप्ति, शोर या अधूरा संदर्भ और गलत जवाब जब सबूत पर्याप्तता स्पष्ट नहीं होती है। TRIO इन को अलग-अलग कार्यों के रूप में मानता है, सहायक साक्ष्य खोजने के लिए एजेंटों का उपयोग करते हुए, न्याय समर्थन और अपूर्ण संदर्भ पर तर्क देते हैं। इसकी अंतर्दृष्टिः सटीकता एक साथ काम करने वाले पुनर्प्राप्तिकरण, प्रमाण मूल्यांकन और उत्तर पीढ़ी पर निर्भर करती है; प्रत्येक भूमिका का अनुकूलन अंत-से-अंत तर्क को काफी बेहतर बना सकता है।
TRIO के तीन एजेंट कैसे काम करते हैं
Query Agent उन साक्ष्यों को पुनः प्राप्त करता है जो उत्तर की गुणवत्ता में सुधार करते हैं, सामयिक समानता के बजाय उपयोगिता की ओर पुनर्प्राप्ति बदलते हैं। Judge Agent यह निर्धारित करता है कि क्या पुनर्प्राप्त सबूत जवाब देने के लिए पर्याप्त हैं, कमजोर या लापता साक्ष्य से आत्मविश्वासपूर्ण उत्तरों को कम करना और संकेत देना जब अधिक रिकवरी, अनिश्चितता, या एक अलग मार्ग की आवश्यकता होती है।Answer Agent पुरस्कार-संचालित पाठ्यक्रम सीखने के माध्यम से शोर संदर्भों पर मजबूत तर्क बनाता है, धीरे-धीरे कठिन उदाहरणों पर प्रशिक्षण देता है और अपूर्ण प्रमाण के बावजूद बेहतर उत्तर का पक्षधर होता है।
रिपोर्ट किए गए बेंचमार्क परिणाम
TRIO ने पांच प्रश्न-उत्तर बेंचमार्क में शीर्ष औसत Exact Match की सूचना दी। Exact Match, केवल धाराप्रवाह आउटपुट के बजाय सही होने का सुझाव देते हुए, अपेक्षित उत्तर मैचों को सख्ती से पुरस्कृत करता है। यह खोज-आर 1 सहित मजबूत RAG आधार रेखाओं पर बेहतर प्रदर्शन करता है. यह क्रॉस-डोमेन सामान्यीकरण के रूप में प्रस्तुत किए गए अनदेखे पबमेडक्यूए पर भी 76.6% सटीकता की रिपोर्ट करता हैः प्रशिक्षण सेटिंग के बाहर मूल्यांकन ने सार्थक प्रदर्शन बनाए रखा। आंकड़ा एक कथित अदृश्य-मूल्यांकन परिणाम है, सार्वभौमिक सटीकता दावा नहीं है। TRIO कॉम्पैक्ट 4B और 8B मॉडलों के साथ भी दृढ़ता से काम करता है, जिससे पता चलता है कि लाभ अकेले मॉडल आकार के बजाय बहु-एजेंट संरचना और भूमिका-विशिष्ट अनुकूलन से आ सकते हैं।
पाठकों के लिए इसका क्या अर्थ है
TRIO से पता चलता है कि पुनर्प्राप्ति गुणवत्ता केवल समान दस्तावेजों के बारे में नहीं है। RAG प्रणालियों को यह जानने की आवश्यकता होती है कि क्या सबूत एक उत्तर का समर्थन करते हैं और उन्हें ऐसे उत्तरदाता की जरूरत होती है जो शोर भरे संदर्भ के माध्यम से तर्क कर सके। विशेष एजेंट प्रत्येक चरण को सुधारने के लिए आसान बना सकते हैं। कॉम्पैक्ट 4B और 8B मॉडल भूमिका-विशिष्ट अनुकूलन द्वारा दृढ़ता से प्रदर्शन कर सकते हैं, हमेशा सबसे बड़े reasoning model का उपयोग करने के दबाव को कम करते हुए। व्यापार-बंद जोड़ दिया गया जटिलताः मल्टी-एजेंट सिस्टम समन्वय, अधिक चलती भागों और सावधानीपूर्वक मूल्यांकन की आवश्यकता है। स्रोत विलंब, लागत या कार्यान्वयन प्रयास विवरण प्रदान नहीं करता है। मुख्य टेकअवे यह है कि reasoning model 0 सटीकता एकत्रित रूप से पुनः प्राप्ति, साक्ष्य आकलन और उत्तर पीढ़ी के अनुकूलन पर निर्भर करती है।
Comments (0)