मॉडल तुलनाएँ

लैंगग्राफ के साथ तीन बहु-एजेंट अनुसंधान प्रणालियों का विकास और मूल्यांकन किया गया

लैंगग्राफ मल्टी-एजेंट रिसर्च वर्कफ़्लो का 45 रन में परीक्षण किया गया; आर्किटेक्चर ने विश्वसनीयता की गारंटी देने के बजाय विफलता मोड को बदल दिया।

मुख्य जानकारी

  • एक डेवलपर ने पांच विषयों पर तीन लैंगग्राफ अनुसंधान वर्कफ़्लो का परीक्षण किया, जिसमें कुल 45 रन थे, ताकि विशेष मल्टी-एजेंट डिजाइन के खिलाफ एकल रिएक्ट एजेंट की तुलना की जा सके।
  • एक ReAct एजेंट को शोधकर्ता, लेखक और आलोचक की भूमिकाओं में विभाजित करने से सिस्टम स्वचालित रूप से अधिक विश्वसनीय नहीं हो गया था, लेकिन इसने विफलताओं के प्रकारों को बदल दिया।
  • फिक्स्ड थ्री-रोल पाइपलाइन में 13/15 रन पर सबसे अधिक पूर्णता दर थी क्योंकि उपकरण के उपयोग को लिखने से अलग करने से एक अतिभारित संदर्भ के कारण विकृत खोज कॉल कम हो गए थे।
  • पर्यवेक्षक-आधारित प्रणाली ने निर्धारित सुरक्षा उपायों को जोड़ा ताकि मॉडल कार्रवाई का प्रस्ताव कर सके जबकि कार्यक्रम नियमों को लागू करता है, लेकिन यह सख्त सत्यापन और पुनरावृत्ति सीमाओं के कारण 11/15 पर कम रन पूरा किया।
  • एक प्रमुख शेष समस्या उद्धरण हैंडओफ थी: शोध नोट्स में अक्सर यूआरएल होते थे, लेकिन लेखक संकेतों ने उन्हें अंतिम रिपोर्ट में विश्वसनीय रूप से संरक्षित नहीं किया था, जो असफल पुनर्प्राप्ति के बजाय प्रॉम्प्ट-डिज़ाइन मुद्दा दिखा रहा था।

एक डेवलपर ने लैंगग्राफ और वेब-सर्च टूल के साथ तीन शोध वर्कफ़्लोज़ बनाए, फिर प्रत्येक को पांच विषयों में तीन बार चलाया - कुल मिलाकर 45 रन - यह पता लगाने के लिए कि क्या एक रिएक्ट एजेंट को विशेष भूमिकाओं में विभाजित करने से वास्तव में अनुसंधान प्रणाली अधिक विश्वसनीय हो जाती है। संक्षिप्त उत्तरः स्वचालित रूप से नहीं, लेकिन वास्तुकला बदलती है जो आपको विफलता मिलती है।

Three Multi-Agent Research Systems Are Developed and Evaluated with LangGraph

सेटअपः एक एजेंट, एक निश्चित पाइपलाइन और एक पर्यवेक्षक

प्रयोग में तीन डिजाइनों की तुलना की गई। सिस्टम ए एक एकल रिएक्ट-शैली का एजेंट था जिसने किसी विषय के बारे में तर्क दिया, खोज उपकरण को बुलाया, परिणामों की जांच की, फिर से खोज करने का निर्णय लिया और अंतिम रिपोर्ट लिखी - सभी एक वार्तालाप में। प्रणाली बी ने काम को तीन भूमिकाओं में विभाजित कियाः एक शोधकर्ता जो बाउंड सर्च लूप में नोट्स एकत्र करता है, एक लेखक जो नोट्स को लेख में बदल देता है, और एक आलोचक जो सटीकता, विशिष्टता और स्पष्टता के लिए मसौदे की समीक्षा करता है; अस्वीकार किए गए ड्राफ्ट फीडबैक के साथ लेखक के पास वापस जाते हैं। सिस्टम सी ने शीर्ष पर एक पर्यवेक्षक जोड़ा, जिसे प्रत्येक चरण में वर्कफ़्लो राज्य का कॉम्पैक्ट विवरण प्राप्त हुआ और चार कार्यों में से एक चुना: शोधकर्ता, समीक्षक, लेखक या समाप्ति।

सिस्टम सी में पर्यवेक्षक के पास स्वतंत्र नियंत्रण नहीं था। कार्यक्रम ने प्रत्येक निर्णय के बाद निर्धारक सुरक्षा उपायों को लागू किया: प्रणाली एक मसौदे के बिना समाप्त नहीं हो सकती थी, आलोचक ड्राफ्ट मौजूद होने से पहले नहीं चल सकता था, नोट्स उपलब्ध होने पर शोध दोहराया नहीं जा सकता था और संशोधन, टोकन और पुनरावृत्ति सीमाएं लागू की गई थीं। इससे परियोजना के सबसे उपयोगी डिजाइन सिद्धांतों में से एक का उत्पादन हुआः भाषा मॉडल एक मार्ग प्रस्तावित करता है, लेकिन प्रोग्राम नियमों को लागू करता है।

मूल्यांकन कैसे हुआ?

सभी तीन प्रणालियों को एक ही पांच विषयों का सामना करना पड़ा: Photosystem II ऑक्सीजनिक प्रकाश संश्लेषण में; 2026 में क्वांटम-कंप्यूटिंग आर्किटेक्चर; कैफीन और हृदय संबंधी परिणामों के बारे में परस्पर विरोधी साक्ष्य; हालिया वैश्विक अर्धचालक व्यापार नीतियां; और एल्फडेलियन भाषा की विकास और बोलीगत विशेषताएं। प्रत्येक प्रणाली प्रति विषय 15 रन और कुल मिलाकर 45 रन के लिए तीन बार चली।

पर्यावरण पायथन 3.12 था, जिसमें लैंगग्राफ 0.2 70, LangChain Core 0.3 .36, LangChain Groq 0.2.4, डकडगोगो सर्च 7.3.0 और पाइडेन्टिक 2.14.1 थे। मॉडल ग्रोक के माध्यम से ओपेनाई / जीपीटी-ओएस -20 बी था। तापमान भूमिका द्वारा भिन्न होता हैः सिस्टम ए का उपयोग 0.0 सामान्य कॉल के लिए किया जाता है और 0.3 पुनः प्रयासों के लिए; प्रणाली बी का इस्तेमाल 0.0 शोधकर्ता के लिए, 0.7 लेखक के लिए और 0.0 आलोचक के लिए।

कार्यप्रवाह सीमाएं भी भिन्न थीं। सिस्टम ए ने 20 की लैंगग्राफ पुनरावृत्ति सीमा के साथ चार खोज-उपकरण निष्पादनों तक की अनुमति दी थी। सिस्टम बी ने प्रति शोधकर्ता पास पर तीन टूल पुनरावृत्तियों और दो लेखक संशोधनों तक का उपयोग किया था। प्रणाली सी में अधिकतम दो संशोधन, एक 20,000-टोकन प्रति रन बजट, 20 की पुनरावर्ती सीमा, प्रति शोधकर्ताओं के लिए तीन अनुसंधान नोट्स और पुनः प्रयोज्य विफलताओं के लिए 3 प्रयास करने की कोशिश की गई थी। लेखक नोट करता है कि ये परीक्षण किए गए सेटिंग थे, सार्वभौमिक सिफारिशें नहीं।

एक रन को असफल के रूप में गिना जाता है यदि इसने कोई अपवाद उठाया, विफलता की स्थिति लौटाई, त्रुटि संदेश का उत्पादन किया, या खाली अंतिम रिपोर्ट वापस कर दी ∀failed = bool(error or result.get("failed", False) या len ((report.strip)) == 0)`। प्रति सिस्टम 15 रनों के साथ, एक एकल रन लगभग 6.7 प्रतिशत अंक के लायक था।

परिणाम: स्थिर पाइपलाइन सबसे अधिक बार समाप्त हो जाती है

सिस्टम ए ने 15 रन में से 8 को पूरा किया (53.3% पूर्णता, 46.7% विफलता) । सभी सात असफलताओं में एक ही त्रुटि प्रकार था: "टूल विकल्प कोई नहीं है, लेकिन मॉडल को टूल कहा जाता है", कुछ अमान्य तर्कों के साथ जिसमें `{"कर्सर": 0, "आईडीः 0} ") जैसे फ़ील्ड होते हैं जहां खोज उपकरण को क्वेरी की उम्मीद थी। टूल कॉल, खोज परिणाम, पुनः प्रयास संदेश और लेखन निर्देश सभी एक संदर्भ में जमा हुए थे, और यह गलत कॉल का स्रोत बन गया।

सिस्टम बी ने 15 में से 13 रन पूरा किए (86.7% पूर्णता, 13.3% विफलता) । इसकी दो असफलताओं के अलग-अलग कारण थे: एक आलोचक ने अमान्य जेएसओएन लौटाया, और एक रन दर-सीमा त्रुटि को हिट किया। लेखन से उपकरण का उपयोग अलग करने से विशिष्ट विकृत खोज-कॉल विफलता हटा दी गई जिसे सिस्टम ए में देखा गया था क्योंकि अंतर्निहित मॉडल अधिक सक्षम हो गया है, लेकिन इसलिए कि कम जिम्मेदारियां एक वार्तालाप के अंदर बैठी हैं।

सिस्टम सी ने 15 में से 11 रन पूरा किए (73.3% पूर्णता, 26.7% विफलता) । शोधकर्ता चरण में तीन असफलताएं हुईं क्योंकि निष्कर्षों में वैध यूआरएल नहीं थे, और एक रन ग्राफ पुनरावृत्ति सीमा तक पहुंच गया। इसकी सख्त आवश्यकताएँ डाउनस्ट्रीम चरणों को खराब संरचित अनुसंधान आउटपुट से बचा सकती हैं, लेकिन वे ढीले वर्कफ़्लो द्वारा स्वीकार किए जाने वाले आउटपुट को भी अस्वीकार कर सकते हैं। सिस्टम सी के लिए सुधारित एग्रीगेट की रिपोर्ट औसत निष्पादन समय 53.67 सेकंड है, कुल टोकन उपयोग का मतलब है 5,793 , औसतन LLM कॉल करता है 7.2, और उपकरण कॉल का मतलब होता है 6.8 15 रनों पर; पहले के समग्र गलत तरीके से दिखाया गया था 100% विफलता और शून्य टोकन, और लेखक ने कच्चे मैट्रिक्स से रिपोर्ट को पुनर्जीवित किया।

Three Multi-Agent Research Systems Are Developed and Evaluated with LangGraph

उद्धरण हस्तांतरण समस्या

सिस्टम बी ने एक उद्धरण-संरक्षण समस्या को उजागर किया। शोधकर्ता ने स्रोत यूआरएल एकत्र किए, लेकिन लेखक आमतौर पर उन्हें अंतिम मसौदे से बाहर छोड़ दिया, क्योंकि लेखक ने स्पष्ट रूप से URL के संरक्षित होने की आवश्यकता के बिना नोट्स के आधार पर एक स्पष्ट, तथ्यात्मक लेख का अनुरोध किया था। मूल्यांकनकर्ता ने अनुसंधान नोटों में URL के खिलाफ अंतिम रिपोर्ट में URL की तुलना की, स्कोरिंग 0.0 जब रिपोर्ट में कोई नहीं था। केवल एक सिस्टम बी रिपोर्ट में दिखाई देने वाले URL थे, जो लगभग 0.067 का औसत उद्धरण वैधता स्कोर दे रहे थे। अधिकांश रन में नोट्स में खोज URL शामिल थे इसलिए कम स्कोर एक हैंडऑफ और प्रॉम्प्ट-डिज़ाइन समस्या को दर्शाता है, न कि असफल पुनर्प्राप्ति।

मीट्रिक की एक दूसरी सीमा हैः यह जांचता है कि क्या उद्धृत यूआरएल नोट्स में दिखाई दिया, न कि स्रोत सटीक दावे का समर्थन करता है, और मूल्यांकन पूर्ण स्रोत पृष्ठों के बजाय खोज स्निपेट पर निर्भर था। प्रासंगिक परिणाम में किसी विशिष्ट संख्या, तिथि या नामित इकाई को सत्यापित करने के लिए पर्याप्त जानकारी नहीं हो सकती है। इसलिए लेखक इन आंकड़ों को URL-संरक्षण और उद्धरण वैधता माप के रूप में मानता है, तथ्यात्मक ग्राउंडिंग का पूरा मूल्यांकन नहीं।

लेखक आगे क्या सुधार करेगा

चार परिवर्तनों की योजना बनाई गई है। पहला, बेसलाइन को एक निष्पक्ष संश्लेषण पथ देंः पहले टूल-कॉल हिस्ट्री को छोड़ने वाले क्लीनर फाइनल राइटिंग कॉल के साथ सिस्टम ए का परीक्षण करें और सादे पाठ के रूप में एकत्रित साक्ष्य प्राप्त करें, पारदर्शिता के लिए मूल और बेहतर संस्करण अलग रखें। दूसरा, एजेंटों के बीच संरचित साक्ष्य रिकॉर्ड पास करें - प्रत्येक दावे, समर्थन सबूत और स्रोत यूआरएल शामिल करते हुए लेखक को स्पष्ट रूप से उद्धरणों को संरक्षित करने का निर्देश दिया जाता है। तीसरा, पुनर्प्राप्त किए गए टेक्स्ट सोर्स का निरीक्षण करके और पूर्ण पृष्ठों को लाने के द्वारा दावा स्तर के समर्थन का मूल्यांकन करें, जिसे अभी तक लागू नहीं किया गया है। चौथा, जांचें कि क्या पर्यवेक्षक वास्तव में मार्ग बदल देता हैः यदि सुपरवाइजर ज्यादातर शोधकर्ता → आलोचक → लेखक → आलोचकों का अनुसरण करता है, तो यह काम को बदलने के बिना टोकन और विलंब जोड़ सकता है; अगर यह अधिक कठिन अनुसंधान विषयों के लिए अनुरोध करता है तो अनावश्यक चरणों को छोड़ देता है या जब पर्याप्त प्रमाण न हो तो सुरक्षित रूप से रुक जाता है, पर्य

यह अनुसंधान एजेंटों के निर्माण किसी के लिए क्या मतलब है

हेडलाइन निष्कर्ष यह है कि अधिक एजेंटों का मतलब स्वचालित रूप से बेहतर शोध गुणवत्ता नहीं था। सिंगल-एजेंट रिएक्ट सिस्टम लचीला था लेकिन बार-बार अमान्य टूल कॉल का उत्पादन किया गया। इस मूल्यांकन में फिक्स्ड रोल-आधारित पाइपलाइन ने सबसे अधिक रन पूरा किए, लेकिन इसके उद्धरण हैंडऑफ को काम की आवश्यकता है और इसकी क्लेम-लेवल साक्ष्य गुणवत्ता सत्यापित नहीं है। पर्यवेक्षक द्वारा नियंत्रित वर्कफ़्लो ने स्पष्ट रूटिंग, वैधता, त्रुटि ट्रैकिंग और बजट नियंत्रण जोड़ा जबकि जटिलता और सख्त विफलता शर्तें भी पेश कीं।

टेकअवे यह है कि ऑर्केस्ट्रेशन डिजाइन व्यवहार और विफलता मोड को आकार देता है जितना मॉडल क्षमता करता है। यदि आप एक शोध वर्कफ़्लो का निर्माण कर रहे हैं, तो व्यावहारिक प्रश्न हैं जहां टूल उपयोग लेखन के सापेक्ष बैठता है, कैसे सबूत एजेंट सीमाओं को पार करते हैं, और क्या आपके पर्यवेक्षक के निर्णय वास्तव में मार्ग बदल रहे हैं क्योंकि वे विकल्प, एजेंट की गिनती नहीं, निर्धारित करें कि क्या टूट जाता है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.