Knowledge Discovery और Data Mining Cup विश्वसनीय डेटा विश्लेषण एजेंटों के निर्माण के लिए सबक प्रदान करता है।
केजीएमओएन ने एक कॉम्पैक्ट, निरीक्षण योग्य हार्नेस का उपयोग करते हुए KDD Cup और 2026 में दूसरा स्थान प्राप्त किया।
मुख्य जानकारी
- NVIDIA KGMON ने एक निश्चित छोटे मॉडल के आसपास एजेंट हार्नेस में सुधार करके KDD Cup 2026 Data Agents प्रतियोगिता में दूसरा स्थान हासिल किया, न कि खुद को और अधिक जटिल बनाकर।
- टीम ने एकीकृत डेटा एक्सेस, एक संकीर्ण टूल सेट और विफलताओं को कम करने के लिए एकल उत्तर-आउटपुट पथ के माध्यम से एजेंट की कार्रवाई स्थान को सीमित कर दिया।
- तर्क से पहले स्कीमा स्कूटिंग ने एजेंट को तालिकाओं, स्तंभों, कुंजियों, इकाइयों और पंक्ति-अनाज के मुद्दों को समझने में मदद की, गलत क्वेरी या गलत व्याख्या किए गए डेटा से त्रुटियों को कम किया।
- दस्तावेजों और वीडियो को पूर्व-प्रसंस्करण और अलग निष्कर्षण उपकरणों के साथ संभाला गया, जिससे बड़ी कच्ची सामग्री मुख्य एजेंट संदर्भ से बाहर रही और विश्वसनीयता में सुधार हुआ।
- निष्पादन के निशान, दोहराए गए प्रयासों और उत्तर चयन का उपयोग विफलता पैटर्न की पहचान करने और प्रदर्शन में सुधार करने के लिए किया गया था, हालांकि संयोजन को उत्पादन प्रणालियों के लिए महंगा बताया गया था।
मेटा विवरणः NVIDIA KGMON ने एक निश्चित मॉडल के आसपास छोटे, स्पष्ट और अधिक सत्यापित एजेंट हार्नेस का निर्माण करके प्रतियोगिता में दूसरा स्थान प्राप्त किया।
टैगः डेटा एजेंट, LLM हार्नेस, 8900001
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक कॉम्पैक्ट एजेंट हार्नेस दिखाने वाला एक अमूर्त, मैत्रीपूर्ण चित्रण: एसक्यूएल तालिकाओं, दस्तावेजों, वीडियो फ्रेमों, निशान और मूल्यांकन लूप से जुड़ा एक केंद्रीय मॉडल; कोई लोगो नहीं, कोई पाठ नहीं, न ही लोग।
NVIDIA KGMON टीम ने KDD Cup 2026 Data Agents प्रतियोगिता में दूसरा स्थान प्राप्त किया, और परिणाम उन डेवलपर्स के लिए सबसे उपयोगी है जो गन्दा, मिश्रित डेटा स्रोतों से सवालों का जवाब देना चाहिए। मॉडल को अधिक करने की कोशिश करने के बजाय, टीम ने एजेंट की हार्नेस कॉम्पैक्ट, पारदर्शी और जांचना आसान बना दिया।
क्यों हार्नेस मुख्य लीवर बन गया
प्रतियोगिता ने एजेंटों को डेटाबेस, सीएसवी और जेएसओएन फाइलों, गद्य दस्तावेजों, पीडीएफ और ब्रीफिंग वीडियो में प्राकृतिक-भाषा के सवालों का जवाब देने के लिए कहा। प्रत्येक कार्य को खोज से अधिक की आवश्यकता थीः एजेंट को उपलब्ध डेटा का निरीक्षण करना था, उपकरण चुनना था, स्रोतों पर तर्क देना था, एक अंतिम उत्तर फ़ाइल बनाना था, और विश्लेषणात्मक वर्कफ़्लो में दिखाई देने वाले जाल से बचें।
केडीडी ने टीमों को एक छोटे से फिक्स्ड लार्ज लैंग्वेज मॉडल का उपयोग करने की भी आवश्यकता थी, जिसने आसपास के हार्नेस में अनुकूलन स्थानांतरित कर दिया। केजीएमओएन टीम ने प्रीप्रोसेसिंग, प्रतिबंधित टूल, स्थायी राज्य और मूल्यांकन के माध्यम से उस मॉडल के लिए कार्य को आसान बनाने की कोशिश की। ये तरीके छोटे खुले मॉडलों के चारों ओर विश्वसनीय सिस्टम बनाते समय भी मदद कर सकते हैं।
दो नियमों ने एजेंट को आकार दिया
पहला नियम कार्रवाई की जगह को सीमित करना था। टीम ने तर्क दिया कि डेटा का निरीक्षण करने, उपकरणों को कॉल करने, फ़ाइलों को लिखने या त्रुटियों से उबरने के बहुत सारे तरीके विफलता बिंदु बनाते हैं। KGMON एकीकृत डेटा एक्सेस, एक संकीर्ण टूल सेट को उजागर करता है और एक आउटपुट पथ के माध्यम से जाने के लिए उत्तर की आवश्यकता होती है।
दूसरा नियम प्रत्येक प्रयास को निरीक्षण करने योग्य बनाना था। एक असफल रन खराब टूल कॉल, गलत ज्वाइन, मिस डॉक्यूमेंट रूल या आउटपुट-फॉर्मेट समस्या से आ सकता है। निष्पादन के निशान, दोहराए गए प्रयास और प्रक्षेपवक्र निरीक्षण टीम को विफलता पैटर्न खोजने और हार्नेस को समायोजित करने की अनुमति देते हैं।
एकीकृत डेटा एक्सेस, स्कीमा संदर्भ और एक संकीर्ण उपकरण सेट
प्रत्येक कार्य CSV और JSON फ़ाइलों के साथ SQL डेटाबेस को मिला सकता है। KGMON ने उन फाइलों को मौजूदा SQLite डेटाबेस के अंदर तालिकाओं में परिवर्तित कर दिया, इसलिए एजेंट के पास संरचित डेटा के लिए एक SQL इंटरफ़ेस था। इसके लगातार पायथन वातावरण ने उस एकीकृत सतह का निरीक्षण करने और क्वेरी करने के लिए दो अंतर्निहित कार्यों को उजागर किया। परिणाम रूटिंग त्रुटियों और बर्बाद मोड़ को कम कर दिया गया, जिससे निश्चित मॉडल को तर्क देने की अधिक जगह मिली।
मुख्य तर्क लूप से पहले, टीम ने स्कीमा स्काउटिंग जोड़ा। सिस्टम ने तालिकाओं, कॉलमों, संभावित ज्वाइन कुंजियों, डुप्लिकेट नामों, समान दिखने वाले फ़ील्ड्स, इकाइयों, शून्य पैटर्न और पंक्ति-अनाज के मुद्दों का निरीक्षण किया। एजेंट को प्रत्येक कार्य की शुरुआत में वह संदर्भ प्राप्त हुआ, जिससे एक प्रारंभिक खोज बारी बच गई। इसने गलत स्तंभों, चूक गए जोड़ों या भ्रम के कारण त्रुटियों को कम कर दिया कि प्रत्येक उत्तर पंक्ति क्या प्रतिनिधित्व करती है।
टूल हार्नेस छोटा और विचारशील रहा। हेल्पर ने स्कीमा निरीक्षण, एसक्यूएल क्वेरीज, दस्तावेज़ लुकअप, गद्य निष्कर्षण और उत्तर लेखन को कवर किया। मिडिलवेयर ने खराब टूल्स कॉल की मरम्मत की ताकि एक बुरे कॉल से प्रयास समाप्त न हो सके। स्टेटफुल पायथन एनवायरनमेंट ने कॉल के बीच चर बनाए रखे, जिससे एजेंट मध्यवर्ती परिणामों का पुनः उपयोग कर सकता है। पूर्वनिर्धारित फ़ंक्शंस जैसे कि schema), sql (query) और write_answer (df) बॉयलरप्लेट, सिंटैक्स त्रुटियों और फ़ाइल-हैंडलिंग गलतियों को कम कर दिया। छोटे, वैध प्रयास अतिरिक्त रन, मूल्यांकन और एसेम्बलिंग के लिए अधिक मोड़ छोड़ते हैं, जो कई प्रयासों के परिणामों को जोड़ता है।
दस्तावेज़, वीडियो, निशान और सुधार लूप
गद्य स्रोतों को प्रथम श्रेणी के इनपुट के रूप में माना जाता था, लेकिन संरचित डेटा से अलग रखा गया। कुछ कार्यों में, पीडीएफ, मार्कडाउन फाइलें, नीति पाठ, निर्देश और रिपोर्ट में सीमाएं, नियम, परिभाषाएँ और तालिका-जैसे रिकॉर्ड शामिल थे। क्योंकि बड़े दस्तावेज़ एक मॉडल की संदर्भ विंडो का उपभोग कर सकते हैं, KGMON ने पायथन के खुले () फ़ंक्शन या .read () विधि के माध्यम से प्रत्यक्ष रीड को अवरुद्ध किया। इसने ऐसे उपकरण प्रदान किए जो वर्ण गणना या नियमित अभिव्यक्ति मैचों द्वारा पूर्वावलोकन और खोज को सीमित करते हैं।
प्रासंगिक अनुभाग खोजने के बाद, एजेंट prose_helper को कॉल कर सकता था, एक कस्टम टूल जो LLM कॉल पर तापमान 0 और तर्क अक्षम होने के साथ अलग-अलग दस्तावेज़ टुकड़े पास करता था। यह उत्तर या निकाले गए तालिकाओं को वापस लाता है, मुख्य एजेंट के संदर्भ से बाहर कच्चे दस्तावेज़ पाठ को रखता है। टीम ने नोट किया कि टेबल निष्कर्षण प्रतियोगिता कार्यों के लिए उपयुक्त है जहां संरचित जानकारी दस्तावेजों में एम्बेडेड थी, जबकि उत्पादन प्रणालियों को केवल लक्षित गद्य खोज की आवश्यकता हो सकती है।
कुछ कार्यों में ब्रीफिंग वीडियो शामिल थे, जिसमें प्रति कार्य अधिकतम एक वीडियो था। एजेंट लूप के अंदर वीडियो को संसाधित करने से बचने के लिए, KGMON ने कीफ़्रेम निकाले, ऑडियो ट्रांसक्रिप्ट किया, फ्रेम्स के साथ ट्रान्सक्रिप्ट खंडों को संरेखित किया और उस सबूत को एजेंट को आपूर्ति की। यह सही दृश्य साक्ष्य के लिए बोली जाने वाली संदर्भ से जुड़ा हुआ है। बड़े वीडियो संग्रह के लिए एक ऑन-डिमांड हेल्पर बेहतर फिट हो सकता है।
प्रत्येक प्रयास को लॉग किया गया था। प्रॉम्प्ट, टूल कॉल, एसक्यूएल क्वेरीज, मध्यवर्ती परिणाम, त्रुटियां, मरम्मत, दस्तावेज़ लुकअप और अंतिम उत्तर दर्ज किए गए थे। एक विशेष निरीक्षक एजेंट असफल प्रक्षेपवक्र की समीक्षा कर सकता है, गलतियों को वर्गीकृत कर सकते हैं, और सतह आवर्ती विफलताओं का पता लगा सकते हैं। निशान से पता चलता है कि क्या कोई गलत जवाब स्कीमा भ्रम, एक गलत जुड़ाव, चूक गद्य साक्ष्य, आउटपुट स्वरूपण या भंगुर प्रोमोट नियम से आया है।
केजीएमओएन ने कवरेज में सुधार करने के लिए दोहराए गए प्रयासों और उत्तर चयन का भी उपयोग किया। इसने कॉलम नामों के बजाय उत्तर मूल्यों द्वारा प्रयासों को समूहीकृत किया और विवादित कार्यों को अतिरिक्त रन दिए। इससे लीडरबोर्ड के सटीक मूल्य-स्तर स्कोरिंग के तहत एक बार की गलतियों से स्थिर जवाबों को अलग करने में मदद मिली। टीम ने नोट किया कि दोहराए जाने वाले प्रयास टोकन उपयोग, विलंबता और कंप्यूटिंग लागत बढ़ाते हैं, इसलिए उत्पादन प्रणालियों को उन कार्यों के लिए संयोजन आरक्षित करना चाहिए जहां मूल्य, अनिश्चितता या जोखिम व्यय को सही ठहराती है।
स्वायत्त सुधार लूप प्रॉम्प्ट, टूल, पोस्टप्रोसेसिंग और मूल्यांकन तर्क को परिष्कृत कर सकते हैं, लेकिन वे एक बेंचमार्क के लिए भी ओवरफिट हो सकते हैं। KGMON ने ऐसे जोखिमों को देखा जैसे कि प्रशिक्षण उदाहरणों को प्रोम्प्ट में हार्डकोडिंग करना, विरोधाभासी निर्देशों का संचय करना, भंगुर बाद के प्रसंस्करण नियम जोड़ना, और सामान्यीकरण को नुकसान पहुंचाते हुए एक बेन्चमार्क विभाजन में सुधार करना। टीम को परिवर्तनों को बढ़ावा देने से पहले आयोजित कार्यों, शीघ्र ऑडिट, ट्रैक समीक्षा और मानव अनुमोदन की आवश्यकता थी। लोगों ने कार्य आवश्यकताओं को परिभाषित किया, लेखा परीक्षित निशान, मार्गदर्शित प्रारंभिक एजेंट व्यवहार, खारिज किए गए भंगूर बदलाव और बनाए रखने के लिए चयनित सुधार। उस लक्षित मानवीय समीक्षा ने प्रत्येक उपकरण कॉल की देखरेखण की आवश्यकता के बिना भविष्य के रन में सुधार किया।
क्या बिल्डरों नकल कर सकते हैं और पीछे छोड़ने के लिए
सटीक KDD समाधान को बेंचमार्क द्वारा आकार दिया गया था: एक निश्चित मॉडल, कोई इंटरनेट एक्सेस नहीं, विषम कार्य बंडल, मूल्य-स्तरीय स्कोरिंग और दीर्घकालिक बजट। हर डिजाइन विकल्प सीधे उत्पादन में स्थानांतरित नहीं होना चाहिए। हस्तांतरणीय प्रथाएं अधिक सामान्य हैंः एजेंट शुरू होने से पहले संरचित डेटा का उपयोग करना; एजेंट को एक छोटी, विश्वसनीय उपकरण सतह दें; प्रत्येक प्रयास को ट्रैक करने योग्य बनाएं; दोनों उत्तरों और प्रक्षेपवक्र का मूल्यांकन करें; केवल लागत उचित होने पर दोहराए गए प्रयासों का उपयोग करें; पुनः प्रयोज्य ज्ञान बनाए रखें; और उन्हें बढ़ावा देने से पहले सुधारों को मान्य करें।
पहली परियोजना के लिए, एक दोहराए जाने योग्य विश्लेषण कार्यप्रवाह से शुरू करें और इसे पूरा करने वाले सबसे छोटे हार्नेस का निर्माण करें। प्रश्न और आवश्यक उत्तर प्रारूप को परिभाषित करें। एजेंट को डेटा की जांच और पूछताछ के लिए उपकरणों का एक संकीर्ण सेट दें। प्रत्येक टूल कॉल और मध्यवर्ती परिणाम रिकॉर्ड करें। KGMON परिणाम एक व्यावहारिक सबक की ओर इशारा करता हैः विश्वसनीयता मॉडल की स्वतंत्रता का विस्तार करने पर कम निर्भर करती है और इसके लिए एक स्पष्ट, सुरक्षित मार्ग बनाने पर अधिक निर्भर होती है।

Comments (0)