निवेशक की अंतिम परीक्षा यह है कि क्या AI एजेंट भविष्य को देखे बिना इक्विटी निवेश कर सकते हैं।
संस्करणबद्ध बेंचमार्क LLM एजेंटों का समय-समय पर वित्तीय आंकड़ों के साथ परीक्षण करता है, मजबूत संगठन सबूत लेकिन कमजोर निवेश पूर्वानुमान पाता है।
मुख्य जानकारी
- आईएलई बेंचमार्क परीक्षण करता है कि क्या LLM एजेंट समय-समय पर वित्तीय पूर्वानुमान बना सकते हैं, न कि केवल शोध का सारांश।
- यह एक बड़े संस्करण वाले कॉर्पस का उपयोग करके समय सीमा को लागू करता है ताकि एजेंट निर्णय के क्षण में अनुपलब्ध जानकारी पर भरोसा नहीं कर सकें।
- यह बेंचमार्क क्रेता पक्ष के विश्लेषकों द्वारा उपलब्ध कराए जाने वाले परिणामों पर आधारित है, जो सबूतों, गणनाओं और पूर्वानुमानों का पता लगाने के लिए अनुभागों और वित्तीय निर्भरता ग्राफ का उपयोग करते हैं।
- परिणामों से पता चलता है कि वर्तमान मॉडल भविष्य के निवेश निर्णय लेने की तुलना में साक्ष्य को व्यवस्थित करने में अधिक मजबूत हैं।
- टाइमस्टैम्प्ड मूल्यांकन सेटअप डोमेन-विशिष्ट सुदृढीकरण सीखने के लिए एक पुनः प्रयोज्य प्रशिक्षण वातावरण के रूप में भी कार्य कर सकता है।
आईएलई बेंचमार्क उन पाठकों के लिए है जो यह जानना चाहते हैं कि क्या बड़े भाषा मॉडल (LLM) एजेंट वित्तीय पूर्वानुमान कर सकते हैं, न कि केवल वित्तीय अनुसंधान को सारांशित करें। यह एक संकीर्ण लेकिन कठिन सवाल पूछता हैः क्या कोई एजेंट निर्णय समय पर दिखाई देने वाली चीज़ों का उपयोग करके स्वतंत्र रूप से सबूत से लेकर अनुमान तक की पूरी श्रृंखला को पूरा कर सकता है? इसका महत्व इसलिए है क्योंकि एलएलएम4फाइनेंस में अधिकांश कार्य, वित्तपोषण के लिए एलएलएम्स लागू करने वाले शोध क्षेत्र ने निवेश चरण के बजाय अनुसंधान चरण पर ध्यान केंद्रित किया है, जहां इस क्षेत्र का मुख्य उद्देश्य निहित है।
नतीजों का इंतज़ार करने से मॉडल की दक्षता धुंधली पड़ सकती है
पारंपरिक पूर्वानुमान मूल्यांकन का मतलब आमतौर पर परिणामों को प्राप्त करने के लिए इंतजार करना होता है, जिसमें महीनों, कभी-कभी वर्षों तक लग सकते हैं। उस समय के दौरान, बाजार की स्थितियां, मूल बातें और सूचना वातावरण इतना बदल सकता है कि स्कोर अब मॉडल से साफ नहीं किया जा सकता है। एक भविष्यवाणी जो बाद में अच्छी दिखती है वह ऐसी जानकारी पर निर्भर हो सकती है जो निर्णय लेने के समय दिखाई नहीं देती थी, या उन धारणाओं पर जो पर्यावरण बदलने के साथ बदल गई थीं।
ILE दृष्टिकोण समय सीमा लागू करके उन प्रभावों को अलग करने की कोशिश करता है। एक टाइमस्टैम्प निर्दिष्ट करें और आपको उस क्षण में दिखाई देने वाले संस्करण मिलते हैं। व्यवहार में, यह बिंदु-समय मूल्यांकन हैः एजेंट केवल ऐसे साक्ष्य का उपयोग कर सकता है जो चयनित निर्णय समय पर मौजूद थे या देखे जा सकते थे। इससे परिणाम को बाद की जानकारी के बजाय मॉडल क्षमता के रूप में व्याख्या करना आसान हो जाता है। यह पाठकों को यह देखने में भी मदद करता है कि क्या कोई स्कोर मॉडल क्षमता या बाद की सूचना तक पहुंच को दर्शाता है।
विश्लेषकों की उपलब्धियों के आधार पर निर्मित एक वर्जनयुक्त कॉर्पस
उस सीमा को लागू करने के लिए, आईएलई 3.43 मिलियन दस्तावेज़ संस्करणों, 1.52 टीबी और 9 स्रोत वर्गों का एक वर्शन कॉर्पस का उपयोग करता है। कोरपस इस तरह से डिज़ाइन किया गया है कि कटऑफ पूरे टूलचेन पर लागू होता है, न कि केवल कच्चे दस्तावेजों पर। एक टाइमस्टैम्प पूरे वर्कफ़्लो के लिए समय में उस बिंदु पर उपलब्ध साक्ष्य को चुनता है। वह डिजाइन कार्य को विश्लेषक कार्यप्रवाह के करीब रखता है जिसे बेंचमार्क परीक्षण करने की कोशिश कर रहा है।
बेंचमार्क 86 असाइनमेंट के साथ खरीद-पक्ष विश्लेषक डिलीवरबल्स के आसपास संगठित किया गया है। खरीदारी पक्ष का काम निवेश निर्णयों के करीब है, इसलिए कार्य सामान्य सारांश से अधिक परीक्षण करते हैं। स्कोरिंग वित्तीय निर्भरता ग्राफ के माध्यम से स्रोतों और पुनरुत्पादित गणनाओं को एंकर करने वाली श्रेणियों का उपयोग करता है। एक आर्थिक निर्भरता आलेख स्रोत इनपुट, मध्यवर्ती गणना और अंतिम आउटपुट को लिंक कर सकता है, ताकि किसी मॉडल के उत्तर का पता लगाया जा सके न कि केवल यह कितना धाराप्रवाह पढ़ता है।
साक्ष्य संगठन पूर्वानुमानित निर्णय से अधिक मजबूत है
परिणाम अनुसंधान चरण और निवेश-चरण कौशल के बीच एक विभाजन दिखाते हैं। वर्तमान अत्याधुनिक प्रणालियों में, एस्ट्रा ने 78.9 अंक प्राप्त किए & साक्ष्य लेकिन केवल 52.5 पूर्वानुमान पर & मॉडल. यह अंतर बताता है कि आज के मॉडल एक सुसंगत विश्लेषण में जो पहले से ही हुआ है उसके साक्ष्य को व्यवस्थित करने में बहुत अच्छे हैं। वे स्रोतों को इस तरह से एकत्र, तुलना और व्याख्या कर सकते हैं जो अनुसंधान कार्यप्रवाह के लिए उपयोगी हो सकता है।
कठिन परीक्षण उस विश्लेषण को निर्णय में बदल रहा है जो अभी तक नहीं हुआ है। जब सिस्टम को प्राप्त परिणामों द्वारा क्रमबद्ध किया जाता है, तो DeepSeek V4.1 फ्लैश आगे होता है, 40.3 बनाम 37.7. यह परिणाम-आधारित ऑर्डरिंग उपश्रेणी स्कोर से अलग हैः यह पूछता है कि क्या बाद के परिणाम पूर्वानुमान का समर्थन करते हैं, न कि विश्लेषण अच्छी तरह से पढ़ता है या नहीं। तुलना बताती है कि मजबूत साक्ष्य प्रबंधन स्वचालित रूप से मजबूत भविष्यवाणी नहीं बन जाता है।
प्रशिक्षण कोण क्यों महत्वपूर्ण है
दीर्घकालिक महत्व प्रशिक्षण पक्ष पर हो सकता है। एक बार समय सीमा एक तंत्र होने के बाद, ऐतिहासिक टाइमस्टैम्प बड़े पैमाने पर डोमेन सुदृढीकरण सीखने के लिए फिर से नमूना योग्य वातावरण बन जाते हैं। मूल्यांकन को वन-ऑफ स्कोरिंग अभ्यास के रूप में व्यवहार करने के बजाय, वही टाइमस्टेम्प्ड पर्यावरण प्रशिक्षण का समर्थन कर सकता हैः एजेंट को दृश्य जानकारी सेट के तहत निर्णय लेने के लिए कहा जा सकता है, फिर बेंचमार्क की श्रेणियों के खिलाफ मूल्यांकन किया जाता है। मूल्यांकन और प्रशिक्षण एक वातावरण साझा कर सकते हैं।
वित्तीय अनुसंधान उपकरणों के लिए इसका क्या अर्थ है
पाठकों के लिए, व्यावहारिक संदेश सरल है. Current LLM वित्त में एजेंटों पूर्वानुमान निर्णय की तुलना में साक्ष्य संगठन पर अधिक सक्षम प्रतीत होते हैं। & साक्ष्य स्कोर स्रोतों को एक साथ खींचने के लिए उपयोगी हो सकता है, लेकिन कम पूर्वानुमान & मॉडल स्कोर निवेश कौशल के प्रमाण के रूप में उस प्रवाह का इलाज करने के खिलाफ चेतावनी देता है। आईएलई बेंचमार्क मूल्य जोड़ता है क्योंकि यह स्रोतों और गणनाओं से जुड़े रूबर्स के साथ साक्ष्य से पूर्वानुमान तक एक बिंदु-समय श्रृंखला को मापता है। अगला सवाल केवल यह नहीं है कि क्या एजेंट वित्त का विश्लेषण कर सकते हैं, लेकिन क्या वे बेहतर निर्णय ले सकते हैं जब भविष्य अभी तक नहीं आया है?
मेटा विवरणः ILE बेंचमार्क LLM एजेंटों द्वारा प्वाइंट-इन-टाइम वित्तीय पूर्वानुमान और साक्ष्य प्रसंस्करण का परीक्षण करने के लिए 3.43 मिलियन दस्तावेज़ संस्करण और 86 खरीद पक्ष असाइनमेंट का उपयोग करता है।
टैगः वित्तीय पूर्वानुमान, LLM एजेंट, समय-समय पर डेटा, आईएलई बेंचमार्क, खरीद पक्ष अनुसंधान
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> समय-चिह्नित वित्तीय दस्तावेजों का अमूर्त, मैत्रीपूर्ण चित्रण और एक पूर्वानुमान तीर, कोई वास्तविक व्यक्ति नहीं, कोई लोगो नहीं, न ही पाठ।
Comments (0)