उपकरण समीक्षाएँ

LLMs वित्तीय बैकटेस्टिंग के लिए अस्थायी आत्म-ज्ञान बेंचमार्क में वे क्या जानते हैं, यह नहीं जानते।

FinDendro बेंचमार्क परीक्षण यदि LLMs अपने समय के ज्ञान को जानते हैं; GPT-5 पश्चगामी रिसाव दिखाता है, इसलिए बैकटेस्ट को मान्य ज्ञान सीमाओं की आवश्यकता होती है।

LLMs वित्तीय बैकटेस्टिंग के लिए अस्थायी आत्म-ज्ञान बेंचमार्क में वे क्या जानते हैं, यह नहीं जानते।

मुख्य जानकारी

  • FinDendro यह परीक्षण करने के लिए एक बेंचमार्क है कि क्या वित्तीय बैकटेस्टिंग में उपयोग किए जाने वाले LLMs ऐतिहासिक समय सीमाओं पर सटीक रूप से जान सकते हैं जो वे जानते हैं।
  • इस बेंचमार्क में 1999 से 2026 तक के 2,226 दिनांकित अमेरिकी वित्तीय और मैक्रोइकोनॉमिक तथ्यों को शामिल किया गया है, जिसमें वृहद संकेतक, स्टॉक की कीमतें और Federal Reserve निर्णय शामिल हैं।
  • GPT-5 ने घोषित ज्ञान और वास्तविक ज्ञान के बीच एक बड़ा अंतर दिखायाः इसने नियंत्रित तथ्यों में से 76% का सही उत्तर दिया लेकिन केवल 38% के लिए ज्ञान का दावा किया।
  • अध्ययन में पाया गया कि पश्चदृष्टि रिसाव वास्तविक पूर्वानुमान की तुलना में बैकटेस्ट को अधिक सटीक बना सकता है, क्योंकि मॉडल उन्हें भविष्यवाणी करने के बजाय ज्ञात परिणामों को याद कर सकते हैं।
  • सामान्य सुरक्षा उपाय, जैसे कि ज्ञान कटऑफ पर भरोसा करना या मॉडल को ऐतिहासिक तिथि के रूप में उत्तर देने का निर्देश देना, सही उत्तर उत्पन्न करने से मॉडलों को विश्वसनीय रूप से नहीं रोकते हैं।

मेटा विवरणः FinDendro परीक्षण करता है कि क्या large language models जानते हैं कि वे अतीत के अमेरिकी वित्तीय तथ्यों की भविष्यवाणी करते समय, AI बैकटेस्टिंग में पश्चदृष्टि जोखिम का खुलासा करते हैं।

 LLMs do not know what they know in temporal self-knowledge benchmarks for financial backtesting.

टैगः FinDendro, LLM वित्तीय बैकटेस्टिंग, GPT-5, समय संबंधी ज्ञान, वित्तीय बेंचमार्क

विशेष रुप से प्रदर्शित छवि: दिनांकित वित्तीय तथ्यों की एक शाखागत समयरेखा का अमूर्त, मैत्रीपूर्ण चित्रण, जिसमें कोई वास्तविक व्यक्ति, लोगो या पाठ नहीं है।

एक मॉडल क्या जानता है यह जानने के लिए परीक्षण

शोधकर्ताओं ने FinDendro, LLM वित्तीय बैकटेस्टिंग के लिए एक बेंचमार्क पेश किया है जो किसी भी एआई-संचालित वित्त प्रयोग शुरू होने से पहले एक सवाल का जवाब देने के लिए बनाया गया हैः जब large language model को अतीत की घटना की भविष्यवाणी करने के लिए कहा जाता है, तो क्या यह पूर्वानुमान लगा रहा है या बस एक परिणाम याद कर रहा है जिसे वह पहले से जानता है? पेपर शीर्षक है 89890009 89t Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting. 89

चिंता यह है कि एक मॉडल का घोषित ज्ञान कटऑफ, इसका अपना दावा है कि क्या इसे उत्तर पता है, या ऐसा व्यवहार करने के लिए निर्देश दिया गया है जैसे कि यह ऐतिहासिक तिथि पर काम कर रहा हो, hindsight लीक को रोकने के लिए पर्याप्त नहीं हो सकता है। hindsight leakage तब होता है जब कोई सिस्टम ऐसी जानकारी का उपयोग करता है जो परीक्षण किए जाने वाले समय में उपलब्ध नहीं होनी चाहिए थी। इससे बैकटेस्ट वास्तविक, भविष्य-उन्मुख सेटिंग की तुलना में अधिक सटीक लग सकता है.

फिनडेंड्रो क्या उपाय करता है

फिनडेंड्रो 2,226 दिनांकित अमेरिकी वित्तीय और मैक्रोइकॉनॉमिक तथ्यों से बना है जो 1999-2026 तक फैला हुआ है। तथ्य तीन प्रकार की जानकारी को कवर करते हैं जो वित्तीय मूल्यांकन कार्य में आम हैंः समष्टि आर्थिक संकेतक, महीने के अंत में स्टॉक की कीमतें और Federal Reserve निर्णय।

बेंचमार्क केवल यह नहीं पूछता है कि क्या एक मॉडल सही संख्या या परिणाम का उत्पादन कर सकता है। यह एक दूसरी परत की जांच करता हैः क्या मॉडल समय के साथ जो कुछ जानता है उसे सही ढंग से रिपोर्ट करने में सक्षम है। दूसरे शब्दों में, यह अस्थायी आत्म-ज्ञान का परीक्षण करता है, मॉडल को उस सीमा के बारे में जागरूकता होती है जिसे इसे जानना चाहिए, वह क्या जान सकती है और उसे क्या पता नहीं होना चाहिए क्योंकि यह सूचना तिथि के बाद होता है।

यह महत्वपूर्ण है क्योंकि बैकटेस्टिंग को अक्सर एक अवधि चुनने की आवश्यकता होती है जिसमें मॉडल का इलाज किया जा सकता है जैसे कि इसे पहले से ही उत्तर नहीं पता था। यदि वह सीमा गलत है, तो परीक्षण पूर्वानुमान के साथ याद कर सकते हैं।

क्या GPT-5 s Results Show

निष्कर्षों में दावा किए गए ज्ञान और मापे गए ज्ञान के बीच एक अंतर दिखाया गया है। GPT-5 ने नियंत्रित तथ्यों का 76% सही ढंग से उत्तर दिया, जबकि केवल 38% की जानकारी दी गई। इसका मतलब यह है कि इसके अधिकांश सही जवाब ज्ञान के दावे के साथ नहीं थे।

बेंचमार्क यह भी पाता है कि, तथ्यों के लिए GPT-5 का कहना है कि वह नहीं जानता है, यह अभी भी 61% को सही ढंग से जवाब देता है। यह परिणाम महत्वपूर्ण है क्योंकि इससे पता चलता है कि केवल एक मॉडल से पूछने पर कि क्या उसे कोई नतीजा पता है, इसका खुलासा नहीं हो सकता है कि क्या वह उत्तर तक पहुंच सकता है। एक मॉडल कुछ जानने से इनकार कर सकता है जबकि फिर भी सही प्रतिक्रिया उत्पन्न करता है।

स्व-रिपोर्ट किए गए ज्ञान को मापी गई सीमा से सात चौथाई तक फैलाया जा सकता है। यह एक और संकेत है कि जो मॉडल कहता है वह जानता है और जो दिखाता है कि यह जानता है, वह अच्छी तरह से संरेखित नहीं हो सकता है.

क्यों आम सुरक्षा उपाय पर्याप्त नहीं हो सकते

अध्ययन में उन सुरक्षा उपायों का परीक्षण किया गया जिन पर उपयोगकर्ता अक्सर भरोसा करते हैं। विक्रेता के ज्ञान कटऑफ पर विश्वास करना एक प्रारंभिक बिंदु दे सकता है, लेकिन यह अपने आप से नहीं दिखाता है कि मॉडल सही ढंग से क्या जवाब दे सकते हैं। मॉडल को पूछना कि क्या वह परिणाम जानता है तो स्वच्छ-ध्वनि अस्वीकरण उत्पन्न कर सकते हैं, लेकिन परिणाम बताते हैं कि उत्तर मॉडल के वास्तविक प्रदर्शन से मेल नहीं खा सकता है।

मॉडल को एक ऐतिहासिक तिथि के रूप में उत्तर देने के लिए कहने से वह बदल जाता है जो यह जानने का दावा करता है। निष्कर्ष कहते हैं कि ऐतिहासिक-तिथि निर्देश अधिकांश पूर्व ज्ञान दावों को समाप्त करते हैं, लेकिन सटीकता स्तर नहीं चलता है। यह संयोजन प्रमुख चेतावनी हैः मॉडल कह सकता है कि यह कुछ जानता है, लेकिन यह सही जवाब देना बंद नहीं कर सकता है। बैकटेस्ट के लिए, ज्ञान की सीमाओं के विश्वसनीय स्पष्टीकरण के बिना सटीकता पर्याप्त नहीं है।

पाठकों के लिए इसका क्या अर्थ है?

उन पाठकों के लिए जो वित्तीय विचारों का मूल्यांकन करने के लिए large language models का उपयोग करते हैं, व्यावहारिक सबक मॉडल बयानों को साक्ष्य के रूप में व्यवहार करना है, सबूत नहीं। बेंचमार्क एक व्यवहारिक प्रक्रिया प्रदान करता हैः यह अस्थायी ज्ञान सीमाओं की पहचान करता है और प्रदर्शित तथ्यात्मक ज्ञान के आधार पर बैकटेस्ट अवधि चुनने में मदद करता है। इसका मतलब है कि अधिक विश्वसनीय दृष्टिकोण यह परीक्षण करना है कि मॉडल क्या जवाब दे सकता है, न कि केवल उस पर भरोसा करना जो मॉडल कहता है कि वह जानता है।

FinDendro उन पाठकों के लिए भी उपयोगी है जो यह समझना चाहते हैं कि AI वित्तीय पूर्वानुमान भ्रामक क्यों हो सकते हैं। एक मॉडल जो अतीत की अच्छी तरह से भविष्यवाणी करता प्रतीत होता है, वह अतीत को याद करने के करीब कुछ कर सकता है। एक उचित मूल्यांकन को इन दो व्यवहारों को अलग करना चाहिए, खासकर जब लक्ष्य यह निर्णय लेना है कि वास्तविक, भविष्य में अनुमान लगाने वाले कार्य में मॉडल का प्रदर्शन कैसे किया जा सकता है.

परिणाम यह नहीं कहता है कि LLMs का वित्तीय कार्य में उपयोग नहीं किया जा सकता। यह कहते हैं कि बैकटेस्टिंग में उनका मूल्य ज्ञान के स्पष्ट माप पर निर्भर करता है। वित्त प्रयोगों के लिए GPT-5 या इसी तरह के मॉडल पर भरोसा करने वाले किसी भी व्यक्ति के लिए, FinDendro एक अधिक सावधानीपूर्वक प्रारंभिक बिंदु की ओर इशारा करता हैः पहले मॉडल की तथ्यात्मक सीमाओं की पहचान करें, फिर उस अवधि और प्रश्नों को चुनें जो उन सीमाओं से मेल खाते हों।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.