आपका AI मॉडल जोखिम की भविष्यवाणी करता है, लेकिन कब कार्य करने का निर्णय कौन लेता है?

मेटा विवरणः एक विश्वसनीय संभावना तभी कार्रवाई बन जाती है जब आप निर्णय सीमा निर्धारित करते हैं; यह व्याख्याकार दिखाता है कि लागत मॉडल स्क्रीनिंग विकल्पों को कैसे बदलती है।

टैगः मॉडल मूल्यांकन, निर्णय सीमा, अंशांकन, शुद्ध लाभ

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक सीमा रेखा को पार करने वाले संभावना वक्र का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

निर्णय सीमा वह क्षण है जब एक मॉडल रैंकिंग उपकरण होना बंद हो जाता है और यह तय करना शुरू कर देता है कि किस पर कार्रवाई की जाती है। यह कदम किसी भी प्रणाली में मायने रखता है जो धोखाधड़ी स्कोरिंग, मांग पूर्वानुमान और विसंगति का पता लगाने सहित संभावना को कार्रवाई में बदलता है। सिंथेटिक स्क्रीनिंग उदाहरण में, मॉडल 4,000 सिंथेटिक्स रोगियों से बनाया गया है, जिनमें से 448 वास्तव में बीमार हैं, या लगभग 11 प्रतिशत। यह स्वस्थ लोगों के आगे बीमार मरीजों को रिसीवर ऑपरेटिंग विशेषता वक्र स्कोर 0.84 के तहत क्षेत्र के साथ रैंक करता है, और इसकी संभावनाओं को कैलिब्रेट किया जाता हैः जब यह एक समूह को लगभग 30 प्रतिशत जोखिम सौंपता है, तो उस समूह के करीब 30 प्रतिशत बीमार होते हैं। मॉडल पहले ही इस श्रृंखला में पिछले जांचों को पारित कर चुका हैः क्या यह भविष्यवाणी कर सकता है, क्या यह जोखिम रख सकता है और क्या इसका भरोसा किया जा सकता है?

एक अच्छी संभावना निर्णय नहीं है

संभावनाओं को हां या नहीं कॉल में बदलने के लिए, डिफ़ॉल्ट दृष्टिकोण का उपयोग किया गया था: उपरोक्त अनुमानित जोखिम वाले प्रत्येक रोगी 0.5 को सकारात्मक माना जाता था। उस कटऑफ पर, मॉडल ने बीमारी का केवल एक चौथाई हिस्सा पकड़ लिया, या 25 प्रतिशत। 448 वास्तव में बीमार रोगियों में से, इसने 110 को चिह्नित किया और 338 चूक गए, जबकि 56 झूठे अलार्म उठाए।

मॉडल स्वयं असफल नहीं हुआ। इसकी रैंकिंग बरकरार रही, और इसकी संभावनाएं ईमानदार रहीं। जो विफल रहा वह निर्णय नियम था: परिणामों का वजन किए बिना चुना गया कटऑफ अच्छे जोखिम अनुमान को खराब कार्रवाई में बदल देता है। मरीजों को याद किया गया क्योंकि 0.5 कार्य करने के लिए गलत जगह थी, और किसी ने भी इसे उद्देश्य से नहीं चुना था।

डिफ़ॉल्ट कटऑफ एक मूल्य निर्णय को छुपाता है

0.5 की एक सीमा तटस्थ महसूस करती है, लेकिन यह नहीं है। यह चुपचाप कहता है कि एक याद किया गया मामला और झूठे अलार्म की लागत समान होती है। एक स्क्रीनिंग मॉडल दो गलतियाँ कर सकता हैः यह बीमार रोगी के माध्यम से लहर सकता है, एक झूठा नकारात्मक, या बिना किसी कारण के स्वस्थ मरीज को ध्वजांकित कर सकते हैं, एक मिथ्या सकारात्मक। जोखिम 50 प्रतिशत से अधिक होने पर ही कार्य करना केवल तभी उचित होता है जब एक याद किए गए मामले में बिल्कुल एक झूठी चेतावनी का मूल्य हो।

वास्तविक निर्णयों में उस संतुलन से अधिक शामिल हो सकता है: परीक्षण करने की लागत, उपचार के नुकसान या किसी व्यक्ति की प्राथमिकताएं। लेकिन चूक गए मामलों और झूठे अलार्म के बीच का व्यापार शुरू करने के लिए सही जगह है।

कई स्क्रीनिंग सेटिंग्स में, दो त्रुटियां समान नहीं हैं। प्रारंभिक कैंसर को याद करना एक और मरीज को वापस बुलाने के लिए वैसा ही नहीं है जो स्पष्ट हो जाता है। जब बीमारी असामान्य होती है, तो 0.5 कटऑफ विशेष रूप से दंडनीय हो सकती है। कम प्रसार इस परिणाम की गारंटी नहीं देता है, लेकिन जब कोई मॉडल केवल मध्यम अलगाव देता है तो यहां तक कि कैलिब्रेटेड मॉडल भी 50 प्रतिशत से नीचे बहुत सारे वास्तविक बीमार रोगियों को छोड़ सकता है।

यह मॉडल की रैंकिंग का विरोधाभास नहीं करता है। रिसीवर ऑपरेटिंग विशेषता वक्र के तहत क्षेत्र मापता हैः बीमार मरीजों को स्वस्थ रोगियों की तुलना में अधिक स्कोर करना। यह नहीं कहता कि 0 से 1 तक के पैमाने पर वे स्कोर कहां हैं। एक तेज मॉडल 50 प्रतिशत से ऊपर कई बीमार रोगियों को धक्का दे सकता है; यह इसके नीचे 448 में से 338 छोड़ देता है, जो स्वस्थ रोगी से ऊपर है लेकिन अभी भी आधे रास्ते के निशान से कम है।

सांख्यिकीय कटऑफ केवल एक प्रारंभिक बिंदु है

एक कटऑफ चुनने के लिए क्लासिक डेटा-चालित तरीका यूडेन इंडेक्स है, जिसे 2004 में प्रस्तावित किया गया था। यह दो दरों का उपयोग करता हैः संवेदनशीलता, वास्तव में बीमार रोगियों की हिस्सेदारी और विशिष्टता, सही ढंग से स्वस्थ मरीजों को सही तरीके से छोड़ दिया जाता है। यह उस सीमा का चयन करता है जो जे = संवेदनशीलता + विशिष्टता − 1 को अधिकतम करती है, जो उनके योग को अधिकतम करने जैसा ही है क्योंकि -1 स्थिर है।

इस मॉडल पर, यूडेन सूचकांक 0.12 पर आता है। चित्र पूरी तरह से बदल जाता है। संवेदनशीलता 25 प्रतिशत से बढ़कर 77 प्रतिशत हो जाती है, विशिष्टता 76 प्रतिशत होती है और यह मॉडल 110 के बजाय 448 में से 344 मामलों को पकड़ लेता है। लेकिन झूठे अलार्म 56 से 848 तक चढ़ जाते हैं।

यूडेन सूचकांक चुपचाप मानता है कि एक बिंदु की संवेदनशीलता और एक बिंदु विशिष्टता के बराबर हैं. यह एक सांख्यिकीय संतुलन, अंधा करने के लिए कैसे आम बीमारी है और क्या प्रत्येक त्रुटि वास्तव में लागत. यह हो सकता है एक उचित संदर्भ बिंदु जब कोई लागत जानकारी मौजूद नहीं है, और गलत लंगर पल लागत सूचना मौजूद है, जो लगभग हमेशा होता है.

लागत अनुपात सीमा निर्धारित करता है

जो विचार सब कुछ पुनर्गठित करता है वह सरल हैः संभावित सीमाओं का वक्र दिखाता है कि क्या हासिल किया जा सकता है, लेकिन यह अपने आप में नहीं कह सकता कि कौन सा व्यापार स्वीकार्य है। लापता प्रश्न यह है कि एक चूक मामला झूठे अलार्म से कितने गुना बदतर है।

उस संख्या को R कहें, लागत अनुपात. एक कैलिब्रेटेड जोखिम मॉडल के लिए, जब पैमाने पर केवल चीजें झूठी सकारात्मक की लागत और झूठी नकारात्मक की लागत हैं, वह सीमा जो अपेक्षित लागत को कम करती है:

यदि पूर्वानुमानित जोखिम ≥p_t, जहां p_t = 1 / (1 + R) हो तो कार्य करें

यहाँ p_t संभावना सीमा है. यदि दो त्रुटियाँ बराबर हैं, R = 1, तो p_ t = 1 / (1 + 1) = 0.50. यही कारण है कि भोला डिफ़ॉल्ट इतना कम पकड़ता है। अगर एक चूक मामला 9 गुना बदतर है, आर = 9, तो पी_ टी = 1/ (1 + 9) = 0.10. आप JUST 10 प्रतिशत जोखिम पर कार्य करते हैं, एक मिस से बचने के लिए अधिक झूठे अलार्म को स्वीकार करते हैं। यदि एक झूठा अलार्म का डर अधिक होता है, तो कहें कि यह एक मिस की तुलना में 4 गुना बुरा है, इसलिए आर = 1/4, फिर p_ T = 1/1 + 0.25) = 0.80. अब आप केवल तभी कार्य करें जब आपको 80 प्रतिशत यकीन हो।

R हेडकाउंट के बारे में एक वादा नहीं है। यह दो त्रुटियों की सापेक्ष लागत निर्धारित करता है, न कि प्रत्येक अतिरिक्त मामले के लिए व्यापार किए गए झूठे अलार्मों की संख्या. यह मॉडल पर निर्भर करता है और बीमारी कितनी आम है। 9 नंबर मूल्यों का विवरण है, शरीर की गिनती नहीं। सूत्र भी एक साधारण हाँ या कोई निर्णय मानता है। क्षमता सीमाओं, रोगी-विशिष्ट लागत, या कार्रवाई से परे कार्य और इस एक पंक्ति से अधिक की आवश्यकता होगी।

एक ही मॉडल, समान संभावनाएं और वही मरीज बहुत अलग परिणाम उत्पन्न कर सकते हैं जब केवल लागत विवरण बदलता है। दहलीज वह जगह है जहां मानव मान दर्ज होते हैं, न कि algorithm ।

क्या अभिनय स्पष्ट विकल्पों को हरा देता है?

एक सीमा चुनने के बाद, एक सवाल रहता हैः क्या मॉडल का उपयोग करना वास्तव में सभी को संदर्भित करने या किसी को भी संदर्भित नहीं करने के स्पष्ट विकल्पों को हराता है?

यह वही है जो Decision Curve Analysis में विकर्स और एल्किन की एक विधि द्वारा उत्तर दिया गया है। यह रीफ्रेमिंग पर आधारित हैः जिस सीमा पर आप कार्य करेंगे वह स्वयं ही दो त्रुटियों का वजन करने के लिए एक बयान है। 10 प्रतिशत पर काम करने वाले चिकित्सक कह रहे हैं कि एक चूक मामला लगभग नौ झूठे अलार्म के लायक है, इसलिए नुकसान को उस अनुपात में तौला जाना चाहिए।

कि किसी भी सीमा पर शुद्ध लाभ कहा जाता है एक एकल संख्या देता हैः

शुद्ध लाभ = सच्चे पॉजिटिव / एन − झूठे सकारात्मक / एन × पी_टी / (1 -पी_टी)

यहाँ N मूल्यांकन किए गए रोगियों की कुल संख्या है। सच्चे सकारात्मक मॉडल के अच्छे हैं; झूठे सकारात्मक एक ही व्यापार-बंद के अनुपात में दंडित होते हैं। इसे सीमाओं पर गणना करना और मॉडल को प्लॉट करना, सभी का उल्लेख करें, और कोई भी नहीं दिखाता है कि क्या भविष्यवाणियों पर कार्य करने से विकल्पों की तुलना में बेहतर संतुलन प्रदान करता है।

लगभग 5 प्रतिशत से 30 प्रतिशत तक की सीमाओं के पार, यह मॉडल किसी भी विकल्प के रूप में कम से कम अनुमानित शुद्ध लाभ प्रदान करता है। बहुत कम सीमाओं पर, सभी को संदर्भित करना समझ में आ सकता है क्योंकि प्राथमिकता यथासंभव कुछ मामलों को याद करना है। जैसे-जैसे दहलीज बढ़ती है, प्रत्येक अनावश्यक रेफरल अधिक वजन रखता है, और अंततः सभी का उल्लेख करने से कोई भी संदर्भ नहीं देने की तुलना में कम शुद्ध लाभ उत्पन्न होता है। किसी को भी संदर्भित करने से हमेशा एक गणितीय संदर्भ बिंदु Decision Curve Analysis में बिल्कुल शून्य स्कोर होता है, न कि यह दावा किया जाता है कि हर मामले से चूकना नुकसानदेह नहीं है।

इस सिंथेटिक प्रयोग में, मॉडल उस प्रासंगिक सीमा के पार दोनों विकल्पों के साथ-साथ कम से कम प्रदर्शन करता है। केवल सबसे निचली दहलीज पर, लगभग 2 प्रतिशत से नीचे, हर किसी को संदर्भित करना और लगभग किसी भी संदेह पर कार्य करना एक ही बात है। लेकिन अनुमान महत्वपूर्ण शब्द हैः परिणाम प्रयोग की धारणाओं के तहत संभावित मूल्य का वर्णन करते हैं। वे यह स्थापित नहीं करते हैं कि रोगियों को वास्तव में अभ्यास में लाभ होगा। यह दिखाते हुए आगे सत्यापन और अंततः एक भावी नैदानिक अध्ययन की आवश्यकता होगी।

जब प्रत्येक कटऑफ का उपयोग करने के लिए

यदि लागत वास्तव में अज्ञात है, तो यूडेन सूचकांक का उपयोग एक सांख्यिकीय संदर्भ बिंदु के रूप में करें, न कि उचित चूक। उपयुक्त निर्णय नीति निर्धारित करने के लिए डोमेन विशेषज्ञों के साथ काम करते समय ट्रेडऑफ की खोज के लिए इसका उपयोग करें।

यदि एक त्रुटि दूसरे की तुलना में बदतर होने के लिए जाना जाता है, तो उस लागत अनुपात को बताएं और इसे सीमा निर्धारित करने दें। यदि लक्ष्य कैलिब्रेटेड संभावना से सरल हाँ या कोई कार्रवाई नहीं है, p_t = 1 / (1 + R) मानों को नियम में बदल देता है। यदि निर्णय क्षमता, विविध रोगी लागत, या कई संभावित कार्यों को शामिल करता है, एकल सूत्र पर्याप्त नहीं है।

पाठकों के लिए, व्यावहारिक अर्थ यह है कि मॉडल मूल्यांकन स्कोर के साथ समाप्त नहीं होता। एक भरोसेमंद संभावना को अभी भी जानबूझकर कटऑफ की आवश्यकता होती है। मॉडल बता सकता है कि कुछ कितना संभव है; केवल निर्णय निर्माता ही कह सकते हैं जब उस संभावना पर कार्य करने लायक है।