क्या multimodal मॉडल समान ऑप्टिकल स्पेक्ट्रम के साथ प्रस्तुत किए जाने पर सुसंगत निर्णय लेते हैं?
multimodal ऑप्टिकल स्पेक्ट्रा पर मॉडल उत्तर प्रारूप के साथ झूलते हैं, अक्सर निरस्तीकरण विफल हो जाते हैं और निम्न-रैंक ट्यूनिंग तर्क के बजाय शॉर्टकट सिखा सकता है।
मुख्य जानकारी
- multimodal मॉडल उत्तरों को 41 प्रतिशत तक बदल सकते हैं जब एक ही ऑप्टिकल स्पेक्ट्रम समकक्ष प्रारूपों में दिखाया जाता है, जैसे कि तरंग दैर्ध्य तालिकाएं, फोटॉन-ऊर्जा टेबल या आरेख।
- जब उत्तर के लिए आवश्यक साक्ष्य की कमी होती है, तब भी कई मॉडल विश्वसनीय रूप से निरस्त नहीं होते हैं, भले ही सही प्रतिक्रिया अनिर्धारित होनी चाहिए।
- LoRA fine-tuning एक सतही शॉर्टकट सिखा सकता हैः मॉडल जब भी इनपुट डेटा काटा जाता है, भले ही लापता हिस्सा वास्तव में मायने रखता हो।
- उत्तरदायी कटौती के साथ प्रशिक्षण मॉडल को अप्रासंगिक लापता डेटा से प्रासंगिक गायब साक्ष्य को अलग करने में मदद करता है और झूठे निरसन व्यवहार को कम करता है।
- वैज्ञानिक मॉडल मूल्यांकन प्रतिनिधित्व अपरिवर्तनीयता और लापता-डेटा व्यवहार का परीक्षण करना चाहिए, पूर्ण इनपुट पर JUST औसत सटीकता नहीं।
मापी गई ऑप्टिकल स्पेक्ट्रा को पढ़ने के लिए multimodal मॉडल का उपयोग करने वाले किसी भी व्यक्ति के लिए, प्रमुख प्रश्न यह है कि क्या एक स्पेक्ट्रम प्रतिनिधित्व स्थिर हैः यदि वही सिलिकॉन मेटासर्फेस डेटा नैनोमीटर तालिका, माइक्रोमीटर तालिक, वैज्ञानिक संकेतन, इलेक्ट्रॉन-वोल्ट तालिका या फोटोन ऊर्जा आरेख के रूप में दिखाई देता है, तो उत्तर स्विंग नहीं होना चाहिए।
स्पेक्ट्रम उत्तरों के लिए प्रतिनिधित्व क्यों महत्वपूर्ण है
एक स्पेक्ट्रम को नैनोमीटर में एक तालिका के रूप में या फोटॉन ऊर्जा में एक प्लॉट की तरह दिखाया जा सकता है। निर्णय इस बात पर निर्भर नहीं करना चाहिए कि मॉडल किस दृश्य को देखता है। मूल्यांकन ने सिलिकॉन मेटासर्फेस, लेबल किए गए एमओसीएलआईपी और सोने के नैनोकणों पर मापा ऑप्टिकल स्पेक्ट्रा पर प्रतिनिधित्व अपरिवर्तनीयता और संयम का परीक्षण किया, जिसमें डेटा से गणना करने वाले लेबल्स हैं।
प्रत्येक स्पेक्ट्रम को छह समकक्ष रूपों में प्रस्तुत किया गया था: nm, μm, वैज्ञानिक संकेतन और EV का उपयोग करते हुए चार तालिकाओं के साथ-साथ एनएम और 8800024 का प्रयोग करने वाले दो प्लॉट्स। परीक्षण में आंशिक स्पेक्ट्रा भी शामिल थे जहां डेटा क्वेरी की गई सीमा के अंदर या बाहर से हटा दिया गया था। मूल्यांकन किए गए निर्णय मॉडल d3-नैनो और जेव 1.13 थे, तीन जीपीटी -6 लूना कॉन्फ़िगरेशन और Qwen3.5-2B बेस मॉडल थे।
रिपोर्ट किए गए परिणामों से पता चलता है कि प्रतिनिधित्व की पसंद एक कॉस्मेटिक विवरण नहीं है। केवल प्रतिनिधित्व को बदलना एक मॉडल के भीतर 41 प्रतिशत अंक तक सटीकता बढ़ा, जिसमें सबसे बड़े बदलाव ज्यादातर फोटॉन-ऊर्जा तालिकाओं और भूखंडों पर दिखाई देते हैं। उसी सबूत के साथ, तरंग दैर्ध्य के बजाय फोटोन ऊर्जा में पूछने से कुछ मॉडल-दृश्य जोड़े 16-50 अंकों द्वारा मदद मिली और दूसरों को 25 तक नुकसान पहुंचाया गया।
जब साक्ष्य की कमी होती है, तो निरस्तीकरण ही समाधान होता है।
परीक्षण के दूसरे भाग में इस बात पर ध्यान केंद्रित किया गया कि क्या मॉडल लापता साक्ष्य को पहचान सकते हैं। यदि किसी स्पेक्ट्रम से प्रासंगिक चरम हटा दिया जाता है, तो सही व्यवहार अनुमान नहीं लगाना है। मॉडल को यह जवाब देना चाहिए कि परिणाम अनिश्चित है।
मूल्यांकन में पाया गया कि अपरिवर्तित मॉडलों ने शायद ही कभी यह निरस्तीकरण उत्तर दिया। यह महत्वपूर्ण है क्योंकि वैज्ञानिक निर्णय अक्सर इस बात पर निर्भर करते हैं कि क्या एक मॉडल अपने स्वयं के साक्ष्य की सीमाओं को जानता है, न केवल जब वह डेटा पूरा हो जाए तो जवाब दे सकता है या नहीं। एक मॉडल जो अपूर्ण डेटा से आत्मविश्वासपूर्ण उत्तर देता है, उपयोगकर्ता के लिए बदतर हो सकता है जो एक मॉडल बंद कर देता है और कहता है कि अनुरोधित रेंज गायब है।
LoRA fine-tuning एक शॉर्टकट सिखा सकते हैं
अध्ययन में डी3 नैनो के LoRA fine-tuning की भी जांच की गई। यह एक हल्का अनुकूलन विधि है जो पूर्ण मॉडल पुनः प्रशिक्षण की तुलना में मापदंडों का एक छोटा सेट अपडेट करती है।
फाइन-ट्यून किए गए मॉडल ने प्रशिक्षित तालिका प्रारूपों पर तुलनाओं में सुधार किया। लेकिन अनजाने सवालों पर इसका अधिकांश लाभ एक शॉर्टकट से आया था: जब भी इनपुट को ट्रंक किया गया था, तब यह निरस्त हो गया, भले ही लापता हिस्सा वास्तव में मायने रखता है या नहीं। वह व्यवहार निरस्तीकरण कौशल की तरह दिख सकता है जबकि अभी भी विफल रहता है जब एक ट्रिंक्ड स्पेक्ट्रम उत्तरदायी बना हुआ है।
इसका परीक्षण करने के लिए, शोधकर्ताओं ने उत्तरदायी कटौती के साथ प्रशिक्षित किया, जिसका अर्थ है कि कुछ आंशिक स्पेक्ट्रम में अभी भी एक वैध उत्तर के लिए पर्याप्त सबूत हैं। इस दृष्टिकोण से सभी छह बीजों में शॉर्टकट से बचा गया था। आयोजित संरचनाओं पर, यह अंदर की कटौती और बाहर की कटाव के बाद निरस्तीकरण के बीच 90-100 अंक का अंतर पैदा करता है, जिससे पता चलता है कि मॉडल प्रासंगिक लापता डेटा को अप्रासंगिक अनुपस्थित डेटा से अलग करना सीख चुका है।
एक नियंत्रण स्थिति में अतिरिक्त मूल-कार्य डेटा की समान मात्रा का उपयोग किया गया था लेकिन उत्तरदायी कटौती पर प्रशिक्षण नहीं दिया गया। उस मामले में, छह सेडों में से पांच ने शॉर्टकट रखा। सोने के स्पेक्ट्रा पर, दो प्रशिक्षण सेट समान प्रदर्शन करते हैं।
वैज्ञानिक मॉडल के उपयोगकर्ताओं के लिए इसका क्या अर्थ है
व्यापक बिंदु यह नहीं है कि एक मॉडल बस दूसरे से बेहतर है। मुद्दा यह है कि वैज्ञानिक निर्णयों के लिए उपयोग किए जाने वाले multimodal भाषा मॉडलों को समकक्ष प्रतिनिधित्व और लापता साक्ष्य पर परीक्षण किया जाना चाहिए, न केवल औसत सटीकता पर।
शोधकर्ताओं के लिए, इसका मतलब है कि एक मॉडल जो एक तालिका प्रारूप पर अच्छी तरह से स्कोर करता है वह विफल हो सकता है जब एक ही स्पेक्ट्रम को प्लॉट या फोटॉन-ऊर्जा इकाइयों में दिखाया जाता है। स्पेक्ट्रल-विश्लेषण वर्कफ़्लोज़ बनाने वाले इंजीनियरों के लिए इसका अर्थ है कि इंटरफेस का परीक्षण उन प्रतिनिधियों के पार किया जाना चाहिए जिन्हें उपयोगकर्ता वास्तव में पेस्ट करते हैं, अपलोड करते हैं या क्वेरी करते हैं। किसी भी व्यक्ति के लिए मॉडल उत्तरों पर भरोसा करने का मतलब यह है कि मूल्यांकन में लापता डेटा की जांच होनी चाहिएः क्या मॉडल कह सकता है "अपरिभाषित" जब प्रश्न सीमा काट दी गई है, और क्या यह अभी भी जवाब दे सकती है जब कटौती अप्रासंगिक डेटा को हटा देती है?
रिलीज़ में कार्य, प्रति-प्रतिक्रिया परिणाम और विश्लेषण कोड शामिल हैं, इसलिए निष्कर्षों को केवल सारांश स्कोर से न्याय करने के बजाय मामले द्वारा निरीक्षण किया जा सकता है।
मेटा विवरण: सिलिकॉन और सोने के ऑप्टिकल स्पेक्ट्रा के परीक्षणों से पता चलता है कि प्रतिनिधित्व में बदलाव होने पर मॉडल उत्तर 41 अंकों तक बदल सकते हैं, और लापता डेटा अक्सर निरस्तीकरण को ट्रिगर करता है।
multimodal मॉडल, ऑप्टिकल स्पेक्ट्रम
विशेष रुप से प्रदर्शित छवि: चिकनी वक्रों और ग्रिड रेखाओं के साथ अमूर्त स्पेक्ट्रम चार्ट, दोस्ताना चित्रण, कोई लोग नहीं, कोई लोगो, कोई पाठ।
Comments (0)