उलटा अभिशाप: क्यों भाषा मॉडल जो समझते हैं कि A है B Fa निष्कर्ष निकालने में विफल रहते हैं B A है
LLMs को पता हो सकता है कि A B है लेकिन असफल B A है क्योंकि अगला- token प्रशिक्षण एकतरफा होता है। पुनर्प्राप्ति और QA में सुधार करने के लिए दोनों दिशाओं का परीक्षण, संकेत और अनुक्रमण करें।
मुख्य बिंदुओं का सारांश
- Reversal Curse एक विफलता मोड है जहां भाषा का मॉडल उत्तर दे सकता है A is B लेकिन नहीं B is A क्योंकि सीखे गए संबंध दिशात्मक हैं।
- यह अक्सर अगले- token प्रशिक्षण से आता है, जो तथ्यों को सममित, प्रतिवर्ती ज्ञान के रूप में संग्रहीत करने की बजाय किसी तथ्य के एक पक्ष की भविष्यवाणी करने का पुरस्कृत करता है।
- उपयोगकर्ताओं और बिल्डरों को यह देखने के लिए कि क्या विफलताएं लापता ज्ञान या वाक्यांश और पुनर्प्राप्ति दिशा से उत्पन्न होती हैं, दोनों प्रमुख तथ्यों की दिशाओं का परीक्षण करना चाहिए।
- त्वरित डिजाइन, प्रशिक्षण उदाहरण और पुनर्प्राप्ति सूचकांक स्पष्ट रूप से उलटे रूपों को शामिल करने और अनुरोधित दिशा में संबंधों को दोहराने में मदद कर सकते हैं।
मेटा विवरणः एक Towards Data Science पोस्ट में समझाया गया है कि Reversal Curse: tokens की भविष्यवाणी करने के लिए प्रशिक्षित भाषा मॉडल A को B जानते हैं लेकिन उत्तर देने में विफल रहते हैं।
टैगः Reversal Curse, भाषा मॉडल, AI प्रशिक्षण, त्वरित डिजाइन
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> दो दर्पण वाले तीरों का अमूर्त मैत्रीपूर्ण चित्रण एक टूटी हुई लूप बना रहा है, कोई पाठ नहीं, न तो लोगो और न ही लोग।
"The Reversal Curse: Why a Language Model That Knows A Is B Can Tell Yout Tell You B Is A Towards Data Science." शीर्षक से एक पोस्ट पहली बार Towards Data Science पर दिखाई दिया। यह Reversal Curse को एक विफलता मोड के रूप में वर्णित करता है जहां एक मॉडल उस दिशा के साथ एक तथ्य प्राप्त कर सकता है जिसे उसने सीखा था और जब विपरीत तरीके से पूछा गया तो उसे याद किया। यह ऐसा क्यों होता है इसका एक खिलौना संस्करण देता है। chatbots , सहायक, या पुनर्प्राप्ति प्रणालियों का निर्माण करने वाले पाठकों को एक सरल मानसिक मॉडल मिलेगा कि कुछ प्रश्नों का उत्तर देने वाली असफलताओं का कारण केवल ज्ञान की कमी नहीं हो सकती है।
रिवर्सल कूल क्या टेस्ट करता है
मूल विचार दिशात्मक है. एक प्रणाली A से B तक जवाब दे सकती है लेकिन B से A तक नहीं। यदि प्रशिक्षण पाठ या दस्तावेज़ में "A is B" कहा गया है, तो मॉडल उस संदर्भ को उत्तर B से जोड़ना सीख सकता है। जब तक रिवर्स पैटर्न भी दिखाई न देता हो तब तक यह बी से ए का उलटा लिंक नहीं सीख सकता।
यह महत्वपूर्ण है क्योंकि उपयोगकर्ता कई तरीकों से प्रश्न पूछते हैं। मॉडल के संदर्भ में एक तथ्य मौजूद हो सकता है, लेकिन अनुरोधित दिशा वह दिशा नहीं हो सकती है जिसकी भविष्यवाणी करने के लिए मॉडल को पुरस्कृत किया गया था। पोस्ट समस्या का एक खिलौना संस्करण प्रस्तुत करता है, न कि यह दावा है कि प्रत्येक मॉडल हर उलटा सवाल विफल कर देता है।
क्यों अगले- token प्रशिक्षण दिशाओं असमान बनाता है
कई large language models को अगले- token भविष्यवाणियों के रूप में प्रशिक्षित किया जाता है, जिन्हें ऑटोरेग्रेसिव मॉडल भी कहा जाता है। वे पाठ के अनुक्रम के बाद संभावित निरंतरताओं को उच्च संभावना असाइन करना सीखते हैं। यह उद्देश्य उपयोगी है, लेकिन यह एक सममित डेटाबेस नहीं है। यह स्वचालित रूप से प्रत्येक कथन को दोनों पक्षों से समान पहुंच के साथ अप्रत्यक्ष तथ्य के तौर पर संग्रहीत नहीं करता है।
एक प्रशिक्षण पैटर्न की कल्पना करें जो ए का उल्लेख करने वाले संदर्भ के बाद बार-बार "ए बी है" दिखाता है। मॉडल यह सीखकर सफल हो सकता है कि ए बी की भविष्यवाणी करता है। यदि संदर्भ में बी का उल्लेख किया गया है और ए के बारे में पूछा जाता है, तो पहले के पैटर्न से मदद नहीं मिल सकती है, क्योंकि मॉडल को बी के बाद ए उत्पन्न करने के लिए प्रशिक्षित नहीं किया गया था। संघ अनुक्रमों के माध्यम से सीखा जाता है न कि प्रतिवर्ती तार्किक ट्रिपल की तालिका के जरिए।
असममिति तब अधिक संभावना बन सकती है जब उलटा वाक्यांश दुर्लभ, अजीब या अनुपस्थित हो। प्राकृतिक पाठ अक्सर एक संबंध को एक बार बताता है. यह शायद ही कभी दोनों दिशाओं में हर रिश्ते को दोहराता है। इसलिए एक मॉडल किसी तथ्य के एक पक्ष का जवाब दे सकता है क्योंकि इसने उस पक्ष को अक्सर देखा था, जबकि दूसरी तरफ असफल रहा क्योंकि उसने ऐसा नहीं किया था।
बिल्डरों और परीक्षकों के लिए इसका क्या अर्थ है
भाषा मॉडल का उपयोग करने वाले लोगों के लिए, Reversal Curse एक व्यावहारिक परीक्षण सुझाता हैः दोनों पक्षों से समान संबंध पूछें। यदि कोई सिस्टम "ए बी" कह सकता है लेकिन "बी ए" नहीं कह सकता, तो समस्या प्रशिक्षण या पुनर्प्राप्ति दिशा हो सकती है, न कि केवल ज्ञान आकार। यह सहायक डिबगिंग करते समय मदद कर सकता है, प्रॉम्प्ट टेम्प्लेट का मूल्यांकन करता है, या जांचता है कि क्या पुनः प्राप्ति सूचकांक में सही उलटा वाक्यांश शामिल है।
यह प्रोम्प्ट डिजाइन के लिए मार्गदर्शन भी देता है। एक प्रॉम्प्ट को अनुरोधित दिशा स्पष्ट करने की आवश्यकता हो सकती है। "ए मैप क्या करता है?" और "बी मैप किसके लिए" पूछना अलग-अलग व्यवहार कर सकता है, भले ही अंतर्निहित तथ्य समान हो। टीमें प्रदर्शनों में उलटे उदाहरण जोड़ सकती हैं, खोज दस्तावेजों में दोनों वाक्यांश शामिल कर सकती हैं या मॉडल से जवाब देने से पहले अनुरोधित दिशानिर्देश में संबंध फिर से बताने के लिए कह सकती हैं।
पुनर्प्राप्ति प्रणालियों के लिए, सबक यह है कि मिलान भी दिशात्मक है। यदि दस्तावेजों में केवल "ए बी" होता है, तो B के बारे में एक क्वेरी प्रासंगिक मार्ग को तब तक प्राप्त नहीं कर सकती जब तक embeddings , शाब्दिक विस्तार, या प्रश्न फिर से लिखना दोनों पक्षों को कनेक्ट न करें। अनुक्रमित पाठ में व्युत्क्रम रूप जोड़ने से पुनःप्राप्ति अधिक मजबूत हो सकती है, लेकिन इससे डेटा की मात्रा और रखरखाव लागत भी बढ़ सकती है।
आगे क्या देखना है
पोस्ट का मूल्य एक प्रकार की विफलता के लिए इसके सरल स्पष्टीकरण में निहित है जो अगले- token मॉडल में दिखाई दे सकता हैः सीखे गए संघों को एक दिशा में इंगित कर सकते हैं। जैसे ही मॉडल और सिस्टम सुधारते हैं, सवाल यह नहीं है कि क्या वे तथ्यों को शामिल करते हैं, लेकिन उन वाक्यांशों के माध्यम से उन तथ्यों तक पहुंचा जा सकता है जिन्हें उपयोगकर्ता वास्तव में उत्पन्न करते हैं।
डेवलपर्स और मूल्यांकनकर्ताओं को तीन संकेतों के लिए देखना चाहिए. पहला, विफलताएं जो तब दिखाई देती हैं जब एक प्रश्न रिवर्स दिशा में पुनः प्रस्तुत किया जाता है। दूसरा, ऐसे मामले जहां पुनर्प्राप्ति फॉरवर्ड तथ्य देता है लेकिन उलटा संबंध नहीं होता है। तीसरा, त्वरित परिवर्तन जो मॉडल को बदलने के बिना उलटफेर को ठीक करते हैं। ये सिग्नल सुझाव देते हैं कि मुद्दा एसोसिएशन की दिशा है, न कि जानकारी गायब है।
व्यापक टेकअवे मॉडल ज्ञान को पाठ के माध्यम से एक पथ के रूप में व्यवहार करना है, न कि एक सही तार्किक स्टोर के तौर पर। एक तथ्य एक संदर्भ में उपलब्ध हो सकता है और दूसरे में अप्राप्य होता है। उपयोगकर्ताओं के लिए, इसका मतलब महत्वपूर्ण तथ्यों के दोनों पक्षों का परीक्षण करना है। बिल्डरों के लिए इसका अर्थ है संकेत, उदाहरण और पुनर्प्राप्ति सूचकांक डिजाइन करना जो उन दिशाओं की उम्मीद करते हैं जिनके बारे में लोग पूछेंगे।
Comments (0)