गणितीय शब्द समस्याओं से निपटना

यदि आप AI प्रगति का अनुसरण करते हैं, तो आपने शायद देखा होगा कि भाषा मॉडल अक्सर बुनियादी अंकगणित और शब्द समस्याओं पर ठोकर खाते हैं। एक नया प्रशिक्षण दृष्टिकोण उस तस्वीर को बदलता है। शोधकर्ताओं ने एक प्रणाली बनाई है जो प्राथमिक विद्यालय के गणित प्रश्नों से निपटती है लगभग दोगुनी परिष्कृत जीपीटी -3 मॉडल की सटीकता के साथ, मशीन प्रदर्शन को वास्तविक बच्चों के करीब लाते हुए। इस लेख में, हम तोड़ देंगे कि क्या हासिल किया गया था, संख्याओं की तुलना कैसे करें, और यह AI में तर्क के भविष्य के लिए क्यों महत्वपूर्ण है।

नयी व्यवस्था क्या कर सकती है

शोध दल ने large language models में सबसे लगातार कमजोरियों में से एक को संबोधित करने का प्रयास किया: बहु-चरण गणितीय तर्क। केवल सामान्य उद्देश्य वाले मॉडल पर भरोसा करने के बजाय, उन्होंने विशेष रूप से ग्रेड स्कूल गणित समस्याओं के माध्यम से काम करने के लिए डिज़ाइन की गई एक उद्देश्य निर्मित प्रणाली को प्रशिक्षित किया।

हेडलाइन परिणाम हड़ताली है। जब समस्याओं के समान सेट पर एक ठीक-ट्यून किए गए जीपीटी -3 मॉडल की तुलना में मापा जाता है, तो नई प्रणाली ने लगभग दोगुनी सटीकता स्तर का प्रदर्शन किया। यह एक महत्वपूर्ण छलांग है, विशेष रूप से इस बात को ध्यान में रखते हुए कि सामान्य प्रयोजन भाषा मॉडल के रूप में GPT-3 को कितना ध्यान मिला है।

परिप्रेक्ष्य में सुधार के लिए, गणित शब्द समस्याओं को हल करने के लिए तथ्यों को याद रखने से अधिक की आवश्यकता होती है। एक विशिष्ट प्रश्न खरीदारी यात्रा का वर्णन कर सकता है, मात्राओं का एक सेट, और एक अंतिम सवाल जो कई तर्क चरणों की मांग करता हैः पहचानें कि क्या पूछा जा रहा है, पता लगाएं कि कौन से ऑपरेशन लागू होने हैं, मध्यवर्ती संख्याओं पर नज़र रखें, और अंतिम उत्तर पर पहुंचें। किसी भी कदम पर त्रुटियां पूरे समाधान को पटरी से उतार देती हैं। यह ठीक है जहां पारंपरिक भाषा मॉडल कम पड़ते हैं, और जहां नया दृष्टिकोण अपनी ताकत दिखाता है।

असली बच्चों से तुलना

मॉडल प्रदर्शन के बारे में आंकड़े केवल अलग-थलग होने पर ही बहुत मायने रखते हैं, इसलिए शोधकर्ताओं ने एक मानव बेंचमार्क जोड़ाः 9 से 12 वर्ष की आयु के बच्चों के एक छोटे समूह ने सिस्टम का मूल्यांकन करने के लिए उपयोग किए जाने वाले dataset से निकाले गए परीक्षण को लिया।

परिणाम करीब थे. बच्चों ने 60% समस्याओं को सही ढंग से हल किया, जबकि AI प्रणाली ने समान प्रश्नों के 55% का सटीक उत्तर दिया। दूसरे शब्दों में, सिस्टम अब इस सामग्री पर वास्तविक प्राथमिक विद्यालय के छात्रों के स्तर के लगभग 90% पर प्रदर्शन करता है।

यह तुलना कुछ कारणों से उल्लेखनीय है। पहला, यह बेंचमार्क को एक ठोस, सहज ज्ञान युक्त एंकर देता है। अमूर्त सटीकता स्कोर के बजाय, आप नौ-से-बारह वर्षीय बच्चों की कक्षा की कल्पना कर सकते हैं और जानते हैं कि मशीन उनके पीछे नहीं है। दूसरा, यह उजागर करता है कि क्षेत्र में अभी भी कितना दूर जाना है। 55% का स्कोर AI प्रणाली के लिए प्रभावशाली है, लेकिन इसका मतलब यह भी है कि सिस्टम लगभग आधे समस्याओं पर विफल रहता है पहेलियाँ जो कई बच्चे बहुत परेशानी के बिना संभालते हैं।

ग्रेड स्कूल गणित जितना लगता है उससे कहीं अधिक कठिन क्यों है

यह मान लेना मोहक है कि एक मशीन के लिए प्राथमिक विद्यालय का गणित तुच्छ होना चाहिए. आखिरकार, कंप्यूटर दशकों से संख्याओं को क्रंच करने में सक्षम हैं। कठिनाई अंकगणित ही नहीं बल्कि समस्या को समझने में निहित है।

एक लिखित गणित समस्या प्राकृतिक भाषा के रूप में आती है, संदर्भ से भरी हुई होती है, निहित संबंध और कभी-कभी जानबूझकर विचलित करने वाले होते हैं। मॉडल को कहानी का विश्लेषण करना चाहिए, इसे गणितीय कार्यों में अनुवाद करना होगा, और फिर उन संचालनों को सही क्रम में निष्पादित करना होगा। प्रत्येक चरण त्रुटियों को पेश कर सकता है, और क्योंकि कदम एक दूसरे पर निर्माण करते हैं, प्रारंभिक गलतियाँ कैस्केड हो सकती हैं।

यही कारण है कि नई प्रणाली और एक ठीक-ट्यून किए गए जीपीटी -3 के बीच अंतर सार्थक है। यह सुझाव देता है कि इस प्रकार की तर्क पर लक्षित प्रशिक्षण सामान्य भाषा क्षमता के बजाय अकेले उन कार्यों पर काफी बेहतर परिणाम उत्पन्न कर सकता है जिन्हें तार्किक, चरणबद्ध सोच की आवश्यकता होती है।

आगे बढ़ने का क्या मतलब है

ग्रेड स्कूल गणित में प्रगति एक मामूली मील का पत्थर की तरह लग सकता है, लेकिन यह तर्क क्षमता के लिए अधिक व्यापक रूप से उपयोगी प्रॉक्सी के रूप में कार्य करता है। यदि मॉडल बहु-चरण तार्किक समस्याओं को मज़बूती से संभालना सीख सकते हैं, तो वही तकनीकें कई क्षेत्रों में प्रदर्शन में सुधार कर सकती हैं जहां कारणों की श्रृंखलाएं मायने रखती हैं, जिससे छात्रों को होमवर्क करने और रोजमर्रा की योजना और विश्लेषण में सहायता मिलती है।

उसी समय, बच्चों के साथ तुलना सीमाओं की एक स्वस्थ अनुस्मारक है। जिन बच्चों ने परीक्षा दी थी वे एक छोटे नमूने का प्रतिनिधित्व करते हैं और 9 से 12 साल के बच्चे अभी भी अपने स्वयं के गणित कौशल विकसित कर रहे हैं। उनके प्रदर्शन से मेल खाने या उसके करीब आने वाली प्रणाली एक वास्तविक शोध उपलब्धि है, लेकिन यह इंगित नहीं करता है कि AI सभी विषयों में शिक्षित वयस्क के स्तर पर तर्क दे सकते हैं। प्राथमिक शब्द समस्याओं को हल करने और परतों वाले संदिग्ध तर्क को संभालने के बीच अभी भी एक लंबी सड़क है जो वास्तविक दुनिया की समस्याओं की मांग करती है।

मुख्य टेकआउट पद्धतिगत हैः तर्क कार्यों पर विशेष प्रशिक्षण सामान्य उद्देश्य fine-tuning के मुकाबले बड़े, मापने योग्य लाभ प्रदान कर सकता है। जैसे-जैसे शोधकर्ता इन तकनीकों को परिष्कृत करते हैं, हम उम्मीद कर सकते हैं कि संरचित तर्क कार्यों में मशीन और मानव प्रदर्शन के बीच की खाई धीरे-धीरे संकीर्ण होती रहेगी कदम से कदम, गणित समस्याओं की तरह ही।

मेटा विवरणः एक नई AI प्रणाली जीपीटी -3 की लगभग दोगुनी सटीकता के साथ ग्रेड स्कूल गणित समस्याओं को हल करती है, जहां बच्चों ने 60% का स्कोर किया था।

टैगः AI अनुसंधान, जीपीटी-3, गणितीय तर्क, भाषा मॉडल

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> फ्लोटिंग नंबर और पहेली आकारों के साथ एक चाकबोर्ड का एक दोस्ताना, अमूर्त चित्रण, मुस्कुराते हुए कैलकुलेटर चरित्र कोई वास्तविक लोग, लोगो या पाठ के साथ नरम पेस्टल रंगों में प्रस्तुत किया गया है।