उपकरण समीक्षाएँ

छात्रों के सीखने का अनुकरण करने से AI ट्यूशन में सुधार होता है।

स्टूडेंटसिम वास्तविक शोध परीक्षणों से पहले ट्यूशन टूल्स का मूल्यांकन करने के लिए डी-आईडेन्टिफाइड लर्नर डेटा से व्यक्तिगत AI छात्र सिमुलेटर बनाता है।

छात्रों के सीखने का अनुकरण करने से AI ट्यूशन में सुधार होता है।

मुख्य जानकारी

  • स्टूडेंटसिम वास्तविक छात्रों के साथ परीक्षण करने से पहले शोधकर्ताओं का मूल्यांकन और सुधार AI ट्यूशन उपकरण में मदद करने के लिए डी-पहचान वाले शिक्षार्थी रिकॉर्ड से व्यक्तिगत AI छात्र सिमुलेटर बनाता है।
  • StudentSimEval बेंचमार्क शतरंज, दूसरी भाषा अंग्रेजी लेखन और गणित में सिमुलेटर का मूल्यांकन दो लक्ष्यों का उपयोग करके करता हैः व्यवहारिक निष्ठा और ट्यूटर मार्गदर्शन के लिए प्रतिक्रियाशीलता।
  • स्टूडेंटसिम व्यक्तिगत छात्र व्यवहार को बेहतर ढंग से मेल खाने के साथ-साथ यह भी दर्शाता है कि कैसे छात्रों ने मार्गदर्शन प्राप्त करने के बाद अपनी प्रतिक्रियाओं में संशोधन किया।
  • टीम इस बात पर जोर देती है कि स्टूडेंटसिम एक शोध उपकरण है, न कि कक्षा का उत्पाद या मानव शिक्षकों के लिए प्रतिस्थापन।

शोधकर्ताओं के निर्माण AI ट्यूशन उपकरण, StudentSim निजीकृत बनाता है AI छात्र सिमुलेटर से de-पहचाना शिक्षार्थी रिकॉर्ड. यह मदद करता है का मूल्यांकन और सुधार करने के लिए वास्तविक छात्रों को उन्हें परीक्षण. स्टूडेंटसिम इवल बेंचमार्क और मूल्यांकन प्रोटोकॉल शामिल शतरंज, दूसरी भाषा अंग्रेजी लेखन, और गणित के साथ एक सिम्युलेटर अनुकूलित प्रत्येक छात्र. टीम की रिपोर्ट है कि StudentSim बेहतर प्रदर्शन अग्रणी baselines जबकि एक उपयोगी फीडबैक संकेत देने के लिए शिक्षक प्रशिक्षण. लेखकों पर जोर देते हैं यह एक उत्पाद नहीं है, कक्षाओं में तैनात नहीं किया जाता है, और इसका मतलब शिक्षकों को बदलना नहीं है।

Simulating student learning improves AI tutoring.

छात्र प्रतिक्रिया क्यों लापता लूप है

AI ट्यूशन टूल्स को सुधारने के लिए छात्रों की प्रतिक्रिया की आवश्यकता होती है, लेकिन मानव अध्ययन धीमे, महंगे और स्केल करने में मुश्किल होते हैं। शोधकर्ता उन ट्यूटर्स का पता लगा रहे हैं जो गणित की समस्याओं को समझाते हैं, लेखन संपादन का सुझाव देते हैं या शतरंज स्थितियों का मार्गदर्शन करते हैं। शिक्षण गुणवत्ता का न्याय केवल ट्यूटर के उत्तर से नहीं किया जा सकता है। डेवलपर्स को यह जानना चाहिए कि मार्गदर्शन एक छात्र तक पहुंचने के बाद क्या होता हैः चाहे मूल गलती ठीक हो गई थी, चाहे किसी संकेत ने तर्क देने में मदद की हो, बहुत अधिक दिया था, या किसी अन्य छात्र को अलग समर्थन की आवश्यकता होगी। स्टूडेंटसिम अनुसंधान-चरण प्रशिक्षण और मूल्यांकन के दौरान उस फीडबैक के हिस्से का अनुमान लगाती है, शुरुआती चरण के अनुसंधान सिग्नल प्रदान करती है, न कि वास्तविक शिक्षार्थी अध्ययनों का विकल्प।

एक प्रयोग करने योग्य छात्र सिम्युलेटर के लिए दो परीक्षण

सिमुलेटर बनाने का एक सरल तरीका यह है कि large language model को किसी शिक्षार्थी की भूमिका निभाने के लिए कहा जाए, जैसे कि प्राथमिक विद्यालय का छात्र जो गणित से जूझ रहा हो। मॉडल स्वर बदल सकता है और अनिश्चितता व्यक्त कर सकता है, लेकिन वह उस छात्र के स्तर से बहुत आगे ज्ञान और तर्क का उपयोग करते हुए युवा आवाज को संरक्षित कर सकते हैं। इससे ट्यूटर केवल इसलिए प्रभावी लग सकता है क्योंकि अनुकरण किया गया छात्र बहुत सक्षम है।

ज्ञान अनुरेखण और व्यवहार पूर्वानुमान मॉडल वास्तविक सीखने के रिकॉर्ड पर आधारित हैं और वर्तमान ज्ञान, कौशल और आदतों का अनुमान लगा सकते हैं। कई प्राकृतिक-भाषा ट्यूटर मार्गदर्शन को इनपुट के रूप में लेने के लिए नहीं बनाए गए थे, इसलिए वे यह बताए बिना वर्णन कर सकते हैं कि छात्र ने एक स्पष्टीकरण, संकेत या सॉक्रेटिक प्रश्न का जवाब कैसे दिया होगा।

StudentSimEval दो शिक्षा-प्रेरित लक्ष्यों को परिभाषित करता है। शिक्षक अक्सर अलग करते हैं कि एक शिक्षार्थी अकेले क्या कर सकता है और वे समर्थन के साथ क्या कर सकते हैं, यह विचार विगोत्स्की के निकटवर्ती विकास क्षेत्र से जुड़ा हुआ है। व्यवहारिक निष्ठा पूछता है कि क्या सिमुलेटर किसी विशिष्ट छात्र की रिकॉर्ड की गई प्रतिक्रियाओं से मेल खाता है या नहीं आयोजित समस्याओं पर मार्गदर्शन जवाबदेही पूछेगा कि क्या वह ट्यूटोरियल गाइडेंस पढ़ने के बाद अपनी प्रतिक्रिया को अपडेट करता है. वे पूरक हैंः पिछले व्यवहार की नकल करना केवल भविष्यवाणी में मदद कर सकती है लेकिन यह नहीं दिखाया जा सकता है कि हस्तक्षेप करने वाले ट्यूटर ने काम किया; हमेशा टीचर का अनुसरण करना धाराप्रवाह लग सकता है लेकिन एक छात्र की ताकत, कमजोरियों और संभावित गलतियों को याद कर रहा है। ट्यूटर प्रशिक्षण को शुरुआती बिंदु और मार्गदर्शन दोनों की आवश्यकता होती है।

दुर्लभ अभिलेखों से व्यक्तिगत सिमुलेटर बनाना

StudentSimEval पूरी तरह से सार्वजनिक रूप से उपलब्ध शिक्षार्थी datasets से बनाया गया है जो डी-पहचान रिकॉर्ड के साथ अनुसंधान उपयोग के लिए जारी किया गया है। किसी भी चरण में कोई व्यक्तिगत पहचान की जानकारी का उपयोग नहीं किया जाता है, और प्रत्येक सिम्युलेटर को केवल उस छात्र के डि-पहिचान रिकॉर्ड पर प्रशिक्षित किया जा सकता है जिसका वह प्रतिनिधित्व करता है।

व्यक्तिगत छात्र डेटा अक्सर पतला होता है: एक शिक्षार्थी के पास केवल कुछ निबंध, उत्तर या इंटरैक्शन हो सकते हैं। खरोंच से एक अलग मॉडल को प्रशिक्षित करना ओवरफिट कर सकता है और प्रत्येक सिम्युलेटर को सामान्य डोमेन पैटर्न को फिर से सीखने के लिए मजबूर करता है। स्टूडेंटसिम दो-चरण पाइपलाइन का उपयोग करता है. सबसे पहले, यह सामान्य प्रतिक्रिया प्रारूप, त्रुटियों और मार्गदर्शन के बाद संशोधनों को जानने के लिए एक ही डोमेन में कई छात्रों पर एकत्र किए गए रिकॉर्ड पर प्रशिक्षण देता है। फिर यह एक छात्र के अपने रिकॉर्ड पर विशेषज्ञता रखता है।

Simulating student learning improves AI tutoring.

मूल्यांकन में तीन प्रतिक्रिया प्रकारों का उपयोग किया जाता है। शतरंज में, सिम्युलेटर एक खिलाड़ी के अगले कदम की भविष्यवाणी करता है और वह कैसे कोचिंग के बाद संशोधित कर सकता है। दूसरी भाषा अंग्रेजी लेखन में, यह सीखने वाले से मेल खाने वाली त्रुटि पैटर्न के साथ निबंध बनाता है और शिक्षक फीडबैक के बाद सुधार का अनुमान लगाता है। गणित में, इसे छात्र के बहुविकल्पीय उत्तर का पूर्वानुमान लगाया जाता है और क्या छात्र स्पष्टीकरण के बाद अद्यतन करता है। सभी विधियों की तुलना प्रति-छात्र प्रशिक्षण रिकॉर्ड और आयोजित मूल्यांकन रिकॉर्ड पर की जाती है।

शतरंज के परिणाम आधार रेखाओं की तुलना में स्पष्ट संकेत दिखाते हैं

स्टूडेंटसिम तीन डोमेन में अग्रणी आधार रेखाओं से बेहतर प्रदर्शन करता है। शतरंज में, यह 0.5150 की व्यवहारिक निष्ठा और 0.9067 के मार्गदर्शन प्रतिक्रियाशीलता तक पहुंचता है। जीपीटी- 5.4 0.2316 और 0.7186 तक पहुँचती है। मैया 2, एक शतरंग-विशिष्ट मानव चाल भविष्यवाणी मॉडल, 0.4535 और 0.2721 तक पहुंच जाता है।

तुलना प्रत्येक आधार रेखा की कमजोरी को उजागर करती है। जीपीटी- 5.4 मार्गदर्शन का जवाब दे सकता है लेकिन किसी विशिष्ट छात्र के व्यवहार से मज़बूती से मेल नहीं खाता है। मैया 2 मानव शतरंज को अधिक बारीकी से आगे बढ़ाता है, लेकिन इसमें प्राकृतिक भाषा मार्गदर्शन मार्ग की कमी है। स्टूडेंटसिम स्वतंत्र व्यवहार और मार्गदर्शन के लिए प्रतिक्रिया दोनों में सुधार करता है।

ट्यूटर को प्रशिक्षित करने के लिए सिम्युलेटर फीडबैक का उपयोग करना

शोध यह भी परीक्षण करता है कि क्या एक प्रशिक्षित सिम्युलेटर ट्यूटर अनुकूलन के लिए प्रतिक्रिया प्रदान कर सकता है। शतरंज ट्यूटर reinforcement learning अध्ययन में, ट्यूटर को एक स्थिति और वास्तविक छात्र की पिछली गलत चाल प्राप्त होती है, फिर मार्गदर्शन उत्पन्न करती है। सिमुलेटर के अपने पैरामीटर तय किए जाते हैं; यह मार्गदर्शन पढ़ता है और एक संशोधित कदम का उत्पादन करता है। इनाम स्टॉकफिश का उपयोग करके स्वतंत्र शतरंग इंजन संकेत के रूप में करते हुए, शिष्य के पिछले कदम से सिम्यूलेटर की संशोधित चाल तक गति गुणवत्ता में सुधार पर आधारित होता है।

अध्ययन में reinforcement learning के साथ एक पर्यवेक्षित ठीक-ट्यून किए गए ट्यूटर की तुलना की गई है, जीपीटी-5.4 के साथ प्रशिक्षित एक ट्यूटर सिमुलेटेड छात्र इनाम स्रोत के रूप में और स्टूडेंटसिम के साथ प्रशिक्षण प्राप्त एक ट्यूटोरियल पुरस्कार स्रोत के तौर पर। सभी एक ही ट्यूटर नीति का उपयोग करते हैं, पर्यवेक्षी प्रारंभिक बिंदु और reinforcement learning सेटअप। मानव शतरंज विशेषज्ञों ने स्थिति को अंधा प्रतिक्रियाओं का मूल्यांकन किया।

Simulating student learning improves AI tutoring.

स्टूडेंटसिम इनाम सभी रिपोर्ट किए गए आयामों पर उच्चतम रेटेड ट्यूटर का उत्पादन करता है। स्टुडेंट सिम-प्रशिक्षित ट्यूटर बिना सुदृढीकरण सीखने की आधार रेखा के लिए 90.5% सटीकता, बनाम 75.7% और जीपीटी - 5.4 पुरस्कार स्थिति के लिए 71.6% तक पहुंचता है। यह मार्गदर्शन गुणवत्ता और वैयक्तिकरण के लिए भी अधिक रेटिंग प्राप्त करता है । परिणाम अवधारणा का एक प्रमाण है कि वास्तविक शिक्षार्थी डेटा पर प्रशिक्षित सिमुलेटर AI ट्यूटर्स को बेहतर बनाने के लिए उपयोगी प्रतिक्रिया प्रदान कर सकते हैं।

वास्तविक शिक्षार्थियों की अभी भी क्या आवश्यकता है

स्टूडेंटसिम वास्तविक शिक्षार्थियों की आवश्यकता को समाप्त नहीं करता है। मानव अध्ययन सीखने के परिणामों, सुरक्षा, प्रयोज्य और कक्षा फिट को मापने के लिए आवश्यक रहते हैं। सिमुलेटर पहले मदद करते हैंः शोधकर्ता ट्यूटर रणनीतियों का परीक्षण कर सकते हैं, मॉडल की तुलना करने में सक्षम होते हैं, और असली छात्रों के साथ अधिक महंगे अध्ययन से पहले प्रशिक्षण संकेतों को परिष्कृत करते हैं।

व्यापक दिशा ट्यूटर सिस्टम का निर्माण करना है जो छात्रों की प्रतिक्रियाओं से सीखते हैं, न कि केवल विशेषज्ञ-लिखित स्पष्टीकरण या स्थैतिक शुद्धता लेबल। स्टूडेंटसिम एक रास्ता दिखाता हैः व्यक्तिगत सिमुलेटर को प्रशिक्षित करने के लिए वास्तविक सीखने के रिकॉर्ड का उपयोग करें, स्वतंत्र व्यवहार और मार्गदर्शन के प्रति प्रतिक्रिया का मूल्यांकन करें, और उन्हें ट्यूटर प्रशिक्षण के लिए स्केलेबल फीडबैक स्रोतों के रूप में उपयोग करें। भविष्य के काम इसे लंबे समय तक सीखने वाले ट्रेजेक्टोरियों, अतिरिक्त विषयों, समृद्ध छात्र प्रोफाइल और वास्तविक शिक्षण परिणामों के साथ अनुकरणीय प्रतिक्रिया को जोड़ने वाले अध्ययनों में विस्तारित कर सकते हैं। पेपर और StudentSim प्रशिक्षण और मूल्यांकन कोड, जिसमें StudentSimEval प्रोटोकॉल भी शामिल है, सार्वजनिक रूप से उपलब्ध हैं।

मेटा विवरण: स्टूडेंटसिम शोधकर्ताओं को शतरंज, लेखन और गणित में ट्यूटर्स का मूल्यांकन करने में मदद करने के लिए सार्वजनिक डी-पहचान रिकॉर्ड से व्यक्तिगत AI छात्र सिमुलेटर प्रशिक्षित करता है।

टैगः स्टूडेंटसिम, AI ट्यूटर्स, छात्र सिमुलेशन, StudentSimEval, reinforcement learning

विशेष रुप से प्रदर्शित छवि: स्टूडेंट प्रोफाइल कार्ड, एक ट्यूटर चैट बबल और शतरंज, लेखन और गणित के लिए तीन छोटे आइकन का अमूर्त मैत्रीपूर्ण चित्रण; हल्की ढाल पृष्ठभूमि पर; कोई वास्तविक लोग नहीं हैं, न ही लोगो या पाठ।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.