बेहतर भाषा मॉडल और उनका अर्थ

यदि आपने कभी सोचा है कि एक एकल AI मॉडल कैसे धाराप्रवाह पैराग्राफ लिख सकता है, प्रश्नों का उत्तर दे सकता है और प्रत्येक कौशल को स्पष्ट रूप से सिखाए बिना भाषाओं का अनुवाद कर सकते हैं, तो जीपीटी -2 वह ऐतिहासिक परियोजना है जिसने यह संभव साबित किया। इस लेख में टूट जाता है कि ओपनएआई के शोधकर्ताओं ने इस बड़े पैमाने पर अनसुपरवेटेड लैंग्वेज मॉडल के साथ क्या हासिल किया, क्यों महत्वपूर्ण था, और इसकी क्षमताएं वास्तव में आधुनिक AI के बारे में उत्सुक किसी भी व्यक्ति के लिए सरल शब्दों में बताई गई हैं।

शोधकर्ताओं ने क्या बनाया

टीम ने एक बड़े पैमाने पर बिना पर्यवेक्षण वाले भाषा मॉडल को प्रशिक्षित किया। "बिना पर्यवेक्षित" यहां कुंजी शब्द हैः उदाहरणों को लेबल करने या मॉडल विशिष्ट कार्यों को सिखाने के बजाय, शोधकर्ताओं ने इसे विशुद्ध रूप से बड़ी मात्रा में कच्चे पाठ से सीखने दिया है। मॉडल का मुख्य कार्य सरल वर्णन करना है - अनुक्रम में अगले शब्द की भविष्यवाणी करें - लेकिन पर्याप्त पैमाने पर, यह साधारण उद्देश्य आश्चर्यजनक परिणाम उत्पन्न करता है।

भुगतान कई क्षेत्रों में दिखाई देता है। मॉडल पाठ के सुसंगत पैराग्राफ उत्पन्न करता है जो वाक्य से वाक्य तक स्वाभाविक रूप से बहते हैं। यह कई भाषा मॉडलिंग बेंचमार्क पर अत्याधुनिक प्रदर्शन भी प्राप्त करता है, जिसका अर्थ है कि इसने मानकीकृत परीक्षणों पर पिछली प्रणालियों को पछाड़ दिया कि एक मॉडल कितनी अच्छी तरह से खुद की भाषा का मॉडल बना सकता है।

कार्य-विशिष्ट प्रशिक्षण के बिना आश्चर्यजनक कौशल

जो इस काम को अलग करता है वह क्षमताओं की सीमा थी जो किसी भी कार्य-विशिष्ट प्रशिक्षण के बिना उभरी। एक ही मॉडल, केवल अगले शब्द भविष्यवाणी पर प्रशिक्षित किया गया था, प्रदर्शन कर सकता हैः

• मूलभूत पढ़ने की समझ पाठ के बारे में पूछे जाने वाले सवालों का जवाब देने की क्षमता
• मशीन अनुवाद मूल स्तर पर भाषाओं के बीच पाठ का रूपांतरण
• प्रश्न-उत्तर प्रासंगिक, उपयोगी उत्तरों के साथ सवालों का जवाब देना
• सारांश लंबे पाठ को छोटे संस्करणों में संक्षिप्त करना

संदर्भ के लिए, इस दृष्टिकोण से पहले, शोधकर्ताओं ने आमतौर पर इन कार्यों में से प्रत्येक के लिए एक अलग मॉडल बनाया और प्रशिक्षित किया। अनुवाद के लिए એક મોડેલ, અન્ય સારાંશ માટે અને બીજા પ્રશ્નોના જવાબ આપવા માટે. यह विचार कि पूरी तरह से सामान्य तरीके से प्रशिक्षित एक एकल मॉडल उन सभी का प्रयास कर सकता है, लोगों को भाषा प्रणालियों के निर्माण के बारे में सोचने के तरीके में वास्तविक बदलाव था।

"मूलभूत" क्यों मायने रखता है

यह सीमाओं के बारे में सटीक होने लायक है. शोधकर्ताओं ने इन कार्य क्षमताओं को आधारभूत बताया, और यह एक ईमानदार विशेषता है. मॉडल का अनुवाद या प्रश्न उत्तर उस समय की समर्पित, उद्देश्य-निर्मित प्रणालियों के साथ प्रतिस्पर्धी नहीं था। क्या उल्लेखनीय था कि कोई भी क्षमता मौजूद थी, यह देखते हुए कि मॉडल को उन कार्यों पर प्रत्यक्ष प्रशिक्षण कभी नहीं मिला।

इस अंतर ने क्षेत्र के विकास को आकार दिया। यह सुझाव देता है कि पैमाने और सामान्य प्रशिक्षण उन क्षमताओं को अनलॉक कर सकते हैं जिन्हें किसी ने स्पष्ट रूप से प्रोग्राम नहीं किया था, जो बहुत बड़े मॉडल का अनुसरण करते थे।

क्यों यह क्षेत्र के लिए मायने रखता है

इस काम ने एक टेम्पलेट स्थापित करने में मदद की जो AI उद्योग अभी भी अनुसरण करता हैः व्यापक पाठ डेटा पर एक बड़े मॉडल को प्रशिक्षित करें, फिर इसे कई अलग-अलग समस्याओं पर लागू करें। इसने बेंचमार्क प्रदर्शन के बारे में नए प्रश्न भी उठाए, क्योंकि किसी भी कार्य फोकस के बिना प्रशिक्षित मॉडल अभी भी भाषा मॉडलिंग मूल्यांकन पर रिकॉर्ड सेट कर सकता है।

परिणामों ने इस बारे में महत्वपूर्ण वार्तालाप भी शुरू किए कि कैसे सक्षम भाषा मॉडल जारी और अध्ययन किया जाना चाहिए, क्योंकि सुसंगत पैराग्राफ का उत्पादन करने के लिए पर्याप्त मजबूत टेक्स्ट जनरेशन ने संभावित दुरुपयोग पर स्पष्ट प्रश्न उठाए।

टेकअवे

इस शोध से मुख्य अंतर्दृष्टि सुरुचिपूर्ण हैः एक बड़े पैमाने पर असुरक्षित भाषा मॉडल, जिसे केवल टेक्स्ट की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है, सुसंगत लेखन उत्पन्न कर सकता है, भाषा मॉडलिंग बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त कर सकते हैं और उन विशिष्ट नौकरियों के लिए प्रशिक्षण किए बिना पढ़ने की समझ, अनुवाद, प्रश्न का उत्तर देना और सारांश without सभी को संभाल सकते हैं। यह "भाषा मॉडल को प्रशिक्षित करना" क्या हो सकता है इसका पुनर्निर्धारण करता है और कई लोगों द्वारा अब उपयोग किए जाने वाले AI जनरेटिव टूल के लिए मंच तैयार करता है।