Microsoft रिसर्च फोकस ने अपना 98वां संस्करण जारी किया
Microsoft Research Focus #98समीक्षाएं AI अनुवाद, एक हल किए गए ज्यामिति अनुमान, कोडिंग-एजेंट लागत और 104 भाषाओं में tokenizer.
मुख्य बिंदु
- Microsoft Research Focus Edition #98890001 भाषण अनुवाद, उच्च-आयामी ज्यामिति, कोडिंग एजेंट दक्षता और बहुभाषी टोकनीकरण में हालिया प्रगति पर प्रकाश डालती है।
- AI भाषण अनुवाद अधिक व्यावहारिक पार-भाषा संचार की ओर बढ़ रहा है, लेकिन शोधकर्ता पूरी तरह से हल हुई समस्या के बजाय मापने योग्य प्रगति और शेष सीमाओं पर जोर देते हैं।
- 31 वर्षीय केएलएस अनुमान को हल कर दिया गया है, स्वतंत्र रूप से मान्य किया गया है और औपचारिक रूप से सत्यापित, यादृच्छिक algorithms के लिए एक प्रमुख सैद्धांतिक बाधा को दूर करना।
- 13.5 मिलियन कोडिंग सत्रों के अध्ययन से पता चलता है कि संदर्भ संपीड़न की आवश्यकता वाले सत्रों का एक छोटा उपसमूह सबसे अधिक लागत पैदा करता है, जिससे COMPACTIONBENCH और APEC दक्षता में सुधार करते हैं।
- 104 भाषाओं के लिए नए Latent Core Tokenizer से पता चलता है कि बेहतर टोकनकरण को भाषायी संरचना और अर्थ को संरक्षित करना चाहिए, न केवल संपीड़न को अधिकतम करना।
Microsoft Research Focus Edition #98, Anson Ho द्वारा होस्ट किया गया, Microsoft से हालिया प्रगति का एक राउंडअप है। यह AI भाषण अनुवाद को कवर करता है, 31 वर्षीय केएलएस अनुमान के लिए एक समाधान है, जो कि 840001 कोडिंग एजेंटों पर काम करता है और 104 भाषाओं के लिए tokenizer है। इस संस्करण में पाठकों को ट्रैक करने वाले शोध के लिए उपयोगी है जो अनुवाद उपकरण, कोडिंग सहायक और बहुभाषी मॉडल को आकार दे सकते हैं, क्योंकि यह प्रत्येक परिणाम को एक ठोस समस्या से जोड़ता हैः भाषा अवरोध, सैद्धांतिक बाधाएं, लंबे सत्र की लागत और token संरचना।
AI सार्वभौमिक अनुवाद को वास्तविकता के करीब ले जाता है
दशकों से, विज्ञान कथा ने भाषा बाधाओं के बिना संचार की कल्पना की है। Star Trek में 1967 में काल्पनिक Universal Translator पेश किया गया था। पॉडकास्ट पर एक नई बातचीत में हमारा Digital Life, Microsoft Applied Science Manager Jinyu Li यह पता लगाता है कि कैसे AI क्रॉस-लैंग्वेज कम्युनिकेशन को आगे बढ़ा रहा है, शोधकर्ताओं ने प्रगति की है और जो चुनौतियां बनी हुई हैं। एपिसोड सुनने या देखने के लिए उपलब्ध है YouTube और पॉडकैस्ट प्लेटफॉर्म।
व्यावहारिक निष्कर्ष यह है कि काल्पनिक अनुवाद और प्रयोग करने योग्य AI के बीच की खाई अभी भी अध्ययन में है। शोध का दावा नहीं है कि हर भाषा अवरोध गायब हो गया है, लेकिन यह मापने योग्य प्रगति और ज्ञात सीमाओं के साथ एक गंभीर इंजीनियरिंग समस्या के रूप में AI अनुवाद का इलाज करता है।
31 साल पुरानी ज्यामिति की समस्या का सत्यापित उत्तर मिलता है
31 वर्षों तक, केएलएस अनुमान उच्च-आयामी ज्यामिति में केंद्रीय खुली समस्याओं में से एक था। नए शोध ने अनुमान को हल कर दिया है। परिणाम विज्ञान और कंप्यूटिंग में उपयोग किए जाने वाले यादृच्छिक algorithms की दक्षता को समझने के लिए एक प्रमुख सैद्धांतिक बाधा को हटा देता है।
यह सफलता लॉग-कन्केव वितरण के लिए एक सार्वभौमिक सिद्धांत स्थापित करती हैः सरल फ्लैट कटौती किसी निश्चित कारक के भीतर अपनी सबसे संकीर्ण बाधाओं की पहचान कर सकती है, आयाम की परवाह किए बिना। निष्कर्षों को स्वतंत्र रूप से मान्य किया गया है, और सबूत को कंप्यूटर सहायता प्राप्त तरीकों का उपयोग करके औपचारिक रूप से सत्यापित भी किया जा चुका है।
गैर-विशेषज्ञों के लिए, महत्वपूर्ण विवरण यह है कि परिणाम न केवल एक नया गणितीय दावा है बल्कि सत्यापन प्रयास भी है। वह उस क्षेत्र में मायने रखता है जहां उच्च आयामी तर्क को अकेले अंतर्ज्ञान द्वारा जांचना मुश्किल हो सकता है।
अधिकांश कोडिंग सत्रों में संदर्भ संपीड़न की आवश्यकता नहीं होती है, लेकिन जो कि महंगे होते हैं
कोडिंग एजेंट कोड लिखते और संशोधित करते समय मदद कर सकते हैं, लेकिन लंबे सत्र एक बार में AI मॉडल द्वारा संसाधित की जा सकने वाली जानकारी की मात्रा से अधिक हो सकते हैं। काम करना जारी रखने के लिए, एजेंट संदर्भ संघनक का उपयोग कर सकता है, एक संसाधन-गहन प्रक्रिया जो पहले की बातचीत को सारांशित करती है।
एक नए अध्ययन में 13.5 मिलियन कोडिंग सत्रों पर नज़र रखी गई और पाया गया कि कम से कम 8% के लिए संदर्भ संपीड़न की आवश्यकता थी। फिर भी उन सत्रों ने कुल AI प्रसंस्करण लागत का 44% हिस्सा लिया था। इस समस्या को दूर करने के लिए, शोधकर्ताओं ने COMPACTIONBENCH विकसित किया, जो लंबे समय तक चलने वाले कोडिंग कार्यों के दौरान संदर्भ संपेड़न का मूल्यांकन करने का एक बेंचमार्क है। उन्होंने एपीईसी (APEC) भी पेश किया, एक विधि जो एजेंट के काम को बाधित करने के बजाय पृष्ठभूमि में सारांश तैयार करती है। आकलन में, APEC ने 25.4% तक की लागत और 9.6% तक निष्पादन समय को कम करते हुए कोडिंग प्रदर्शन में सुधार किया।
एजेंट बिल्डर्स के लिए, संख्याओं से पता चलता है कि अनुकूलन सत्रों के छोटे उप-समूह पर ध्यान केंद्रित करना चाहिए जो अधिकांश लागत पैदा करते हैं। अध्ययन संदर्भ संपीड़न को एक सामान्य दक्षता चिंता से दीर्घकालिक कोडिंग कार्य के लिए लक्षित समस्या में बदल देता है।
104 भाषाओं के लिए टोकनीकरण कच्चे संपीड़न पर अर्थ की ओर इशारा करता है
AI मॉडल पाठ को संसाधित करने से पहले, वे इसे tokens नामक छोटी इकाइयों में तोड़ देते हैं। यह कैसे विभाजित किया जाता है कि टेक्स्ट दक्षता और प्रदर्शन दोनों को प्रभावित कर सकता है, विशेष रूप से विभिन्न भाषाओं के बीच। अधिकांश टोकनलाइजर्स को यथासंभव कुशलतापूर्वक पाठ को कम्प्रेस करने के लिए डिज़ाइन किया गया है। एक नए अध्ययन से पता चलता है कि अकेले संपीड़न पर्याप्त नहीं है।
शोधकर्ताओं ने Latent Core Tokenizer या एलसीटी पेश किया, जो भाषाओं में साझा शब्दावली बनाने से पहले शब्दों के पुनः प्रयोज्य घटकों की पहचान करता है। 104 भाषाओं को कवर करने वाले मूल्यांकनों में, LCT ने चार बहुभाषी बेंचमार्क पर मॉडल प्रदर्शन में सुधार भी किया।
निष्कर्ष बताते हैं कि बेहतर टोकनीकरण इस बात पर निर्भर नहीं करता है कि कितना पाठ संपीड़ित किया जा सकता है, लेकिन भाषा की अंतर्निहित संरचना को कितनी अच्छी तरह संरक्षित किया जाता है। बहुभाषी मॉडल डेवलपर्स के लिए, निहितार्थ यह है कि token डिजाइन का न्याय भाषायी गुणवत्ता और क्रॉस-भाषा प्रदर्शन द्वारा किया जाना चाहिए, न केवल संपीड़न से।
एक टोक्यो इंटर्नशिप computer vision को शारीरिक बुद्धि से जोड़ती है
टोक्यो में Microsoft Research प्रयोगशाला में, अनुसंधान इंटर्न Lilika Makabe computer vision में एक पृष्ठभूमि के साथ शामिल हो गए और रोबोटिक्स और भौतिक बुद्धि का पता लगाने वाले शोधकर्ताओं के साथ काम किया, AI सिस्टम जो जानकारी की व्याख्या कर सकते हैं और भौतिक दुनिया में कार्य करते हैं।
Microsoft Research blog पर साझा की गई उनकी कहानी बताती है कि इंटर्नशिप तकनीकी कौशल से अधिक बना सकते हैं। विभिन्न पृष्ठभूमि के सहयोगियों के साथ व्यावहारिक प्रयोग, अंतःविषय सहयोग और रोजमर्रा की बातचीत ने उन्हें लैब के बढ़ते समुदाय में योगदान करते हुए अपने शोध परिप्रेक्ष्य को व्यापक बनाने में मदद की।
महत्वाकांक्षी शोधकर्ताओं के लिए, मूल्य आसन्न क्षेत्रों और एक सहयोगी वातावरण तक पहुंच में निहित हो सकता है, न कि केवल एक संकीर्ण तकनीकी परियोजना।
Microsoft Research ब्लॉग, हमारे Digital Life एपिसोड, aka.ms/MicrosoftResearch पर साइट और सभी प्रमुख सामाजिक प्लेटफार्मों के लिंक जहां यह अनुसंधान अपडेट प्रकाशित करता है।#98व्यापक क्षमता वार्ता से ठोस बाधाओं के लिए एक कदम हैः अनुवाद प्रगति, सबूत सत्यापन, लागत एकाग्रता और token अर्थ।
मेटा विवरणः Microsoft Research Focus Edition 98 में AI भाषण अनुवाद, 31-वर्षीय केएलएस अनुमान, कोडिंग एजेंट कॉम्पैक्सेशन लागत और 104-भाषा टोकन शामिल हैं।
टैगः Microsoft Research, AI अनुवाद, कोडिंग एजेंट, बहुभाषी मॉडल

Comments (0)