उपकरण समीक्षाएँ

मैंने 2026 में "Attention Is All You Need" को फिर से देखा और शायद ही कुछ भी अभी तक बना हुआ है।

2017 Transformer पेपर आत्म-ध्यान और समानांतर परतों के माध्यम से जीवित रहता है, यह आकार देता है कि कैसे AI सहायक संदर्भ का उपयोग करते हैं और क्यों संकेत स्मृति को पार कर जाते हैं।

मैंने 2026 में "Attention Is All You Need" को फिर से देखा और शायद ही कुछ भी अभी तक बना हुआ है।

मुख्य जानकारी

  • 2017 89890001 Need 89 पेपर ने Transformer पैटर्न को कई आधुनिक AI प्रणालियों के लिए स्केलेबल और मौलिक बना दिया, हालांकि हर AI टूल इस पर नहीं बनाया गया है।
  • पेपर से दो विचार टिकाऊ रहते हैंः आत्म-ध्यान, जो प्रत्येक token को अन्य tokens के साथ जोड़ने की अनुमति देता है, और एक स्टैकेबल, समानांतर वास्तुकला जिसने प्रशिक्षण बड़े मॉडल को व्यावहारिक बना दिया।
  • आत्म-ध्यान बताता है कि क्यों chatbots हाल के संदेशों, निर्देशों और संदर्भ को लिंक कर सकता है, जबकि context window बताते हैं कि वे पुराने विवरण क्यों भूल सकते हैं।
  • पाठकों और बिल्डरों के लिए, उपयोगी प्रश्न यह हैं कि क्या कोई प्रणाली Transformer शैली का ध्यान रखती है और इसका context window कितना बड़ा है, क्योंकि ये कारक क्षमता, लागत और विश्वसनीयता को आकार देते हैं।

मेटा विवरणः प्रत्येक AI मॉडल के पीछे 2017 पेपर पर एक स्पष्ट नज़र, दो विचार जो बच गए हैं और ध्यान कैसे बताता है कि क्यों chatbots आज संदर्भ को ट्रैक करता है।

I Revisited “Attention Is All You Need” in 2026—and Barely Anything Still Holds Up.

टैगः AI इतिहास, Transformer , ध्यान देना

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> दो हाइलाइट किए गए मार्गों और एक छोटी घड़ी के साथ, दोस्ताना रंग, कोई लोग, कोई लोगो और कोई पाठ नहीं।

यदि आप एक सादे भाषा का नक्शा चाहते हैं कि क्यों कई आधुनिक AI सहायक आपकी बातचीत पर नज़र रखने में सक्षम महसूस करते हैं, तो प्रारंभिक बिंदु प्रत्येक AI मॉडल के पीछे 2017 पेपर है। यह लेख आपको उन दो विचारों को देता है जो उस काम से आगे बढ़े हैं और वह तंत्र जो सबसे अधिक सीधे बताता है कि आपके हालिया संदेश आपके द्वारा प्राप्त उत्तर को प्रभावित कर सकते हैं।

2017 पेपर ने क्या बदल दिया

कागज, Attention Is All You आवश्यकता ने Transformer का परिचय दिया, एक डिजाइन जिसने पुराने आवर्ती मॉडल द्वारा उपयोग किए जाने वाले token -by- token प्रसंस्करण को ध्यान के आसपास निर्मित संरचना के साथ बदल दिया। सबसे सरल शब्दों में, मॉडल tokens के अनुक्रम को पढ़ता है, जो शब्द या शब्द टुकड़े हो सकते हैं, और प्रत्येक token , शेष क्रम से जानकारी एकत्र करने देता है।

यह दावा कि यह कागज प्रत्येक AI मॉडल के पीछे है, एक संक्षिप्तता है। व्यवहार में, यह कई large language models , छवि मॉडलों, भाषण प्रणालियों और multimodal उपकरणों के लिए मौलिक है, जबकि अन्य 89002 सिस्टम अभी भी अलग-अलग तरीकों का उपयोग करते हैं। वह बारीकियां मायने रखती हैं क्योंकि पेपर का वास्तविक प्रभाव यह नहीं है कि उसने सभी पिछले डिजाइनों को समाप्त कर दिया था, लेकिन इसने एक नया डिज़ाइन पैटर्न बनाया जो आसानी से स्केल किया जा सके।

I Revisited “Attention Is All You Need” in 2026—and Barely Anything Still Holds Up.

दो विचार जिन्होंने इसे बनाया

कागज से दो विचार टिकाऊ साबित हुए हैं।

पहला आत्म-ध्यान है। एक मॉडल को सख्ती से बाएं से दाईं ओर पढ़ने के लिए मजबूर करने और संपीड़ित मेमोरी को आगे ले जाने के बजाय, स्व-ध्यान प्रत्येक token को खुद की तुलना हर दूसरे 8800012 से करने की अनुमति देता है। यह तुलना तय करती है कि किसी दिए गए क्षण में कौन से पहले के शब्द, संख्या या छवि पैच सबसे अधिक मायने रखते हैं। एक पाठक के लिए, यह इस भावना के पीछे का विचार है कि AI एक संकेत में वापस देख सकता है और एक हिस्से को दूसरे से जोड़ सकता है।

दूसरा Transformer का स्टैकेबल, समानांतर आर्किटेक्चर है। यह मॉडल दोहराई गई परतों से बनाया गया है जो एक ही समय में कई tokens को संसाधित करते हैं। इस समांतरता ने पुराने अनुक्रमिक दृष्टिकोणों की तुलना में प्रशिक्षण को बहुत अधिक कुशल बना दिया और बड़े मॉडलों को व्यावहारिक बनने में मदद की। कागज भी स्थितिगत एन्कोडिंग का उपयोग करता था ताकि मॉडल अभी भी आदेश को समझ सके, लेकिन मुख्य दीर्घकालिक योगदान यह पुनः प्रयोज्य पैटर्न थाः ध्यान प्लस लेयर्स प्लस समानान्तर प्रशिक्षण।

एक विचार जो आपके अनुभव की व्याख्या करता है

यह विचार जो सबसे सीधे बताता है कि आपका chatbot या लेखन सहायक ऐसा व्यवहार क्यों करता है, वह आत्म-ध्यान है। जब आप कोई संदेश भेजते हैं, तो मॉडल आपकी बातचीत को मानव जैसी स्मृति में संग्रहीत नहीं करता है। यह आपके पाठ का प्रतिनिधित्व tokens के रूप में करता है और उनके बीच संबंधों को तौलने के लिए ध्यान देता है। एक सर्वनाम को प्रॉम्प्ट में पहले की संज्ञा से जोड़ा जा सकता है, एक निर्देश को अनुरोधित प्रारूप से जोडा जा सकेगा, और हालिया प्रश्न इसके ऊपर लंबे पैराग्राफ से संबंधित हो सकते हैं।

I Revisited “Attention Is All You Need” in 2026—and Barely Anything Still Holds Up.

यह एक परिचित सीमा को भी समझाता है। ध्यान context window द्वारा सीमित है, पाठ की मात्रा जो मॉडल एक बार में संसाधित कर सकता है. यदि विवरण उस खिड़की के बाहर गिरते हैं, या अगर संकेत बहुत लंबा हो जाता है, तो मॉडल भूलने लग सकता है। यह सामान्य अर्थों में बग नहीं है; यह 2017 डिजाइन का परिणाम है जो अभी भी आधुनिक उपकरणों को आकार देता है।

पाठकों के लिए इसका क्या अर्थ है

गैर-विशेषज्ञों के लिए, उपयोगी टेकअवे यह नहीं है कि प्रत्येक AI टूल को एक ही पेपर द्वारा आंका जाना चाहिए, लेकिन दो प्रश्न हाइप को संरचना से अलग करने में मदद करते हैं। क्या सिस्टम ध्यान आधारित Transformer का उपयोग करता है या इसे कुछ और पर बनाया गया है? क्या कार्य लंबे संदर्भ पर निर्भर करता है, और यदि हां, तो context window कितना बड़ा है? वे सवाल बुद्धिमत्ता के बारे में अस्पष्ट दावों की तुलना में अधिक व्यावहारिक हैं।

बिल्डरों के लिए, कागज की विरासत अभी भी मॉडल आकार में दिखाई दे रही है, प्रशिक्षण लागत और जिस तरह से उत्पाद संकेतों को संभालते हैं। वास्तुकला ने बड़े datasets पर बड़े मॉडलों को प्रशिक्षित करना आसान बना दिया, लेकिन इसने उन लागतों को भी लाया जो अब AI बहस के केंद्र हैंः कंप्यूटिंग, ऊर्जा, डेटा और सुरक्षा व्यापार-बंद।

आगे क्या देखना है

Transformer एक प्रमुख पैटर्न बना हुआ है, लेकिन यह अब एकमात्र रास्ता नहीं है। शोधकर्ताओं ने ऐसे विकल्पों का पता लगाया है जो लंबे अनुक्रम की लागत को कम करते हैं, अन्य मेमोरी तंत्र के साथ ध्यान मिश्रित करते हैं या केवल भाषा प्रशिक्षण से परे जाते हैं। फिर भी, 2017 पेपर के दो जीवित विचारों ने आकार देना जारी रखा कि कितने आधुनिक AI मॉडल बनाए गए हैं और वे कैसे व्यवहार करते हैं।

मूल कार्य पर लौटने का व्यावहारिक मूल्य यह है: यह पाठकों को एक स्थिर संदर्भ बिंदु देता है। जब कोई नया उत्पाद कहता है कि वह आपके निर्देशों को याद कर सकता है, अपने दस्तावेजों की खोज कर सकता हैं, या एक लंबी रिपोर्ट संक्षेप में बता सकते हैं, तो प्रत्येक AI मॉडल के पीछे 2017 पेपर इस बात की व्याख्या करने में मदद करता है कि यह क्षमता अब स्वाभाविक क्यों लगती है। यह हर सुधार की व्याख्या नहीं करती है, लेकिन यह मुख्य कारण बताता है कि आपके हालिया शब्द अभी भी उत्तर में मायने रख सकते हैं.

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.