बर्मा के लोग अपने पड़ोसियों से अधिक भुगतान करते हैं

Meta Description: जानें कि 17 जीपीटी, Claude और Gemini टोकन बनाने वाले बर्मी पाठ की कीमत कैसे देते हैं, जिसकी लागत अंग्रेजी से 11.7 गुना तक है, और डेवलपर्स को निर्माण करने से पहले क्या जांचना चाहिए।

टैगः बर्मी टोकनीकरण, एआई टोकनाइजर्स, जीपीटी, Claude , Gemini

विशेष छवि: छोटे-छोटे पाठ के टुकड़ों को सिक्के की तरह आकार में बदलने का अमूर्त मैत्रीपूर्ण चित्रण, जिसमें कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है और कोई पठनीय पाठ नहीं है।

सितंबर से एक बेंचमार्क 2026 ने मापा कि 17 जीपीटी, Claude और Gemini टोकनेज़र बर्मीज़ पाठ की गणना कैसे करते हैं। यह डेवलपर्स, संपादकों और training data 1 उपयोगकर्ताओं को कीमतों, संदर्भ सीमाओं या पुनर्प्राप्ति आकार निर्धारित करने से पहले बर्मीज टोकनकरण की जांच करने के लिए एक ठोस कारण देता हैः वही अर्थ अंग्रेजी की तुलना में 2 गुना अधिक tokens का उपभोग कर सकता है।

क्यों tokens मामला

large language models अक्षरों या शब्दों को नहीं पढ़ता है। वे tokens पढ़ते हैं, जो पाठ के छोटे टुकड़े हैं। गिनती मायने रखती है क्योंकि API प्रदाता token द्वारा चार्ज करते हैं, मॉडल एक समय में एक token , और context window जैसे 128K tokens सीमित करता है कि मॉडल एक बार में कितना टेक्स्ट देख सकता है।

परीक्षण के एक सरल उदाहरण से लागत दिखाई दी। म्यांमार का बर्मी वर्तनी GPT-4 में दर्ज किया गया 12 tokens लौटाया, जबकि अंग्रेजी शब्द Myanmar एक token था. अंतर tokenizer शब्दावली से आता है। अधिकांश टोकनइज़र उन पाठों से सीखते हैं जो अंग्रेजी, कोड और कुछ बड़ी भाषाओं में भारी होते हैं। छोटे training data वाली स्क्रिप्ट को बहुत कम समर्पित टुकड़े मिलते हैं, इसलिए उनके टेक्स्ट को बहुत छोटे टुकड़ों में काट दिया जा सकता है, कभी-कभी बाइट्स। बर्मी वर्ण यूटीएफ -8 में 3 बाइट लेते हैं, ताकि बाइट स्तर की वापसी विशेष रूप से बर्मीज़ पर कठिन हो जाए।

बेंचमार्क ने क्या मापा

भाषाओं की तुलना निष्पक्ष रूप से करने के लिए, परीक्षण को प्रत्येक भाषा में एक ही अर्थ की आवश्यकता थी। इसने फ्लोरेस -200 का उपयोग किया, जो विकिन्यूज़, विकीजूनियर और विकिवॉयेज के वाक्यांशों के साथ Meta AI से सार्वजनिक dataset है, जिसे पेशेवर रूप से 200 भाषाओं में अनुवादित किया गया है।

डेवलपर ने 17 मॉडलों में अंग्रेजी, बर्मीज, थाई, खमेर, लाओस, हिंदी, वियतनामी और चीनी के लिए tokens की गिनती की। स्थानीय रूप से गिने गए ओपन टोकनर्स OpenAI cl100k थे GPT-4 , OpenAI o200k GPT-4o , Llama 3 , जेमा 3, Qwen 3 DeepSeek V3, Mistral , फी -4 और एनएलएलबी -200। वाणिज्यिक मॉडल को आधिकारिक token -गणना के माध्यम से गिना गयाः APIs : GPT-5 , जीपीटी- 5.5 , GPT-6 SOL , Claude Opus 5, सोनेट 5 और हाइकु 4.5, Gemini फ्लैश 2.5 और Gemini 3.8 फ़्लैश ।

मुख्य अनुपात बर्मीज कर था: समान वाक्यों के लिए अंग्रेजी में tokens की आवश्यकता होती है और एक ही tokenizer द्वारा विभाजित किया गया। 1x का मान इंगित करता है कि बर्मीज़ अंग्रेज़ी जितना सस्ता है।

पड़ोसी देशों के साथ बर्मा की तुलना

परीक्षण किए गए टोकनाइज़रों में, बर्मीज़ को अंग्रेजी के रूप में 1.6x और 11.7x tokens के बीच की आवश्यकता थी। प्रभाव केवल एक बिलिंग मुद्दा नहीं है। Llama 3 , a 128K- token context window ने लगभग 4,766 अंग्रेजी वाक्य रखे थे, लेकिन केवल 408 बर्मीज वाक्यों का मतलब था कि मॉडल में बर्मी में दस गुना से अधिक कम प्रभावी स्मृति थी।

दो संरचनात्मक निष्कर्ष बाहर खड़े हुए। GPT-5 , GPT-5.5 और GPT-6 SOL ने प्रत्येक भाषा में GPT-4o के o200k tokenizer की तरह ही token गणना का उत्पादन किया, जो दिखाता है कि OpenAI को नहीं बदला गया था कि tokenizer , क्योंकि GPT-4o .

10 अलग-अलग टोकन के माध्यम से औसत लागत का उपयोग करते हुए, बर्मी को अंग्रेजी के tokens में 4.7x की आवश्यकता थी। यह थाई और हिंदी दो बार था, प्रत्येक 2.3x पर, तीन बार वियतनामी 1.5x पर और चार बार चीनी 1.2x पर थे। परीक्षण में हर tokenizer के साथ बर्मी, थाई, हिन्दी, वियेतनामी और चीनी से अधिक खर्च होता है। 10 टोकन में से 5 के साथ, बर्मे सभी आठ भाषाओं में सबसे महंगी थी।

थाई सबसे करीबी तुलना थी क्योंकि यह एक Southeast Asian भाषा भी है जिसकी अपनी लिपि है और शब्दों के बीच कोई अंतराल नहीं है। तब भी, बर्मीज की लागत औसतन 2.3 गुना अधिक थी, और अंतर Llama 3 के साथ 5.3x तक पहुंच गया। लाओ और खमेर ने समान पैटर्न दिखाया: उनकी औसत लागत 6.8x और 6.1x थी। समस्या केवल बर्मीज़ ही नहीं बल्कि थोड़ी सी training data वाली लिपियों में प्रतीत होती है।

पूर्ण token गिनती और बिल

बर्मीज कर एक tokenizer को अपने आप से तुलना करता है। प्रदाता चुनते समय, समान बर्मीज़ पाठ के लिए tokens की पूर्ण संख्या अधिक मायने रखती है क्योंकि यह बिलिंग के लिए उपयोग किया जाने वाला नंबर है। उसी 1,012 बर्मीस वाक्यों के लिए, Gemini को लगभग 66,000 tokens , GPT-5 और GPT-6 SOL की आवश्यकता थी 85,000 tokens , और Claude की जरूरत थी 173,000 tokens ।

एक अनुपात भी खराब आधार रेखा को छिपा सकता है। Meta AI 5 में 4.0x का बर्मीज कर था, जो 5.8x पर Claude Haiku 4.5 से बेहतर दिखता था। ऐसा इसलिए नहीं था क्योंकि बर्मीस सस्ता हो गया था। ओपस 5 ने एक नए tokenizer का उपयोग किया जिसने अंग्रेजी पर 44% अधिक tokens खर्च किए, जबकि बर्मी दोनों मॉडलों के साथ लगभग 172,000 tokens पर रहे। अनुपात में सुधार हुआ क्योंकि अंग्रेजी बेसलाइन बदतर हो गई थी। किसी भी तुलना के लिए समान चेतावनी लागू होती हैः पहले पूर्ण token की गणना करें, फिर वास्तविक बिलों की तुलना करने के लिए प्रदाता की कीमत प्रति token से गुणा करें।

किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए

बर्मी डेवलपर्स और म्यांमार उपयोगकर्ताओं के लिए उत्पाद बनाने वाली टीमों को बेंचमार्क का उपयोग करना चाहिए क्योंकि tokenizer एक वास्तविक व्यावसायिक निर्णय है। 2.4x और 11.7x के बीच की खाई पैसे, गति और संदर्भ को प्रभावित करती है। जब पाठ बर्मीज होता है तो एक 128K मॉडल अंग्रेजी-आकार की सामग्री का मूल्य प्रदान नहीं करता है, इसलिए संदर्भ बजट को बर्मीज़ tokens में मापा जाना चाहिए। खोज और पुनर्प्राप्ति प्रणालियों के लिए, वर्णों के बजाय syllables द्वारा बर्मी पाठ का खंडन प्रत्येक टुकड़ा अधिक स्थिर अर्थ ले सकता है। डेवलपर ने इस विचार के आसपास बर्मी पुनः प्राप्ति प्रणाली बनाई।

बेंचमार्क एक कमांड के साथ टीम के अपने दस्तावेजों पर भी चलाया जा सकता है, क्योंकि समाचार वाक्य चैट संदेशों के समान नहीं हैं। यह open source में github.com/aungthuhein2005/myanmar-tokenizer-bench है। उपयोगकर्ता इसे git clone https://github.com/aungthuhein2005/myanmar-tokenizer-bench के साथ क्लोन कर सकते हैं, इसे सीडी म्यांमार- tokenizer -बेंच के साथ स्थापित कर सकते है जिसके बाद पाइप इंस्टॉल -e . , फिर एमटीबी रन चलाएं। परियोजना तुलना करने के लिए अधिक परीक्षण ग्रंथों, ज़ावगी नमूनों और नए टोकनेज़र की मांग करती है, और कहती है कि GitHub स्टार अन्य बर्मी डेवलपर्स को खोजने में मदद करता है।

निष्कर्ष मॉडल कंपनियों के लिए एक डिजाइन विकल्प की ओर भी इशारा करते हैं। मेटा का एनएलएलबी -200, 200 भाषाओं के लिए बनाया गया था, बर्मी को 1.6x पर लगभग उतना ही कुशलता से संभाला जाता है जितना कि थाई, जबकि कई चैट मॉडलों ने कहीं अधिक tokens का उपयोग किया। उचित टोकनकरण संभव है, लेकिन इसके लिए प्रशिक्षण शब्दावली की आवश्यकता होती है जो उन लिपियों को दर्शाती हैं जिन्हें वे सेवा देना चाहते हैं।

बेंचमार्क की सीमाएं हैं। इसमें फ्लोर्स समाचार और विकी टेक्स्ट का उपयोग किया गया था, इसलिए चैट, कोड या अनौपचारिक बर्मीज अलग-अलग टोकन कर सकते हैं। यह केवल Unicode Burmese को मापा जाता है, और ज़ावगी पाठ शामिल नहीं था। tokens से कम बेहतर उत्तरों का मतलब नहीं है और प्रदाता नए मॉडलों के साथ टोकनेज़र बदल सकते हैं. ये संख्या सितंबर 2026 से हैं। मूल लेख Towards AI में मीडियम पर प्रकाशित हुआ था।

जो टीमें केवल अंग्रेजी को संभालती हैं, या जिन्हें बर्मी token अनुमानों की आवश्यकता नहीं है, वे विस्तृत बेंचमार्क को छोड़ सकते हैं। बर्मी पाठ भेजने वाली टीमों को फुटनोट के रूप में tokenizer विकल्प का इलाज नहीं करना चाहिए: मूल्य निर्धारण, संदर्भ सीमाओं या पुनर्प्राप्ति टुकड़ों को सेट करने से पहले, उन्हें उन मॉडलों पर निरपेक्ष बर्मीस token गणना मापनी चाहिए जिन पर वे विचार कर रहे हैं।