मेरे मॉडल ने एक बार तमिल को तेलुगू के लिए गलत समझा, इसलिए मैंने हिंग्लिश, तांग्लीश और कांगलिश के लिए open-source भाषा पहचान उपकरण बनाया।
भाशा हिंग्लिश, तांग्लीश और कांगलिश सहित कोड-मिश्रित भारतीय पाठ के लिए एक अपाचे-2.0 शब्द-स्तरीय भाषा पहचानकर्ता है और CPU पर चलता है।
मुख्य जानकारी
- भाशा एक मुफ्त, अपाचे-2.0, 278M पैरामीटर सीपीयू के अनुकूल मॉडल है जो प्रमुख भारतीय भाषाओं और अंग्रेजी को कवर करते हुए हिंग्लिश, तांग्लीश और कांगलिश सहित कोड-मिश्रित भारतीय पाठ में प्रत्येक शब्द को भाषा लेबल प्रदान करता है।
- कोड-मिश्रित संदेशों के लिए शब्द-स्तरीय भाषा टैग महत्वपूर्ण हैं क्योंकि वे शब्दों को उपयुक्त ट्रांसलिटरेटर, टोकनाइज़र, स्पेल चेकर या अनुवाद मॉडल में रूट करने और संदेश-स्तर की पहचान के विपरीत भाषा मिश्रण को मापने में मदद करते हैं।
- यह मॉडल प्रति शब्द लेबल के साथ-साथ मुख्य भाषा, लिपि, मिश्रण स्थिति और भाषा शेयरों जैसे संदेश स्तर के सारांश देता है; जब हिंदी और उर्दू को अलग नहीं किया जा सकता है, तो यह संयुक्त लेबल hi/ur आउटपुट करता है।
- प्रशिक्षण डेटा पूरी तरह से सार्वजनिक कॉर्पोरेस और ट्रांसलिट्रेशन पाइपलाइनों के कोड के साथ बनाया गया था, लाइसेंसिंग को साफ रखने के लिए हाथ लेबल और एलएलएम-जनरेट किए गए पाठ से बचना, लेकिन यह समाचार / वेब शैली की भाषा की ओर परिणाम पक्षपात कर सकता है।
- एलएलएम लेबल वाली यूट्यूब टिप्पणियों पर, भासा ने विशेष रूप से मलयालम और कन्नड़ के लिए मजबूत प्रदर्शन किया, जबकि मानव-लेबल की गई तमिल टिप्पणी एक कमजोरी को उजागर करती है जिसे आंशिक रूप से LLM आधारित परीक्षणों में छिपाया गया था।
Arun Prabhakaran (@LatentAILabs) ने भाशा (arunp0/bhasha-lid-indic), एक मुफ्त, ओपन-सोर्स मॉडल प्रकाशित किया है जो कोड-मिश्रित भारतीय पाठ में प्रत्येक शब्द को भाषा लेबल सौंपता है। यह हिंदी, बंगाली, तमिल, तेलुगु, मराठी, गुजराती, कन्नड़, मलयालम, पंजाबी, उर्दू, ओडिया और अंग्रेजी के साथ-साथ नाम और अन्य को लक्षित करता है, और रोमन अक्षरों, देशी लिपियों और संदेशों को पढ़ता है जो दोनों का मिश्रण करते हैं। मॉडल अपाचे- 2.0 है 278M मापदंड और ए CPU पर चलता है। इसके सबसे मजबूत परिणाम मलयाली और कन्नड में आए थे, जबकि मानव-लेबल वाली तमिल टिप्पणियों से एक अंतर सामने आया कि एलएलएम-लेबल्ड परीक्षण छिपे हुए थे।
शब्द-स्तरीय भाषा टैग क्यों महत्वपूर्ण हैं
अधिकांश भाषा पहचान उपकरण पूरे संदेश के लिए एक लेबल वापस करते हैं। यह किसी संदेश को रूट करने के लिए उपयोगी है, लेकिन जब सिस्टम को यह जानने की आवश्यकता होती है कि कौन से शब्द किस भाषा से संबंधित हैं तो यह पर्याप्त नहीं होता है। वर्ड-लेवल लेबल्स प्रत्येक शब्द को सही ट्रांसलिटर या स्पेल चेकर में रुट करने में मदद कर सकते हैं, सही टोकनाइज़र या अनुवाद मॉडल का चयन करें, मापें कि कितना कोड-मिक्सिंग मौजूद है, और कॉर्पस फ़िल्टर करें जब प्रत्येक वाक्य में अंग्रेजी और भारतीय भाषा का मिश्रण हो।
यह पैटर्न फोन पर टाइप किए गए संदेशों में आम है, विशेष रूप से हिंग्लिश, मंगलिश (मलयालम) या कांगलीश (कन्नड़) में। प्रभाकरन ने एक तमिल फिल्म ट्रेलर के तहत देखी गई तरह की बनाई हुई टिप्पणी का हवाला दिया: पादम सेम्मा मास ब्रो, दूसरी छमाही कोंजम धीमी लेकिन चरमोत्कर्ष वेरा स्तर. आधे शब्द तमिल और आधा अंग्रेजी हैं, लेकिन पूरी टिप्पणी रोमन अक्षरों में लिखी गई है।
हिंग्लिश के लिए, अच्छे शब्द-स्तरीय मॉडल हैं। तमिल, मलयालम और कन्नड़ को अंग्रेजी से मिलाकर प्रभाकरन ने रोमिनाइज्ड टेक्स्ट के लिए कोई लाइसेंस प्राप्त, जारी किए गए शब्द-स्तर का मॉडल नहीं पाया। उन्होंने बिना लाइसेंस के केवल दो डाउनलोड करने योग्य चेकपॉइंट पाएः 2022 कन्नड के लिए साझा कार्य विजेता, एक डिस्टिलबर्ट मॉडल जो एक समय में एक शब्द का न्याय करता है, और कोई मॉडल कार्ड के साथ मलयाली मॉडल। Newer MIT मिक्सएलआईडी जैसे मॉडल इन भाषाओं को केवल देशी लिपियों में कवर करते हैं। भाशा, जिसका अर्थ बस भाषा है, उस अंतराल को भरने के लिए बनाया गया था। यह भारतीय भाषाओं के लिए एक छोटे खुले सेट में चौथा मॉडल है, शून्य शॉट वर्गीकरण के लिए यामा के बाद, पीआईआई पता लगाने के लिए चित्रगुप्ता और शिकायत रूटिंग के लिए नंदी।
भाशा क्या लौटाता है
भाशा प्रत्येक शब्द के लिए एक लेबल देता है, साथ ही संदेश सारांश भी। सारांश में मुख्य भाषा, उपयोग की जाने वाली लिपि (मूल, रोमन या मिश्रित), क्या संदेश मिश्रित है और प्रत्येक भाषा का हिस्सा शामिल है। Romanised Hindi और उर्दू में समान शब्द हो सकते हैं, इसलिए जब मॉडल उन्हें अलग नहीं बता सकता है तो यह अनुमान लगाने के बजाय हाय / उर लौटाता है।
प्रभाकरन कहते हैं कि अधिकांश उपयोगकर्ता पहले से ही अपनी भाषा की जोड़ी जानते हैंः उदाहरण के लिए, एक तमिल फिल्म चैनल यथोचित रूप से तमिल और अंग्रेजी की उम्मीद कर सकता है।
प्रशिक्षण डेटा पूरी तरह से कोड द्वारा बनाया गया था
प्रभाकरन कहते हैं कि प्रशिक्षण डेटा में कोई हाथ लेबल और एलएलएम-लिखित पाठ नहीं था। यह लाइसेंस को साफ रखता है, लेकिन इसका मतलब यह भी है कि सभी भारतीय भाषाओं के पाठ समाचार और वेब लेखन के रूप में शुरू हुए थे, एक सीमा जो बाद में तमिल परिणामों में दिखाई देती है।
पाइपलाइन इंडिककॉर्प v2 (CC0) से वास्तविक देशी वाक्यों के साथ शुरू हुई, जिसमें सभी 11 भाषाओं और अंग्रेजी में समाचार और वेब टेक्स्ट शामिल हैं। कोड फिर अक्षरान्तर (सीसी-बीवाई), इंडिक्सलिट लिप्यंतरण मॉडल (एमआईटी) और सरल नियमों का उपयोग करके मूल शब्दों को रोमन किया गया था, जो कि फाइनवेब -2 शब्द गणना का उपयोग करते हुए वास्तविक रोमानिज्ड वेब पाठ में कितनी बार प्रत्येक वर्तनी दिखाई देती है। उदाहरण के लिए, एक हिंदी शब्द ज्यादातर समय नाही हो जाता है और कुछ समय में नहिन या nhi होता है।
1-6 शब्दों के अंग्रेजी स्पैन को वाक्यों में सम्मिलित किया गया था, और प्रत्येक शब्द की भाषा कोड द्वारा दर्ज की गई थी। नाम और अंग्रेजी-ऋणशब्द टैग सरल नियमों का उपयोग करते थे, इसलिए वे कम सटीक हैं। पाइपलाइन ने विकिडाटा से नाम भी जोड़े, इमोजी, @mentions, संख्याएं, supersuperrr जैसे खिंचे हुए शब्द, गिराए गए स्वर जैसे nhi, यादृच्छिक राजधानियां और रोमन पाठ में मिश्रित देशी लिपि वाले शब्द।
परिणाम 11 भाषाओं में 1.65 मिलियन पंक्तियां थीं: रोमन, मिश्रित, देशी, मूल निवासी मिश्रित और मिश्रित लिपि और सादे अंग्रेजी। प्रभाकरन का कहना है कि कोई भी प्रशिक्षण पंक्ति मूल्यांकन सेट को ओवरलैप नहीं करती थी, सिवाय इसके कि दो नेटिव-स्क्रिप्ट परीक्षण वाक्य जो प्रशिक्षण पाठ से मेल खाते थे उन्हें उस टेस्ट से हटा दिया गया था। बाद की जांच में मानव लेबल वाले सेटों के साथ कोई अतिव्यापीता नहीं मिली। उन्होंने एक युग के लिए XLM-रोबर्टा-बेस को ठीक किया, जिसमें लगभग एक घंटे लग गए L4 GPU ।
लेखक की एलएलएम लेबल वाली परीक्षा में अच्छे परिणाम मिले
प्रशिक्षण से पहले, प्रभाकरन ने प्रत्येक भाषा जोड़ी के लिए एक मूल्यांकन योजना और बार लिखा था: दो ग्लोटलआईडी बेसलाइनों में से बेहतर को हराएं, जिसमें शब्द-दर-शब्द लागू किए गए ग्लॉटलिड पर 0.10 का मार्जिन है।
इसके बाद उन्होंने द्रविड़ियनकोडमिक्स (सीसी-बीवाई) में 425 यूट्यूब टिप्पणियों से एक वास्तविक परीक्षण सेट बनाया: 150 तमिल, 150 मलयालम और 125 कन्नड़ टिप्पणी, प्रत्येक अंग्रेजी के साथ मिश्रित। प्रत्येक शब्द को दो क्लाउड पासों द्वारा लेबल किया गया था और जेमिनी द्वारा, और 2-ऑफ-3 वोट ने लेबल का फैसला किया। तीन लेबलर 95-99% शब्दों पर सहमत हुए। ये लेबल एलएलएम-समीक्षा किए गए थे, मानव-प्रमाणित नहीं। जमे हुए मॉडल को एक बार स्कोर किया गया।
जारी किए गए हिंग्लिश और इंडिक वर्ड-लेवल मॉडल को हिंदी, बंगाली और गुजराती के लिए बनाया गया था। उनके पास कोई तमिल, मलयालम या कन्नड़ लेबल नहीं है, इसलिए वे इन परीक्षणों में विफल हो जाते हैं। इस संदर्भ में, मैक्रो-एफ 1 का औसत दो F1 स्कोर होता है, एक भारतीय भाषा के लिए और दूसरा अंग्रेजी के लिए। एक सही स्कोर 1.0 है, और एक ऐसा मॉडल जो कभी भी भारतीय भाषा को शीर्ष पर नहीं पाता है 0.5 ।
एलएलएम लेबल वाली यूट्यूब टिप्पणियों पर, भाशा ने 0.87 -0.89 स्कोर किया, जबकि जारी किए गए हिंदी/बंगाली शब्द-स्तर के मॉडल 0.28 -0.44 और अन्य रिलीज़ किए गए मॉडलों का परीक्षण किया गया 0.64 - 0.79। मलयालम स्कोर 0.888 और कन्नड़ स्कोर0.888, आराम से सलाखों को साफ़ करते हुए। तमिल ने 0.873 सबसे मजबूत आधार रेखा, ग्लोटलआईडी को पूरे वाक्य में हराया,0.812 लेकिन प्रभाकरन की खुद की बार 0.878 को 0.005 द्वारा याद किया। वह पट्टी लेखक द्वारा निर्धारित की गई थी, न कि एक बाहरी बेंचमार्क।
हिंदी-अंग्रेजी के लिए, भाशा ने COMI-LINGUA टेस्ट सेट पर 0.896 स्कोर किया, 0.857 में मुरिल-हिंग्लिश-लिड से आगे। LinCE पर इसने muril-hinglish-lid29]s 0.952 के खिलाफ 0.922 अंक हासिल किए। प्रभाकरन का कहना है कि मुरिल-हिंगेलीश-लिड्स को वास्तविक हिंग्लिस पर प्रशिक्षित किया गया था और उन्होंने प्रशिक्षण के दौरान विकास जांच के रूप में LinCE का उपयोग किया था, इसलिए LinCE संख्या स्वतंत्र नहीं है।
उस समय, उन्होंने कहा कि वह तमिल मिस के साथ मॉडल को भेज देंगे। फिर उन्हें मानव-चिह्नित डेटा मिला।
मानव लेबलों ने तमिल तस्वीर को बदल दिया
प्रभाकरन ने लोगों द्वारा लिखे गए शब्द-स्तरीय भाषा लेबल के साथ द्रविड़ कोड मिश्रित पाठ के तीन सेट पाए। CoLI-Dravidian 2024, FIRE साझा कार्य का हिस्सा है, जिसमें तमिल, मलयालम और Kannada YouTube रोमन अक्षरों में टिप्पणियां हैं, जिन्हें देशी वक्ताओं द्वारा चिह्नित किया गया है। ICON 2022, से कोली-कांग्रेजी में कन्नड़-English YouTube टिप्पणी शामिल है और कोई साझा टेक्स्ट नहीं होने के कारण कोलि-ड्राविडियन से स्वतंत्र है। WoLLaI, से Pondicherry University और CC BY, में 12,401 मलयाली-अंग्रेज़ी वाक्य शामिल हैं।
उन्होंने इन सेटों का उपयोग केवल मूल्यांकन के लिए किया, मॉडल को जमे हुए और प्रत्येक सेट को एक बार स्कोर किया। वह केवल कुल की रिपोर्ट करता है और उन्हें पुनर्वितरित नहीं करता है, यह देखते हुए कि CoLI फाइलें कोई लाइसेंस नहीं बताती हैं। CoLI फ़ाइलों में प्रति पंक्ति एक शब्द होता है और कोई वाक्य टूटता नहीं है, इसलिए वे 12-शब्द विंडो में अंकित किए गए थे।
मानव-लेबल किए गए सेटों पर, भाशा ने कन्नड़ पर 0.84 -0.90 , मलयालम पर 0.91 -0.95 और हिंदी-अंग्रेजी पर 0.90 स्कोर किया, जिसे मैक्रो-एफ 1 द्वारा मापा गया था। तमिल, हालांकि, अपने स्वयं के परीक्षण सेट पर 0.87 की तुलना में मानवीय लेबल वाली टिप्पणियों पर 0.72 स्कोर करता है। लगभग एक तिहाई तमिल शब्दों को तेलुगु टैग किया गया था. मलयाली और कन्नड पकड़ लिया, लेकिन तमिल नहीं।
प्रभाकरन कहते हैं कि इतनी बड़ी गिरावट एक खोज है, शोर नहीं। एक चेतावनी यह है कि तीन सीओएलआई फाइलों में से तमिल ने अपने मूल शब्द क्रम को कम से कम अच्छी तरह से रखा और संदर्भ ने इसे कम मदद की। गिरावट का हिस्सा खुद मॉडल के बजाय खिड़कियों में स्कोरिंग से आ सकता है। त्रुटि पैटर्न किसी भी तरह दिखाई देता है।
भाशा हर जगह सबसे अच्छी कन्नड़ मॉडल नहीं है
परीक्षण किए गए मॉडल अधिक मिश्रित तस्वीर दिखाते हैं। डिस्टिलका, 2022 कांगलिश विजेता, कोएलआई कन्नड़ पर भाशा को हरा देता हैः 0.954 के खिलाफ 0.903, या भाषा संकेत के साथ 0.936। इसे एक ही साझा-कार्य श्रृंखला से डेटा पर प्रशिक्षित किया गया था। स्वतंत्र कन्नड टिप्पणियों पर, भासा लीड्स,0.888 के खिलाफ 0.724. प्रभाकरन दो चेतावनी देते हैंः उन टिप्पणी में LLM लेबल होते हैं, और डिस्टिल्का के लेबल्स का नाम नहीं होता है, इसलिए उन्होंने अपने प्रशिक्षण डेटा का उपयोग करके उन्हें मैप किया।
Malayalam XLM-आर चेकपॉइंट बाशा को WoLLaI पर 0.952 से जोड़ता है, लेकिन Bhasha [4s0.911 और 0.888 के खिलाफ CoLI मलयालम और 0.638 लेखक की टिप्पणियों पर स्कोर करता है। MixLID लगभग कोई रोमनकृत भारतीय शब्द सही नहीं मिलता है, जिसमें भारतीय भाषा F1 0 के करीब होती है, जैसा कि एक देशी लिपि मॉडल के लिए अपेक्षित होता है। मूल-लिपि वाक्यांशों पर यह भासा के करीब हैः 0.9956 के खिलाफ 0.9916 प्रभाकरन ने इसे अपने स्वयं के सहायक कोड के रूप में चलाया, सादे ट्रांसफॉर्मर का उपयोग करते हुए और कोई रिमोट कोड नहीं, प्रत्येक words पहले उप-टोकन को शब्द s लेबल के तौर पर लेते हुए।
So Bhasha हर परीक्षण पर सबसे अच्छा कन्नड़ मॉडल नहीं है। लेकिन प्रभाकरन का कहना है कि यह एकमात्र ऐसा मॉडल है जिसे उन्होंने पाया है जो प्रत्येक कन्नड और मलयालम सेट पर 0.84 या उससे अधिक स्कोर करता है, और केवल लाइसेंस प्राप्त शब्द-स्तरीय मॉडल जो उन्हें रोमन तमिल, मलयाली या कन्नड़ा के लिए मिला था।
कहाँ गए तमिल शब्द
तमिल ड्रॉप की जांच करने के लिए, प्रभाकरन ने मानव-लेबल किए गए सेट में प्रत्येक तमिल शब्द के लिए गिना, जो मॉडल को दिया गया था। उन्होंने केवल लेबल्स की गिनती की और टिप्पणियों को नहीं पढ़ा, इसलिए मूल्यांकन अंधा रहा।
तमिल के रूप में तेलुगु एक सामान्य उत्तर है। यह लेबलिंग असंगति नहीं हैः नाम, संख्या और अंग्रेजी मुश्किल से आगे बढ़ते हैं। मॉडल तमिल शब्दों को तेलुगू या किसी अन्य South Indian भाषा कहता है। वही खींचतान कहीं और अधिक कमजोर दिखाई देता हैः कन्नड़ शब्दों का 9% और मलयालम शब्दों का भी तेलगु टैग किया गया है।
लेखक की 425 टिप्पणियों के सेट में यह नहीं दिखाया गया है, शायद इसलिए कि इसकी तमिल टिप्पणी आसान थी। लेख के शीर्ष पर टिप्पणी एक उदाहरण हैः भाषा संकेत के बिना, भासा ने पदम, सेम्मा, कोंजाम और वेरा को तेलुगु टैग किया।
प्रभाकरन का सबसे अच्छा स्पष्टीकरण है कि मॉडल ने किस तरह की तमिल सीखी। समाचारों में पाया जाने वाला प्रकार, बोली जाने वाली तमिल से बहुत अलग हैः एक अखबार इरुक्कीरधु लिखता है जहां एक टिप्पणीकार इरूक्कू लिखते हैं। भाशा ने केवल रोमन अक्षरों को परिवर्तित करने के लिए समाचार तमिल देखा था। जब यह बोले गए रूपों से मिलता है जिसे उसने कभी नहीं देखा है, तो वह निकटतम भाषा पर वापस गिर जाता है जो उसके पास है।
एक त्वरित फिक्सः यह भाषा जोड़ी बताओ
चूंकि अधिकांश उपयोगकर्ता पहले से ही अपनी भाषा जोड़ी जानते हैं, इसलिए रैपर में एक लांग्स विकल्प होता है जो आउटपुट को अपेक्षित भाषा के साथ-साथ अंग्रेजी, नाम और अन्य तक सीमित करता है। प्रभाकरन इसे एक निश्चित नियम के रूप में वर्णित करते हैं जिसमें परीक्षण सेटों पर कुछ भी ट्यून नहीं किया गया था। उन्होंने प्रत्येक सेट पर एक बार स्कोर किया।
तमिल के लिए, यह ज्यादातर त्रुटियों को अंग्रेजी में स्थानांतरित करता है। तेलुगु को बाहर करने के साथ, तमिल स्कोर स्वयं 0.53 से 0.78 तक बढ़ जाता है। लेकिन 2,188 तमिल शब्द तब अंग्रेजी के रूप में आते हैं, और अंग्रेजी स्कोर 0.92 से 0.73 तक गिरता है। अनुमत लेबलों में, मॉडल उन शब्दों के लिए तमिल से ऊपर अंग्रेज़ी रैंक करता है, और एक अन्य 653 नाम बन जाते हैं, इसलिए इसे उन्हें बिल्कुल भी तमिल नहीं माना जाता। लेखक के अपने 425-टिप्पणी सेट पर, संकेत न तो तमिल की मदद करता हैः स्कोर 0.873 से 0.865 तक चला गया।
यह परिणाम बोली जाने वाली तमिल व्याख्या का समर्थन करता है। भाषा-जोड़ी संकेत तेलुगू भ्रम को कम कर देता है, लेकिन इससे भाशा बोलने वाले तमिल रूपों को पहचान नहीं पाता जिसके लिए उसे कभी प्रशिक्षित नहीं किया गया था।
डेवलपर्स के लिए इसका क्या मतलब है
भाशा उन डेवलपर्स के लिए एक व्यावहारिक विकल्प है जिन्हें कोड-मिश्रित भारतीय पाठ में शब्द-स्तरीय भाषा टैगिंग की आवश्यकता होती है, विशेष रूप से मलयालम, कन्नड़ और हिंदी-अंग्रेजी के लिए, और किसी ऐसे व्यक्ति के लिए जिसे रोमनकृत तमिल, मलयाली या कन्नड के लिए लाइसेंस प्राप्त शब्द-स्तर मॉडल की आवश्यकता हो। यह अपाचे - 2.0 है 278M मापदंडों और पर चलता है CPU ।
तमिल के लिए, मॉडल कार्ड और मूल्यांकन लॉग सावधानी बरतने का सुझाव देते हैं। एलएलएम लेबल वाले परीक्षण ने 0.87 दिया, लेकिन मानव-लेबल वाली टिप्पणियों ने 0.72 दी, जिसमें कई तमिल शब्दों को तेलुगु लेबल किया गया था। एक ज्ञात भाषा जोड़ी पास करने से मदद मिलती है, लेकिन अंतर्निहित कमजोरी प्रशिक्षण डेटा में बोली जाने वाली तमिल रूपों की अनुपस्थिति प्रतीत होती है।
प्रभाकरन कहते हैं कि लेख के कुछ हिस्सों का मसौदा AI सहायकों द्वारा तैयार किया गया था और उन्होंने प्रत्येक संख्या को मॉडल कार्ड और मूल्यांकन लॉग से जांच लिया। व्यापक सबक यह है कि कोड-मिश्रित भारतीय भाषाओं के मॉडलों को मूल्यांकन सेट की आवश्यकता होती है जो वास्तविक बोली जाने वाली टाइपिंग से मेल खाते हों, न केवल रोमन अक्षरों में परिवर्तित समाचार शैली के पाठ।
मेटा विवरण
भाशा कोड-मिश्रित भारतीय पाठ के लिए एक ओपन-सोर्स वर्ड-लेवल लैंग्वेज आईडी मॉडल है; यह मलयालम और कन्नड़ में उत्कृष्टता प्राप्त करता है लेकिन तमिल के साथ संघर्ष करता है।
टैग
भासा, भाषा पहचान, कोड-मिश्रित भारतीय पाठ, खुला स्रोत मॉडल, तमिल
फ़ीचर छवि
विशेष रुप से प्रदर्शित छवि: भाषा टैग में बहने वाले बहुभाषी शब्द टोकन का अमूर्त, मैत्रीपूर्ण चित्रण, जिसमें कोई वास्तविक लोग नहीं हैं, कोई लोगो और कोई पाठ नहीं है।

Comments (0)