जेम्मा 4 चार स्थानीय AI मॉडल में से विजेता के रूप में उभरा मैंने एक साहित्यिक अनुवाद पर परीक्षण किया, लेकिन एक पकड़ के साथ।

एक विंडोज लैपटॉप NVIDIA GTX 1650 टीआई और 4 GB वीआरएएम के साथ, Q4_K_M क्वांटिज़ेशन पर चार जीजीयूएफ मॉडल, और एक अंग्रेजी उपन्यास की पहली 20 गैर-खाली लाइनेंः यह एक व्यावहारिक परीक्षण के लिए सेटअप था कि किस छोटे स्थानीय मॉडल को साहित्यिक अंग्रेजी का सर्बियाई में अनुवाद करने के लिए भरोसा किया जा सकता है। जेम्मा 4 ई 2 बी सबसे तेजी से समाप्त हुआ और हर स्वचालित जांच पास कर ली, फिर भी इसने शब्दों का आविष्कार किया और सर्बियन व्याकरण को मोड़ दिया। अनुवाद के लिए बनाया गया मॉडल, ट्रांसलेटमैमा 4B, उन समस्याओं से बच नहीं पाया।

परीक्षण मामूली हार्डवेयर पर स्थानीय रूप से चलाने वाले किसी भी व्यक्ति के लिए मायने रखता है। गति और एक साफ पास दर को मापना आसान है; साहित्यिक गुणवत्ता नहीं है। यह पायलट दिखाता है कि दोनों कितनी दूर हो सकते हैं।

सेटअपः एक उपन्यास, चार मॉडल, निश्चित सेटिंग्स

स्रोत था फर्डिनेंड काउंट फाथम के रोमांचतैयार की गई TXT फ़ाइल में 3,694 गैर-खाली स्रोत पंक्तियाँ, या 158,396 शब्द थे। केवल पहले 20 गैर-खोई लाइनें प्रत्येक मॉडल के लिए चली गईं, कुल 943 अंग्रेजी शब्द।

उन "पंक्तियों" को व्याकरणिक वाक्य होने की गारंटी नहीं थी। कुछ कई वाक्यों में पैक किए गए थे, और पाठ तैयारी ने सीमाओं जैसे कि "अव्यवहार्य.वास्तव में" और "प्रकटता". दोनों दोष अनुवाद को कठिन बनाते हैं और परिणाम हमें बता सकते हैं।

सभी चार रन में एक ही लैपटॉप और स्थानीय llama.cpp सर्वर का उपयोग किया गया था, जिसमें 4,096-टोकन संदर्भ, तापमान 0, सीड 0, 512-टोकेन आउटपुट कैप, अनुक्रमिक कॉल और cache_prompt=false थे। प्रत्येक मॉडल ने अपने स्वयं के सर्वर-साइड चैट फॉर्मेटिंग का इस्तेमाल किया, इसलिए यह व्यावहारिक स्थानीय कॉन्फ़िगरेशन की तुलना करता है, न कि अलग-अलग तंत्रिका नेटवर्क वजन।

परीक्षण किए गए मॉडलः

• TranslateGemma 4B translategemma-4b-it-Q4_K_M.gguf
• जेम्मा 4 ई 2 बी google_gemma-4-E2B-it-Q4_K_M.gguf
• Qwen3 4B Qwen3-4B-Q4_K_M.gguf
• Qwen3.5 4B Qwen3.5-4B-Q4_K_M.gguf

अंग्रेजी अनुदेश में लैटिन लिपि में धाराप्रवाह सर्बियाई, साहित्यिक शैली और अर्थ के संरक्षण और अनुवाद के आसपास कोई टिप्पणी नहीं मांगी गई थी। इसका पाठ कभी नहीं बदलाः रिकॉर्ड किए गए संकेत SHA-256 सभी रन पर मेल खाते थे।

गति पर जीता जेम्मा 4 ई 2 बी

Gemma 4 E2B प्रति सेकंड 59.65 आउटपुट टोकन तक पहुंच गया। TranslateGemma 41.76, Qwen3 40.06, और Qwen3.5 34.62 पर पहुंचा। जेम्मा 4 ने ट्रांसलेटगेमा की तुलना में औसतन 43% अधिक टोकन प्रति सेकेंड उत्पन्न किए और 72% क्यूवेन 3.5 से अधिक।

त्वरित प्रसंस्करण एक ही पैटर्न का पालन कियाः Gemma 4 E2B के लिए लगभग 325.39 टोकन / एस, 209.74 TranslateGemma, 180.91 Qwen3 और 171.15 Qwen3.5 के लिए।

बीते समय ने एक स्पष्ट परिचालन कहानी बताई। जेम्मा 4 38.95 सेकंड में 20 मार्गों को समाप्त कर दिया; ट्रांसलेटगेमा ने 55.48, क्यूवेन 3.5 117.16 और क्यूवेन 3 147.59 लिया। ये दीवार-घड़ी के आंकड़े हैं जिनमें असफल अनुरोध और पुनः प्रयास ओवरहेड शामिल हैं, न कि स्वच्छ अनुमान बेंचमार्क।

स्वीकृत अनुवादों के लिए औसत विलंबता Gemma 4 पर 1.81 सेकंड, TranslateGemma पर 3.47 Qwen3.5 और Qwen3 पर 3.83 थी। 95 वें प्रतिशत स्वीकार किए गए-प्रतिक्रिया की देरी 2.81, 4.06, 6.47 और 7.51 सेकंड थी। ये प्रतिशत बहुत छोटे नमूनों पर निर्भर करते हैं और उन्हें ओवररीड नहीं किया जाना चाहिए।

एक चेतावनी: 20-लाइन बैच सभी वर्कलोड में मॉडल को रैंक नहीं कर सकता है। क्यूवेन मॉडलों ने भी असफल प्रतिक्रियाओं और अतिरिक्त अनुरोधों का उत्पादन किया, इसलिए व्यतीत समय केवल आर्किटेक्चर-केवल गति के बजाय इस कार्यप्रवाह में एंड-टू-एंड उपयोगिता को मापता है।

एक 100% पास दर गुणवत्ता नहीं है

TranslateGemma ने 20 में से 20 पंक्तियाँ स्वीकार कीं। Gemma 4 ने भी 20 के 20 को स्वीकार किया। Qwen3.5 ने 20 के 19 को स्वीकार कर लिया, और Qwen3 केवल 20 के 16 थे। ये तकनीकी जांच थींः खाली आउटपुट, अमान्य स्क्रिप्ट, ट्रंकशन, फॉर्मेटिंग लीक और लाइन-संरेखण समस्याएं। उन्होंने इस बारे में कुछ नहीं कहा कि सर्बियाई सुरुचिपूर्ण, व्याकरणिक या वफादार था।

इनपुट को एक-दूसरे के साथ पढ़ना इस अंतर को स्पष्ट करता है।

उद्घाटन मार्ग। उपन्यास का पहला वाक्य यह बताता है कि सार्वजनिक उपहास को आमंत्रित किए बिना एक संरक्षक की प्रशंसा करने वाला समर्पण लिखना कितना कठिन है। अंत के करीब, अंग्रेजी इस कार्य को "पूरी तरह से अव्यावहारिक" कहता है। ट्रांसलेटगेमा ने "बिली सग्लेस्नी दा जे ओवा ज़ादाटा पोस्टा" जैसा एक वाक्यांश लौटाया; Gemma 4 ने "složili da je zadatak potpuno nemoguć". उस खंड पर, गेम्मा 4 अर्थ रखता है और TranslateGemma नहीं करता है। लेकिन उसी जीम्मा 4 मार्ग में "समोपोželju patrona", एक अप्राकृतिक और प्रतीततः आविष्कारित अभिव्यक्ति शामिल है। एक बेहतर स्थानीय परिणाम प्रकाशन योग्य अनुवाद नहीं है।

एक झूठा दोस्त। जहां स्रोत पढ़ता है "समर्पण में, कविता के रूप में, कोई माध्यम नहीं है ...", साथ ही "समर्थन" का अर्थ साहित्यिक समर्पण और "कोई माध्यम नहीं" का मतलब कोई मध्य जमीन नहीं है, ट्रांसलेटगेमा ने "यू čast, kao i u poeziji, nema sredstva "... और जेम्मा 4 उत्पादन किया "U posvećenju, Kao i u poetziji, Nema sredstva za to "...। गेमा 4 ने समर्पित संदर्भ को अधिक बारीकी से पढ़ा, लेकिन दोनों ने गलत तरीके से पढ़ा "नो मीडियम"। एक सामान्य स्क्रिप्ट वैलिडेटर इसे पकड़ नहीं सकता हैः शब्द सर्बियाई की तरह दिखते हैं और मार्ग अभी भी गलत है।

व्याकरण जो एक रिश्ते को पलट देता है। कथाकार के स्नेह और ईमानदारी के बारे में एक मार्ग में, ट्रांसलेटगेमा ने "आप मेरे लिए विश्वसनीय और ईमानदार हैं" जैसे शब्दों के साथ इरादा संबंध को उलट दिया। जेम्मा 4 करीब आयाः पताकर्ता कहानीकार के प्यार और सच्चाई से आश्वस्त है। फिर भी यह अभी भी कठोर निर्माणों का उपयोग करता था जैसे कि "ओवाज एड्रेस"। 1650 4 ने "ओस्मेšila सम से ... आई ट्रेमियो सम "... का उत्पादन किया, व्याकरणिक लिंग स्विचिंग और एक वाक्य में विकृत क्रिया का उपयोग करना। "अपवित्रता की बेइज्जती और असुविधा" पर, न तो जेम्मा मॉडल नैतिक अर्थ को अच्छी तरह से व्यक्त करते थे। विफलता वर्तनी से परे व्याख्या, रजिस्टर और सुसंगतता में चली गई।

सर्बियाई किस्म: लैटिन, सिरिलिक, एकावियन, इजेकवियन

सर्बियाई लैटिन या सिरिलिक लिपि में लिखा जाता है, और एकावियन और इजेकवियन दोनों ही उच्चारण मानकों को मान्यता प्राप्त हैं। यहां व्यावहारिक लक्ष्य एकेवियन किस्म में सुसंगत था Serbian Latin, केवल सर्ब के रूप में पहचाने जाने योग्य कुछ का उत्पादन करने की तुलना में एक तंग बाधा थी।

TranslateGemma के स्वीकार किए गए आउटपुट में Ijekavian या क्षेत्रीय रूप से अलग-अलग रूप जैसे "svijet", "mjeri" और "posljedice" शामिल थे। Gemma 4 आम तौर पर इन उदाहरणों में Ekavian की ओर झुकता था, लेकिन कई व्याकरणिक गलतियाँ करता था। Qwen3.5 मिश्रित रूप जैसे कि "cijenimo" तथा "nedosljednost" अन्य जगहों पर Ekavian रूपों के साथ।

Ijekavian "गलत सर्बियाई" नहीं है। इस उपयोग मामले के लिए समस्या असंगति थी, कभी-कभी अन्य करीबी संबंधित मानकों की ओर शब्दावली बहाव के साथ संयुक्त होती है। एक संपादकीय कार्यप्रवाह को वांछित किस्म का चयन करना चाहिए, निरंतरता के लिए परीक्षण करना चाहिए और फिर भी मानव समीक्षा पर भरोसा करना चाहिए। यांत्रिक वर्तनी सामान्यीकरण गलत समझा वाक्य को ठीक नहीं कर सकता।

सिरिलिक एक वास्तविक लेकिन ज्यादातर फिक्स करने योग्य समस्या थी। पहला ट्रांसलेटगेमा प्रोटोटाइप हर प्रतिक्रिया को अस्वीकार कर देता था जिसमें सिरिलीक होता है, और तापमान 0 और बीज 0 के साथ, उसी अनुरोध को तीन बार पुनः पेश करना समान सिरिलिका का प्रजनन करता है। यह उत्तर में सुधार किए बिना अनुमानित समय जलाता है।

पाइपलाइन को प्रत्येक कच्ची प्रतिक्रिया रखने के लिए बदल दिया गया था और जब सुरक्षित हो, तो लैटिन में एक अलग पोस्टप्रोसेसिंग चरण के रूप में ट्रांसलिट्रेट करें। मूल आउटपुट प्रयास लॉग में रहता है ताकि देशी स्क्रिप्ट व्यवहार मापा जा सके।

20 पंक्तियों के ट्रांसलेटगेमा परीक्षण में, पांच आउटपुटों को लिप्यंतरण की आवश्यकता थी (25%), और सभी 20 अतिरिक्त अनुमान के बिना स्वीकार किए गए थे। जेम्मा 4 और Qwen3.5 को कोई भी जरूरत नहीं थी। Qwen3 ने सात लिप्यंतरित मार्गों को स्वीकार किया लेकिन असमर्थित गैर-सर्बियाई पात्रों के साथ कुछ सिरिलिक उत्पन्न किया; तीन लाइनें बार-बार प्रयासों के बावजूद स्क्रिप्ट जांच में विफल रहीं। लिप्यंतरण लेखन प्रणाली को बदलता है, न कि अर्थः एक असंगत वाक्य लैटिन अक्षरों में असंबद्ध रहता है।

Qwen3.5 "ništa" लूप

सबसे यादगार विफलता Qwen3.5 रन के चौथे मार्ग में आई। स्रोत एक लेखक की चर्चा करता है जो वास्तविक कृतज्ञता व्यक्त करता है जबकि जनता उस प्रशंसा को स्वार्थ या चापलूसी के रूप में खारिज करती है। खत्म करने के बजाय, मॉडल ने सर्बियाई शब्द "निस्ता" ("कुछ भी नहीं") दोहरायाः "... निस्ता ništa ništa nič"...

सभी तीन Qwen3.5 प्रयासों ने ठीक 512 आउटपुट टोकन को हिट किया और finish_reason=length के साथ समाप्त हो गया, अनिवार्य रूप से एक ही उत्परिवर्तन को दोहराते हुए क्योंकि प्रॉम्प्ट, सीड और डिकोडिंग सेटिंग्स अपरिवर्तित थीं। मार्ग को 512 उपयोगी टोकन की आवश्यकता नहीं थी; मॉडल पीढ़ी लूप में फंस गया था, और कैप को 1,024 तक बढ़ाना अपने आप दोहराव को ठीक नहीं करेगा।

Qwen3 ने पास पांच पर एक समान पैटर्न दिखाया: टोकन सीमा में तीन ट्रंक्टेड प्रतिक्रियाएं और स्क्रिप्ट सत्यापन विफल करने वाली तीन अलग-अलग पंक्तियां। 28 HTTP कॉल के बाद 16 स्वीकार किए गए मार्गों के साथ समाप्त हुआ; Qwen3.5 22 फोन के बाद 19 स्वीकृत के साथ खत्म हो गया।

अभियांत्रिकी पाठ: एक पुनः प्रयास नीति को त्रुटि को समझना चाहिए। परिवहन विफलताएं पुनरावृत्ति के योग्य हो सकती हैं। निर्धारक स्क्रिप्ट उल्लंघन और दोहराव लूप को अलग-अलग उपचार की आवश्यकता होती है, जैसे कि मॉडल-विशिष्ट डिकोडिंग परिवर्तन, बाउंड रिपीट डिटेक्शन या स्पष्ट मानव समीक्षा, उसी असफल अनुरोध की दो स्वचालित प्रतियां नहीं।

संख्याएँ वास्तव में क्या कहती हैं

इन सटीक स्थानीय सेटिंग्स के तहत, जेम्मा 4 ई 2 बी सबसे मजबूत समग्र व्यावहारिक प्रदर्शनकर्ता था: उच्चतम अवलोकन पीढ़ी और शीघ्र-प्रसंस्करण थ्रूपुट, कम से कम एंड-टू-एंड रन, सभी 20 प्रतिक्रियाओं को स्वीकार किया गया, कोई लिप्यंतरण या पुनः प्रयास ओवरहेड नहीं, और कई मार्गों पर ट्रांसलेटगेमा की तुलना में बेहतर अर्थ संरक्षण।

यह संपादकीय अर्थ में साहित्यिक अनुवाद नहीं जीता। इसने अभी भी अजीब शब्द, गलत तरीके से संभाले गए मुहावरे, व्याकरण संबंधी समझौते को खो दिया और बारीक गद्य को असुविधाजनक रूप से प्रस्तुत किया। इसके नाम पर अनुवाद के साथ मॉडल ट्रांसलेटगेमा इन समस्याओं से बच नहीं पाया। Qwen3.5 ने 19 तकनीकी रूप से स्वीकार्य पंक्तियां दीं लेकिन गुणवत्ता दोषों और एक पुनरावृत्ति लूप द्वारा कमजोर हो गई थी। क्यूवेन 3 इस बैच में सबसे कम विश्वसनीय कॉन्फ़िगरेशन था।

इनमें से कोई भी यह साबित नहीं करता है कि एक मॉडल परिवार सर्बियाई में "बेहतर" है, या एक अलग प्रॉम्प्ट, टोकनाइज़र कॉन्फ़िगरेशन, डिकोडिंग सेटअप, या क्लीन डेटासेट रैंकिंग को नहीं बदलेगा। नमूना छोटा, आसन्न और साहित्यिक था, जिसमें टेक्स्ट-तैयारी कलाकृतियां थीं, और मॉडलों ने विभिन्न देशी चैट टेम्प्लेट का उपयोग किया था। इसमें स्वतंत्र रूप से क्यूरेट किए गए सर्बियन संदर्भ अनुवाद, कोई BLEU, chrF ++, या COMET मूल्यांकन और कोई अंधा मल्टी-रेटर मानव स्कोरिंग नहीं था। ये परिणाम एक ईमानदार पायलट हैं, न कि प्रकाशन-ग्रेड बहुभाषी बेंचमार्क।

एक उत्पादन पाइपलाइन को क्या बदलना चाहिए

पहले स्रोत पाठ को साफ करें, खोए हुए रिक्त स्थानों को बहाल करें और वास्तविक वाक्यों को अलग करें, क्योंकि जुड़ी हुई सीमाओं और बहु-वाक्य लाइनों ने इनपुट को विकृत किया। तथ्य के बाद वर्तनी को सामान्य बनाने के बजाय लक्षित विविधता को आगे बढ़ाएं और स्थिरता के लिए आउटपुट का परीक्षण करें। कच्चे उत्तर रखें और एक अलग, लॉग किए गए चरण के रूप में लिप्यंतरण करें। पुनरावृत्ति लूप और स्क्रिप्ट उल्लंघनों को अपने स्वयं के हैंडलिंग के साथ विशिष्ट त्रुटि वर्गों की तरह व्यवहार करें। और मानव समीक्षा के लिए बजटः यहां प्रत्येक मॉडल तकनीकी जांच उत्तीर्ण करता है जबकि अभी भी सर्बियाई का उत्पादन होता है जिसे कोई संपादक प्रकाशित नहीं करेगा।

स्थानीय-एआई उपयोगकर्ताओं के लिए व्यापक टेकवे यह है कि एक पूर्ण स्वीकृति दर वाला एक तेज़ मॉडल अभी भी साहित्यिक कार्य के लिए गलत उपकरण हो सकता है। स्वचालित जांच मापती है कि क्या आउटपुट अच्छी तरह से तैयार किया गया है, न कि यह वफादार है या नहीं। 4 GB GPU पर, जेम्मा 4 ई 2 बी शुरू करने के लिए कॉन्फ़िगरेशन है; यह रीडर के बिना शिप करने का विन्यास नहीं है।