Apertus 1.5 के लिए रिलीज नोट्स अब उपलब्ध हैं

एपर्टस 1.5 पहली पीढ़ी के खुले मॉडल परिवार का एक निरंतर पूर्व-प्रशिक्षण है, जो 8B मॉडल में 4 ट्रिलियन tokens टेक्स्ट और multimodal training data को जोड़ता है और क्रमशः 19T और 17T के लिए 70B मॉडल में 2 खरब tokens . रिलीज़ परियोजना की पूरी तरह से खुली मुद्रा रखता हैः खुला भार, खुला डेटा, खुले मूल्य और पूर्ण प्रशिक्षण विवरण। किसी भी व्यक्ति के लिए जिसने Apertus 1.0 का अनुसरण किया है, शीर्षक यह है कि परिवार अपने वास्तुकला को बदले बिना केवल पाठ मॉडलों से multimodal तर्ककर्ताओं पर चला गया है।

वास्तव में क्या बदल गया

एपर्टस 1.5 पाठ के साथ छवियों और ऑडियो को स्वीकार करता है, इसलिए दस्तावेज़, आरेख और तस्वीरें सीधे बातचीत में प्रवेश कर सकती हैं। बोली जाने वाली भाषा प्रसंस्करण शामिल है लेकिन टीम इसे प्रयोगात्मक बताती है।

एक सोच मोड को चालू किया जा सकता है ताकि मॉडल उत्तर देने से पहले इनपुट के बारे में तर्क कर सके, जो रिलीज़ का कहना है कि तर्क समस्याओं पर प्रदर्शन में सुधार करता है। context window 262,144 तक बढ़ता है tokens , Apertus 1.0 की तुलना में 4x वृद्धि। निर्देश-अनुसरण को बेहतर बताया गया है 1.0, अधिक अनुमानित और सटीक प्रतिक्रियाएं देते हुए, और मॉडलों को बेहतर टूल इंटीग्रेशन के लिए प्रशिक्षित किया जाता है ताकि बाहरी उपकरण और APIs का अधिक प्रभावी ढंग से उपयोग किया जा सके। रिलीज भी Apertus Charter के मजबूत अनुपालन का दावा करती है, दस्तावेज़ जो मॉडल के मूल्यों और सिद्धांतों को निर्धारित करता है.

एक अलग दृष्टि एन्कोडर के बिना बहुआयामी

एपर्टस 1.5 एक प्रारंभिक-संलयन दृष्टिकोण का उपयोग करता हैः छवियां और ऑडियो tokens के रूप में अलग-अलग दृश्य एन्कोडर से गुजरने की बजाय, पाठ tokens . के समान अनुक्रम में प्रवेश करते हैं। चित्रों को Emu3.5 tokenizer के साथ टोकन किया जाता है, जहां 512 × 512 छवि 1,024 tokens , और WavTokenizer के साथ 40 tokens प्रति सेकंड हो जाती है।

क्योंकि केवल शब्दावली का विस्तार किया जाता है, वास्तुकला अपरिवर्तित रहती है और प्रशिक्षण केवल-पाठ गति पर चलता है। इससे एक सीमा उत्पन्न होती हैः मॉडल छवियों और ऑडियो को समझते हैं लेकिन केवल पाठ उत्पन्न करते हैं।

प्रशिक्षण का मंचन कैसे किया गया

पूर्व-प्रशिक्षण Apertus 1.0 से शुरू होता है और चार चरणों में चलाया जाता है। पहले पाठ के एक अनपेयर स्टेज प्लस स्टैंडअलोन इमेजेस और ऑडियो आता है, इसलिए मॉडल नई विधियों को सीखता है। एक जोड़ा हुआ चरण छवि कैप्शन और ऑडिओ audio ट्रांसक्रिप्ट जोड़ों के साथ उन्हें भाषा के साथ संरेखित करने के लिए अनुसरण करता है। कूलडाउन चरण अधिक गणित और कोड के साथ उच्च गुणवत्ता वाले डेटा का उपयोग करता है, और एक लंबे संदर्भ चरण 8K से 262k tokens तक कदम दर कदम खिड़की बढ़ा देता है।

प्रशिक्षण tokens के आधे से अधिक पाठ-केवल हैं, जो टीम का कहना है कि एपर्टस 1.0 की भाषा क्षमताओं को संरक्षित करता है। टेक्स्ट डेटा FineWeb2-HQ+, FinePDFs और Nemotron-CC सहित स्रोतों के साथ ताज़ा किया जाता है। सभी नए डेटा, जिसमें multimodal शामिल हैं, पहले की तरह ही बार को पूरा करते हैंः सार्वजनिक रूप से उपलब्ध, अनुमेय लाइसेंस प्राप्त, और robots .txt ऑप्ट-आउट के साथ पूर्वव्यापी रूप से सम्मानित। प्रत्येक स्रोत apertus-data-transparency में सूचीबद्ध है।

पोस्ट-प्रशिक्षण पांच चरणों में चलाया जाता हैः एसएफटी, लंबे संदर्भ वाले SFT, आरएल, डीपीओ और चार्टर संरेखण (SDPO) । SFT ने 3.7M टेक्स्ट सैंपल प्लस इमेज और स्पीच डेटा का उपयोग किया, जिसमें तर्क के निशान केवल उन संकेतों को जोड़े गए थे जिन्हें मॉडल पहले से ही उनके बिना हल नहीं कर सकता था, और टूल-यूज़ डेटा निष्पादन-सत्यापित प्रक्षेपवक्रियों तक सीमित है। पाठ SFT मिक्स Hugging Face पर जारी किया गया है। पूर्ण 262k विंडो में लंबा संदर्भ SFT लंबी अवधि की क्षमता को बहाल करता है कि लघु-परिप्रेक्ष्य SFT क्षीण हो जाती है। सत्यापन योग्य पुरस्कार (RLVR) के साथ RL लगभग 350k, कोड, अनुदेश-अनुवर्ती, बहुभाषी और दृष्टि संकेत, सोचने पर मिश्रण और बंद चल रहा था। न्यायाधीश द्वारा स्कोर किए गए पसंद जोड़ों के साथ DPO चैट गुणवत्ता, सुरक्षा और उपकरण का उपयोग करने और पूल वरीयताओं और प्रशिक्षण जोड़ों को लक्षित करते हैं। SDPO4000 प्रतिक्रिया और आत्मनिर्भर

मूल्यांकन का दायरा और मॉडल की स्थिति

यह रिलीज़ महत्वपूर्ण रूप से Apertus 1.0 के लिए उपयोग किए जाने वाले टेक्स्ट बेंचमार्क से परे मूल्यांकन का विस्तार करती है, छवि और ऑडियो और सोच-मोड मूल्यांकन के लिए multimodal मूल्यांकन जोड़ती है। MLLM-eval-suite पाइपलाइन के माध्यम से चलाया जाता है, जो lmms-eval और VLMEvalKit फ्रेमवर्क को मर्ज करता है। पाठ बेंच मार्क्स की एक श्रृंखला भी जोड़ी गई थी, साथ ही अनुवाद और बहुभाषी क्षमताओं, सुरक्षा और टूल उपयोग के लिए विस्तारित बेंचमेकिंग, एलएम-वैल्यूएशन-हार्नेस के कांटा पर आधारित पोस्ट-ट्रेनिंग मूल्यांकन भंडार में प्रकाशित किया गया था।

टीम सीमा के अंतर के बारे में सीधी है: अपार्टस 1.5 अभी भी फ्रंटियर ओपन-वेट मॉडल को पीछे छोड़ता है। अपनी आकार श्रेणी के भीतर, 8B मॉडल निर्देशों का पालन करने और बहुभाषी कार्यों पर समान आकार के खुले वजन वाले मॉडलों से बेहतर प्रदर्शन करता है, और सोचने की स्थिति एआईएमई जैसे तर्क-भारी बेंचमार्क पर परिणामों में सुधार करती है। multimodal के प्रदर्शन को जेम्मा 4 12B और अन्य वर्तमान ओपन वेट मॉडल के करीब वर्णित किया गया है, जो कि ओपन-वजन मॉडल के बीच स्थानिक समझ में प्रतिस्पर्धात्मक है और दस्तावेज और चार्ट समझने में open-source मॉडल के साथ।

बाहरी मूल्यांकन दो डेटा बिंदुओं को जोड़ते हैं। Swiss Legal कार्यों पर, Apertus 1.5 का वर्णन अग्रणी ओपन-वेट मॉडलों के बराबर किया गया है। Last Translation Benchmark, 8B मॉडल की मशीन अनुवाद GPT-OSS -20B से मेल खाती है और Claude Haiku 4.5 तथा Google Translate जैसे मॉडलों से बेहतर प्रदर्शन करती है।

मूल्यांकन कार्ड और पारदर्शिता तर्क

एपर्टस EvalEval Coalition के साथ बेंचमार्किंग पर काम करता है, जो Every Eval Ever (ईईई) स्कीमा में Apertus 1.5 परिणामों को प्रकाशित करता है। वह प्रारूप JUST स्कोर नहीं रिकॉर्ड करता है लेकिन मूल्यांकन किसने चलाया, मॉडल तक कैसे पहुंचा गया, पीढ़ी सेटिंग्स और प्रत्येक मीट्रिक की व्याख्या कैसे की जानी चाहिए लीडरबोर्ड से नियमित रूप से गायब होने वाले विवरण जो अक्सर समझाते हैं कि समान दिखने वाले स्कोर अलग क्यों होते हैं। परिणाम एक Eval Card में दिखाई देते हैं जो रन डेटा को बेंच मार्क और मॉडल मेटाडेटा के साथ जोड़ते हैं, और Hugging Face Community Evals के माध्यम से भी उपलब्ध हैं। वही बुनियादी ढांचा UK AI Security Institute द्वारा अपने मूल्यांकन को खुले तौर पर प्रकाशित करने के लिए उपयोग किया जाता है।

चूंकि पाठ मूल्यांकन परियोजना के सार्वजनिक कांटा पर चलाया जाता है lm-evaluation-harness, जो EEE एक समर्पित कनवर्टर के साथ समर्थन करता है, कोई भी उन्हें फिर से चलाने और समान सेटिंग्स के तहत संख्याओं की तुलना कर सकता है। EvalEval ने EU AI Act के अनुच्छेद 55 सहित Evaluation Cards को AI शासन आवश्यकताओं में मैप किया है और प्रैक्टिस का GPAI Code पाता है कि EEA स्कीमा उन 60 मूल्यांकन रिपोर्टिंग तत्वों में से 56 का प्रतिनिधित्व कर सकती है जिन्हें वे फ्रेमवर्क कहते हैं। यह कैसे Apertus पहले से ही जारी करता हैः मॉडलों के साथ, यह Training Content का एक Public Summary प्रकाशित करता है और स्वैच्छिक रूप से, एक अभ्यास संहिता दस्तावेज़।

पुनरुत्पादकता और एब्लेशन क्या दिखाते हैं

सभी व्यंजनों, एब्लेशन और डेटा मिश्रण Technical Report में प्रलेखित हैं। इंटरमीडिएट चेकपॉइंट्स को Apertus 1.5 Hugging Face संग्रह में होस्ट किया गया है, जो बेस वेट्स, एसएफटी, आरएलवीआर और डीपीओ को कवर करता है, जिसमें क्यूरेट किए गए training data मिक्स और कस्टम datasets के साथ एपर्टस 1.5 datasets . उन्हें साझा करने से शोधकर्ताओं को यह पता लगाने की अनुमति मिलती है कि प्रत्येक चरण मॉडल व्यवहार को कैसे बदलता है।

SFT के दौरान टेक्स्ट डेटा के साथ मिश्रित multimodal डेटा सभी प्रकारों में सुधार करने में मदद करता है। और बाद के पाठ-केवल reinforcement learning : से शुरू होने वाले एक एसएफटी चेकपॉइंट को प्रशिक्षित किया गया था, आरएल ने केवल टेक्स्ट चेकप्वाइंट से शुरुआत की तुलना में गणित में अधिक सुधार किया, और तर्क कार्यों पर लाभ पूरे प्रशिक्षण के दौरान जारी रहा।

उपलब्धता और आगे क्या है

Proton Lumo और Infomaniak Euria दो व्यापक रूप से उपयोग किए जाने वाले apps हैं जिन्होंने हाल ही में Apertus 1.5 को एकीकृत किया है, जो Community Showcase में जुड़ा हुआ है। डेवलपर्स के लिए API एक्सेस की घोषणा स्विसकॉम, इन्फोमैनियाक और फीनिक्स सहित अन्य प्रदाताओं द्वारा की गई थी, जिन्हें General Availability गाइड में सूचीबद्ध किया गया था। मॉडल चलाने के लिए तकनीकी निर्देश Hugging Face पर मॉडल कार्ड्स और क्विकस्टार्ट मार्गदर्शिका में दिए गए हैं।

परियोजना ने हाल ही में अपने Hugging Face विश्लेषिकी में पांच मिलियन डाउनलोड को पार कर लिया है। ज्यूरिख में AI+X शिखर सम्मेलन में, टीम ने Apertus 2.0 के लिए रोडमैप की घोषणा कीः लगभग 600B कुल मापदंडों के साथ एक विरल / MoE वास्तुकला, एक विस्तारित प्रशिक्षण अनुसूची और एजेंट, गणित और प्राथमिकता के रूप में कोडिंग।

एपर्टस 1.5 को आज़माने का निर्णय लेने वाले पाठकों के लिए, व्यावहारिक टेकवे हैं 262,144- token विंडो, छवि और ऑडियो इनपुट केवल टेक्स्ट आउटपुट के साथ, और एक सोच मोड जिसे टॉगल किया जा सकता है। खुले चेकपॉइंट्स और डेटा मिक्स यह निरीक्षण करना संभव बनाते हैं कि प्रत्येक प्रशिक्षण चरण ने विश्वास पर रिपोर्ट किए गए स्कोर की बजाय मॉडल को कैसे आकार दिया।