Nokia AnyJev को open source के रूप में जारी करता हैः एक प्रशिक्षण-मुक्त परत जो किसी भी खुले LLM को कैलिब्रेटेड निर्णय मॉडल में बदल देती है
Nokia की एप्लाइड रिसर्च टीम ने ओपन-सोर्स AnyJev, एक Python लाइब्रेरी जो किसी भी खुले LLM को बिना किसी प्रशिक्षण के संरचित, कैलिब्रेटेड निर्णय मॉडल में परिवर्तित करती है। विकल्प का समर्थन करते हुए, हाँ/नहीं और स्कोर प्रश्नों, यह चक्रीय विकल्प रोटेशन और बैच अंशांकन (L0) के माध्यम से पूर्ववर्ती और स्थिति पूर्वाग्रह को सही करता है, साथ ही तापमान स्केलिंग (L1) । बैंकिंग 77 के साथ Qwen3-8B पर बेंचमार्क्स कम ऑर्डर फ्लिप (0.23 से 0.073) दिखाते हैं, उच्च सटीकता, और बहुत कम अंशाकरण त्रुटि, अधिक दूर फैसले स्वतः तय करने योग्य होने देते हैं। यह PyPI से स्थापित होता है, Transformers और vLLM बैकेंड्स का समर्थन करता है और सूट c लैसिफिकेशन और रूटिंग कार्य।
नोकिया के एप्लाइड रिसर्च ग्रुप ने AnyJev, एक ओपन-सोर्स पायथन लाइब्रेरी जारी की है जो खुले बड़े लैंग्वेज मॉडल को संरचित निर्णय मॉडल में परिवर्तित करती है और यह बिना किसी प्रशिक्षण के ऐसा करता है। यदि आप एक डेवलपर हैं जिन्हें फ्री फॉर्म टेक्स्ट उत्पन्न करने के बजाय निश्चित सूची से एक विकल्प चुनने के लिए LLM की आवश्यकता होती है, तो AnyJew करीब से देखने लायक है। यह एक बहुत ही सामान्य उत्पादन समस्या का व्यावहारिक उत्तर हैः वर्गीकरण और रूटिंग कार्य जहां आपको स्वच्छ निर्णय प्लस विश्वसनीय विश्वास स्कोर चाहिए, न कि गद्य का एक पैराग्राफ।
क्या यह वास्तव में तैनात करने के लिए तैयार है?
हाँ. AnyJev PyPI से सीधे स्थापित करता है, अपाचे-2.0 लाइसेंस के तहत जहाजों, और एक ट्रांसफार्मर बैकएंड और साझा-उपसर्ग स्कोरिंग के साथ vLLM बैकएन्ड दोनों का समर्थन करता है। इसका मतलब है कि आप लैपटॉप पर प्रोटोटाइप कर सकते हैं और अपने कोड संरचना को बदले बिना तेजी से सेवा सेटअप में जा सकते हैं।
AnyJev क्या है?
AnyJev अपने इंटरफेस को Jev से उधार लेता है, System One निर्णय मॉडल जिसे TypeSafe AI ने सितंबर 2026 में लॉन्च किया था। विचार सरल हैः आप लाइब्रेरी को एक टाइप किए गए प्रश्न सौंपते हैं, और आपको एक संभावना के साथ एक निर्णय वापस मिलता है जिसके खिलाफ आप थ्रेसहोल्ड कर सकते हैं। वह संभावना सीधे मॉडल के अगले टोकन वितरण से पढ़ी जाती है कुछ भी उत्पन्न नहीं होता है, कुछ भी पार्स नहीं किया जाता है, और कुछ भी ठीक-ट्यून नहीं किया गया है।
पुस्तकालय तीन प्रकार के प्रश्नों का समर्थन करता हैः
- विकल्प प्रश्न K संभावनाओं में से एक विकल्प चुनें।
- कोई प्रश्न नहीं सरल हाँ/नहीं निर्णय हैं।
- स्कोर प्रश्न कई आदेशित डिब्बों में से एक में उत्तर रखें।
लॉजिट्स को सीधे पढ़ना क्यों अक्षम है
बहुत सारे ओपन-सोर्स प्रोजेक्ट पहले से ही अगले टोकन को ऑप्शन लेबल तक सीमित करते हैं और परिणामी स्कोर पढ़ते हैं। नोकिया की टीम उस शॉर्टकट में दो कमियों पर प्रकाश डालती है। पहला, उत्तर इस बात पर निर्भर कर सकता है कि विकल्पों का आदेश कैसे दिया जाता है। दूसरा, कच्ची संभावनाएं खराब रूप से कैलिब्रेट होती हैं।
टीम के दस्तावेज दो मूल कारणों की पहचान करते हैंः
- पूर्व पूर्वाग्रह मॉडल इनपुट की परवाह किए बिना कुछ लेबलों का पक्ष लेता है, उदाहरण के लिए "नहीं" के बजाय "हाँ" की ओर झुकना।
- स्थिति पूर्वाग्रह मॉडल विकल्प सूची में कुछ स्लॉट का समर्थन करता है, कोई फर्क नहीं पड़ता कि कौन सा लेबल वहां बैठता है।
कैसे AnyJev काम करता हैः L0 और L1 स्तर
AnyJev द्वारा उत्पादित प्रत्येक निर्णय एक स्तर क्षेत्र का वर्णन करता है कि कितना सुधार लागू किया गया था।
L0 (शून्य लेबल, डिफ़ॉल्ट रूप से सक्षम) दो सुधारों को लागू करता हैः
- चक्रीय शिफ्ट। K विकल्पों वाले प्रश्न के लिए, विकल्प सूची को K अलग-अलग रोटेशन में प्रस्तुत किया जाता है, इसलिए प्रत्येक विकल्प हर स्थिति में ठीक एक बार दिखाई देता है। परिणाम तब ज्यामितीय माध्य के रूप में लॉग स्पेस में संयुक्त होते हैं। यदि स्थान पूर्वाग्रह लॉगिट अंतरिक्ष में योगात्मक होता है, तो यह इसे पूरी तरह से रद्द कर देगा।
- पूर्व सुधार। डिफ़ॉल्ट रूप से, AnyJev बैच कैलिब्रेशन का उपयोग करता हैः यह वास्तविक इनपुट पर अनुमानित वितरण के एक चल रहे औसत को बनाए रखता है और इसे 0.75 की ताकत पर विभाजित करता है। सुधार 8 वस्तुओं के बाद शुरू होता है।
L0 लागत K prefills प्रति निर्णय, एक साझा उपसर्ग पर बैच किया गया। व्यवहार में यह लगभग 0.25 सेकंड प्रति निर्णय है जो कि 32 के बैच आकार पर एकल H100 पर होता है, जिसमें K = 20 होता है।
L1 (प्रति प्रश्न 100 से 500 लेबल) L0 के शीर्ष पर परतों का तापमान स्केलिंग। फिट किए गए मान एक छोटे जेएसओएन आर्टिफैक्ट के रूप में संग्रहीत हैं। ध्यान दें कि एल 1 आत्मविश्वास स्तर को फिर से आकार देता है लेकिन उत्तर की रैंकिंग नहीं बदलता है।
बेंचमार्क परिणाम
Qwen3-8B पर BANKING77 डेटासेट (20-मार्ग वर्गीकरण, 300 परीक्षण आइटम) के साथ परिणाम इस तरह दिखते हैंः
| मीट्रिक | कच्चे लॉजिट | AnyJev L0 | AnyJev L1 |
|---|---|---|---|
| आवश्यक लेबल | 0 | 0 | 100 से 500 |
| फ्लिप दर जब विकल्पों को उलट दिया जाए | 0.230 | 0.073 | 0.077 |
| सटीकता | 0.747 | 0.803 | 0.807 |
| अंशांकन त्रुटि (ईसीई) | 0.240 | 0.184 | 0.095 |
| 5% त्रुटि पर स्व-निर्णय योग्य | 7.7% | 46.3% | 52.0% |
रिपॉजिटरी से कुछ अतिरिक्त निष्कर्षः
- सभी 9 मॉडल-और-टास्क पंक्तियों पर L0 कम ऑर्डर फ्लिप्स का परीक्षण किया गया।
- टाइप किए गए निर्णयों के सेट पर, L1 के साथ Qwen3-32B ने 0.036 का ईसीई प्राप्त किया, जबकि जेवी के लिए प्रकाशित 0.144 की तुलना में। कच्ची सटीकता पर, हालांकि, ठीक-ठीक लाया अभी भी आगे है।
- पूर्ण एबलेशन तालिका क्यूवेन, ओएलएमओ, ग्रेनाइट, फी और मिस्ट्रल मॉडल को कवर करती है।
- वू के अनुसार, टीम ने एक आंतरिक नोकिया रूटिंग समस्या पर एनीजेव का परीक्षण किया और आशाजनक परिणाम देखे।
AnyJev के साथ आरंभ करना
̅̅̅ python
पाइप इंस्टॉल "anyjev[hf]"
किसी भी जेव आयातक से निर्णयकर्ता, प्रश्न
किसी भीjev.backends.hf आयात HFBackend से
d = Decider ((HFBackend (("Qwen/Qwen3-8B"))
route = Question.choice (कौन सी टीम इसे संभालेगी?
["बिलिंग", "तकनीकी", "बिक्री", "अन्य"], name="रूट")
r = d.decide (({"वार्तालाप": [...]}, [मार्ग])
r["मार्ग"].वितरण # प्रति विकल्प संभावनाएं
̅̅̅
उत्पादन सेवा के लिए, आप उपसर्ग कैशिंग सक्षम होने पर vLLM शुरू करते हैं और उसपर ∀VLLMBackend` इंगित करते हैं.
मुख्य जानकारी
- एनीजेव खुले एलएलएम को जेवी-शैली टाइप किए गए निर्णय मॉडल में बदल देता है जिसमें कोई प्रशिक्षण की आवश्यकता नहीं होती है।
- L0 स्थिति और लेबल पूर्वाग्रह को हटाने से पहले चक्रीय बदलावों और एक बैच का संयोजन करता है।
- Qwen3-8B BANKING77 पर, ऑर्डर-फ्लिप दर 0.230 से गिरकर 0.073 हो जाती है।
- 5% त्रुटि पर स्वतः निर्णय करने योग्य यातायात L1 के साथ 7.7% से 52.0% तक कूद जाता है।
- यह Apache-2.0 लाइसेंस प्राप्त है, जो PyPI पर उपलब्ध है, Hugging Face और vLLM दोनों बैकएंड के साथ।
किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए
इसका उपयोग करें यदि आप खुले मॉडल पर रूटिंग, मॉडरेशन या वर्गीकरण पाइपलाइन का निर्माण कर रहे हैं और उन निर्णयों की आवश्यकता है जिनपर आप वास्तव में भरोसा कर सकते हैं खासकर जब आप एक छोटे कैलिब्रेशन सेट (या L0 के साथ कोई भी नहीं) से परे ठीक-ट्यूनिंग या लेबल किए गए डेटा को बर्दाश्त नहीं कर सकते। यह भी एक मजबूत फिट है अगर ऑप्शन-ऑर्डर संवेदनशीलता ने आपको पहले काट लिया हो, या यदि आप केवल कम आत्मविश्वास वाले मामलों को बढ़ाने के दौरान ट्रैफ़िक के बड़े हिस्से पर ऑटो-निर्णय लेना चाहते हैं।
इसे छोड़ो यदि आपके कार्य को वास्तव में जनरेशन सारांश, लेखन, मनमाने पाठ के निष्कर्षण की आवश्यकता है क्योंकि AnyJev निश्चित विकल्पों से चुनने के बारे में सख्ती से है। और अगर अधिकतम सटीकता आपकी एकमात्र मीट्रिक है और आपके पास एक फाइन-ट्यून मॉडल के लिए बजट है, तो बेंचमार्क दिखाते हैं कि लाया जैसे समर्पित ठीक ट्यूनिंग अभी भी कच्चे शुद्धता पर आगे निकल सकता है, भले ही एनीजेव कैलिब्रेशन पर जीत जाए
Comments (0)