उपकरण समीक्षाएँ

Welcome Beam एक 501 बिलियन पैरामीटर ओपन मॉडल है जिसे आप अपना सकते हैं, कस्टमाइज़ कर सकते हैं और स्केल बना सकते हैं।

प्रतिबिंब का बीम एक 501 Billion Apache-2.0 खुला LLM है जिसमें कोडिंग, एजेंटों और GPU तैनाती के लिए 1 मिलियन token संदर्भ हैं।

Welcome Beam एक 501 बिलियन पैरामीटर ओपन मॉडल है जिसे आप अपना सकते हैं, कस्टमाइज़ कर सकते हैं और स्केल बना सकते हैं।

मुख्य जानकारी

  • बीम token प्रति 23B सक्रिय मापदंडों के साथ एक 501B पैरामीटर विरल मिश्रण-विशेषज्ञ मॉडल है, जिसे सीमा स्केल कोडिंग और एजेंटिक वर्कलोड के लिए डिज़ाइन किया गया है।
  • यह हाइब्रिड स्लाइडिंग-विंडो और वैश्विक ध्यान का उपयोग करते हुए 1M- token context window का समर्थन करता है, जो केवी-कैश वृद्धि को पूरी तरह से वैश्विक डिजाइन के लगभग एक छठे हिस्से तक कम कर देता है।
  • मॉडल Transformers, vLLM और एसजीएलएंग में डे-0 सपोर्ट के साथ अपाचे 2.0 के तहत जारी किया गया है, इसके अलावा विभिन्न तैनाती परिदृश्यों के लिए बीएफ16, एफपी8, और एनवीएफपी 4 चेकपॉइंट हैं।
  • प्रैक्टिकल सर्विंग के लिए पर्याप्त मेमोरी की आवश्यकता होती हैः चार B200 GPUs के लिए ~280890004 एनवीएफपी 4 चेकपॉइंट की सिफारिश की जाती है, जबकि H200 जैसे Hopper GPUs को एफपी 8 चेकप्वाइंट का उपयोग करना चाहिए।
  • रिफ्लेक्शन बीम पर निर्मित उत्कृष्ट सामुदायिक परियोजनाओं के लिए open-source रस्ट-आधारित हार्नेस और $10,000 हब क्रेडिट में गोद लेने का समर्थन कर रहा है।

रिफ्लेक्शन ने बीम जारी किया है, 501B-पैरामीटर विरल मिश्रण-ऑफ-विशेषज्ञ भाषा मॉडल token प्रति 23B सक्रिय मापदंडों के साथ, उन टीमों का उद्देश्य जो अपने स्वयं के hardware या क्लाउड पर फ्रंटियर स्केल कोडिंग और एजेंटिक प्रदर्शन चाहते हैं। Transformers, एसजीएलएंग और vLLM में डे-0 सपोर्ट के साथ अपाचे 2.0 के तहत मॉडल जहाज, इसके अलावा एक समर्पित open source रस्ट आधारित हार्नेस, और रिफ्लेशन इस पर निर्मित सर्वोत्तम सामुदायिक परियोजनाओं के लिए हब क्रेडिट में $10,000 के साथ अपनाने का समर्थन कर रहा है।

Welcome Beam is a 501 billion parameter open model you can own, customize, and scale.

बीम वास्तव में क्या है

बीम एक टेक्स्ट-ओनली मॉडल है जो लंबे संदर्भ तर्क और एजेंटिक कार्य के लिए बनाया गया है, जिसमें 1M- token context window है। यह विरल हैः प्रत्येक token को नेटवर्क के एक छोटे से अंश द्वारा गणना की जाती है, इसलिए यह बड़े पैमाने पर क्षमता बनाए रखते हुए बहुत छोटे मॉडल की गति से चलता है। इस मॉडल में 52 परतें हैं और 5,120 का एक छिपा हुआ आकार है, जिनमें 256 विशेषज्ञ हर MoE लेयर में हैं और 8 प्रति token.

BF16, FP8 और NVFP4 में चेकपॉइंट प्रकाशित किए जाते हैं। बीएफ 16 चेकप्वाइंट लगभग 1 TB सेफटेंसर्स प्रारूप में है। एनवीएफपी 4 NVIDIA Blackwell GPUs के लिए 4-बिट परिशुद्धता में अधिकांश मापदंडों को संग्रहीत करता है, जबकि सटीकता के लिए कुछ पैरामीटर BF16 में रखते हुए, फुटप्रिंट को मोटे तौर पर 280 GB तक कम कर देता है; हॉपर और एम्पेयर चिप्स के लिए एफपी 8 जांच बिंदुओं की स्थिति होती है। डीएफलैश 2 का उपयोग करके एक सट्टा डिकोडिंग ड्राफ्टर मॉडल भी रिलीज का हिस्सा है।

वास्तुकला विकल्प जो तैनाती के लिए मायने रखते हैं

बीम की अधिकांश परतें स्लाइडिंग-विंडो ध्यान का उपयोग करती हैं पिछले 512 tokens : 43 स्लाइडिंग-विण्डो लेयर और 9 ग्लोबल लेयर्स, प्रत्येक छठी परत के साथ और अंतिम एक पूर्ण संदर्भ में भाग लेता है। स्लाइसिंग-वॉन्डो लेयर RoPE का उपयोग करते हैं; वैश्विक स्तर कोई पोजिशनल एन्कोडिंग का उपयोग नहीं करते हैं और इसके बजाय एक स्केलेबल सॉफ्टमैक्स क्वेरी स्केलिंग लागू करते हैं जो दृश्यमान tokens की संख्या के साथ धीरे-धीरे बढ़ता है, संदर्भ लम्बा होने पर सॉफ्टमेक्स परिशुद्धता को बनाए रखते हुए।

ध्यान 48 क्वेरी हेड्स और 8 की-वैल्यू हेड्स, RMSNorm पर प्रश्नों और कुंजियों के साथ समूहीकृत-क्वेरी ध्यान का उपयोग करता है, और एक सीखा सिग्मोइड गेट जो आउटपुट प्रोजेक्शन से पहले प्रत्येक सिर के हर चैनल को स्केल करता है।

पहले 3 परतें एक घने SwiGLU MLP का उपयोग करती हैं; अन्य 49 इसे 256 विशेषज्ञों के मिश्रण-विज्ञानी ब्लॉक से बदलते हैं, प्रत्येक 2,560 या लगभग 39M मापदंडों के मध्यवर्ती आकार के साथ एक स्विलग्लू एमएलपी है। विशेषज्ञ मॉडल के पैरामीटर में से 98.4% रखते हैं। router DeepSeek-V3 की समूह-सीमित योजना का अनुसरण करता हैः यह सभी 256 विशेषज्ञ को सिग्मोइड के साथ स्कोर करता है, उन्हें 32 के 8 समूहों में विभाजित करता है और फिर उनके भीतर शीर्ष 4 विशेषज्ञों को चुनता है। बीम DeepSeek-V3 के समान समूह आकार का उपयोग करता है लेकिन कोई साझा विशेषज्ञ नहीं; विशेषज्ञ आउटपुट सामान्यीकृत router वजन के साथ संयुक्त होते हैं और 895.001 द्वारा स्केल किए जाते हैं।

शेष धारा सबसे विशिष्ट भाग है। बीम इनपुट embedding को चरण 1 के रूप में गिना जाता है, और k कदम पर वजन 1/sqrt ((k) के साथ उप-लेयर आउटपुट जोड़ता है जबकि मौजूदा स्ट्रीम को वजन sqrt (((k-1)) / k के साथ रखता है। दो भारों के वर्ग एक से योग करते हैं, इसलिए प्रवाह पहली परत से अंतिम तक निरंतर पैमाने पर रहता है और सभी 104 अतिरिक्त होने के बाद प्रत्येक उपपरत आउटपुट और इनपुट embedding अंतिम छिपी हुई स्थिति में समान वजन रखते हैं। हर सबलेयर पहले और बाद में सामान्यीकृत किया जाता है और अंतिम लॉजिट FP32 में गणना की गई ± 30 पर सॉफ्ट टैनकैप से गुजरते हैं।

Welcome Beam is a 501 billion parameter open model you can own, customize, and scale.

दीर्घ-संदर्भ गणित

हाइब्रिड ध्यान केवी कैश आकार में भुगतान करता है। प्रत्येक परत 2 x 8 केवी हेड्स एक्स 128 डिम्स = 2,048 मान प्रति token को कैश करती है। यदि सभी 52 परतों को हर 880019 पर रखा जाता है, तो कैश 208 किलोबाइट्स द्वारा बढ़ेगा। चूंकि केवल 9 वैश्विक परतें पूरे अनुक्रम को रखती हैं और 43 स्लाइडिंग-विंडो परतें एक निश्चित 512- token खिड़की पकड़ती हैं, इसलिए कैश 36 किलोग्राम / token, लगभग नौटंकी दर का छठा भाग बढ़ता है। ये आंकड़े क्रमशः BF16 में, Transformers गतिशील कैश के साथ होते हैं।

hardware : चार बी200 के लिए योजना, दो नहीं

बीम की सेवा करने का सबसे व्यावहारिक तरीका NVFP4 चेकपॉइंट है, जो BF16 के अधिकांश गुणवत्ता को बरकरार रखता है। B200 में 180 GB HBM3e हैं, इसलिए उनमें से दो (360 GB) सक्रियण और KV कैश के लिए थोड़ी जगह छोड़ते हुए भार धारण कर सकते हैं। प्रतिबिंब चार B200s (720 GB), जो लंबे संदर्भों और समवर्ती अनुरोधों के लिए जगह छोड़ देता है, के लिए योजना बनाने की सिफारिश करता है। विकल्पों में एक पूर्ण 8xB200 नोड शामिल है, प्रत्येक 288 GB, या 8xRTX PRO 6000.0027 Blackwell की तुलना में पुराना, जैसे कि H200, एनवीएफपी 4 मूल रूप से नहीं चला सकता है और इसके बजाय एफपी 8 चेकप्वाइंट का उपयोग करना चाहिए। ब्लैकवेल hardware के बिना टीम्स Inference Providers के माध्यम से मॉडल का परीक्षण कर सकता है।

इसे चलानाः तीन समर्थित पथ

Transformers में, टेक्स्ट-जनरेशन पाइपलाइन पूरी चैट लौटाता है, जिसमें अंतिम संदेश पहले से ही प्रतिक्रिया टेम्पलेट द्वारा पार्स किया गया था। एक निचले स्तर पर, ∀AutoModelForCausalLM` और ≠AutoTokenizer゙ हमेशा की तरह काम करते हैं, और tokenizer एक प्रतिक्रिया टेम्प्लेट ले जाता हैः ∂parse_response̅ कच्चे आउटपुट को अलग-अलग क्षेत्रों में तर्क, उत्तर और टूल कॉल के साथ एक संदेश डिक्ट में बदल देता है, जिससे सामान्य रेगेक्स विभाजन से बचा जा सकता है। Because Beam अपने स्वयं के XML शैली व्याकरण में उपकरण-कॉल तर्कों को इनलाइन लिखते हैं, टूल स्कीमाओं को पारित करने के लिए △Parse_Responses̅ पार्सर को प्रत्येक तर्क को उसके घोषित प्रकार में डालने देते हैं।

मल्टी-डिवाइस लोडिंग के लिए, बीम का कॉन्फ़िग एक विशेषज्ञ-समानांतर योजना को परिभाषित करता हैः प्रत्येक विशेषज्ञ एक डिवाइस पर जाता है, जबकि ध्यान, घनी परतें, embeddings और एलएम हेड हर डिवाइस पर दोहराए जाते हैं 89 8B पैरामीटर, या BF16 में 16 GB। प्रतिबिंब का उदाहरण टार्चरन के साथ 16 H200 GPUs में लॉन्च होता है, इसलिए प्रत्येक 78 GB वजन रखता है; 8 GPUs के साथ प्रत्येक 139 GB, 141 GB H200 पर कोई जगह नहीं छोड़ रहा होगा। डिवाइस की गिनती को विशेषज्ञों की संख्या विभाजित करनी चाहिए, 256

vLLM में, BF16 चेकपॉइंट को टेंसर समानांतरता के साथ 16 GPUs (दो 8x H200 नोड्स) पर OpenAI -संगत API के पीछे सेवा दी जा सकती है। DFlash2 का अनुमानित डिकोडिंग जोड़ने से एक छोटा ड्राफ्टर 15 tokens तक आगे की पेशकश कर सकता है, जिसे बीम एक फॉरवर्ड पास में जांचता है, इसलिए प्रत्येक चरण ड्रैटर के लिए थोड़ी अतिरिक्त मेमोरी की कीमत पर कई tokens स्वीकार कर सकते हैं। एसजीएलएंग समर्थन भी दिन -0 है, और रिफ्लेक्शन डीएफलाश 2 के साथ सेवा देने की सिफारिश करता हैः ब्लैकवेल पर एनवीएफपी 4 चेकप्वाइंट 4 बी 300s पर फिट बैठता है जबकि हॉपर पर एफपी 8 चेकप्वाईंट तीन झंडों के साथ 8 एच 200 पर चलता है चेकपॉट बदल दिया गया है, टेन्सर-समानांतर आकार (4 के बजाय 8) और बैकएंड ध्यान (ब्लैकवेल की आवश्यकता वाले trmmha_tll3 के बजाय fail.

बीम Hugging Face Inference Providers पर भी उपलब्ध है, Baseten द्वारा संचालित, आतिशबाजी और साथ में, अधिक अनुसरण करने के लिए, और एफपी 8 या एनवीएफपी 4 में एक क्लिक Inference Endpoints नुस्खा है या एचएफ सीएलआई के माध्यम से।

Welcome Beam is a 501 billion parameter open model you can own, customize, and scale.

रिफ्लेक्शन ने क्या परीक्षण किया, और यह क्या स्वीकार करता है

रिफ्लेक्शन ने पांच कार्यों पर बीम-501B-ए23बी के "वायब इवैल" साझा किए, प्रत्येक को एक बार कम और उच्च तर्क प्रयास में रिफ्लेशन प्लेटफॉर्म के माध्यम से चलाया जाता है। कंपनी स्पष्ट रूप से बताती है कि ये वाइब इवेल्स हैं, बेंचमार्क नहीं, और उन्हें यह देखने का एक तरीका है कि मॉडल विशिष्ट उपयोग मामलों पर कहां जीतता है और हारता है। पूर्ण इनपुट, आउटपुट, API उपयोग, कार्य फिक्स्चर, ग्रेडर और वार्तालाप ट्रेस एक सार्वजनिक Hugging Face बाल्टी में हैं।

परिणामों से दो चेतावनी ध्यान देने योग्य हैं। कम तर्क प्रयास के साथ, लंबे संदर्भ की प्रतिक्रिया में सभी कोड व्यवहार और सभी छह स्रोत उद्धरण सही थे, लेकिन प्रतिक्रिया पार्सर के प्रारूप से मेल नहीं खाती थी जो प्रतिबिंब को आंशिक रूप से संकेत अस्पष्टता का श्रेय देती है। एक अन्य कार्य पर, निम्न ने सही उत्तर लौटाया लेकिन अनुरोधित औचित्य को छोड़ दिया, जबकि उच्च ने स्वतंत्र रूप से समीक्षा किए गए मूल-एकता प्रमाण प्रदान किया।

fine-tuning : एकल नोड पर LoRA एसएफटी

बीम को अपने स्वयं के डेटा में अनुकूलित करने वाली टीमों के लिए, रिफ्लेक्शन टीआरएल और मील में उदाहरण साझा करता है। सबसे तेज़ मार्ग fine-tuning की निगरानी पीईएफटी के माध्यम से सभी 501B मापदंडों को अद्यतन करने के बजाय LoRA एडेप्टर का उपयोग करके TRL के SFTTrainer के साथ किया जाता है। प्रतिबिंब के उदाहरण उपयोगकर्ता द्वारा अनुरोध की गई भाषा में अपनी तर्कशक्ति रखने के लिए बीम ट्रेन करते हैं, बहुभाषी-विचार पर fine-tuning, जबकि मॉडल आधार जमे हुए रहता है।

सेटअप लोड समय पर मॉडल शार्डिंग, विशेषज्ञ समानांतरता, फ्लैशएटेंशन 4 और अनुक्रम पैकिंग को जोड़ती है। LoRA एसएफटी 8 B300 GPUs के साथ एक नोड पर फिट बैठता है, जो प्रति सेकंड लगभग 19,000 tokens तक पहुंचता है; संबंधित H100 सेटअप चार नोड्स का उपयोग करता है। पूर्ण-पैरामीटर reinforcement learning माइल्स के माध्यम से समर्थित है, और रिफ्लेक्शन ने निष्कर्षण, SFT और RL के लिए Reflection टीम की व्यंजनों के साथ काम किया।

$10,000 निर्माण चुनौती

प्रतिबिंब बीम का उपयोग करने वाली सबसे अच्छी परियोजनाओं को हब क्रेडिट में $10,000 दे रहा है। प्रवेश पट्टी जानबूझकर कम हैः कुछ बनाएं और इसे हब पर साझा करें। सुझाए गए निर्देशों में एक डेमो शामिल है जो स्पेस पर बीम चलाता है, आपके पसंदीदा hardware के लिए क्वांटिज़ेशन, आपकी चिंता की समस्या के लिए एक सिंथेटिक dataset, बीम के साथ या उसके लिए बनाया गया आरएल वातावरण, या बेंचमार्क परिणाम। प्रविष्टियां मॉडल के रेपो पेज पर साझा किए गए लिंक से एकत्रित होती हैं, और विजेताओं के हब खातों में श्रेय जाते हैं।

क्या देखना है

बीम की पिच एक सामान्य-उद्देश्य सीमा मॉडल से संकीर्ण हैः कोडिंग और एजेंटिक वर्कलोड, लंबे संदर्भ और hardware पर तैनाती आप नियंत्रण करते हैं। खुले प्रश्न यह है कि वाइब-एवल चित्र स्वतंत्र बेंचमार्किंग के तहत कैसे रहता है, क्या एनवीएफपी 4 पथ उत्पादन में अपने गुणवत्ता दावों को पूरा करता है, और Inference Providers लाइनअप कितनी जल्दी बेसेटन, फायरवर्क्स और टुगेदर से परे विस्तारित होता है। पहले से ही H200 या ब्लैकवेल क्षमता चलाने वाली टीमों के लिए, अधिक तत्काल सवाल यह होगा कि क्या 8900001 सक्रिय मापदंडों पर 1M मॉडल API एक्सेस की तुलना में स्व-होस्टिंग की अर्थव्यवस्था को बदलता है और प्रकाशित व्यंजनों ने उस परीक्षण को अपेक्षाकृत सस्ता बना दिया है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.