Reflection Beam एक open-weight model है जो AWS पर एजेंटिक कोडिंग के लिए डिज़ाइन किया गया है।

Reflection AI ने बीम पेश किया है, एजेंटिक कोडिंग और लंबे क्षितिज कार्यों के लिए open-weight model जैसे कि कोड का रखरखाव करना, टूल का उपयोग करना, परिणामों की व्याख्या करना और बहु-चरण वर्कफ़्लो पूरा करना। लॉन्च पर, बीम Amazon SageMaker JumpStart में US East (एन. वर्जीनिया) और US East (ओहियो) में उपलब्ध है।

रिलीज़ का उद्देश्य उन डेवलपर्स और शोधकर्ताओं के लिए है जो एक होस्ट किए गए मॉडल से अधिक चाहते हैं। Because Beam को खुले मॉडल भारों के रूप में वितरित किया जाता है, वे रनटाइम, परिनियोजन वातावरण और अनुकूलन प्रक्रिया को नियंत्रित कर सकते हैं। प्रतिबिंब ने दो मुख्य मार्ग दिखाते हुए Amazon Web Services के लिए तैनाती मार्गदर्शन प्रकाशित किया हैः एक प्रबंधित Amazon SageMaker JumpStart वास्तविक समय एंडपॉइंट के लिए सबसे छोटा रास्ता एक सुरक्षित अंत बिंदु तक, और Amazon SageMaker HyperPod Inference Kubernetes - वितरित GPU बुनियादी ढांचे पर देशी नियंत्रण के लिए।

रिफ्लेक्शन क्या जारी कर रहा है

बीम software मुद्दों को हल करने, कोड को संशोधित करने, उपकरणों को कॉल करने और मध्यवर्ती परिणामों पर कार्य करने के लिए डिज़ाइन किया गया एक विरल मिश्रण-विशेषज्ञ मॉडल है। उस वास्तुकला में, पूर्ण मॉडल में 501 बिलियन पैरामीटर होते हैं, जबकि 23 अरब पैरामीटर अनुरोध के दौरान सक्रिय होते हैं। प्रतिबिंब 1 मिलियन tokens की प्रभावी संदर्भ लंबाई की रिपोर्ट करता है। 501 अरब कुल पैरामीटर चेकपॉइंट स्टोरेज, वेट मेमोरी, शार्डिंग और समानांतरता को आकार देते हैं, जब कि 23 अरब सक्रिय पैरामीटर प्रति token कंप्यूटिंग को प्रभावित करते हैं।

रिफ्लेक्शन अपाचे 2.0 लाइसेंस के तहत Hugging Face के माध्यम से बीम का वजन जारी करता है। बीम 1.0 BF16, FP8, और NVFP4 चेकपॉइंट वेरिएंट में उपलब्ध है। ये प्रारूप अलग-अलग मेमोरी पदचिह्न और hardware संगतता प्रदान करते हैं। टीमें AWS प्रबंधित जंपस्टार्ट कंटेनर कॉन्फ़िगरेशन के साथ मॉडल को तैनात कर सकती हैं, या अपने वातावरण के भीतर SGLang या vLLM के साथ इसका निरीक्षण और अनुकूलन कर सकते हैं।

यह रिलीज़ खुला मॉडल भार, प्रकाशित अनुसंधान और open source software के माध्यम से सभी को खुलने और सुलभ बनाने के लिए प्रतिबिंब के घोषित मिशन में फिट बैठता है। कंपनी एक पूर्ण AI स्टैक का वर्णन करती है जो मॉडलों, कोर software , उत्पादन अवसंरचना और अनुप्रयोगों पर फैला हुआ है। बीम उस दृष्टिकोण को डेवलपर्स के लिए लागू करता है जो कि software इंजीनियरिंग और एजेंटिक सिस्टम बनाते हैं।

AWS पर दो तैनाती पथ

पहला पथ एक SageMaker JumpStart रीयल-टाइम एंडपॉइंट है. यह मॉडल, कंटेनर और अंत बिंदु को प्रबंधित परिनियोजन वर्कफ़्लो के पीछे पैकेज करता है। यह विकल्प तब उपयोगी होता है जब कोई टीम Kubernetes संचालित किए बिना AWS प्रबंधित मॉडल पैकेज, एंडप्वाइंट और आह्वान API चाहता है।

दूसरा पथ है SageMaker HyperPod Inference. यह क्लस्टर और सेवा रनटाइम को उजागर करता है ताकि टीमें वितरित निष्पादन, कैशिंग, रूटिंग और स्केलिंग को नियंत्रित कर सकें। बीम का स्रोत SageMaker JumpStart, Hugging Face Hub, या एक वैकल्पिक Amazon Simple Storage Service मिरर के माध्यम से किया जा सकता है। वितरित श्रमिक AWS प्रबंधित जंपस्टार्ट कंटेनर या कस्टम एसजीएलएंग या vLLM रन टाइम का उपयोग कर सकते हैं।

हाइपरपॉड पथ के तीन वेरिएंट हैं। जंपस्टार्ट ऑन HyperPod Inference द्वारा प्रबंधित AWS कंटेनर और मॉडल कॉन्फ़िगरेशन को बनाए रखता है, जबकि एक HyperPod क्लस्टर पर चलाया जाता है जिसे ऑर्केस्ट्रेटेड किया जाता है Amazon Elastic Kubernetes Service एसजीएलएंग ऑन HyperPod Inference उन टीमों के लिए है जिन्हें सर्विंग इमेज, रनटाइम आर्गुमेंट्स, क्वांटिज़ेशन या वितरित निष्पादन को नियंत्रित करने की आवश्यकता होती है। vLLM ऑन HyperPod Inference एक अलग रन टाइम के साथ समान उद्देश्य प्रदान करता है।

आर्किटेक्चर को चेकपॉइंट स्टोरेज, वेट मेमोरी, की-वैल्यू कैश, संदर्भ लंबाई, बैचिंग, रनटाइम ओवरहेड और समर्थित समानांतरता के लिए आकार देने की आवश्यकता होती है। कुंजी-मूल्य कैश उत्पन्न tokens के लिए ध्यान राज्य संग्रहीत करता है, इसलिए लंबे समय तक संदर्भ और उच्च बैच करने से स्मृति उपयोग में वृद्धि हो सकती है। टीमों को अपेक्षित समवर्ती और विलंबता लक्ष्यों को परिभाषित करना चाहिए, फिर मापा कार्यभार व्यवहार से प्रतिकृतियां, कैशिंग, रूटिंग और ऑटोस्केलिंग कॉन्फ़िगर करें।

Planning GPU क्षमता और पूर्व शर्तें

बीम के 501 अरब कुल मापदंडों को बहु- GPU परिनियोजन की आवश्यकता होती है। BF16 में सबसे बड़ी भार-स्मृति आवश्यकता है, इसलिए वजन और रनटाइम ओवरहेड के लिए पर्याप्त समग्र GPU मेमोरी के साथ एक मल्टी-नोड कॉन्फ़िगरेशन की योजना बनाएं। FP8 चेकपॉइंट्स के लिए, मार्गदर्शन सूची ml.p5.48xlarge NVIDIA H100 GPUs के साथ या एमएल.पी 5 ई 48 एक्सलार्जेज और एनवीएफपी 4 चेकप्वाइंट्स के साथ मिलीलीटर करता है, यह चयनित उदाहरण प्रकार का समर्थन करने वाले जारी किए गए जांच बिंदु, रनिंग टाइम और समानांतर लेआउट की पुष्टि करना चाहिए।

तैनाती से पहले, एक AWS खाते को चयनित SageMaker परिनियोजन पथ और समर्थन AWS Identity और Access Management, नेटवर्किंग और भंडारण संसाधनों के लिए अनुमतियों की आवश्यकता होती है। उपयोगकर्ताओं को Hugging Face पर बीम SageMaker JumpStart या बीम 1.0 चेकपॉइंट रिपोजिटरी में से एक तक पहुंच भी चाहिए, मॉडल शर्तों की स्वीकृति, AWS Command Line Interface और Python 3.11 या बाद में। GPU समर्थित बीम कॉन्फ़िगरेशन के लिए कोटा और क्षमता आवश्यक हैं।

नियोजन चेकलिस्ट व्यावहारिक हैः एक AWS Region चुनें जो आवश्यक त्वरित उदाहरण का समर्थन करता है; सेवा कोटा और उपलब्ध क्षमता की जांच करें; जब उपलब्ध हो तो ऑन-डिमांड क्षमता का उपयोग करें, या शेड्यूल किए गए काम के लिए अल्पकालिक आरक्षण के रूप में SageMaker प्रशिक्षण योजना का प्रयोग करें। फिर वजन, कुंजी-मूल्य कैश और रनटाइम ओवरहेड के लिए एक प्रतिकृति के लिए मेमोरी की गणना करें, और लोड परीक्षण के साथ अनुमान की पुष्टि करें। छवि स्थानांतरण, भार डाउनलोड, शार्ड लोडिंग और रन टाइम आरंभिकरण के लिए समय दें।

प्रबंधित अंतबिंदु और हाइपरपॉड कार्यप्रवाह

SageMaker JumpStart रीयल-टाइम पथ सबसे तेज़ धुआं परीक्षण है। नमूना AWS -samples/sagemaker- GenAI होस्टिंग उदाहरणों के भीतर निर्देशिका 01-models / ReflectionAI / Beam- Reflection AI - A23B-NVFP4 में स्थित है। स्क्रिप्ट jumpstart_real_time.py एक संस्करण-जागरूक आदेश के माध्यम से BF16, FP8, और NVFP4 मॉडल आईडी का समर्थन करता है। सैंपल README और Python फ़ाइल समर्थित उदाहरण प्रकार, अनुरोध योजना, तैनाती कमांड और सफाई कमांड के लिए सत्य का स्रोत हैं। सेटअप एक Python आभासी वातावरण बनाता है और requirements.txt से नमूने की निर्भरता स्थापित करता है ।

एक बाउंड लाइफसाइकिल कमांड FP8 एंडपॉइंट को तैनात कर सकता है, एक छोटा अनुरोध भेज सकता है और रिफ्लेक्शन-बीम-fp8-स्मोक जैसे एंडप्वाइंट नाम का उपयोग करके अंत बिंदु को साफ़ कर सकते हैं। वही कमांड bf16 या nvfp4 का समर्थन करता है; जब वैरिएंट फ्लैग को छोड़ दिया जाता है तो NVFP4 डिफ़ॉल्ट होता है। जिन टीमों को चलाने के लिए एन्डपोइन्ट की आवश्यकता होती है वे README में वर्णित Python फ़ंक्शंस का उपयोग कर सकती हैं।

HyperPod Inference के लिए, परिनियोजन नमूना README और कॉन्फ़िगरेशन फ़ाइलें जारी किए गए घोषणापत्रों, मॉडल और छवि पहचानकर्ताओं, समर्थित रनटाइम संस्करणों और कमांड्स के लिए सत्य का स्रोत हैं। हाइपरपॉड नमूना निर्देशिका SageMakerHyperpod/reflection-beam है. शुरू करने से पहले, HyperPod Inference Operator और आवश्यक ऐड-ऑन के साथ एक Amazon Elastic Kubernetes Service ऑर्केस्ट्रेटेड हाइपरपोड क्लस्टर में kubectl एक्सेस को कॉन्फिगर करें। क्लस्टर को वर्चुअल प्राइवेट क्लाउड, सबनेट्स, सुरक्षा समूहों, चयनित बीम और रन टाइम कलाकृतियों तक पहुंच, और कैशिंग सक्षम होने पर स्थानीय NVMe क्षमता की आवश्यकता होती है। यदि चयनित Hugging Face रिपॉजिटरी को प्रमाणीकरण की आवश्यकता हो, तो पृथक पहुँच token का उपयोग करें।

विकास और प्रयोग के लिए, टीमें Hugging Face Hub से एक पिन किए गए बीम संशोधन को तैनात कर सकती हैं। उत्पादन की तैनाती और मॉडल कैशिंग के लिए मार्गदर्शन में कहा गया है कि चेकपॉइंट को Amazon Simple Storage Service या Amazon FSx पर कॉपी किया जाए। हाइपरपॉड मॉडल और इमेज कैचिंग नोड-लोकल NVMe स्टोरेज पर वेट प्रीलोड कर सकते हैं और सेवा छवि को पूर्व खींच सकते हैं।

HyperPod Inference Gateway एक OpenAI -संगत इंटरफ़ेस प्रदान करता है और प्रतिकृतियों में अनुरोधों को रूट करता है। HyperPod Inference प्रबंधित स्तरीय कुंजी-मूल्य कैशिंग और बुद्धिमान रूटिंग का भी समर्थन करता है. ये 2026 में पेश की गई Amazon SageMaker Inference क्षमताओं में से हैं। जब मॉडल कैश सक्षम होता है, तो Inference Operator चयनित भार और सेवा छवि के साथ योग्य नोड्स को गर्म कर देता है। रनटाइम पर, Inference Gateway और Endpoint Picker प्रत्येक अनुरोध को उपयुक्त जंपस्टार्ट-प्रबंधित, एसजीएलएंग या vLLM प्रतिकृति पर निर्देशित कर सकते हैं।

सेवा मार्ग कैसे चुनें

SageMaker JumpStart कंटेनर एकीकरण कार्य को कम करता है जबकि हाइपरपॉड क्लस्टर क्षमता, स्केलिंग और अवलोकनशीलता पर नियंत्रण बनाए रखता है। जब तक कि वर्कलोड के लिए विशिष्ट अनुमान रनटाइम या कॉन्फ़िगरेशन की आवश्यकता न हो तब तक SageMaker JumpStart से शुरू करें।

SageMaker Studio में, उपयोगकर्ता जंपस्टार्ट मॉडल कैटलॉग खोलते हैं, सभी सार्वजनिक मॉडलों के तहत बीम चुनें, तैनाती लक्ष्य के रूप में SageMaker HyperPod का चयन करें, क्लस्टर और Kubernetes नेमस्पेस का चुनाव करें, एक एंडपॉइंट नाम दर्ज करें और तैनात करें। उन्हें जारी किए गए JumpStart अनुरोध स्कीमा के साथ अंतबिंदु को आमंत्रित करने से पहले deployment status की पुष्टि करनी चाहिए।

SageMaker JumpStart उपयोगी है जब एक टीम कम रनटाइम रखरखाव के साथ AWS प्रबंधित कंटेनर और मॉडल कॉन्फ़िगरेशन चाहती है। टीम अभी भी बीम मॉडल संस्करण, समर्थित उदाहरण प्रकार, एंडपॉइंट विन्यास और स्केलिंग नीति का चयन करती है।

SGLang या vLLM तब उपयोगी होता है जब किसी टीम को एक विशिष्ट निष्कर्षण रनटाइम या कॉन्फ़िगरेशन की आवश्यकता होती है, जैसे कि कस्टम रन टाइम तर्क, पार्सर, क्वांटिज़ेशन, या समानांतरता। उस मामले में, टीम समर्थित रनिंग इमेज, मॉडल संशोधन, विश्लेषक विन्यास और वितरित निष्पादन सेटिंग्स पिन करती है।

इंफ्रास्ट्रक्चर-एज़-कोड के लिए, हाइपरपॉड नमूने में जारी जंपस्टार्ट कॉन्फ़िगरेशन में एक रिफ्लेक्शन-बीम-जम्पस्टार्ट. यामल मैनिफेस्ट टेम्प्लेट शामिल है। टीमें नमूना भंडार को क्लोन कर सकती हैं, उदाहरणों से स्थानीय तैनाती. एनवी और रिलीज.एनवी फाइलें बना सकती हैं और क्लस्टर बदलने से पहले विन्यास को मान्य करने के लिए हेल्पर hyperpod_tool.py का उपयोग कर सकते हैं। वही टूल 1800 सेकंड की टाइमआउट के साथ JumpStart कॉन्फिगरेशन को तैनात कर सकता है। सहायक डिस्क पर भरे हुए रिलीज़ मूल्यों को लिखे बिना जारी किए गए JumpStarModel संसाधन को प्रस्तुत करता है और लागू करता है। एसजीएलंग के लिए टीमों को तैनाति को कॉन्फिगर करने से पहले reflection-beam-sglangyam.l का निरीक्षण करना चाहिए।

आर्टिफैक्ट तैयारी अपरिवर्तनीय इनपुट का उपयोग करना चाहिए ताकि तैनाती और प्रदर्शन परिणामों को पुनः पेश किया जा सके। डिप्लॉयमेंट सैंपल में दर्ज जंपस्टार्ट मॉडल रिलीज़ का उपयोग करें। एक कस्टम रनटाइम के लिए, BF16, FP8, या NVFP4 चेकप्वाइंट चुनें, और सार्वजनिक बीम प्रतिबद्ध हैश और छवि डाइजेस्ट को नमूना रिलीज कॉन्फ़िगरेशन में रखें। जारी की गई छवि को केवल तभी निजी Amazon Elastic Container Registry भंडार में दर्पण करें जब क्लस्टर अपस्ट्रीम छवि नहीं खींच सकता है या संगठन को अनुमोदित रजिस्ट्री की आवश्यकता होती है। tokens , जनित रहस्य, निजी मॉडल आईडी, पंजीकरण क्रेडेंशियल्स और अप्रकाशित परिणाम को भंडार से बाहर रखें।

इसका अगला अर्थ क्या है

डेवलपर्स के लिए, अपाचे 2.0 ओपन-वेट रिलीज़ का मतलब है कि मॉडल अनुकूलन उनके अपने वातावरण में होता है, जो वे चुनते हैं। व्यावहारिक व्यापार बंद परिचालन हैः एक प्रबंधित अंत बिंदु सेटअप को कम करता है, जबकि हाइपरपॉड, एसजीएलएंग और vLLM वितरित GPU निष्पादन और सेवा व्यवहार पर अधिक नियंत्रण प्रदान करते हैं। 501 बिलियन कुल पैरामीटर और 23 अरब सक्रिय पैरामीटर क्षमता योजना को पहली वास्तविक बाधा बनाते हैं, खासकर बीएफ 16 तैनाती के लिए। एजेंटिक कोडिंग मॉडलों का मूल्यांकन करने वाली टीमों के लिए AWS, डिप्लोइमेंट गाइडेंस कैशिंग, रूटिंग और रनटाइम कस्टमाइजेशन के साथ उत्पादन Kubernetes क्लस्टर के लिए एक संक्षिप्त प्रबंधित परीक्षण से मार्ग प्रदान करता है।