Use Grok 4.7 पर Amazon Bedrock लंबे क्षितिज एजेंट बनाने के लिए

स्पेसएक्सएआई का Grok 4.7 अब Amazon Bedrock पर उपलब्ध है, और टूल-कॉलिंग एजेंट बनाने वाली टीमों के लिए, सबसे व्यावहारिक सवाल यह नहीं है कि क्या मॉडल Grok , 4.6 की तुलना में अधिक स्मार्ट है, लेकिन प्रति अनुरोध चलाने के लिए तर्क प्रयास स्तर। हाल ही में एक एजेंट मूल्यांकन ने 72 रन और तीन खोज-भारी कार्यों में सभी चार स्तरों को परीक्षण में डाल दिया, और परिणाम ठोस व्यापार प्रदान करते हैंः ∀xhigh` पर, एजेंट ने सभी 18 रनों को सही ढंग से उत्तर दिया; ▽low゙ पर, इसने लगभग tokens आउटपुट का आठवां हिस्सा उपयोग करते हुए 18 में से 15 का जवाब दिया।

यह अंतर महत्वपूर्ण है क्योंकि तर्क tokens को आउटपुट के रूप में बिल किया जाता है। प्रत्येक स्तर पर विचार-विमर्श किसी भी उत्तर पाठ का उत्पादन करने से पहले ∀max_completion_ tokens नीचे खींचता है, इसलिए प्रयास स्तर चुनना एक प्रत्यक्ष लागत निर्णय है, न कि JUST गुणवत्ता डायल।

स्पेसएक्सएआई Grok के बारे में क्या कहता है 4.7

स्पेसएक्सएआई के अनुसार, Grok 4.7 एक बड़ा आधार मॉडल का उपयोग करता है और इसे कार्यों के कठिन मिश्रण पर लंबे समय तक चलाने के लिए प्रशिक्षित किया गया था। कंपनी की रिपोर्ट है कि यह मॉडल अपने स्वयं के काम को सत्यापित करने और अधिक संदर्भ प्रबंधन में बेहतर है।

प्रकाशित बेंचमार्क परिणाम उस जोर को दर्शाते हैं। Grok 4.6 पर सबसे बड़ा लाभ उन श्रेणियों में दिखाई देता है जो एकल-मोड़ उत्तरों के बजाय निरंतर कार्य को मापते हैंः

स्पेसएक्सएआई Grok 4.7 के लिए एक 500K token context window सूचीबद्ध करता है, जिसमें टेक्स्ट और इमेज इनपुट और टेक्स्ट आउटपुट होता है। Amazon Bedrock पर, मॉडल कॉन्फ़िगर करने योग्य तर्क प्रयास, टूल कॉलिंग और संरचित आउटपुट का समर्थन करता है।

Amazon बेड्रॉक पर Grok 4.7 तक पहुंचना

Grok 4.7 एक क्रॉस-क्षेत्रीय अनुमान प्रोफ़ाइल के माध्यम से ∀bedrock-runtime` एंडपॉइंट पर चलता है। दो प्रोफाइल उपलब्ध हैंः US डेटा निवास आवश्यकताओं के लिए ▽us. xAI . Grok -4.7) और सबसे व्यापक क्षमता चाहते हैं जो निवास प्रतिबंधों के बिना टीमों के लिए, और △global.

मॉडल OpenAI - संगत Chat Completions और Responses APIs का समर्थन करता है, साथ ही Amazon Bedrock Converse API। कन्वर्स पर, तर्क पाठ ब्लॉक के बगल में एक ∀reasoningContent` ब्लॉक के रूप में लौटाता है। ∀inferenceConfig̅ में, केवल ∂maxTokens̅ सेट करें, और ∂additionalModelRequestFields̅ में तर्क प्रयास जैसे मॉडल-विशिष्ट पैरामीटर रखें।

पूर्व शर्तों में Grok 4.7, Python 3.9 या बाद के लिए सक्षम मॉडल एक्सेस वाला एक AWS खाता शामिल है जिसमें ` OpenAI `, ∀boto3` और ゙ AWS -bedrock- token -generator` स्थापित हैं, और inference प्रोफाइल और खाते की डिफ़ॉल्ट परियोजना दोनों पर ` bedrock:InvokeModel` के साथ IAM पहचान।

उत्पादन के लिए, मौजूदा AWS क्रेडेंशियल्स से एक अल्पकालिक वाहक token उत्पन्न करना लंबे समय तक चलने वाले रहस्य को संग्रहीत किए बिना आईएएम पहचान से जुड़ा हुआ प्रमाणीकरण रखता है। रीजनिंग tokens आउटपुट के रूप में गिना जाता है और उत्तर पाठ का उत्पादन करने से पहले `max_completion_ tokens ∀ नीचे खींचते हैं, इसलिए दोनों के लिए जगह छोड़ने के लिए सीमा का आकार लें। यदि तर्क के दौरान सीमा पहुंच जाती है, तो प्रतिक्रिया शून्य सामग्री की जांच करें और अगर यह दिखाई देती है तो एजेंट कोड को खाली कर दें। मूल्यांकन रन ने 32,768 tokens की सीमा का उपयोग किया, जिसने प्रत्येक प्रयास स्तर पर हेडरूम छोड़ा।

Grok 4.7 चार प्रयास स्तरों का समर्थन करता है: `low`, ∀medium` , ≠high` और ゙xhigh`. चूंकि मॉडल संस्करणों के बीच प्रयास स्तर बदल सकते हैं, इसलिए यह एक सूची को हार्डकोडिंग करने की बजाय सेवा के खिलाफ पुष्टि करने लायक है।

परीक्षण कार्यों के लिए खोज की आवश्यकता क्यों थी, लुकअप नहीं

कई एजेंट मूल्यांकन परिश्रम का परीक्षण करते हैंः एक रिकॉर्ड पढ़ें, इसे फ़िल्टर करें, इसे जोड़ें। वे कार्य होने लायक हैं, लेकिन यह देखने के लिए कि तर्क प्रयास क्या योगदान देता है, किसी कार्य को खोज की आवश्यकता होती है उत्तर डेटा से नहीं पढ़ा जा सकता है, इसे प्रस्तावित किया जाना चाहिए और फिर जांचना होगा।

मूल्यांकन ने सात उपकरणों के माध्यम से उजागर 20 सेवाओं का एक सिंथेटिक वातावरण बनाया, शीर्ष पर तीन कार्यों के साथः

• दो_दोष_निदान: दो सेवाएं 03:00 बजे चुपचाप विफल हो गईं और 12 अन्य ने अलर्ट किए। उन दोनों की पहचान करें जो असफल हुए थे। विफल सेवाओं में कोई चेतावनी नहीं दी जाती है, इसलिए उत्तर सतर्क करने वाली सेवाओं के बीच नहीं है। 190 संभावित जोड़े हैं, और केवल एक ही देखे गए चेतावनियों को ठीक से समझाता है।
• रखरखाव_अनुसूची: चार रातों में आठ सेवाओं को पैच करें, प्रति रात दो, दस बाधाओं के तहत और एक नियम है कि एक ही टीम की दो सेवाएं कभी भी एक रात साझा नहीं करती हैं। 2,520 संभावित कार्यक्रम हैं, एक मान्य है।
• माइग्रेशन_बजट: एक बजट के भीतर जोखिम में कमी को अधिकतम करने वाले उम्मीदवारों का चयन करें, जिसमें ट्रांजिटिव पूर्व शर्तें शामिल हैं। 53 व्यवहार्य सेट हैं, एक इष्टतम है। सबसे अच्छा अनुपात चुनने से पहले एक सेट मिलता है जो सर्वोत्तम से नौ अंक कम होता है।

चार प्रथाओं ने माप को भरोसेमंद रखा। हर नियम पर ग्रेडर निर्भर करता है, संकेत में कहा गया था diagnosis निदान शीघ्र स्पष्ट रूप से कहता है कि एक विफल सेवा अपने आप कोई चेतावनी नहीं उठाती है। प्रत्येक कार्य के लिए किसी भी रन से पहले क्रूर बल enumeration द्वारा ठीक एक जवाब साबित किया गया था। ग्रेडर केवल एक आवश्यक अंतिम पंक्ति पढ़ता है, इसलिए इसके तर्क की व्याख्या करते हुए अन्य उम्मीदवारों पर चर्चा करने वाली प्रतिक्रिया को उसके निष्कर्ष पर दर्जा दिया जाता था। और टूल पैरामीटर उन सूची के साथ प्रतिबंधित किए गए थे जहां मान्य मान ज्ञात थे, इसलिए प्रत्येक उपकरण कॉल ने वास्तविक संसाधन को लक्षित किया। सभी 72 उत्तरों में एक ग्रेडेबल फाइनल लाइन शामिल थी।

सिस्टम प्रॉम्प्ट जानबूझकर छोटा था, एजेंट से उपकरण के साथ तथ्यों को इकट्ठा करने के लिए कहता है, कभी भी एक मूल्य का अनुमान नहीं लगा सकता जिसे वह देख सकता है, जवाब देने से पहले हर नियम के खिलाफ अपने उत्तर की जांच करें और निर्दिष्ट अंतिम पंक्ति के साथ समाप्त हो जाएं।

परिणामः परिश्रम स्तर के अनुसार सटीकता और token लागत

प्रत्येक प्रयास स्तर पर प्रत्येक कार्य के छह रन, कुल मिलाकर 72 रन। एजेंट ने 67 का सही उत्तर दिया.

तीन टिप्पणियां अलग-अलग हैं। सबसे पहले, ∀xhigh` ने प्रत्येक रन को सही ढंग से उत्तर दिया, जबकि ≠medium̅ और ゙high̅ ने 18 में से 17 का जवाब दिया। प्रति कार्य और स्तर पर छह रन के साथ, स्तरों के बीच अंतर सांख्यिकीय रूप से निर्णायक होने की बजाय सांकेतिक है, लेकिन दिशा सभी तीन कार्यों में सुसंगत थी।

दूसरा, प्रयास बदलता है कि एजेंट कितना कारण देता है, यह नहीं कि वह कितनी खोज करता है। टूल कॉल अनिवार्य रूप से फ्लैट रहे, प्रत्येक स्तर पर 17.2 और 18.7 के बीच प्रति रन। एजेंट ने प्रयास की परवाह किए बिना समान तथ्यों को इकट्ठा किया; जो बदला था वह हर प्रतिक्रिया से पहले कितना विचार-विमर्श हुआ।

तीसरा, लागत वक्र खड़ी है। ∀low` से ≠xhigh` में जाने पर आउटपुट tokens को 7.7 गुना बढ़ाया जाता है, जबकि औसत समय 18 सेकंड से बढ़कर 106 सेकंड हो जाता है। अकेले ゙low̅ से ∂medium̅ तक की छलांग tokens में 5.4 गुना होती है।

अपने स्वयं के एजेंट कार्यभार के लिए इसका क्या मतलब है

व्यावहारिक टेकआउट यह है कि तर्क प्रयास एक ट्यून करने योग्य प्रति-अनुरोध पैरामीटर है, न कि एक निश्चित मॉडल संपत्ति। उच्च वॉल्यूम, कम दांव वाले एजेंट कार्यों को चलाने वाली टीम ∀low` स्वीकार्य पा सकती है यदि टास्क का आकार इन खोज-भारी लोगों से मिलता जुलता है 15 15 में से 18 सही एक आठवें पर token लागत एक वास्तविक व्यापार है। उन कार्यों के लिए जहां गलत उत्तर महंगा होता है, इस मूल्यांकन में पूर्ण सटीकता प्रदान की जाती है।

token की गणना मुद्रा के बजाय पूरी तरह से रिपोर्ट किया गया था, क्योंकि token कीमतें बदलती हैं और गिनती वह है जिससे लागत प्राप्त होती है। tokens में व्यक्त एक माप मूल्य परिवर्तनों के बावजूद मान्य रहता है।

किसी भी टीम के लिए उपयोगी अगला कदम अपने जैसे आकार वाले कार्यों पर मापना है। यहां मूल्यांकन डिजाइन हर ग्रेडिंग नियम को बताएं, प्रत्येक कार्य में क्रूर बल द्वारा एक उत्तर साबित करें, संपूर्ण प्रतिक्रिया की बजाय आवश्यक अंतिम पंक्ति को ग्रेड दें, शुद्धता से अलग प्रारूप ट्रैक करें और एनुम के साथ उपकरण पैरामीटर को प्रतिबंधित करें अधिकांश एजेंट मूल्यांकनों पर लागू होता है और सीधे अनुकूलित किया जा सकता है। प्रयास स्तर को हार्डकोडेड के बजाय सेवा के खिलाफ पुष्टि की जानी चाहिए, क्योंकि वे मॉडल संस्करणों के बीच बदल सकते हैं।

समर्थित क्षेत्रों, सेवा स्तरों और token कीमतों की वर्तमान सूची के लिए Amazon Bedrock User Guide और Amazon Bedrock मूल्य निर्धारण पृष्ठ में Grok 4.7 मॉडल कार्ड देखें।