स्ट्रैंड्स एजेंट पावर एक अनुकूली एजेन्टिक इंटेलिजेंस फ्रेमवर्क
फ्रेमवर्क का उपयोग Strands Agents रूटीन AI काम को स्थानीय छोटे मॉडल और जटिल कार्यों के लिए Amazon Bedrock, विलंबता और लागत में कटौती करने के लिए करता है।
मुख्य जानकारी
- एएआईएफ Strands Agents का उपयोग अनुकूली रूप से AI अनुरोधों को रूट करने के लिए करता हैः छोटे स्थानीय भाषा मॉडल नियमित कार्यों को संभालते हैं, जबकि Amazon Bedrock क्लाउड मॉडल जटिल विश्लेषण की प्रक्रिया करते हैं।
- फ्रेमवर्क के तीन-स्तरीय डिजाइन में एक एसएलएम ऑर्केस्ट्रेटर, टेलीमेट्री और विजन के लिए स्थानीय Ollama उपकरण और विशेषज्ञ अंतर्दृष्टि के लिए क्लाउड टूल शामिल हैं।
- यह व्यापक संदर्भ और बहु-चरण तर्क की आवश्यकता वाले अनुरोधों के लिए क्लाउड अनुमान को आरक्षित करते हुए अधिकांश कार्य को डिवाइस पर रखकर लागत और विलंबता को कम करता है।
- एएआईएफ प्रसंस्करण उपकरणों से रूटिंग तर्क को अलग करके एज, क्लाउड और हाइब्रिड तैनाती का समर्थन करता है, जिससे टीमों को hardware और नेटवर्क बाधाओं के अनुकूल होने की अनुमति मिलती है।
- व्यावहारिक कार्यान्वयन अनुरोध वर्गीकरण और स्थानीय डेटा पुनर्प्राप्ति, ऑन-डिवाइस छवि विश्लेषण और बेड्रॉक संचालित रणनीतिक सिफारिशों के लिए उपकरणों के लिए llama3.2:1b पर केंद्रित है।
AI एजेंट चलाने वाले संगठन अक्सर प्रत्येक अनुरोध को एक बड़े, महंगे क्लाउड मॉडल के लिए जटिल विश्लेषण में सरल स्थिति जांच से भेजते हैं। Amazon Bedrock फ्रेमवर्क (एएआईएफ), Strands Agents के साथ बनाया गया है, जो कि छोटे भाषा मॉडलों (एसएलएम) को स्थानीय रूप से रूटीन काम करने की अनुमति देकर बदलता है, जबकि कठिन अनुरोधों को बादल मॉडल के माध्यम से भेजा जाता है। Adaptive Agentic Intelligence यह दृष्टिकोण NVIDIA पर बेल्काक एट अल. के शोध पद पर आधारित है, जिन्होंने तर्क दिया है कि छोटी भाषा मॉडल "पर्याप्त शक्तिशाली, स्वाभाविक रूप से अधिक उपयुक्त और अनिवार्य रूप से एजेंटिक सिस्टम में कई आह्वानों के लिए अधिक किफायती हैं"। टीम API बिलों और विलंबता को देखने के लिए, ढांचा अधिकांश ट्रैफ़िक को डिवाइस पर रखने का एक व्यावहारिक तरीका प्रदान करता है।
तीन-परत डिजाइन कैसे काम करता है
एएआईएफ AI प्रसंस्करण को तीन परतों में विभाजित करता है, प्रत्येक एक अलग प्रकार के कार्य के लिए ट्यून किया गया है।
स्मार्ट ऑर्केस्ट्रेशन निर्णय लेने की परत के रूप में एक हल्के एसएलएम, लामा3.2:1 बी का उपयोग करता है। यह ऑर्केस्ट्रेटर प्रत्येक आने वाले अनुरोध को वर्गीकृत करता है और इसे हार्डकोडेड नियमों के बिना सही प्रसंस्करण परत पर भेजता है।
स्थानीय प्रसंस्करण डिवाइस टेलीमेट्री पुनर्प्राप्ति और छवि विश्लेषण जैसे नियमित कार्यों को संभालता है. ये कार्य स्थानीय hardware से Ollama तक चलते हैं, कम विलंबता के साथ पूर्ण होते हैं, और क्लाउड कनेक्शन की आवश्यकता नहीं होती है।
क्लाउड प्रोसेसिंग इन अनुरोधों को व्यापक संदर्भ और बहु-चरण तर्क की आवश्यकता होती है जो एसएलएम विश्वसनीय रूप से प्रदान नहीं कर सकते हैं।
संदर्भ वास्तुकला में, एक स्ट्रैंड्स एजेंट केंद्र पर बैठता है और Ollama रनटाइम से जुड़ता है जो 1B-पैरामीटर ऑर्केस्ट्रेटर और दृष्टि मॉडल दोनों की मेजबानी करता है। एजेंट तीन उपकरणों को उजागर करता हैः स्थानीय सेंसर डेटा के लिए ∀get_device_telemetry`; लैमा 3.2-विज़न के माध्यम से ऑन-डिवाइस विजन प्रोसेसिंग के लिए camera_feed ≠analyze _camera feed ̅; और जटिल विश्लेषण के लिए boto3 के जरिए कॉल करने वाला विशेषज्ञ अंतर्दृष्टि प्राप्त करें । आने वाले अनुरोध एसएलएम आर्केस्ट्रैटर से गुजरते हैं, जो प्रत्येक को वर्गीकृत करते हैं और इसे या तो एक स्थानीय उपकरण या कार्य जटिलता के आधार पर क्लाउड एंडपॉइंट को भेजते हैं।
फ्रेमवर्क आपको इसके चारों ओर अपने बुनियादी ढांचे का पुनर्निर्माण करने की आवश्यकता के बजाय अपनी तैनाती बाधाओं को अनुकूलित करता है। यह किनारे उपकरणों पर चल सकता है जैसे कि Raspberry Pi 8 GB मेमोरी के साथ, पूर्ण क्लाउड डिप्लॉयमेंट में जहां सभी अनुमान हिट होते हैं Amazon Bedrock या हाइब्रिड सेटअप जो स्थानीय गति को बादल तर्क के साथ जोड़ते हैं। लचीलापन प्रसंस्करण उपकरण से रूटिंग लॉजिक (एसएलएम ऑर्केस्ट्रेटर) को अलग करने से आता है, जिसे आप उपलब्ध hardware और नेटवर्क कनेक्टिविटी के आधार पर स्वतंत्र रूप से स्वैप या पुनः कॉन्फ़िगर कर सकते हैं।
शुरू करने से पहले आपको क्या चाहिए
walkthrough के लिए आवश्यक क्षेत्र में कॉन्फ़िगर किए गए Amazon Bedrock मॉडल एक्सेस वाले AWS खाते की आवश्यकता होती है, Python 3.10 या बाद में और Ollama दो मॉडलों को खींचने के साथ स्थापित किया जाता हैः ∀ ऑर्केस्ट्रेटर के लिए Ollama पुल लामा3.2:1b` और दृश्य विश्लेषण के लिए 8 Ollama ड्रैग लामा3.2-विज़न`। आपको Strands Agents भी चाहिए
पर्यावरण स्थापित करने के लिए, एक परियोजना निर्देशिका बनाएँ, Ollama server को ` Ollama serve゙ से शुरू करें और आवश्यक मॉडल खींचें। फिर ∀aaif_agent.py̅ नामक फ़ाइल बनाएं और नीचे वर्णित घटकों को जोड़ें।
स्थानीय उपकरणों का निर्माण
Strands Agents उन क्षमताओं को परिभाषित करने के लिए ∀@tool` डेकोरेटर का उपयोग करता है जिन्हें एजेंट बुला सकते हैं। पहला टूल डिवाइस टेलीमेट्री डेटा पुनर्प्राप्त करता है। एक उत्पादन वातावरण में यह वास्तविक IoT सेंसर से जुड़ जाएगा; walkthrough के लिए यह तीन उपकरणों को कवर करते हुए सिमुलेटेड डेटा का उपयोग करेगाः तापमान संवेदक (सेंसर- 001) बिल्डिंग ए - फ्लोर 2 रीडिंग 72.5 डिग्री पर 45.2 प्रतिशत आर्द्रता सामान्य स्थिति के साथ; 30 FPS 1080p में रिकॉर्डिंग Main Entrance पर एक सुरक्षा कैमरा (कैमरा- 001), और एचवीएसी नियंत्रक (hvac-001), शीतलन मोड और सक्रिय में, वर्तमान में 71.0 डिग्री पर सेट किया गया है। उपकरण यादृच्छिक रूप से एक डिवाइस चुनता है और प्रारूपित रिपोर्ट देता है।
दूसरा उपकरण स्थानीय एसएलएम का उपयोग करके दृष्टि विश्लेषण करता है। लामा 3.2-विज़न मॉडल पूरी तरह से स्थानीय hardware पर चलता है, जिसका अर्थ है कि संवेदनशील कैमरा फीड डिवाइस को नहीं छोड़ते हैं। यह टूल एक वाक्य विवरण और छवि में तीन सबसे महत्वपूर्ण चीजों के लिए पूछने वाले संकेत के साथ Ollama को छवि भेजता है, प्रतिक्रिया स्ट्रीम करता है, और ऑब्जेक्ट डिटेक्शन रिपोर्ट लौटाता है।
क्लाउड प्रोसेसिंग जोड़ना
जटिल विश्लेषण के लिए जिसे व्यापक तर्क की आवश्यकता होती है, एक तीसरा टूल कॉल करता है। Amazon Bedrock यह केवल तभी लागू किया जाता है जब ऑर्केस्ट्रेटर निर्धारित करता है कि स्थानीय मॉडल अनुरोध को संभाल नहीं सकते हैं। उपकरण us-east-1 में बेसिक रॉक रनटाइम क्लाइंट बनाता है, संदर्भ और प्रश्न भेजता है ∀converse` API आपके द्वारा प्रदान किए गए मॉडल आईडी के साथ, और 512 अधिकतम tokens , तापमान 0.5 और topP 0.9 का अनुमान पैरामीटर सेट करता है । यह विशेषज्ञ विश्लेषण के रूप में प्रतिक्रिया पाठ देता है।
ऑर्केस्ट्रेटर को कॉन्फ़िगर करना
एएआईएफ का मूल स्ट्रैंड्स एजेंट कॉन्फ़िगरेशन है। एजेंट Ollama प्रदाता के माध्यम से अपने ऑर्केस्ट्रेटर के रूप में एक स्थानीय एसएलएम का उपयोग करता है, जिसमें मॉडल_आईडी लामा3.2:1 बी, होस्ट http://localhost:11434 और 300 मैक्स tokens और तापमान 0.3 के पैरामीटर होते हैं। सिस्टम प्रॉम्प्ट एजेंट को बताता है कि यह परिचालन सुविधाओं के लिए एक निगरानी सहायक है और टूल के अनुरोध प्रकारों को मानचित्रित करता हैः डिवाइस की स्थिति या टेलीमेट्री ∀get_device_telemetry` पर जाती है, छवि या डेटा विश्लेषण ▽analyze_camera_feed⌒ पर जाता है, और विशेषज्ञ सलाह या जटिल प्रश्न सीधे उपयोगकर्ता को पूर्ण उपकरण परिणाम वापस करने का निर्देश देता है।
एसएलएम-संचालित ऑर्केस्ट्रेटर प्रत्येक अनुरोध का विश्लेषण करता है और इसे हार्डकोडेड कीवर्ड मिलान के बिना रूट करता है। "चेक डिवाइस स्टेटस" जैसे अनुरोध स्थानीय अनुमान से कम विलंबता के साथ स्थानीय SLM में जाते हैं। "इस छवि का विश्लेषण करें" स्थानीय दृष्टि AI पर जाता है, जो भी कम विलंबन के साथ होता है । "आप कौन सी अनुकूलन रणनीतियों की सिफारिश करते हैं?" क्लाउड के माध्यम से जाता है Amazon Bedrock, नेटवर्क राउंड ट्रिप से उच्च विलम्ब के साथ।
एजेंट चलाना और तैनाती को अनुकूलित करना
एजेंट को कॉन्फ़िगर करने के बाद, आप इसके साथ सीधे बातचीत कर सकते हैं। "हमारे उपकरणों की वर्तमान स्थिति क्या है?" पूछना डिवाइस टेलीमेट्री के लिए स्थानीय प्रसंस्करण को ट्रिगर करता है। इसे कैमरा- 001 से कैमरा फ़ीड का विश्लेषण करने के लिए कहना स्थानीय दृष्टि विश्लेषण को शुरू करता है. मौजूदा टेलीमेट्रिक पैटर्न पर आधारित अनुकूलन रणनीतियों के लिए पूछना जटिल विश्लेषण के लिए क्लाउड प्रोसेसिंग को प्रारंभ करता है । एजेंट प्रत्येक अनुरोध को स्वचालित रूप से वर्गीकृत करता है, बिना किसी स्पष्ट रूटिंग नियमों के।
आर्किटेक्चर मॉडल कॉन्फ़िगरेशन को बदलकर अलग-अलग बुनियादी ढांचे की आवश्यकताओं के अनुकूल है। जब वर्कलोड पूरी तरह से क्लाउड में बिना किसी किनारे hardware के चलते हैं, तो आप सभी प्रसंस्करण के लिए Amazon Bedrock के साथ Ollama विन्यास को प्रतिस्थापित कर सकते हैं, प्रत्येक अनुरोध को स्वचालित स्केलिंग और स्थानीय GPU संसाधनों के साथ प्रबंधित बादल अनुमान के माध्यम से रूट करते हैं। विश्वसनीय कम विलंबता कनेक्टिविटी वाली टीमें और कोई डेटा निवास प्रतिबंध नहीं इस सेटअप से सबसे अधिक लाभान्वित होती हैं।
हाइब्रिड कॉन्फ़िगरेशन स्थानीय एसएलएम ऑर्केस्ट्रेटर को बरकरार रखता है, जबकि उन अनुरोधों के लिए क्लाउड मॉडल जोड़ता है जो स्थानीय क्षमताओं से अधिक हैं। यह walkthrough में डिफ़ॉल्ट एएआईएफ विन्यास है। यह ऐसे वातावरण के अनुकूल है जहां अधिकांश अनुरोध स्थानीय रूप से हल करने के लिए पर्याप्त नियमित होते हैं लेकिन कुछ को एक बड़े मॉडल के व्यापक तर्क की आवश्यकता होती है। लागत बचत लगभग 80 प्रतिशत यातायात से आ सकती है जो भुगतान किए गए एंडपॉइंट API पर नहीं पहुंचती है।
पूरी तरह से एयर-गैप्ड वातावरण या सख्त डेटा संप्रभुता आवश्यकताओं के लिए, आप क्लाउड टूल को एक बड़े स्थानीय मॉडल के साथ बदल सकते हैं और सभी प्रसंस्करण ऑन-डिवाइस चला सकते हैं। पर्याप्त मेमोरी के साथ hardware पर चल रहे llama3.2:3b जैसे 3B पैरामीटर मॉडल मध्यम जटिल कार्यों को संभाल सकता है जो 1B ऑर्केस्ट्रेटर अन्यथा बढ़ जाएगा। व्यापार बंद सबसे कठिन प्रश्नों पर तर्क की गहराई कम हो जाती है, लेकिन डेटा परिसर में रहता है।
अगला क्या है
इस पोस्ट में कार्यान्वयन एजेंट कोड में सीधे परिभाषित स्थानीय टूल कॉल का उपयोग करता है। सेवाओं के बीच उपकरण साझा करने वाले कई एजेंटों के साथ उत्पादन तैनाती के लिए, मार्गदर्शन इन उपकरणों को Model Context Protocol ( MCP ) servers के रूप में उजागर करना है, जो टूल डिस्कवरी के लिए एक मानकीकृत इंटरफ़ेस प्रदान करते हैं। यह एजेंट बिल्डरों के लिए व्यापक दिशा की ओर इशारा करता हैः जैसे-जैसे टूल और एजेंट्स की संख्या बढ़ती जाती है, मानक बनाने से कैसे टूल खोजे जाते हैं और कहा जाता है कि कौन सा मॉडल किस अनुरोध को संभालता है उतना ही महत्वपूर्ण हो सकता है।

Comments (0)