ड्यूको Amazon Bedrock AgentCore का उपयोग करके वित्तीय डेटा स्वचालन को बदल देता है।
डुको Amazon Bedrock और एजेंटकोर का उपयोग अलग-थलग वित्तीय AI एजेंटों को चलाने के लिए करता है, जो बैंकों और परिसंपत्ति प्रबंधकों के लिए तैनाती समय और ऑनबोर्डिंग लागत में कटौती करता है।
मुख्य जानकारी
- वित्तीय डेटा प्रक्रियाओं के तर्क, अनुकूलन और स्वचालन में सुधार करने के लिए ड्यूको ने पारंपरिक machine learning मॉडल से Amazon Bedrock पर एजेंटिक AI और एजेंटकोर पर स्विच किया।
- यह प्लेटफॉर्म 200 से अधिक ग्राहकों के लिए 20 बिलियन मासिक लेनदेन का समर्थन करता है, जो विनियमित वित्तीय संस्थानों की सेवा करते हुए तैनाती समय और ऑनबोर्डिंग लागत को कम करता है।
- Amazon Bedrock एकल API के माध्यम से कई फाउंडेशन मॉडलों तक पहुंच को सक्षम करता है, जिसमें ग्राहक डेटा AWS के भीतर रखा जाता है और आंतरिक प्रणालियों से सुरक्षित रूप से जुड़ने के लिए निजी एंडपॉइंट का उपयोग किया जाता है।
- एजेंटकोर को LangChain और लैंगग्राफ के साथ संगतता के लिए चुना गया था, जो एक प्रबंधित रनटाइम है जिसमें अवलोकनशीलता और एंटरप्राइज़-ग्रेड सुरक्षा और उत्पादन AI एजेंटों के अनुपालन नियंत्रण हैं।
- बहु-किरायेदार अलगाव को समर्पित AWS संसाधनों, ईकेएस नेमस्पेस, जेडब्ल्यूटी और कॉग्निटो प्रमाणीकरण, किराएदार विशिष्ट AgentCore Gateways, MCP टूल एक्सेस और सत्र अलगाव के माध्यम से लागू किया जाता है।
मेटा विवरणः ड्यूको Amazon Bedrock और एजेंटकोर का उपयोग वित्तीय AI एजेंटों को चलाने, तैनाती के समय को कम करने, ऑनबोर्डिंग लागत कम करने और प्रत्येक बैंक के डेटा को अलग रखने के लिए करता है।
टैगः Amazon Bedrock, एजेंटकोर, ड्यूको, वित्तीय सेवाएं AI, बहु-किरायेदार अलगाव
विशेष रुप से प्रदर्शित छवि: अलग-थलग डेटा लेन और AI एजेंटों का अमूर्त मैत्रीपूर्ण चित्रण, कोई लोग नहीं, कोई लोगो, कोई पाठ नहीं।
यह लेख विनियमित वातावरण में एजेंटिक AI का मूल्यांकन करने वाली वित्तीय सेवा प्रौद्योगिकी टीमों के लिए है। इसमें सारांश दिया गया है कि कैसे ड्यूको, वित्तीय सेवाओं के लिए एक एजेंटिक ऑपरेशंस प्लेटफॉर्म ने अपने AI वर्कलोड को Amazon Bedrock और Amazon Bedrock AgentCore पर स्थानांतरित किया। स्रोत का कहना है कि डुको 200+ ग्राहकों के लिए मासिक रूप से 20 बिलियन लेनदेन संसाधित करता है, जिसमें शीर्ष 20 बैंकों में से 7 और शीर्ष 20 परिसंपत्ति प्रबंधक में से 10 शामिल हैं, और प्रत्येक बैंक के डेटा को अलग-थलग रखते हुए पुनर्निर्माण ने तैनाती समय और ऑनबोर्डिंग लागत कम कर दी है।
शास्त्रीय मॉडल से लेकर एजेंटिक ऑपरेशन तक
ड्यूको का मंच टीमों को AI और नो-कोड मॉडल का उपयोग करके मिशन-क्रिटिकल डेटा प्रक्रियाओं को स्वचालित करने की अनुमति देता है, जो डेटा निष्कर्षण से लेकर डाउनस्ट्रीम प्रकाशन तक के कार्यों को कवर करता है। परिवर्तन से पहले, यह भविष्य कहनेवाला लेबलिंग और पैटर्न मान्यता के लिए पारंपरिक machine learning मॉडलों पर निर्भर था, जिससे बैंकों को 20,000 से अधिक प्रक्रियाओं के समेकन और स्वचालन में मदद मिलती थी।
उन शास्त्रीय मॉडलों की सीमाएं थीं। उन्हें व्यापक ऐतिहासिक training data, उपन्यास परिदृश्यों के साथ संघर्ष करने और प्रत्येक नए उपयोग मामले के लिए महत्वपूर्ण अनुकूलन की आवश्यकता थी। उन्हें वित्तीय संचालन में पाए जाने वाले बदलते डेटा प्रारूपों और व्यावसायिक नियमों को जल्दी से अपनाने में भी कठिनाई हुई। ड्यूको में Rob Gates, Chief Architect और Innovation Officer ने कहा कि पहले के पूर्वानुमान मॉडल पर्याप्त चुस्त या लचीले नहीं थे और मुख्य रूप से नई समस्याओं की पहचान करने या अगले चरण का मार्गदर्शन करने के बजाय वे जो सीख चुके थे उसे बढ़ा सकते थे।
जैसे-जैसे डेटा प्रोसेसिंग की मांग बढ़ती गई, ड्यूको Amazon Bedrock और Amazon Bedrock AgentCore पर निर्मित एजेंटिक AI क्षमताओं की ओर बढ़ गया। लक्ष्य न केवल एक नया मॉडल जोड़ना था, बल्कि यह भी बदलना था कि कैसे मंच वित्तीय डेटा को समझ सकता है, तर्क दे सकता है और कार्य कर सकता है।
Bedrock और AgentCore को क्यों चुना गया
Amazon Bedrock एक पूरी तरह से प्रबंधित सेवा है जो एकल API के माध्यम से अग्रणी AI कंपनियों से फाउंडेशन मॉडल तक पहुंच प्रदान करती है। ड्यूको Amazon Nova 2 परिवार, Anthropic, OpenAI, Cohere, मेटा और Mistral AI में मॉडलों में से चुन सकता है, और कॉन्फ़िगरेशन पैरामीटर को बदलकर मॉडल स्विच कर सकता है। स्रोत का कहना है कि ग्राहक डेटा AWS वातावरण के भीतर रहता है और मॉडल को प्रशिक्षित करने के लिए उपयोग नहीं किया जाता है। डुको अपने वर्चुअल प्राइवेट क्लाउड (वीपीसी) में निजी एंडपॉइंट्स का भी उपयोग आंतरिक प्रणालियों से जुड़ने के लिए कर सकते हैं जबकि उन्हें अलग-थलग रखते हुए।
Amazon Bedrock AgentCore को पैमाने पर AI एजेंट बनाने, कनेक्ट करने और अनुकूलित करने के लिए एक मंच के रूप में तैनात किया गया है। यह open source फ्रेमवर्क का समर्थन करता है, एजेंटों को प्रमाणीकरण और एक्सेस कंट्रोल के साथ टूल और डेटा से जुड़ने की अनुमति देता है, और उत्पादन में एजेन्ट के लिए ट्रैकिंग और मूल्यांकन प्रदान करता है। AgentCore बुनियादी ढांचे को संभालता है, इसलिए टीमें एंटरप्राइज़ सुरक्षा और विश्वसनीयता अपेक्षाओं को बनाए रखते हुए बैकएंड पाइपलाइन के बजाय एजेंट तर्क पर ध्यान केंद्रित कर सकती हैं।
ड्यूको की मौजूदा एजेंट अवसंरचना LangChain और लैंगग्राफ पर बनाई गई थी, दोनों पहले से ही उत्पादन में हैं। एजेंटकोर को तीन मुख्य कारणों के लिए चुना गया थाः वर्तमान LangChain और लैन्गग्राफ कोड के साथ संगतता, एक प्रबंधित रनटाइम जो परिचालन ओवरहेड को कम करता है, और अंतर्निहित सुरक्षा और अनुपालन नियंत्रण के साथ विनियमित वित्तीय सेवा वातावरण के लिए उपयुक्तता।
किरायेदारों के बीच अलगाव कैसे लागू किया जाता है
ड्यूको सख्त किरायेदार अलगाव के साथ एक सेवा (SaaS) मंच के रूप में software मल्टी-किराएदारों के लिए संचालित होता है। विनियमित संस्थानों के लिए, इसे गैर-व्यावसायिक आवश्यकता माना जाता है। वास्तुकला AI एजेंट रनटाइम तक क्लाउड बुनियादी ढांचे से अलगाव लागू करती है।
इन्फ्रास्ट्रक्चर लेयर में, Amazon Elastic Kubernetes Service (Amazon EKS) क्लस्टर वर्कलोड को अलग करने के लिए नेमस्पेस-प्रति-किरायेदार अलगाव और नेटवर्क पृथक्करण का उपयोग करते हैं। प्रत्येक किराएदार समर्पित AWS सेवाएं प्राप्त करता है, जिसमें Amazon Aurora MySQL, Amazon Simple Storage Service (Amazon S3) स्टोरेज, AWS Key Management Service (AWS KMS) encryption कुंजी, 89 022 (Amazon SES), और Amazon Simple Queue Service (Amazon SQS), मैसेजिंग Amazon ElastiCache और एक Amazon Cognito उपयोगकर्ता पूल शामिल हैं। स्रोत कहता है कि क्लाइंट्स में शून्य साझा डेटा बुनियादी ढांचा होता है। प्रति-किरायदार ऑटोस्केलिंग किसी ग्राहक के कंप्यूटिंग-गहन कार्यभार के प्रभाव को दूसरे किरायेदार के प्रदर्शन पर कम करने में मदद करता है।
अभिगम नियंत्रण पहचान के साथ-साथ बुनियादी ढांचे के माध्यम से लागू किया जाता है। प्रत्येक अनुरोध किरायेदार के समर्पित कोग्निटो उपयोगकर्ता पूल द्वारा जारी एक JSON Web Token (जेडब्ल्यूटी) होता है। यह token एजेंट लॉजिक चलाने से पहले AgentCore रनटाइम के इनबाउंड ऑथराइज़र द्वारा मान्य हो जाता है. एजेंट केवल किराएदार के विशिष्ट AgentCore Gateway के जरिए टूल तक पहुंचते हैं, जो Amazon EKS में चलने वाले किरायेदारों की कंटेनर आधारित Model Context Protocol (MCP) सेवाओं पर कॉल करता है।
उपयोगकर्ता की पहचान को डाउनस्ट्रीम सेवाओं के माध्यम से पारित किया जाता है। Each MCP server किरायेदार के कॉग्निटो यूजर पूल के खिलाफ एजेंट और उपयोगकर्ता दोनों की पहचान का सत्यापन करता है, इसलिए प्रत्येक टूल कॉल एक विश्वसनीय एजेंट द्वारा किए गए कॉलर उपयोगकर्ता के रूप में अधिकृत होता है।
किरायेदार एक वीपीसी और Amazon EKS क्लस्टर साझा करते हैं, लेकिन यातायात नामस्थान और नेटवर्क नीति द्वारा अलग किया जाता है। निजी एंडपॉइंट्स ट्रैफ़िक को Amazon Bedrock और एजेंटकोर पर AWS नेटवर्क में रखते हैं। प्रत्येक किराएदार का एजेंटकोर रनटाइम वी पी सी नेटवर्क मोड में चलता है, जिसमें निजी सबनेटों में नेटवर्क इंटरफेस होते हैं, इसलिए आउटबाउंड ट्रैफिक VPC में प्रवेश करता है और सुरक्षा समूहों द्वारा शासित होता है।
एजेंट स्तर पर, प्रत्येक किरायेदार के पास एक समर्पित AgentCore रनटाइम और एक समर्पित गेटवे होता है, जो उस किराएदार के अपने Cognito उपयोगकर्ता पूल और Amazon EKS नेमस्पेस के खिलाफ कॉन्फ़िगर किया जाता है। एजेन्टकोर के अंतर्निहित सत्र अलगाव के साथ संयुक्त होने का मतलब है कि क्लाइंट्स के बीच कोई साझा मेमोरी, संदर्भ या टूलिंग नहीं होती है। प्रत्येक बैंक की योजनाएं, नामकरण सम्मेलन और संस्थागत ज्ञान अन्य किरायेदारों से अलग-थलग रहते हैं। प्रत्येक किराए वाले के पास MCP servers का अपना सेट भी है, जिसे बूट समय में गतिशील रूप से खोजा गया था। डिजाइन एक ऐसे मॉडल का समर्थन करता है जहां हर एजेंट केवल एक बैंक के डेटा, संदर्भ और तर्क तक पहुंच सकता है।
मल्टी-मॉडल रूटिंग और संदर्भ नियंत्रण
हर चीज के लिए एक foundation model का उपयोग करने के बजाय, ड्यूको अपने एजेंट डिजाइन में प्रत्येक भूमिका को उस कार्य के लिए उपयुक्त मॉडल को सौंपता है। इसका उद्देश्य स्टैक को बाधित किए बिना मॉडल परिवर्तन की अनुमति देते हुए गुणवत्ता और लागत दक्षता को संतुलित करना है।
| मॉडल | मुख्य भूमिका | उपयोग के मामले |
|---|---|---|
| Anthropic Claude Opus | नियोजन एजेंट | अन्य एजेंटों को निष्पादित करने के लिए जटिल तर्क, समझ और योजनाएं तैयार करना |
| Anthropic Claude Sonnet | मुख्य तर्क और जटिल निर्णय लेने की प्रक्रिया | अपवाद जांच, सुलह तर्क और नियम व्याख्या |
| Anthropic Claude Haiku | हल्के उपकरण रूटिंग निर्णय | तेजी से रूटिंग विकल्प, कम विलंबता वर्गीकरण और लागत प्रभावी प्रथम-पास triage |
| Amazon नोवा 2 | उपकरण आउटपुट सारांश | MCP उपकरण प्रतिक्रियाओं को संक्षिप्त करना और विश्लेषकों के लिए पठनीय सारांश उत्पन्न करना |
एक प्रमुख तकनीकी मुद्दा context window प्रबंधन था। context window, पाठ की मात्रा है जो एक मॉडल एक बार में विचार कर सकता है। डुको ने AgentCore Gateway के माध्यम से प्रति किरायेदार 300-400 उपकरण उजागर किए, जो प्रत्येक अंतर्निहित ड्यूको सेवा के लिए एक अलग MCP server का सामना करता है। काम शुरू होने से पहले, लगभग 200,000 tokens टूल विवरण को संदर्भ में लोड किया गया था। इसने संदर्भ अधिभार का कारण बना दियाः वार्तालाप लंबे समय तक चलने पर प्रतिक्रिया की गुणवत्ता बिगड़ गई, और मॉडल पिछले तर्क का धागा खो सकता था। टीम ने कहा कि यह भावना है कि एक एजेंट कम सक्षम हो रहा है अपने आप पर्याप्त सबूत नहीं है, और इंजीनियरिंग निर्णयों से पहले मूल्यांकन चलाया जाना चाहिए।
ड्यूको ने इसे MCP संसाधन प्रकारों पर आधारित एक कौशल वास्तुकला के साथ संबोधित किया। उपकरण विवरण स्थिर संदर्भ से बाहर ले जाया गया था और केवल जब आवश्यक हो तो लोड किया जाता है।
- `skill://∀ resources जब किसी कौशल की आवश्यकता होती है तो मांग पर टूल विवरण लोड करें।
- ∀system://` संसाधन रनटाइम पर गतिशील सिस्टम प्रॉम्प्ट अनुभाग बनाते हैं, जो बेस सिस्टम प्रोम्प्ट को दुबला रखता है।
- `ui://̅ संसाधनों में यूआई-विशिष्ट सामग्री होती है और परिचालन उपकरण से अलग होते हैं।
ड्यूको के एजेंट हार्नेस: में तीन नए मेटा-टूल लागू किए गए थे
- ∀load_skill` केवल तभी कौशल विवरण प्राप्त करता है जब एजेंट यह निर्धारित करता है कि किसी कौशल की आवश्यकता है।
- ∀find_tool` सभी योजनाओं को संदर्भ में लोड किए बिना प्रासंगिक उपकरणों का पता लगाता है।
- ∀invoke_tool` चयनित उपकरण को निष्पादित करता है एक बार जब इसे पहचाना गया हो।
स्रोत 90% संदर्भ में कमी की रिपोर्ट करता है, जिसमें मुख्य संदर्भ 200,000 tokens से गिरकर लगभग 20,000 tokens, उपकरण विवरणों को स्थिर संदर्भ से बाहर ले जाकर और टूल प्रतिक्रिया आकार को सीमित करके। त्वरित कैशिंग संरक्षित किया गया था क्योंकि सिस्टम प्रॉम्प्ट और तीन मेटा-टूल के बने स्थैतिक शीघ्र उपसर्ग छोटे और स्थिर रहे हैं। कौशल टूल सूची के बजाय वार्तालाप में लोड होते हैं, इसलिए एक कौशल लोड करने से कैश अमान्य नहीं होता है। टीम का कहना है कि एजेंट प्रतिक्रिया गुणवत्ता मापा जाता है, जो कठोर मूल्यांकन ढांचे के माध्यम से मान्य होती है, और परिवर्तन के लिए शून्य अवसंरचना परिवर्तन की आवश्यकता होती हैः समान अंतर्निहित मॉडल, उपकरण और कार्य उपयोग किए गए थे।
स्रोत बूट समय पर MCP टूल डिस्कवरी का भी वर्णन करता है। जब एक नई सेवा तैनात की जाती है, तो इसकी MCP server को किरायेदार के AgentCore Gateway पर लक्ष्य के रूप में तैनाती के हिस्से के तौर पर पंजीकृत किया जाता है। उपलब्ध सामग्री पूर्ण खोज अनुक्रम देने से पहले बंद हो जाती है जो इसके बाद आती है।
डिजाइन पैटर्न क्या दिखाता है
गैर-विशेषज्ञों के लिए, व्यावहारिक सवाल यह है कि क्या AI एजेंट का उपयोग किरायेदार डेटा को मिलाए बिना या बहुत अधिक जानकारी के साथ मॉडल को अधिभारित किए बिना वित्तीय संचालन में किया जा सकता है। ड्यूको की वास्तुकला दो पैटर्न इंगित करती हैः किरायेदारों द्वारा कठिन अलगाव और उपकरणों और कौशल के ऑन-डिमांड लोडिंग। नतीजा एक सेटअप है जहां प्रत्येक बैंक का एजेंट केवल उस बैंक के संदर्भ के भीतर काम कर सकता है, जबकि मंच अभी भी 200+ ग्राहकों और 20 बिलियन मासिक लेनदेन पर स्केल कर सकते हैं।
Comments (0)