ट्यूटोरियल

Amazon Bedrock AgentCore Evaluations में निर्णय मॉडल लागू करें

AWS नमूना कैलिब्रेटेड AI एजेंट स्कोरिंग के लिए AgentCore Evaluations में Jev और Strands Decider 2B का उपयोग करता है।

मुख्य जानकारी

  • Amazon Bedrock AgentCore Evaluations कैलिब्रेटेड एजेंट स्कोरिंग के लिए कोड-आधारित मूल्यांकनकर्ताओं के माध्यम से Jev और Strands Decider 2B जैसे निर्णय मॉडल बैकएंड का समर्थन करता है।
  • निर्णय मॉडल संकीर्ण, दोहराने योग्य मूल्यांकन जांच के लिए सबसे अच्छे हैं क्योंकि वे परिवर्तनीय विश्वास के साथ मुक्त-रूप पाठ के बजाय संभावना आधारित लेबल वापस करते हैं।
  • AWS नमूना दिखाता है कि विकास, बैच परीक्षण और ऑनलाइन मूल्यांकन के दौरान इन मॉडलों का उपयोग कैसे किया जाए, जिसमें जमीनीकरण, सहायकता और लक्ष्य पूरा करना शामिल हैं।
  • नमूना एक HR Assistant एजेंट और निर्धारित लैम्ब्डा मूल्यांकनकर्ताओं का उपयोग करता है यह प्रदर्शित करने के लिए कि कैसे निर्णय मॉडल अंतर्निहित मूल्यांकनकर्ता और LLM -जैसे-एक न्यायाधीश जांच के साथ काम कर सकते हैं।

मेटा विवरणः AWS नमूना दिखाता है कि कैसे Amazon Bedrock AgentCore Evaluations विकास और उत्पादन में कैलिब्रेटेड एजेंट स्कोरिंग के लिए Jev और Strands Decider 2B का उपयोग कर सकते हैं।

Apply decision models in Amazon Bedrock AgentCore Evaluations

टैगः Amazon Bedrock AgentCore, AI एजेंट मूल्यांकन, निर्णय मॉडल AWS Lambda, LLM -जैसे-एक न्यायाधीश

विशेष रुप से प्रदर्शित छवि: एजेंट मूल्यांकन पाइपलाइन को खिलाए जाने वाले कैलिब्रेटेड निर्णय बिंदुओं का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक व्यक्ति नहीं, कोई लोगो नहीं, न ही पाठ।

AI एजेंटों का मूल्यांकन करने वाली टीमों के लिए, Amazon Bedrock AgentCore Evaluations संकीर्ण जांच के लिए कैलिब्रेटेड लेबल वापस करने के लिए निर्णय मॉडल बैकएंड का उपयोग कर सकते हैं। एक प्रकाशित AWS नमूना दिखाता है कि कैसे Jev को कनेक्ट करना है, टाइपसेफ से होस्ट किया गया निर्णय मॉडल और Strands Decider 2B, कोड-आधारित मूल्यांककों के माध्यम से Strands Agents टीम से open-source 2-बिलियन पैरामीटर मॉडल। यह नमूना विकास, बैच परीक्षण और ऑनलाइन मूल्यांकन के दौरान जमीनीकरण, सहायकता और लक्ष्य पूरा करने का तरीका देता है।

निर्णय मॉडल क्यों महत्वपूर्ण हैं

कुछ एजेंट मूल्यांकन प्रश्न संकीर्ण और दोहराए जाने योग्य होते हैं: क्या कोई प्रतिक्रिया नीति पर बनी हुई है, एक टूल कॉल को मंजूरी देने के लिए सुरक्षित है या उत्तर पुनर्प्राप्त संदर्भ से मेल खाता है? निर्णय मॉडल एक संरचित राज्य और अनुमत उत्तरों का एक निश्चित सेट लेते हैं, फिर फ्री-फॉर्म टेक्स्ट के बजाय एक कैलिब्रेटेड संभावना वापस करते हैं जिसका विश्वास रन से चल सकता है। यह एक लेबल और एक संख्या उत्पन्न करता है जिसे टीमें दहलीज और भरोसा कर सकती हैं।

एक सामान्य-उद्देश्य large language model (LLM) मूल्यांकनकर्ता आमतौर पर तर्क के साथ स्कोर देता है। निर्णय मॉडल पूर्वनिर्धारित उत्तरों पर संभाव्यता वितरण लौटाता है। उस प्रत्यक्ष विश्वास माप को एकत्रित किया जा सकता है और प्रोग्रामेटिक रूप से कार्रवाई की जा सकती है। जेव और Strands Decider 2B तीन प्रश्न प्रकार का समर्थन करते हैं। नोल सवाल हाँ या नहीं पूछता है और 0 (नहीं) और 1 (हाँ) के बीच एक संभावना वापस करता है। एक विकल्प प्रश्न यह पूछते हैं कि 255 तक कौन सा विकल्प लागू होता है और सबसे संभावित विकल्प, पूर्ण वितरण और आत्मविश्वास लौटता है । एक स्कोर प्रश्न 2 से 10 ऑर्डर किए गए स्तरों में से किसके लिए आवेदन करता है और एक प्रायिकता भारित स्कोर, स्तरों पर वितरण और विश्वसनीयता देता है ।

ये मॉडल उन प्रश्नों को फिट करते हैं जो एक सूचित व्यक्ति एक नज़र में तय कर सकता है, जैसे कि क्या एजेंट ने अनुरोध से इनकार कर दिया या उत्तर विषय पर रहा। वे सबसे अधिक उपयोगी होते हैं जब टीमें लेबल के साथ-साथ अच्छी तरह से कैलिब्रेटेड आत्मविश्वास स्कोर चाहते हैं, और जब वे सामान्य उद्देश्य LLM की व्याख्या करने के लिए पूछने के बिना लगातार एक विशिष्ट रूब्रीक लागू करना चाहते हैं। वे मूल्यांकनकर्ताओं का प्रतिस्थापन नहीं करते हैं।Amazon Bedrock AgentCore Evaluations वे कोड-आधारित मूल्यांकनकर्ता ढांचे द्वारा सक्षम किए गए एक अतिरिक्त हैं, जिनका उपयोग व्यापक अंतर्निहित आकलन के साथ संकीर्ण, सुस्पष्ट जांच के लिए किया जाता है।

कैसे AgentCore मूल्यांकन उन्हें जोड़ता है

Amazon Bedrock AgentCore Evaluations अपने जीवनचक्र के माध्यम से एक एजेंट को स्कोर करता है: विकास के दौरान मांग पर, संग्रहीत सत्रों के खिलाफ बैच नौकरियों में और उत्पादन यातायात के खिलाफ ऑनलाइन। 15 अंतर्निहित मूल्यांकनकर्ताओं के साथ-साथ यह कस्टम मूल्यांककों का समर्थन करता है जो LLM -जैसे-एक न्यायाधीश या कोड-आधारित मूल्यांकनकर्ता के रूप में परिभाषित होते हैं। एक कस्टम LLM -जैसा-एक न्यायमूर्ति Amazon Bedrock में एक मॉडल के साथ निर्देश और रेटिंग पैमाने लागू करता है। एक कोड आधारित मूल्यांकनकर्ता AWS Lambda फ़ंक्शन में कस्टम लॉजिक चलाता है, और वह तर्क निर्णय मॉडल सहित बाहरी सिस्टम, मॉडल या API को कॉल कर सकता है।

नमूना एक स्क्रीनिंग परत के रूप में दोनों बैकएंड का उपयोग करता है। चूंकि प्रत्येक बैकएन्ड एक ही अनुरोध में एक ही राज्य के बारे में कई सवालों का जवाब दे सकता है, इसलिए टीमें मीट्रिक पर पास या फेल सिग्नल चला सकती हैं और अंतर्निहित मूल्यांकनकर्ताओं द्वारा गहरे आकलन की आवश्यकता वाले मोड़ों का चयन कर सकती हैं, जिनकी व्याख्याओं से जांच करने में मदद मिलती है कि क्या गलत हुआ। वास्तविक ट्रैफ़िक पर किसी प्रश्न को मान्य किए जाने के बाद, उस निर्णय या स्कोर के लिए एक निर्णय मॉडल पर्याप्त हो सकता है और उसी दृष्टिकोण को नीति में विशिष्ट हानिकारकता या रूढ़िवादी श्रेणियों तक बढ़ाया जा सकता है।

नमूना क्या बनाता है और इसकी आवश्यकताएं

एंड-टू-एंड उदाहरण एक HR Assistant एजेंट का उपयोग करता है जो Strands Agents के साथ बनाया गया था और AgentCore रनटाइम में तैनात किया गया था, Amazon Bedrock AgentCore की क्षमता। एजेंट पांच टूल का उपयोग करके कर्मचारी प्रश्नों का उत्तर देता है जो फिक्स्ड मॉक डेटा वापस करते हैंः भुगतान किए गए समय शेष राशि, भुगतान किए जाने वाले समय अनुरोध, एचआर नीतियां, लाभ और वेतन स्टब्स। निश्चित डेटा LLM -जैसे न्यायाधीश और निर्णय मॉडल से मूल्यांकनकर्ता व्यवहार को सत्यापित करना आसान बनाता है। जब टीमों के पास जमीनी सच्चाई भी होती है, तो वे पुष्टि कर सकते हैं कि क्या प्रत्येक मूल्यांकनकर्ता सही विफलताओं को पकड़ता है या नहीं।

नमूने को तैनात करने के लिए, एक AWS खाता उस क्षेत्र में होना चाहिए जहां AgentCore Evaluations उपलब्ध है; नमूना डिफ़ॉल्ट रूप से US West (ओरेगन) पर सेट किया गया है। इसके लिए Amazon CloudWatch Transaction Search सक्षम होने की आवश्यकता होती है, foundation model तक पहुंच Amazon Bedrock , Python 3.12 या बाद में, the AWS Command Line Interface (AWS CLI), और Docker . Jev को typesafe.ai पर एक्सेस विवरण के साथ TypeSafe API कुंजी की आवश्यकता होगी Strands Decider परीक्षण के लिए स्थानीय रूप से या वर्चुअल प्राइवेट क्लाउड के अंदर Amazon Elastic Compute Cloud ( Amazon EC2) पर चल रहे मेजबान की आवश्यकता है ताकि लैम्ब्डा फ़ंक्शन इसे प्राप्त कर सके।

कैसे चलाने और मूल्यांकनकर्ताओं को मान्य करने के लिए

पूर्ण कोड नमूना AgentCore नमूने GitHub रिपॉजिटरी में है। Amazon Bedrock AgentCore Evaluations स्क्रिप्ट कार्यप्रवाह को संभालती हैः ../utils/deploy.py HR Assistant को एजेंटकोर रनटाइम पर तैनात करता है, और evaluate.py मूल्यांकनकर्ता तैनात करते हैं, एजेंट को आह्वान करते हैं और मूल्यांकन मोड चलाते हैं।

फ्लैग के बिना evaluate.py चलाना पांच चरणों को निष्पादित करता हैः

  1. लैम्ब्डा निष्पादन भूमिका AgentCoreLambdaEvaluatorRole बनाता है.
  2. दो निर्धारक लैम्ब्डा मूल्यांकनकर्ताओं को पैकेज और तैनात करता हैः एचआर-प्रतिक्रिया-लंबाई, एक ट्रेस-स्तरीय मूल्यांकनकर्ता जो जांचता है कि एजेंट की प्रतिक्रिया लंबाई सीमा के भीतर रहती है या नहीं, और एचआर फैक्ट चेकर, सत्र-स्तर मूल्यांकनकर्ता यह ज्ञात नकली डेटा के खिलाफ आरएच तथ्यों का रेगेक्स-मान्यता देता है।
  3. नियंत्रण विमान के माध्यम से एजेंटकोर कोड-आधारित मूल्यांकनकर्ता दोनों को पंजीकृत करता है.
  4. पांच लेबल किए गए परिदृश्यों में EvaluationClient और OnDemandEvaluationDatasetRunner के साथ ऑन-डिमांड मूल्यांकन चलाता है, जो कोड-आधारित मूल्यांककों को Builtin.Correctness, Buildin.Helpfulness और Builnin.ResponseRelevance के साथ जोड़ती है।
  5. एक ऑनलाइन मूल्यांकन विन्यास बनाता है जो लगातार 100 प्रतिशत नमूनाकरण पर लाइव सत्रों को स्कोर करता है.

निर्णय-मॉडल मूल्यांकनकर्ता ऑप्ट-इन हैं और मौजूदा प्रवाह में कोई बदलाव किए बिना आधार मूल्यांकनकर्ताओं के साथ चलते हैं। फ्लैग का उपयोग करना --with-jev तथा --jev-secret-arn with the secret's Amazon Resource Name jev-evaluator को तैनात करता है और JevGroundedness, JevHelpfulness, and JevGoalCompletion रजिस्टर करता है।--decider का उपयोग करने से स्ट्रैंड्स-निर्णायक-मूल्यांकनकर्ता तैनात होता है और वही तीन मूल्यांकक पंजीकृत होते हैं Strands Decider 2B द्वारा समर्थित। --decider-ec2 जोड़ना Amazon EC2 उदाहरण, सुरक्षा समूहों, पहचान और Access Management भूमिका और मैन्युअल कंसोल चरणों के बिना वर्चुअल प्राइवेट लैम्ब्डा क्लाउड कॉन्फ़िगरेशन को स्वचालित रूप से प्रदान करता है.

प्रत्येक बैकएंड तीन मूल्यांकनकर्ताओं का योगदान देता हैः

मूल्यांकनकर्तास्तरप्रश्न का प्रकारलेबलमूल्य
जड़त्व या निर्णायकTRACEनोलजमीनी या गैर-जमीनीपी ((जमीनदार)
JevHelpfulness या निर्णयकर्ताTRACEस्कोर (4-स्तर)सबसे संभावित स्तर0 से 1 तक स्केल किया गया अपेक्षित स्तर
JevGoalCompletion या डिसीडरगोलकम्पलीशनसत्रविकल्प (3-मार्ग)सबसे संभावित विकल्पसंभाव्यता-भारित मान

मूल्यांकनकर्ता लैम्ब्डा के अंदर, फ़ंक्शन को एजेंट का ओपनटेलीमेट्री स्पैन प्राप्त होता है। spans.py मॉड्यूल उन आकृतियों को सामान्य करता है जिनमें OpenTelemetry सामग्री पहुंच सकती है, फिर उन्हें निर्णय मॉडल कॉल के लिए प्रारूपित करती है। ट्रेस-स्तरीय मूल्यांकन के लिए, केवल लक्षित मोड़ और संक्षिप्त पूर्व इतिहास भेजा जाता है; सत्र-स्तर के मूल्यांकन के लिये, पूर्ण वार्तालाप शामिल किया गया है। एडेप्टर मॉडल के संभाव्यता वितरण को एक AgentCore मूल्यांकन परिणाम में परिवर्तित कर देता है। नोल प्रश्न के लिए सत्य की संभावना मान बन जाती है और सबसे संभावित उत्तर लेबल बन जाता है। स्कोर प्रश्न के लिये मूल्य पूर्वनिर्धारित विकल्प मूल्यों का भारित औसत है।

प्रमाणीकरण महत्वपूर्ण कदम है। जब एक रूब्रिक को निर्णय मॉडल प्रश्न के रूप में फिर से लिखा जाता है, तो परिणाम पुराने की प्रतिलिपि के बजाय एक नया माप होता है। एक रीफ्रेम किए गए रुब्रिक अक्सर इरादे से अधिक सख्त या ढीले होते हैं, और यह बहाव तब तक दिखाई नहीं दे सकता है जब तक कि इसे वास्तविक सत्रों के साथ जांच न किया जाए। नमूना पांच-चरण सत्यापन प्रक्रिया का वर्णन करता है, जो संग्रहीत सत्रों से एक लेबल वाले नमूने के निर्माण से शुरू होती है जिसमें विफलता और किनारे के मामले शामिल होते हैं. इसके बाद तीन स्वतंत्र लेबलरों से मानव संदर्भ लेबल प्राप्त करने, बहुमत वोट लेने और विभाजित इनपुट बनाम सर्वसम्मत मतों पर नज़र रखने की सिफारिश की जाती है, क्योंकि स्प्लिट-वोट मोड़ें मॉडेल द्वारा देखे जाने से पहले ही रूब्रेक में अस्पष्टता प्रकट करती हैं। अगला चरण निर्णय-मोडल मूल्यांकनकर्ता चलाना और उसी इनपुट पर अंतर्निहित मिलान समीक्षक बनाना है।

आम गलतियाँ

मुख्य गलती निर्णय मॉडल को अंतर्निहित LLM मूल्यांकनकर्ता के लिए एक ड्रॉप-इन प्रतिस्थापन के रूप में व्यवहार करना है। निर्णय मॉडल लेबल और संभावनाओं को वापस करते हैं, स्पष्टीकरण नहीं, इसलिए वे संकीर्ण, दोहराए जाने योग्य जांचों के लिए स्क्रीनिंग परत के तौर पर सबसे अच्छा काम करते हैं। एक अन्य त्रुटि वास्तविक यातायात के लेबल किए गए नमूने पर सत्यापन छोड़ रही है; एक सवाल जो पुराने रूब्रिक के बराबर लगता है वह अभ्यास में सख्त या ढीला हो सकता है। टीमों को लक्षित मोड़ और संक्षिप्त पूर्व इतिहास की आवश्यकता होने पर ट्रैक-स्तरीय जाँच करने के लिए पूर्ण वार्तालाप भेजने से भी बचना चाहिए, और उन्हें नए निर्णय-मॉडल मूल्यांकनकर्ता पर गेट रिलीज नहीं करनी चाहिए जब तक कि उन्होंने इसकी तुलना मानव लेबल्स और मिलान वाले बिल्ट-इन समीक्षक के साथ न कर दी हो। उन टीमों के लिये जो पहले से ही इसका उपयोग करते हैं AgentCore Evaluations नमूना व्यापक LLM -जैसा-अदालत रखने के दौरान कैलिब्रेटेड निर्णय-मोडेल स्कोर जोड़ने का व्यावहारिक मार्ग प्रदान करता है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.