कार्यप्रवाह और स्वचालन

AI ऑर्केस्ट्रेशन बढ़ रहा है क्योंकि यह वास्तविक दुनिया के निष्पादन के साथ खुफिया को जोड़ता है।

AI ऑर्केस्ट्रेशन software परत है जो एक LLM, उपकरण, मेमोरी और वर्कफ़्लोज़ को जोड़ती है ताकि AI सिस्टम केवल टेक्स्ट उत्पन्न करने के बजाय वास्तविक कार्यों को पूरा कर सकें। यह गाइड उत्तर देने और करने के बीच की खाई की व्याख्या करता है, इसे समन्वयित लूप के रूप में परिभाषित करता है और इसे नियोजन, स्मृति, उपकरण और नियंत्रण में तोड़ देता है। इसमें छह सामान्य पैटर्न की भी समीक्षा की गई है, एक कॉम्पैक्ट Python उदाहरण दिखाया गया है, और शेष विफलता बिंदुओं जैसे कि असुरक्षित क्रियाएं, टूटी हुई स्थिति और लापता चेक पर प्रकाश डाला गया है।

AI ऑर्केस्ट्रेशन बढ़ रहा है क्योंकि यह वास्तविक दुनिया के निष्पादन के साथ खुफिया को जोड़ता है।

मुख्य जानकारी

  • AI ऑर्केस्ट्रेशन LLMs को टूल, मेमोरी और वर्कफ़्लो के साथ जोड़ता है ताकि बुद्धिमान उत्तरों को वास्तविक दुनिया के कार्यों में पूरा किया जा सके।
  • Standalone LLMs कार्य नहीं कर सकता है, वर्तमान जानकारी तक पहुंचता है या दीर्घकालिक संदर्भ को बनाए रखता है, इसलिए ऑर्केस्ट्रेटेड सिस्टम योजना, पुनर्प्राप्ति, उपकरण उपयोग और स्थायी स्मृति जोड़ते हैं।
  • एक विशिष्ट ऑर्केस्ट्रेटेड सिस्टम में नियोजन, मेमोरी, उपकरण और गार्डरेल के साथ नियंत्रण लूप शामिल होता है जो यह तय करता है कि आगे क्या करना है और कब रुकना है।
  • आम पैटर्न में प्रॉम्प्ट चेन, राउटर, समानांतर फैन-आउट, ऑर्केस्ट्रेटर-वर्कर, जनरेट-क्रिटिकल लूप और जोखिम भरे कार्यों के लिए मानव चेकपॉइंट शामिल हैं।
  • प्रमुख इंजीनियरिंग सिद्धांत सबसे सरल पैटर्न का उपयोग करना है जो काम करता है और स्वायत्तता केवल तब जोड़ता है जब माप दिखाता है कि यह विश्वसनीयता या परिणामों में सुधार करता है।

शीर्षक: AI ऑर्केस्ट्रेशन कनेक्ट्स LLMs , टूल्स, मेमोरी और वर्कफ़्लो 6 पैटर्न में

AI orchestration is rising as it connects intelligence with real-world execution.

मेटा विवरण: AI ऑर्केस्ट्रेशन LLMs , टूल, मेमोरी और वर्कफ़्लो को जोड़ता है ताकि स्मार्ट उत्तरों को पूर्ण वास्तविक दुनिया के कार्यों में बदल दिया जा सके।

टैगः AI ऑर्केस्ट्रेशन, LLM एजेंटों, Python , नियंत्रण लूप, गार्डरेल

चित्रित छवि: LLM, उपकरण, मेमोरी और APIs को जोड़ने वाले एक ऑर्केस्ट्रेशन लूप का अमूर्त, मैत्रीपूर्ण उदाहरण , पथ के चारों ओर गार्डरेल के साथ, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

डेवलपर्स और AI इंजीनियरों के लिए एक गाइड अब बताता है कि बुद्धिमान मॉडल अभी भी वास्तविक दुनिया के कार्यों को निष्पादित करने के लिए संघर्ष क्यों करते हैं और कैसे AI ऑर्केस्ट्रेशन LLMs , उपकरण, मेमोरी और वर्कफ़्लो को जोड़ती है ताकि AI सिस्टम काम कर सकें। यह large language model की सीमाओं से एक प्रणाली डिजाइन में स्थानांतरित हो जाता है जो किसी कार्य को पूरा कर सकता है, जिसमें ऑर्किस्टेड लूप के चार भाग, छह सामान्य पैटर्न, लगभग 100-पंक्ति Python उदाहरण और विफलता बिंदु शामिल हैं।

उत्तर देने और करने के बीच का अंतर

सोमवार सुबह के मामले से शुरू करें: एक उपयोगकर्ता AI सहायक को पिछली तिमाही की शीर्ष पांच ग्राहक शिकायतों को खींचने, फिक्स प्लान का मसौदा तैयार करने और टीम के साथ समीक्षा बुक करने के लिए कहता है। जवाब हेडिंग्स और चेकलिस्ट के साथ विश्लेषण के बारे में पॉलिश निबंध हो सकता है, जबकि कोई शिकायत नहीं पढ़ी जाती है, कोई योजना दायर नहीं की जाती है और कोई बैठक बुक नहीं होती है। यह एक मॉडल के बीच विभाजन दिखाता है जो काम पर बात कर सकता है और एक प्रणाली जो काम कर सकती है।

एक large language model , या LLM, पाठ से पाठ की भविष्यवाणी करता है। पैमाने पर, जो लेखन, तर्क, अनुवाद और स्पष्टीकरण का उत्पादन करता है. अपने आप में, इसकी तीन सीमाएं हैं। यह कार्य नहीं कर सकता: कोई email , डेटाबेस क्वेरी, या बटन क्लिक जब तक कि इसके आसपास के सिस्टम ऐसा न करें। यह वर्तमान को नहीं देख सकताः प्रशिक्षण समय पर ज्ञान जमे हुए हैं, इसलिए इसे आज की कीमतें या इस सुबह की घटना पता नहीं है। यह भूल जाता हैः केवल context window सक्रिय रहता है, और बातचीत बंद होने पर वर्किंग मेमोरी गायब हो जाती है।

एक उपयोगी AI उत्पाद उन सीमाओं को हल करता है जो मॉडल उपकरणों को हाथों के रूप में, आंखों की तरह पुनर्प्राप्ति, नोटबुक की तरह मेमोरी और ऑर्केस्ट्रेशन परत प्रदान करते हैं ताकि यह चुन सकें कि क्या उपयोग करना है और कब।

AI orchestration is rising as it connects intelligence with real-world execution.

AI ऑर्केस्ट्रेशन वास्तव में क्या है

AI ऑर्केस्ट्रेशन software है जो यह तय करता है कि आगे क्या होता हैः किस मॉडल को कॉल करना है, कौन सा टूल चलाना है, क्या याद रखना है और कब रुकना है। समानता एक सिम्फनी है। LLM, खोज API, कोड दुभाषिया, डेटाबेस, कैलेंडर और वेक्टर स्टोर कुशल संगीतकार हैं। लक्ष्य और योजना स्कोर हैं। आर्केस्ट्रैटर कंडक्टर है। यह स्थिति पढ़ता है, अगली चाल चुनता है और कार्य पूरा होने पर टुकड़ा समाप्त कर देता है।

यह विचार LLM -संचालित एजेंट अनुसंधान पर वापस आता है, जिसने मॉडल को एक एजेंट के मस्तिष्क के रूप में तैयार किया जो योजना, स्मृति और उपकरण उपयोग से घिरा हुआ था। 2023 के बाद से, यह एक शोध स्केच से रोजमर्रा के बुनियादी ढांचे में स्थानांतरित हो गया है। टूल कॉलिंग प्रमुख मॉडल APIs में बनाया गया है, और मॉडलों को उपकरणों और डेटा से जोड़ने के लिए खुले मानक दिखाई दिए हैं।

एक chatbot उत्तर देता है. एक एजेंट कार्य करता है। एक ऑर्केस्ट्रेटेड सिस्टम एक या कई एजेंटों, टूल और चेक का समन्वय करता है ताकि काम को विश्वसनीय रूप से पूरा किया जा सके। व्यावहारिक टेकअवे सरल हैः कई वास्तविक AI सुविधाओं के लिए, कठिन हिस्सा अब मॉडल नहीं है। यह मॉडल के चारों ओर लूप हैः प्रणाली क्या कर सकती है, यह क्या याद रखती है, जब यह रुक जाती है, और जो इसके काम की जांच करती है।

ऑर्केस्ट्रेटेड सिस्टम की शारीरिक रचना और 6 पैटर्न

लगभग हर ऑर्केस्ट्रेटेड AI सिस्टम को चार भागों में विभाजित किया जा सकता है। योजना एक बड़े लक्ष्य को छोटे चरणों में तोड़ती है। तकनीकों में chain of thought , विचार का पेड़, जो कई तर्क पथों की खोज करता है, और प्रतिक्रिया, जो तर्क और अभिनय के बीच वैकल्पिक रूप से कार्य करता है। मेमोरी में दो परतें होती हैंः मॉडल के भीतर अल्पकालिक स्मृति context window , और दीर्घकालिक स्मृति मॉडल के बाहर, आमतौर पर क्वेरी समय पर खोजे गए वेक्टर स्टोर में embeddings के रूप में। टूल ऐसे फ़ंक्शन होते हैं जिन्हें मॉडल अनुरोध कर सकता है, जैसे कि खोज, कैलकुलेटर, डेटाबेस क्वेस्ट, वेब अनुरोध या कोड रनर। मॉडल उन्हें नहीं चलाता है; यह पूछता है और आसपास के कोड उन्हें निष्पादित करते हैं। नियंत्रण लूप कंडक्टर हैः यह मॉडल को संदर्भ भेजता है, अनुरोधित कार्रवाई पढ़ता है. उपकरण चलता है, परिणाम वापस देता है और तब तक दोहराया जाता है जब तक लक्ष्य पूरा न हो जाए या कोई सीमा हिट न हो। प्रत्येक गार्ड पासरेल लागू होता है।

अधिकांश डिजाइन एक नई वास्तुकला का आविष्कार करने के बजाय छह पैटर्न को जोड़ते हैं।

  1. शीघ्र श्रृंखला: निश्चित कदम अगले चरण में आउटपुट पास करते हैं। यह तब उपयोगी होता है जब कोई कार्य निष्कर्षण, सारांश और प्रारूप जैसे चरणों में स्वच्छ रूप से विभाजित हो जाता है। जोखिम यह है कि एक बुरा कदम इसके बाद सब कुछ जहर देता है।
  1. router : एक मॉडल या नियम अनुरोध को वर्गीकृत करता है और इसे विशेषज्ञ पथ पर भेजता है. यह इनपुट भिन्न होते हैं, जैसे कि बिलिंग, बग्स और बिक्री प्रश्न। जोखिम गलत विशेषज्ञ के लिए काम का अनुप्रेषण कर रहा है.
  1. समानांतर फैन-आउट: स्वतंत्र उप-कार्य एक बार में चलाए जाते हैं और परिणाम विलय कर दिए जाते हैं। इसका उपयोग तब करें जब उप-कार्यों पर निर्भर न हों. मर्ज चरण असहमति को छिपा सकता है।
  1. ऑर्केस्ट्रेटर और श्रमिक: एक नियोजक रन टाइम पर उप-कार्य का निर्णय लेता है और उन्हें प्रत्यायोजित करता है। इसका उपयोग तब करें जब चरणों को पहले से नहीं जाना जा सकता हो। लागत और विलंबता जल्दी बढ़ सकती है।
  1. जनरेट और क्रिटिक्स: एक पास आउटपुट उत्पन्न करता है, दूसरा इसे जज करता है और फिक्स वापस भेजता है। इसका उपयोग तब करें जब गुणवत्ता गति से अधिक मायने रखती हो। लूप को कैप की आवश्यकता होती है क्योंकि यह कभी भी अभिसरण नहीं कर सकता है।
  1. मानव नियंत्रण बिंदु: जोखिम भरी कार्रवाई से पहले सिस्टम एक व्यक्ति के लिए रुक जाता है। इसे महंगे या अपरिवर्तनीय कार्यों के लिए उपयोग करें। जोखिम अनुमोदन थकान है, इसलिए केवल गेट जोखिम भरे कदम हैं।

नियम सबसे सरल पैटर्न का उपयोग करना है जो काम करता है और स्वायत्तता को केवल तभी जोड़ें जब माप दिखाए कि यह मदद करता है। एक निश्चित श्रृंखला जिसे पांच मिनट में डिबग किया जा सकता है वह एक चतुर योजनाकार से बेहतर है जिसे समझाया नहीं जा सकता।

AI orchestration is rising as it connects intelligence with real-world execution.

एक चलने योग्य Python ऑर्केस्ट्रेटर बनाएँ

गाइड में Python के लगभग 100 पंक्तियों का एक पूर्ण उदाहरण भी शामिल है जो केवल Python मानक लाइब्रेरी का उपयोग करके शिकायत कार्य को हल करता है। इसे फ़ाइल में चिपकाया जा सकता है और मिनटों में चलाया जाता है। नियोजक LLM के लिए नियम-आधारित स्टैंड-इन है, न कि मॉडल कॉल। यह विकल्प जानबूझकर हैः यह ऑर्केस्ट्रेशन लूप को API कुंजी के बिना चलाने देता है और दिखाता है कि लूप, गार्डरेल और मेमोरी उसी तरह से काम करते हैं चाहे मस्तिष्क नियमों या सीमांत मॉडल हो।

इस उदाहरण के चार भाग हैंः

  1. उपकरण को परिभाषित करें. इस नमूने में fetch_complaints, top_issues, draft_plan और book_meeting शामिल हैं. एक वास्तविक प्रणाली में, Fetch_Complaints किसी डेटाबेस या टिकटिंग API से कनेक्ट होगा। नमूना शिकायत सूची में सात रिकॉर्ड होते हैं, और Top_Issues तीन सबसे आम विषयों को लौटाता है.
  1. स्मृति जोड़ें. एक मेमोरी ऑब्जेक्ट लक्ष्य और चरणों की सूची को संग्रहीत करता हैः उपकरण, तर्क और परिणाम। योजनाकार पूछ सकता है कि क्या fetch_complaints, top_issues, draft_plan या book_meeting पहले से ही कोई परिणाम उत्पन्न कर चुके हैं.
  1. एक नियोजक लिखें। नियम-आधारित योजनाकार एक सरल अनुक्रम का पालन करता हैः शिकायतों को प्राप्त करें, शीर्ष मुद्दों की पहचान करें, फिक्स प्लान का मसौदा तैयार करें और बैठक का अनुरोध करें। मीटिंग शीर्षक है शिकायत ठीक समीक्षा, और नमूने उपस्थित लोग समर्थन और इंजीनियर हैं। यदि आवश्यक आउटपुट पहले से मौजूद हैं, तो योजनाकार अंतिम उत्तर देता है।
  1. नियंत्रण लूप चलाएँ. लूप नियोजक को बुलाता है, उपकरण अनुमति-सूची की जाँच करता है और यदि चरण सीमा तक पहुँच जाती है तो रुक जाता है। उदाहरण में max_steps=8 का उपयोग किया गया है. यह अज्ञात उपकरणों को त्रुटियों के रूप में व्यवहार करता है, अपवादों को मेमोरी में संग्रहीत टिप्पणियों में परिवर्तित कर देता है, और इसे निष्पादित करने से पहले book_meeting के लिए अनुमोदन की आवश्यकता होती है. नमूना रन में, स्वीकृति True पर सेट की गई है. उत्पादन में, जिसे एक वास्तविक संकेत द्वारा प्रतिस्थापित किया जा सकता है.

उदाहरण का एक निशान लूप को fetch_complaints, top_issues, draft_plan के माध्यम से आगे बढ़ता है और फिर अनुमोदन द्वारा गेट किए गए मीटिंग चरण। मुद्दा यह नहीं है कि नियम-आधारित कोड LLM की तुलना में बेहतर है। बिंदु यह है कि एक कार्य प्रणाली को लूप की आवश्यकता होती है, न कि JUST एक धाराप्रवाह मॉडल।

आम गलतियाँ

पहली गलती एक मजबूत मॉडल को तैयार उत्पाद के रूप में व्यवहार करना है। यदि मॉडल उपकरण नहीं बुला सकता, वर्तमान डेटा प्राप्त नहीं कर सकता और पिछले चरणों को याद नहीं रख सकता है, तो इसका उत्तर सटीक हो सकता है लेकिन निष्पादन योग्य नहीं।

दूसरी गलती गार्डरेल सेट करने से पहले एक नियोजक का निर्माण कर रही है। उपयोगी सुरक्षा में उपकरण अनुमति-सूची, अधिकतम चरणों की संख्या, त्रुटि परिणाम जो स्मृति में वापस आ जाते हैं और जोखिम भरे कार्यों के लिए मानव अनुमोदन शामिल होते हैं। नमूना 8 की कदम सीमा और book_meeting के लिए एक स्वीकृति ध्वज का उपयोग करता है।

तीसरी गलती जटिल स्वायत्तता का चयन करना है जब एक साधारण श्रृंखला काम करेगी। छह पैटर्न डिजाइनों को डिबग करने योग्य रखने के लिए मौजूद हैं। त्वरित श्रृंखलाओं का पता लगाना आसान है, लेकिन अगर कोई कदम गलत है तो विफल हो जाता है। राउटर को अच्छी वर्गीकरण की आवश्यकता होती है। फैन-आउट विलय विरोधाभासों को छिपा सकता है। ऑर्केस्ट्रेटर और श्रमिक डिज़ाइन महंगे हो सकते हैं। जनरेट-एंड-क्रिटिकल लूप्स को कैप की जरूरत है। मानव जांच बिंदुओं को चयनात्मक अनुमोदन द्वार की आवश्यकता है।

चौथी गलती मॉडल के चारों ओर लूप को अनदेखा कर रही है। सिस्टम को यह तय करना होगा कि वह क्या कर सकता है, उसे क्या याद रखना चाहिए, कब रुकना चाहिए और उसके काम की जांच कौन करता है। AI सुविधाओं का निर्माण करने वाले पाठकों के लिए, जहां विश्वसनीयता जीती या खोई जाती है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.