Unsloth का उपयोग करके Python में कॉल करने के लिए कस्टम टूल

मेटा विवरणः लामा 3 उपयोगी पाठ लिख सकता है, लेकिन API एजेंटों को सख्त JSON की आवश्यकता होती है। देखें कि सामान्यवादी मॉडलों को योजनाओं, सत्यापन, पुनः परीक्षण और उत्पादन में लॉगिंग की आवश्यकता क्यों है।

टैगः लैमा 3, JSON APIs, AI एजेंट, संरचित आउटपुट, डेवलपर उपकरण

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> API पाइपलाइन में सत्यापन गेट और पुनः प्रयास लूपों के माध्यम से एक मॉडल को व्यवस्थित डेटा ब्लॉक पास करने का एक अमूर्त, मैत्रीपूर्ण चित्रण, बिना किसी वास्तविक लोगों, लोगो या लिखित तत्वों के साथ।

Llama 3 JSON API एजेंट बनाने वाले डेवलपर्स को पता चलेगा कि मॉडल की सामान्य शक्तियां विश्वसनीयता को कम कर सकती हैं जब किसी एप्लिकेशन को विशिष्ट API के लिए स्वच्छ संरचित JSON की आवश्यकता होती है। मुख्य मुद्दा यह नहीं है कि लामा 3 में भाषा क्षमता का अभाव है। यह है कि एक API एजेंट को वार्तालाप की आवश्यकता नहीं है; इसे एक पेलोड की आवश्यकता है जिसे दूसरा सिस्टम पार्स, मान्य और निष्पादित कर सकता है।

सामान्यता की ताकत एक बोझ बन जाती है

लामा 3 उपयोगी है क्योंकि यह व्यापक कार्यों को संभाल सकता है, विचारों की व्याख्या कर सकता है , पाठ का सारांश दे सकता है और प्राकृतिक गद्य में लिख सकता है। वही लक्षण समस्या पैदा कर सकते हैं जब मॉडल से एक विशिष्ट API के लिए डेटा वापस करने के लिए कहा जाता है। जेएसओएन ऑब्जेक्ट पर रुकने के बजाय, यह एक अभिवादन जोड़ सकती है, इसकी तर्क समझाती है, मार्कडाउन में वस्तु को लपेट सकती है या उन क्षेत्रों का आविष्कार कर सकती है जो सहायक लगते हैं।

कई लेखन कार्यों के लिए, वह लचीलापन एक विशेषता है। एजेंट वर्कफ़्लो के लिए यह एक जोखिम है। API एंडपॉइंट आमतौर पर सटीक कुंजियों, अपेक्षित प्रकारों और अनुमानित नेस्टिंग की अपेक्षा करता है। यदि मॉडल एक अतिरिक्त वाक्य, एक लापता अल्पविराम या गलत प्रारूप में एक मान का आउटपुट देता है, तो कॉलिंग कोड प्रतिक्रिया को अस्वीकार कर सकता है। मॉडल भाषा में विफल नहीं हो रहा है; यह एक निर्धारक इंटरफ़ेस होने में असफल है।

एजेंटों को वास्तव में एक मॉडल से क्या चाहिए

JSON API पेलोड एक सख्त डेटा प्रारूप है जो की-वैल्यू जोड़ों और सरणियों से बनाया गया है। इसे उपभोग करने वाली मशीन को परवाह नहीं है कि उत्तर प्राकृतिक लगता है या नहीं। यह इस बात की परवाह करता है कि क्या प्रतिक्रिया को पार्सर द्वारा पढ़ा जा सकता है, किसी फ़ंक्शन में मैप किया जाता है, और नियमों के खिलाफ जांच की जाती है।

यह मॉडल की गुणवत्ता के मूल्यांकन को बदल देता है। एक एजेंट के लिए, उपयोगी आउटपुट को एक बार में कई शर्तों को पूरा करना होगा: यह मान्य JSON होना चाहिए, आवश्यक फ़ील्ड शामिल हों, सही डेटा प्रकार का उपयोग करें, अनुमत मूल्यों का सम्मान करें और असमर्थित टिप्पणी से बचें। एक प्रतिक्रिया जो धाराप्रवाह है लेकिन पार्सेबल नहीं है वह स्वचालित वर्कफ़्लो में प्रयोग करने योग्य नहीं है।

यह वह जगह है जहां सामान्यवादी मॉडलों को मचान की आवश्यकता होती है। संकेत संरचना को प्रोत्साहित कर सकता है, लेकिन अकेले संकेत इस बात की गारंटी नहीं देते हैं कि हर प्रतिक्रिया मशीन-पठनीय होगी। मॉडल उदाहरणों, सुरक्षा वाक्यांश या बातचीत के तरीकों में सहायक होने की प्रवृत्ति से प्रभावित हो सकता है जो एक सख्त अनुबंध तोड़ते हैं।

विश्वसनीयता बढ़ाने वाले व्यावहारिक नियंत्रण

सबसे प्रत्यक्ष फिक्स यह है कि मॉडल को पाइपलाइन में एक चरण के रूप में माना जाए, न कि सत्य का अंतिम स्रोत। स्कीमा के साथ प्रतिक्रिया के अपेक्षित आकार को परिभाषित करें, जो आउटपुट का पालन करने वाले क्षेत्रों, प्रकारों और नियमों का औपचारिक विवरण है। एक योजना सिस्टम को बताती है कि "सही" का अर्थ क्या है इससे पहले कि मॉडल जवाब देता है।

जनरेशन के बाद, उस स्कीमा के खिलाफ आउटपुट को मान्य करें। यदि सत्यापन विफल हो जाता है, तो एजेंट को खराब डेटा के साथ जारी रखने की बजाय मॉडल में एक संकीर्ण मरम्मत संकेत वापस भेजें। इस मरम्मत चरण में केवल सही JSON के लिए पूछना चाहिए, स्पष्टीकरण नहीं। यदि प्लेटफ़ॉर्म टूल या फ़ंक्शन कॉलिंग का समर्थन करता है, इसका उपयोग प्रोसा निर्देशों के प्रारूप को छोड़ने के बजाय नामित इंटरफ़ेस से मॉडल के आउटपुट पर बाध्य करने के लिए करें।

लॉगिंग भी मायने रखती है। ट्रैक करें कि कौन से संकेत विफल हो जाते हैं, कौन से फ़ील्ड गायब होते हैं, किस एनम मान का आविष्कार किया जाता है और क्या पुनः प्रयास समस्या को हल करते हैं। ये पैटर्न आमतौर पर अस्पष्ट निर्देशों, अस्पष्ट स्कीमा क्षेत्रों या मॉडल प्रतिक्रिया की ओर इशारा करते हैं जिन्हें मजबूत बाधाओं की आवश्यकता होती है।

सामान्य विफलता बिंदु

सबसे आम विफलता एक मॉडल है जो चैटबॉट की तरह जवाब देता है। यह Here is the JSON object से शुरू हो सकता है और यदि आपको परिवर्तनों की आवश्यकता है तो मुझे बताएं के साथ समाप्त होता है। एक अन्य विफलता JSON के आसपास मार्कडाउन बाड़ जोड़ रही है, भले ही अनुरोध कच्चे पाठ के लिए पूछता है। तीसरा वैकल्पिक फ़ील्ड का आविष्कार कर रहा है क्योंकि संकेत उन उदाहरणों का उपयोग करता था जिन्होंने अनुमत क्षेत्रों को स्पष्ट नहीं किया था।

नेस्टेड डेटा एक और कमजोर बिंदु है। API के लिए किसी दूसरे ऑब्जेक्ट के अंदर या विशिष्ट नामों वाली वस्तुओं की सरणी की आवश्यकता हो सकती है। यदि प्रॉम्प्ट केवल एक फ्लैट उदाहरण दिखाता है, तो मॉडल संरचना को ध्वस्त कर सकता है या आवश्यक स्तर को छोड़ सकता है। यह विशेष रूप से तब संभव होता है जब कार्य प्राकृतिक भाषा में वाक्यांशित किया जाता है और स्कीमा को लंबे निर्देश में दफनाया जाता है।

API कार्यप्रवाह के लिए इसका क्या मतलब है

एजेंट प्रणालियों में लामा 3 का उपयोग करने वाली टीमों के लिए, सबक व्यावहारिक हैः सामान्य क्षमता मूल्यवान है, लेकिन विश्वसनीयता मॉडल के आसपास की बाधाओं से आती है। लक्ष्य मॉडल को कम उपयोगी बनाना नहीं है, बल्कि इसे अपने अच्छे के लिए बहुत मददगार होने की संभावना कम करना है।

API डिजाइन पर संभावित प्रभाव भाषा तर्क और निष्पादन के बीच स्पष्ट पृथक्करण की ओर एक बदलाव है। मॉडल योजनाओं का मसौदा तैयार कर सकते हैं, क्रियाएं चुन सकते हैं और पैरामीटर भर सकते हैं जबकि स्कीमा वैलिडेटर, पुनः प्रयास लूप और निर्धारात्मक उपकरण यह तय करते हैं कि आउटपुट वास्तविक एंडपॉइंट को छू सकता है या नहीं। वह संयोजन लामा 3 को सामान्यवादी के रूप में काम करने के लिए जगह देता है जबकि विशिष्ट API को गलत तरीके से या अस्पष्ट पेलोड से बचाता है।