LLM -Typesafe संस्करण 0.1a0 जारी किया गया

यदि आप Simon Willison के ∀llm` कमांड-लाइन उपकरण का उपयोग करें और TypeSafe AI के नव जारी Jev मॉडल, एक नया प्लगइन कहा जाता है llm-टाइपसेफ (संस्करण 0.1a0) दोनों को जोड़ना आसान बनाता है। यह लेख आपको प्लगइन स्थापित करने, अपनी API कुंजी की स्थापना और तीन प्रकार के संरचित प्रश्नों को चलाने के माध्यम से चलता है जिसके लिए जेव डिज़ाइन किया गया हैः हाँ/नहीं ("नोल") चेक, बहुविकल्पीय रूटिंग और स्कोरिंग कार्य। कोई पूर्व प्लग-इन अनुभव आवश्यक नहीं है ` बस एक कामकाजी ∀llm` इंस्टॉलेशन और कुछ मिनट।

प्लगइन क्या करता है

Jev एक सामान्य चैटबॉट मॉडल नहीं है. यह वर्गीकरण-शैली के सवालों के लिए बनाया गया है जहां आप गद्य के पैराग्राफ की बजाय एक साफ, मशीन-पठनीय उत्तर चाहते हैं। ∀llm-typesafe` प्लगइन जेव को मानक में तार करता है CLI , इसलिए एक बार जब इसे स्थापित किया जाता है तो आप किसी भी पाठ को मॉडल में पाइप कर सकते हैं और संरचित आउटपुट वापस पा सकते हैं। यह समर्थन टिकटों का triaging जैसे वर्कफ़्लो को स्वचालित करने के लिए अच्छा फिट बनाता है, जांचें कि क्या संदेश में एक विशिष्ट अनुरोध शामिल है, या रूब्रिक के खिलाफ दस्तावेजों की रेटिंग।

प्लगइन एक प्रारंभिक अल्फा रिलीज़ (0.1a0) है, इसलिए मोटे किनारों की उम्मीद करते हैं, लेकिन मुख्य विशेषताएं पहले से ही इसके README में वर्णित के रूप में काम करती हैं।

चरण 1: प्लगइन स्थापित करें

∀llm` पहले से ही स्थापित होने के साथ, प्लगइन जोड़ना एक एकल आदेश हैः

̅̅̅
llm-typesafe स्थापित करें
̅̅̅

प्लगइन अपने आप को ∀llm` के साथ पंजीकृत करता है और एक मॉडल विकल्प के रूप में Jev मॉडल उपलब्ध कराता है।

चरण 2: अपने API कुंजी सेट करें

आपको TypeSafe AI से एक API कुंजी की आवश्यकता होगी। रिलीज़ नोट्स में उल्लेख किया गया है कि चाबियों के लिए प्रतीक्षा सूची काफी तेजी से आगे बढ़ती प्रतीत होती है, इसलिए यह जल्द ही साइन अप करने लायक है। एक बार जब आपके पास आपकी कुंजी हो जाए, तो इसे स्टोर करेंः

̅̅̅
llm कुंजी सेट टाइपसेफ

चिपकाएँ कुंजी

̅̅̅

आपको कुंजी पेस्ट करने के लिए प्रेरित किया जाएगा, और ∀llm` इसे भविष्य में चलाने के लिए सहेजता है.

चरण 3: हाँ/नहीं "नोल" प्रश्न चलाएँ

सबसे सरल उपयोग मामला एक द्विआधारी जांच है। जेव इन "नूल" प्रश्नों को बुलाता है, और सिर्फ हाँ या नहीं कहने के बजाय, यह विश्वास मूल्य देता है. उदाहरण के लिए, यह जांचने के लिए कि क्या कोई संदेश स्पष्ट रूप से धनवापसी का अनुरोध करता हैः

̅̅̅
llm - m jev 'कृपया मेरा अंतिम भुगतान वापस कर दें।
-s 'क्या यह संदेश स्पष्ट रूप से धनवापसी का अनुरोध करता है?
̅̅̅

आउटपुट इस तरह दिखता हैः

̅̅̅
{"प्रकार": "नहीं", "नहीः 0.99}
̅̅̅

दूसरे शब्दों में, मॉडल 99 प्रतिशत विश्वास है कि उत्तर हाँ है. क्योंकि परिणाम JSON है, आप इसे सीधे अन्य स्क्रिप्ट या उपकरणों के लिए पाइप कर सकते हैं।

चरण 4: विकल्प प्रश्न चलाएँ

रूटिंग कार्यों के लिए, आप Jev को लेबल किए गए विकल्पों के एक सेट से चुनने के लिए कह सकते हैं. आप JSON ऑब्जेक्ट के रूप में `criteria∀ विकल्प का उपयोग करके विकल्प परिभाषित करते हैं। यहाँ एक उदाहरण है जो सही टीम को आने वाले संदेश को रुट करता हैः

̅̅̅
cat message.txt। llm - m jev
-s 'इस संदेश को किस टीम द्वारा संभाला जाना चाहिए? यदि बिलिंग और तकनीकी समस्याएं दोनों होती हैं, तो बिलिंग चुनें. \
उत्तर_प्रकार विकल्प
मानदंड
"बिलिंग": "चार्ज, चालान, भुगतान या प्रतिपूर्ति" के रूप में
'तकनीकी': "उत्पाद को स्थापित करने या उपयोग करने में समस्याएं",
"अन्य": 'कोई भी श्रेणी फिट नहीं है'
} '
̅̅̅

सिस्टम प्रॉम्प्ट में अंतर्निहित टाई-ब्रेकिंग नियम पर ध्यान दें: जब कोई संदेश बिलिंग और तकनीकी मुद्दों को मिलाता है, तो बिलिंग जीतती है। इस तरह के नियमों को परिभाषित करना यह है कि आप रूटिंग व्यवहार को सुसंगत कैसे रखते हैं।

चरण 5: स्कोरिंग प्रश्न चलाएं

तीसरा पैटर्न स्कोरिंग है, जहां प्रत्येक संभावित स्कोर स्तर को एक आदेशित JSON सरणी में वर्णित किया गया है। यह रिपोर्टों, प्रतिक्रिया या गुणवत्ता की जांच के लिए उपयोगी है। उदाहरण के लिए, रेटिंग कितनी reproducible बग रिपोर्ट हैः

̅̅̅
catreport.txt। llm - m jev
'इस रिपोर्ट में वर्णित समस्या कितनी प्रजनन योग्य है?
उत्तर प्रकार स्कोर
-o मानदंड
"कोई प्रजनन निर्देश नहीं है,", (अंग्रेज़ी में) ।
"कुछ निर्देश हैं, लेकिन महत्वपूर्ण कदम गायब हैं", (अंग्रेज़ी में अनुवादित)
"अपेक्षित और वास्तविक परिणामों के साथ पूर्ण चरण"
]"
̅̅̅

मॉडल आपके विवरणों के साथ पाठ का मिलान करता है और स्कोर स्तर देता है जो सबसे अच्छा फिट बैठता है। प्रत्येक स्तर के लिए स्पष्ट, पारस्परिक रूप से विशिष्ट वर्णन लिखना विश्वसनीय परिणामों की कुंजी है.

संरचित आउटपुट क्यों मायने रखता है

सामान्य-उद्देश्य वाले चैट मॉडल पर इस सेटअप का मुख्य लाभ पूर्वानुमान है। जब आप एक चैट मॉडेल से पूछते हैं "क्या यह संदेश धनवापसी का अनुरोध करता है?", तो आपको एक वाक्य, पैराग्राफ या अप्रत्याशित प्रारूप मिल सकता है। ∀llm-typesafe` के माध्यम से Jev के साथ, आपको हर बार सुसंगत JSON मिलता है, जो बहुत मायने रखता है यदि आप इन कॉलों को स्वचालित पाइपलाइन में चेन कर रहे हैंटिकट ट्रायएज, सामग्री मध्यस्थता कतारें, दस्तावेज़ समीक्षा और इसी तरह के वर्कफ़्लो सभी उत्तरों से लाभान्वित होते हैं जिन्हें प्रोग्राम बिना किसी नाजुक स्ट्रिंग मेल खाने के पार्स कर सकते हैं।

आम गलतियाँ

• API कुंजी चरण को छोड़ना. यदि आप प्लगइन इंस्टॉल करते हैं लेकिन कभी भी ∀llm keys set typesafe` नहीं चलाते, तो हर अनुरोध विफल हो जाएगा. सुनिश्चित करें कि पहली बार चलाने से पहले कुंजी संग्रहीत है.
• मानदंड में दोषपूर्ण JSON. ∀choice` और ゙score̅ दोनों मोड वैध JSON ऑब्जेक्ट्स की अपेक्षा करते हैं जिसमें विकल्पों के लिए उद्धृत कुंजी, स्कोर के लिए सरणियां होती हैं। एक भटकने वाला उद्धरण या लापता अल्पविराम अनुरोध को तोड़ देगा।
• अस्पष्ट स्कोर विवरण। यदि आपके स्कोर स्तर ओवरलैप करते हैं (उदाहरण के लिए, "कुछ निर्देश" बनाम "कुछ अनुदेश लेकिन अपूर्ण"), तो मॉडल लगातार चुनने में संघर्ष करेगा। प्रत्येक स्तर को स्पष्ट रूप से अलग करें।
• टाई-ब्रेकिंग नियमों को भूल जाना। विकल्प प्रश्नों में, अस्पष्ट इनपुट श्रेणियों के बीच फ्लिप कर सकते हैं। सिस्टम प्रॉम्प्ट में स्पष्ट नियम जोड़ें, जैसे कि उपरोक्त उदाहरण में "चुनना बिलिंग" निर्देश।
• अल्फा सॉफ़्टवेयर को उत्पादन-तैयार मानकर व्यवहार करना। संस्करण 0.1a0 एक प्रारंभिक रिलीज़ है. महत्वपूर्ण कार्यप्रवाहों में इस पर भरोसा करने से पहले पूरी तरह से परीक्षण करें, और अद्यतन और ज्ञात सीमाओं के लिए README की जांच करें।

यदि आप उपलब्ध विकल्पों और अतिरिक्त उदाहरणों में गहराई से खुदाई करना चाहते हैं, तो प्लगइन का README सब कुछ अधिक विस्तार से कवर करता है।