आपके रनटाइम के पार्सर निर्धारित करता है कि कैसे स्थानीय LLMs कॉल उपकरण

यदि आप अपने स्वयं के मशीन पर एजेंट चलाते हैं, तो स्थानीय LLM टूल कॉलिंग एक छिपे हुए पार्सर पर निर्भर करता है जो मॉडल टेक्स्ट को संरचित कॉल में परिवर्तित करता है। 6 अक्टूबर 2026 को Decoding AI का Local Agent Lab भाग 1 3 ने ओल्मा, लामा.सीपीपी, वीएलएलएम और एसजीलैंग का स्रोत पढ़ा। ऑडिट में कम से कम एक रनटाइम में समर्पित टूल-कॉल पार्सर वाले 41 मॉडल परिवार पाए गए, लेकिन सभी चार में केवल 8 परिवार शामिल थे। पाठकों के लिए, इसका मतलब यह है कि अकेले मॉडल विकल्प एजेंट-तैयार टूल कॉल की गारंटी नहीं देता है; रनिंग टाइम, पार्सर पथ और प्रलेखन सभी को पंक्तिबद्ध करने की आवश्यकता होती है।

क्यों रनटाइम तय करता है कि उपकरण कॉल काम करते हैं

मॉडल पाठ का उत्सर्जन करते हैं, निष्पादन योग्य कॉल नहीं। प्रत्येक परिवार अपने स्वयं के प्रारूप में कॉल लपेटता हैः a `<tool_call>GPT-OSS द्वारा उपयोग किए जाने वाले ` ब्लॉक, एक ∀[TOOL_CALLS]゙ मार्कर या हार्मोनी चैनल। रनटाइम पार्सर उस टेक्स्ट को फ़ंक्शन नाम और JSON तर्कों में काटता है। यदि पार्सर गायब है या गलत है, तो कॉल सादे पाठ के रूप में आते हैं, इसलिए एजेंट इसका उपयोग करने के बजाय टूल का वर्णन करने वाला मॉडल देखता है।

रनटाइम अलग-अलग पार्सर्स चुनते हैं. vLLM को `--tool-call-parser∀ की आवश्यकता होती है और बिना किसी के ゙--enable-auto-tool -choice▽ से इनकार करता है। SGLang आपको एक पार्सर का नाम या पास करने देता है; ऑटो चैट टेम्पलेट पढ़ता है और इसके 42 में से 28 पार्सरों के लिए पता लगाने के नियम होते हैं, जिसमें ललामा 3 शामिल नहीं होता है। ओलमा मॉडल कॉन्फ़िगरेशन में नामित पार्सर, या एक सामान्य विश्लेषक का उपयोग करता है जो टेम्प्लेट से टूल-कॉल टैग लेता है। llama.cpp 16 समर्पित हैंडलर के साथ चैट template की तुलना करता है, फिर यदि कोई भी मेल नहीं खाता है तो एक टेम्प्लेड व्युत्पन्न parser बनाता है।

पार्सर जनगणना में क्या पाया गया

चार रनटाइम 136 नामित टूल-कॉल पार्सर भेजते हैंः vLLM 53, SGLang 42, Ollama 25 और llama.cpp 16. ओलमा का स्विच 27 नामों को सूचीबद्ध करता है, लेकिन पासथ्रू और olmo3-think रिपोर्ट कोई उपकरण समर्थन नहीं करते हैं, इसलिए 25 गिनती। 41 परिवारों में से कवरेज हैः सभी चार, 8; तीन, 7; दो, 10; एक, 16, जिसमें ग्रेनाइट, नेमोट्रॉन और जांबा शामिल हैं। आठ के साथ सभी चार Qwen, DeepSeek, Gemma, Mistral, GPT-OSS, Cohere Command, LFM2 और Muse Glimmer हैं। जीपीटी-ओएसएस ओमनी में काम करता है क्योंकि इसका प्रारूप टेम्पलेट से पता लगाया जाता है।

गिनती से पहले चुने गए सात लोकप्रिय परिवार Qwen, Llama, Gemma, Mistral, DeepSeek, Phi और GPT-OSS थे। पांच में हर जगह समर्पित पार्सर्स हैं। लामा के पास केवल vLLM और SGLang में एक है; phi केवल वीएलएलएम में, phi4_mini_json के रूप में. Llama 3.x अभी भी llama.cpp में काम करता हैः चैट परीक्षण टेम्पलेट-व्युत्पन्न पार्सर के माध्यम से तीन लामा 3 टेम्प्लेट चलाते हैं। स्थिति रेखा 6 अक्टूबर 2026, 12:45 यूटीसी है, Ollama 8a971df पर मुख्य शाखाओं का उपयोग करते हुए, llama. cpp 4f54067, VLLM 3e18218 और S GLang 1291f31। पार्सर अधिकांश सप्ताह जोड़े जाते हैं, इसलिए एक स्थापित रिलीज़ कम हो सकती है।

यदि प्रलेखन में देरी हो रही है

कोड डॉक्स से आगे है. vLLM के टूल-कॉलिंग पेज नाम 53 पार्सर्स में से 29 हैं; छह अन्य जगहों पर दिखाई देते हैं, और 18 कहीं भी नहीं दिखते हैं, जिनमें phi4_mini_json, kimi_k3, minimax_m3 और llama4 _ json शामिल हैं। एसजीएलएंग के उपकरण-पार्सर पृष्ठ नाम 42 में से 14 हैं, जबकि इसके सर्वर-आर्गुमेंट्स संदर्भ सूची 41 हैं। लामा.सीपीपी के फ़ंक्शन-कॉलिंग पेज 15 देशी प्रारूपों को सूचीबद्ध करता है, जिसमें Llama 3.1, Hermes और Qwen 2.5 शामिल हैं; आज केवल 3 समर्पित हैंडलर हैंः कार्यात्मक v3.2, GPT-OSS और LLM-jp। अन्य 12 टेम्पलेट-व्युत्पन्न पार्सर का उपयोग करते हैं और 16 में से 13 हैंडलर उन स्वरूपों से संबंधित होते हैं जिन्हें पेज लिस्ट में शामिल नहीं किया जाता है। यह भी उल्लेख करता हैः चैट प्रारूप जेनेरिक लॉग, एक लाइन जो अब स्रोत लॉग में मौजूद नहीं है।

इसका मतलब यह नहीं है कि विशेषताएं टूट गई हैं; इसका मतलब स्रोत पेड़ विश्वसनीय सूची है. vLLM के लिए, फिर से जांचने के लिए ∀grep -c '^ "' vllm/tool_parsers/__init__.py` चलाएँ।

अपने मॉडल के प्रारूप की जांच कैसे करें

पार्सर चुनने के लिए, मॉडल के टूल-कॉल प्रारूप की पहचान करें। Decoding AI का toolfmt.py सादे पायथन के साथ एक tokenizer_config.json या .jinja टेम्प्लेट की जांच करता है। ∀ python3 toolf mt.py tokenized_configur. json` चलाएं। यह मार्करों को मैप करता हैः<चैनल क्या है?>∀ हार्मनी (जीपीटी-ओएसएस शैली), ` के लिए<tool_call>कॉल: ∀to Gemma 4 करने के लिए, ≠Tool Calls शुरू ` और DeepSeek वेरिएंट को डीएसएमएल<tool_calls_section_begin>Kimi K2 के लिए `, Mistral के लिए [TOOL_CALLS]<फ़ंक्शन=` प्लस ゙<parameter=` से Qwen3-Coder XML, ∀Environment: ipython⌒ to Llama 3.x JSON, और ゙<tool_call>हर्मेस, क्यूवेन, जीएलएम, ग्रेनाइट और अन्य द्वारा उपयोग किए जाने वाले एक जेनेरिक रैपर के लिए।

स्क्रिप्ट को llama.cpp के रेपो में सभी 71 चैट टेम्पलेट्स पर चलाया गया और हाथ से चेक किया गया। मेटा का लामा 3.1 टेम्प्लेट FORMAT Llama 3.x JSON मुद्रित किया गया था। सबसे आम उत्तर, 19 71, सामान्य `<tool_call>जीएलएम, ग्रेनाइट और क्यूवेन एक ही टैग के अंदर अलग-अलग पेलोड डालते हैं।

यह क्या साबित नहीं करता है, और आगे क्या आता है

ऑडिट ने रजिस्ट्रेशन और सिलेक्शन कोड को पढ़ा, रीडमी नहीं, स्टेटस कमिट पर मुख्य शाखाओं के उथले क्लोन का उपयोग करते हुए। इसने vLLM की आलसी पार्सर टेबल, एसजीएलएंग की पार्सर-नाम सूची, ओलमा के पार्सर स्विच और लामा.cpp के विशेष टेम्पलेट डिस्पैच का इस्तेमाल किया। नामों को हाथ से परिवारों में मैप किया गया था; सामान्य प्रारूप जैसे हर्मेस, पायथनिक और जेएसओएन छोड़ दिए गए थे, और मॉडल डॉक्स में अस्पष्ट नामों की जांच की गई थी। एक डॉक उल्लेख केवल एक पार्सर तर्क या कोड स्वरूपण के रूप में गिना जाता है, न कि एक साधारण वाक्य के तौर पर। ड्राफ्ट के साथ गिनती स्क्रिप्ट बनी हुई हैं। "टंट टेस्टेड" गलत परिणाम पाए जाने के बाद मैन्युअल चेक के बाद वन-पार्सर मापन गिरा दिया गया था।

ऑडिट उपकरण कॉल को सफल साबित नहीं करता है। कोई मॉडल चलाया गया था, इसलिए एक समर्पित पार्सर अच्छे टूल कॉलिंग का प्रमाण नहीं है और एक जेनेरिक पार्सर बुराई का सबूत नहीं है। यदि किसी भी रनटाइम में किसी सदस्य के लिए पार्सर होता है तो परिवार की गिनती होती हैः ओलमा का मिस्ट्राल पार्सर मिनिस्ट्रल 3 को लक्षित करता है, और llama.cpp का डीपसेक हैंडलर V3.2 प्रारूप को लक्ष्य बनाता है। लेखा परीक्षा केवल मुख्य शाखाओं को कवर करती है, पुरानी रिलीज़ नहीं, और LM Studio और LocalAI को बाहर करती है।

व्यावहारिक जांच के लिए: ओलमा टूल कॉल का समर्थन करता है जब मॉडल टेम्पलेट उपकरण का वर्णन करता है। vLLM को परिवार पार्सर की आवश्यकता होती है `--टूल-कॉल-पार्सर∀, 53 में से 18 बिना दस्तावेज के साथ। llama.cpp लामा-सर्वर शुरू करके टूल कॉलिंग का समर्थन करते हैं - jinja□ । यदि कोई मॉडल टेक्स्ट के रूप में कॉल प्रिंट करता है, तो पार्सर या चैट टेम्प्लेट की जाँच करें।

Local Agent Lab भाग 2 कल प्रत्येक परिवार के चैट टेम्पलेट और टोकन एक जवाब से पहले खर्च किया है के माध्यम से प्रस्तुत किए गए समान दस उपकरणों को मापता है। भाग 3 डिफ़ॉल्ट संदर्भ खिड़कियों की तुलना करेगा और कितनी देर तक एक एजेंट हिट करने से पहले चलाया जाता है. दिन-21 पुनः जांच 13 अक्टूबर पर जीपीटी-6 Solप्रक्षेपण के तीन सप्ताह बाद AI फ्रेमवर्क में समर्थन। यहां गिना गया प्रत्येक परिवार किसी न किसी प्रारूप में टूल कॉल करता है।

यह लेख Decoding AI के Local Agent Lab भाग 1 पर आधारित है, जो मूल रूप से मध्यम पर Towards AI में प्रकाशित हुआ था। यह Decoding AI, "We Timed 50 मॉडल-Support Commits Across 3 Local LLM Runtimes" और "आपका Claude Code Token Usage Is So उच्च क्यों", पर बनाता है और 6 अक्टूबर को पढ़ा गया vLLM और SGLang प्रलेखन का उपयोग करता है.

मेटा विवरण: Local LLM टूल कॉल रनटाइम पार्सर पर निर्भर करता है। ओलमा, लामा.सीपीपी, वीएलएलएम और एसजीलैंग के स्रोत ऑडिट मॉडल समर्थन और प्रलेखन अंतरालों को मैप करते हैं।

टैगः स्थानीय LLM उपकरण कॉल; पार्सर ऑडिट; ओल्मा; लामा.cpp; vLLM और SGLang

विशेष रुप से प्रदर्शित छवि: चार स्थानीय LLM रनटाइम सॉर्टिंग टूल कॉल का अमूर्त अनुकूल चित्रण संरचित जेएसओएन में, कोई वास्तविक लोग नहीं, कोई लोगो, कोई पाठ