कार्यप्रवाह और स्वचालन

सत्यापन, पुनः प्रयास और बाध्य डिकोडिंग LLMs से विश्वसनीय संरचित आउटपुट उत्पन्न करने में मदद करते हैं.

Make LLM संरचित आउटपुट सख्त योजनाओं, स्रोत-पाठ वैधता, आकार-केवल पुनः प्रयासों और प्रतिबंधित डिकोडिंग के साथ विश्वसनीय।

सत्यापन, पुनः प्रयास और बाध्य डिकोडिंग LLMs से विश्वसनीय संरचित आउटपुट उत्पन्न करने में मदद करते हैं.

मुख्य जानकारी

  • Structured LLM आउटपुट केवल इसलिए विश्वसनीय नहीं हैं क्योंकि वे स्कीमा से मेल खाते हैं; एक वैध JSON या Pydantic ऑब्जेक्ट में अभी भी गलत तथ्य हो सकते हैं।
  • एप्लिकेशन को आवश्यक फ़ील्ड, शून्य करने योग्य शब्दार्थ, सख्त प्रकार और निषिद्ध अतिरिक्त कुंजियों के साथ एक कठोर अनुबंध परिभाषित करना चाहिए ताकि गलत प्रतिक्रियाओं को जल्दी पकड़ लिया जा सके।
  • पार्स किए गए आउटपुट को स्रोत पाठ के विरुद्ध मान्य किया जाना चाहिए, जैसे कि यह जांचना कि कुल, मुद्रा, आईडी और उद्धृत पंक्तियाँ साक्ष्य द्वारा समर्थित हैं।
  • पुनः परीक्षणों का उपयोग केवल आकार त्रुटियों के लिए किया जाना चाहिए जिन्हें मॉडल ठीक कर सकता है, जबकि तथ्यात्मक असंगतताओं या अनुपलब्ध जानकारी को अस्वीकार या मानव समीक्षा की ओर ले जाना चाहिए।

![Featured image: abstract friendly illustration of an invoice, a JSON schema, and validation gates](data:image/svg+ XML ,%3Csvg%20xmlns='http://www.w3.org/2000/svg'%20viewBox='0%200%20800%20450'%3E%3Crect%20width='800'%20%height='450'% 20fill='%23f7f7ff'/%3e%3crect% 20x='60' %20y='70'%-20width ='220'% 20%height="300"%20rx="28'20fill="%23dbeafe=%20stroke='23b382f6' strokes='20-wide='8'% E%3 Creat%20s='120y=20' width='"80' height=""50' heights='140'%30' heighte='150'>'180'</p> <br /><strong>{{नोट टैग पैलेट सम्पादित करें}}

Validation, retries, and constrained decoding help produce reliable structured outputs from LLMs .

मेटा विवरण: यह गाइड दिखाता है कि कैसे LLM संरचित आउटपुट को स्रोत पाठ के खिलाफ सत्यापित करके, केवल आकार त्रुटियों का पुनः प्रयास करने और पीढ़ी को सीमित करके विश्वसनीय बनाया जाए।

टैगः संरचित आउटपुट, Pydantic, OpenAI Responses API, सत्यापन, प्रतिबंधित डिकोडिंग

यह लेख उन डेवलपर्स के लिए है जिन्हें large language models से संरचित आउटपुट की आवश्यकता होती है जो एक एप्लिकेशन में उपयोग करने योग्य हो, न कि JUST को JSON के रूप में पार्सिबल किया जा सकता है। यह Python 3.10.12 और Pydantic 2.14.1 पर प्रयुक्त तीन-परत विधि की व्याख्या करता हैः एक सख्त अनुबंध परिभाषित करें, स्रोत चालान के खिलाफ पार्स्ड ऑब्जेक्ट को मान्य करें, और केवल तभी पुनः प्रयासों की अनुमति दें जब आकार त्रुटि ठीक की जा सके। उदाहरण केवल इनवॉइस फ़ील्ड निकालते हैं और कभी भी वास्तविक प्रणाली में नहीं लिखते हैं।

संरचित आउटपुट अब एक मानक सुविधा है। OpenAI का Responses API JSON स्कीमा या Pydantic मॉडल ले सकता है और इसके अनुरूप प्रतिक्रिया देने का वादा कर सकता है; vLLM xgrammar के साथ स्थानीय server पर भी ऐसा ही करता है; Python SDKs एक स्ट्रिंग के बजाय एक पार्स ऑब्जेक्ट लौटाता है। जाल यह है कि एक वैध वस्तु अभी भी गलत हो सकती है। यदि किसी मॉडल को चालान आईडी, मुद्रा, सेंट में कुल और उस पंक्ति के लिए कहा जाता है जहां कुल दिखाई देता है, तो वह प्रत्येक कुंजी वर्तमान, सही प्रकारों EUR की अनुमति दी गई सेट में, और एक उद्धृत लाइन जो वास्तव में मौजूद है. कुल अभी भी 12,500 सेंट, या 125 यूरो, एक चालान के लिए हो सकता है जो कहता है 1,250 कोई पार्सर और कोई योजना नहीं पकड़ती है क्योंकि 12500 पूरी तरह से अच्छा पूर्णांक स्रोत है। तुलना केवल कैच है।

अनुबंध को सख्त करें इससे पहले कि मॉडल चालान देखे

अनुबंध में चार फ़ील्ड होते हैं और इसका स्वामित्व एप्लिकेशन के पास होता है, प्रॉम्प्ट नहीं। प्रत्येक कुंजी की आवश्यकता होती है, इसलिए एक प्रतिक्रिया जो किसी को छोड़ देती है वह विफल हो जाती है। तीन फील्ड डिफ़ॉल्ट के बिना निरर्थक होते हैं, जो वैकल्पिक से अलग हैः मॉडल शून्य वापस कर सकता है यह कहने के लिए कि चालान कोई मूल्य निर्दिष्ट नहीं करता है, लेकिन यह चुप नहीं रह सकता है या शून्य से बचने के लिए एक संख्या का आविष्कार नहीं कर सकता। स्वीकृत मुद्रा सेट में ट्यूटोरियल दायरे के रूप में दो मुद्राएं शामिल हैं, सभी चालानों के बारे में दावा नहीं। सेंट पूर्णांक हैं ताकि 1,250.00 1249.9999 न बन जाए।

सख्त मोड Pydantic की डिफ़ॉल्ट जबरदस्ती को अक्षम करता है। इसके बिना, स्ट्रिंग "125000" एक पूर्णांक फ़ील्ड के लिए स्वीकार किया जा सकता है और चुपचाप परिवर्तित हो सकता है; सख्त तरीके से यह int_type के साथ विफल रहता है। बुलियन ट्रू भी 1 बनने के बजाय असफल होता है। अतिरिक्त="निषिद्ध" इसे अनदेखा करने के बजाय एक अप्रत्याशित कुंजी को extra_forbidden में बदल देता है। चार खराब इनपुट चार अलग-अलग त्रुटि प्रकारों का उत्पादन करते हैं।

Validation, retries, and constrained decoding help produce reliable structured outputs from LLMs .

स्कीमा निर्यात की सीमाएँ हैं. Invoice.model_ JSON _schema() चार गुणों का निर्यात करता है, सभी आवश्यक, अतिरिक्तProperties false, और इनवॉइस के बारे में कुछ नहीं कहता। यह नियम कि सेंट को उद्धृत पंक्ति से मेल खाना चाहिए JSON Schema में लिखा नहीं जा सकता, इसलिए एक डिकोडर जो पूरी तरह से योजना लागू करता है वह अभी भी 12,500-सेंट कुल उत्पन्न कर सकता है। एक वैध ऑब्जेक्ट स्रोत जांच के लिए प्रवेश टिकट है, अंतिम परिणाम नहीं।

स्रोत के खिलाफ वस्तु की जाँच करें, तो केवल आकार त्रुटियों को फिर से कोशिश

accept() चार चेक चलाता है और accepted, needs_review, rejected या shape_error में समाप्त होता है। चरण एक पार्सर और अनुबंध का उपयोग करता है; यह एकमात्र ऐसा कदम है जो shape_erreur वापस कर सकता है। इसका महत्व इसलिए है क्योंकि shape_errors केवल परिणाम है जिसे पुनः प्रयास करने की अनुमति दी गई है। दूसरा चरण जांचता है कि total_quote चरित्र के लिए चालान वर्ण में दिखाई देता है। तीसरा चरण अनुरोधित आईडी की जाँच करता है और चयनित मुद्रा वास्तव में पाठ में मुद्रित होती है। चौथा चरण उद्घाटन त्रुटि को पकड़ता हैः "Total due: EUR 1,250.00" में अंक 125000, लेकिन मॉडल भेजा गया 12500, इसलिए ऑब्जेक्ट को इस कारण से खारिज कर दिया जाता है "total_cents 12500 उद्धृत पंक्ति से मेल नहीं खाता है"। वास्तविक चालान प्रारूप के लिए, दशमल जांच उस प्रारूप पर आधारित होगी, लेकिन सिद्धांत समान रहता हैः एक संख्या साक्ष्य से व्युत्पन्न होनी चाहिए।

needs_review का उपयोग तब किया जाता है जब चालान वास्तव में किसी राशि या मुद्रा को निर्दिष्ट नहीं करता था। इस नीति के तहत, एक लापता तथ्य किसी व्यक्ति को जाता है, न कि अनुमानित शून्य को। अस्वीकार कर दिया गया टर्मिनल है क्योंकि कोई अन्य मॉडल कॉल इनवॉइस क्या कहता है उसे बदल नहीं सकता है। टेस्ट फिक्स्चर अपेक्षित मूल्य स्रोत पाठ से हाथ से लिखे जाते हैं, कभी भी मॉडल आउटपुट से कॉपी नहीं किए जाते हैं। स्कैन किए गए चालानों के लिए, स्कीमा भरने के लिए मॉडल पूछने से पहले प्रतिलेखन की जांच करें, क्योंकि गलत अंक अपस्ट्रीम प्रत्येक डाउनस्ट्रीम चेक पास कर सकते हैं यदि ऑब्जेक्ट आंतरिक रूप से सुसंगत है।

extract_with_retries() में तीन निकास होते हैं, और केवल एक ही पुनः प्रयास होता है. shape_error को त्रुटियों के साथ एक और प्रयास मिलता है। accepted, needs_review, and rejected टर्मिनल होते हैं. अस्वीकृति या कॉन्फ़िगरेशन त्रुटि तुरंत बंद हो जाती है क्योंकि अनुरोध को दोहराने से कोई मदद नहीं मिलेगी। उत्पन्न फ़ंक्शन चालान, स्कीमा और प्रतिक्रिया सूची प्राप्त करता है, और पाठ लौटाता है। योजना और स्रोत कभी भी प्रयासों के बीच परिवर्तन नहीं करते हैं। फीडबैक पांच कारणों पर कैप किया जाता है, जो मॉडल को यह बताने के लिए पर्याप्त है कि विक्रेता एक क्षेत्र नहीं है या कुल_सेंट एक पूर्णांक होना चाहिए, लेकिन प्रॉम्प्ट को ट्रांसक्रिप्ट में परिवर्तित करने के लिए काफी नहीं है। फ़ील्ड-स्तरीय सत्यापन त्रुटियां असफल जांच की पहचान करती हैं; प्रत्येक त्रुटि, प्रकार और एमएसजी लेती है और संदेश अक्सर सभी मॉड्यूल की आवश्यकता होती है। हर उम्मीदवार को खरोंच से मान्य कर दिया जाता है क्योंकि कुंजी का पता लगाते समय मरम्मत कॉल राशि बदल सकती है

तीन का बजट केवल तभी सार्थक होता है जब ट्रांसपोर्ट रिट्री को नियंत्रित किया जाता है। OpenAI Python SDK एक्सपोनेंशियल बैकऑफ के साथ डिफ़ॉल्ट रूप से कनेक्शन त्रुटियों, टाइमआउट, 409, 429 और 5xx प्रतिक्रियाओं को दो बार दोहराता है, इसलिए एप्लिकेशन कोड नोटिस किए बिना तीन आवेदन प्रयास नौ HTTP अनुरोध बन सकते हैं। एक प्रदर्शन योग्य बजट के लिए max_retries=0 सेट करें, प्रति कॉल समय समाप्ति जोड़ें क्योंकि डिफाल्ट दस मिनट निष्कर्षण के लिए बहुत लंबा है, और लूप में एक समग्र समय सीमा रखें। SDK पुनः विन्यास कॉन्फ़िगरेशन प्रति ग्राहक और प्रत्येक अनुरोध पर प्रलेखित है। तीन प्रयास इस ट्यूटोरियल की नीति है, न कि एक सार्वभौमिक इष्टतम; बिंदु छिपे हुए काम की गिनती करना और टर्मिनल मामलों पर रोकना है।

Validation, retries, and constrained decoding help produce reliable structured outputs from LLMs .
परिणामअगला कदम
आकार_त्रुटिफ़ीडबैक के साथ पुनः प्रयास करें, अधिकतम तीन प्रयास
स्वीकृतनीचे से गुजरना
needs_reviewउम्मीदवार और कारणों के साथ मानव समीक्षा
अस्वीकृतत्रुटि पथ; कोई पुनः प्रयास नहीं
अस्वीकृति, अपूर्ण प्रतिक्रिया या विन्यास त्रुटिपूर्णता की जाँच पर रोक
गलत राशिस्रोत पर रोक

सत्यापन को छोड़ने के बिना डिकोडिंग प्रतिबंधित करें और हर विफलता पथ का परीक्षण करें

प्रोम्प्ट और प्रतिबंधित पीढ़ी में JSON के लिए पूछना अलग है। एक संकेत को अभी भी कोड बाड़, भटकने वाले वाक्य या अतिरिक्त कुंजी के साथ उत्तर दिया जा सकता है। डीकोडिंग के अंदर एक स्कीमा बाधा चलती हैः प्रत्येक चरण में, जनरेटर केवल tokens चुन सकते हैं जो आउटपुट को वैध रखते हैं। Adrian Tam की डिकोडिंग-रणनीति walkthrough इसे सारांशित करती हैः "विचार यह है कि आउटपुट अमान्य बना देगा जो tokens को मास्क करना होगा"। यह उदाहरण मास्किंग को लागू करने के बजाय समर्थित योजना बाध्यता का उपयोग करता है। उस पथ पर, विकृत, अतिरिक्त-कुंजी और गलत प्रकार के मामले होने से रोकते हैं क्योंकि डिकोडर उन्हें उत्पादन नहीं कर सकता।

OpenAI की संरचित-आउटपुट गाइड, अक्टूबर 2026 के रूप में, दस्तावेज़ client.responses.parse ((...) text_format=Invoice for the Python SDK के साथ। यह सीधे Pydantic मॉडल को स्वीकार करता है और output_parsed को इसका एक उदाहरण देता है। मार्गदर्शिका का उदाहरण नाम gpt-6-astra; पिन जो भी मॉडल चलाया जाता है और इसे रिकॉर्ड करें। इस एडाप्टर को प्रलेखन से लिखा गया था और फिक्स्चर में एक नकली क्लाइंट के साथ अभ्यास किया गया था, न कि भुगतान किए गए API, इसलिए इसे लाइव परिणाम के तौर पर नहीं पढ़ा जाना चाहिए।

दो चेक डिकोडर के बाहर रहते हैं। स्थिति की जांच ऑब्जेक्ट को पढ़ने से पहले चलती हैः एक प्रतिक्रिया जो पूरी नहीं हुई है, उसे रूट किया जाता है, इसका उपयोग नहीं किया गया है। बिना किसी पार्स किए गए आउटपुट के साथ एक पूर्ण प्रतिक्रिया अस्वीकृति होती है, खाली चालान नहीं होता है। फिर वस्तु अभी भी स्वीकार करती है ()) अपरिवर्तित रूप में, क्योंकि डीकोडर आकार और केवल आकार को लागू करता है। यह गारंटी देता है कि total_cents एक पूर्णांक है, न कि यह 125000 बल्कि 12500 है। अनुबंध सादा रखें, क्योंकि प्रत्येक Pydantic सुविधा प्रदाता के स्कीमा उप-समूह में अनुवाद जीवित नहीं रहती है।

फिक्स्चर सूट इन नियमों को चौदह परीक्षण मामलों में बदल देता है, एक लापता आवश्यक कुंजी और JSON के चारों ओर एक कोड बाड़ से लेकर निर्मित उद्धरण, अस्वीकृति और बिना किसी चौथी कॉल के थकावट तक। चार नकली-ग्राहक मामले रूटिंग साबित करते हैंः पहली कोशिश पर गलत राशि खारिज कर दी जाती है और फिर कभी प्रयास नहीं किया जाता; थकान ठीक तीन कॉल के बाद वापस आती है; एक अधूरी प्रतिक्रिया कभी भी स्रोत जांच तक नहीं पहुंचती; और एक के बाद इनकार बंद हो जाता है। वे इस बारे में कुछ भी साबित नहीं करते हैं कि वास्तविक मॉडल कितनी बार 12,500 प्रतिशत कुल का उत्पादन करता है, और लागत या विलंब के बारे में कोई बात नहीं है। कोई प्रतिशत नहीं हैं क्योंकि डिब्बाबंद उत्तरों की सफलता दर फिक्सचर्स का वर्णन करेगी, न कि एक मॉडल।

जब सूट एक वास्तविक एडाप्टर के खिलाफ चलता है, तो मॉडल नाम, SDK संस्करण, परिणाम वर्ग और प्रति मामले प्रयास की गणना रिकॉर्ड करें। लॉग में स्रोत पाठ को मास्क करें। रिपोर्ट पार्स किया गया, संरचनात्मक रूप से वैध, और सही-बनाम-स्रोत तीन अलग-अलग कॉलम के रूप में, तीसरे में needs_review अभी तक सही नहीं है. पाइपलाइन तब स्वीकार किए गए डाउनस्ट्रीम का इलाज करती है, उम्मीदवार और कारणों के साथ मानव समीक्षा के रूप मे आवश्यकताओं की आवश्यकता होती है, और अस्वीकार कर दिया जाता है कि त्रुटि पथ क्या हुआ और कुछ भी नहीं करता है। एक पुनःप्रयास कभी भी लिखना दोहराता है और एक मरम्मत का प्रयास कभी भी अनुमतियों को प्राप्त नहीं होता है जो पहले प्रयास में नहीं था।

आम गलतियाँ

पहली गलती JSON पार्स पर रोक रही है। एक वैध आकार केवल प्रवेश टिकट है। दूसरा कुछ भी पुनः प्रयास कर रहा है जो कि आकृति त्रुटि नहीं है। अस्वीकृत, needs_review, इनकार और कॉन्फ़िगरेशन त्रुटियां टर्मिनल हैं। तीसरा छिपे हुए SDK पुनरावृत्तियों को अनदेखा कर रहे हैं, जो वास्तविक अनुरोध गिनती को गुणा कर सकते हैं। चौथा संख्याओं को सही बनाने के लिए प्रतिबंधित डिकोडिंग पर भरोसा करना है; यह संरचना संभव बनाता है, स्रोत सत्य नहीं। पांचवां मॉडल आउटपुट का उपयोग अपेक्षित मानों को लिखने या अनमास्क्ड सोर्स टेक्स्ट लॉगिंग करने के लिए किया जा रहा है। अंतिम तैनाती परीक्षण सरल हैः क्या डाउनस्ट्रीम कार्रवाई से पहले हर विफलता पथ बंद हो जाती है? यदि नहीं, तो पाइपलाइन विश्वसनीय उपयोग के लिए तैयार नहीं है.

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.