थिंकबॉक्स के साथ पोस्ट-ट्रेन एजेंटों को reinforcement learning पुरस्कार में डेटाबेस ग्रेडिंग परिवर्तित करना

थिंकिंगबॉक्स-ट्रेनिंग अब GitHub पर है, और हेडलाइन नंबर यह हैः GRPO के 50 चरणों के बाद, Qwen3.8-27B ने 51.70% से 60.78% तक आयोजित एजेंट बेंचमार्क पर अपनी औसत सफलता बढ़ाई, और सभी बीस प्रयासों में सही ढंग से पूरा किए गए कार्यों की गिनती 38 से 107 हो गई। दूसरा आंकड़ा वह है जो रुकने लायक है। यह एक मॉडल के बीच का अंतर है जो कभी-कभी वहां पहुंचता है और एक मॉडल जिसे आप यथार्थवादी रूप से वास्तविक बैकएंड के साथ अकेला छोड़ सकते हैं।

यह कार्य एक पहले की खोज का अनुसरण करता है कि हेडलाइन सटीकता विश्वसनीयता अंतराल को छुपाती है। थिंकिंगबॉक्स-बेन्च, 507-कार्य बेंचमार्क, एजेंट को वास्तविक बैकएंड देता है, MCP टूल का एक सेट और निजी संदर्भ के साथ एक सिमुलेटेड उपयोगकर्ता, फिर एजेंट द्वारा किए गए टूल कॉल के बजाय टर्मिनल डेटाबेस स्टेट की जांच करता है। पहली पोस्ट में, अठारह मॉडल प्रत्येक ने बीस बार बेंच मार्क चलाया। Kimi -K3 कम से कम एक बार 93.89% कार्यों को हल किया लेकिन सभी बीस प्रयासों पर 507 (13.41%) में से केवल 68 ही पूरा हुए। Claude Opus 5 दर्पण छवि थीः संकीर्ण कवरेज, बहुत अधिक स्थिरता। अतिरिक्त पास @ 1 पर ओपस 5 की तुलना में 0.66 प्रतिशत अंक अधिक स्कोर किया गया था, फिर भी सभी बीस कोशिशों पर बिल्कुल समान 241 कार्य पारित किए गए थे, इसलिए शीर्षक सटीकता ने नोबलता खरीदी।

उत्पादन रिकॉर्ड को छूने के लिए किसी मॉडल का चयन करने वाले किसी भी व्यक्ति के लिए यह फ्रेमिंग मायने रखती है। केवल पास@1 आपको नहीं बताएगा कि कौन से कार्य हर प्रयास में जीवित रहते हैं।

ग्रेडर से इनाम तक

प्रशिक्षण रिलीज़ के पीछे अंतर्दृष्टि सरल है। अधिकांश थिंकिंगबॉक्स कार्यों के लिए, एक निष्पादन योग्य चेक अंतिम डेटाबेस स्थिति से सीधे 1 या 0 लौटाता है। यह केवल ग्रेडर नहीं है; यह एक इनाम फ़ंक्शन है। टीम ने बेंचमार्क के बाहर थिंक-बॉक प्रारूप कार्यों से एक प्रशिक्षण पूल का निर्माण किया और उन निष्पादनयोग्य परिणामों को पुरस्कार के रूप में उपयोग किया।

कठिन हिस्सा यह चुनना था कि किस कार्य पर प्रशिक्षण दिया जाए। अधिकांश कार्य या तो पहले से ही आपके सामने मॉडल के लिए हल किए गए हैं या निराशाजनक हैं, और न ही कुछ सिखाता है। टीम अपने फिक्स ऑफ़लाइन नीति-सापेक्ष कठिनाई को कॉल करती हैः प्रत्येक कार्य की सफलता की संभावना का आकलन करें एक बार मूल नीति के साथ प्रशिक्षण से पहले, फिर पूरे रन के लिए चयनित पूल को स्थिर रखें। कठिनाइयाँ को नीति के सापेक्ष माना जाता है, क्योंकि कोई भी कार्य वर्तमान मॉडेल के लिए केवल तब तक मुश्किल होता है जब तक वह मॉडल इसे सीख नहीं लेता। No ThinkingBox-बेंच टास्क ने पूल में प्रवेश किया; बेंचमार्क मूल्यांकन के लिए आरक्षित रहा।

क्या स्थानांतरित किया गया, और इसकी लागत

फाइन-ट्यून किए गए चेकपॉइंट का मूल्यांकन सभी 507 बेंचमार्क कार्यों पर किया गया था, प्रत्येक बीस परीक्षणों में से एक सेट पर इसे कभी प्रशिक्षित नहीं किया गया। प्रशिक्षण पूल के सापेक्ष बेन्चमार्क वितरण से बाहर हैः विभिन्न डोमेन, डेटाबेस, नीतियां और अधिकांश उपकरण। साझा तत्व थिंकबॉक्स फ्रेमवर्क, सिमुलेटेड उपयोगकर्ता मशीनरी, निष्पादन योग्य टर्मिनल स्टेट ग्रेडिंग, कुछ सामान्य उपकरण और इसी तरह की कार्य शैली सीमा कितनी दूर स्थानांतरण दावे को धक्का दिया जा सकता है।

पास@1 और अवलोकन 20/20 सभी पांच डोमेन में बढ़े। पास@20 मिश्रित था, जो नियोबैंक और परामर्श में बढ़ा लेकिन खुदरा, यात्रा और ऑटो बीमा में गिरावट आई। ऑटो बीमा ने 7.0 अंकों पर सबसे अधिक चौड़ाई खो दी; रिटेल को 24.5 अंक पर सबसे ज्यादा देखा गया-20/20 मिला। यह पैटर्न तेज होने के अनुरूप हैः संभावना द्रव्यमान उन प्रक्षेपवक्र की ओर चला जाता है जो बार-बार काम करते हैं जबकि कुछ कम-संभाव्यता पथ गायब हो गए। मॉडल व्यापक नहीं हुआ। यह अधिक दोहराए जाने योग्य बन गया।

क्रमबद्ध प्रभाव ध्यान देने योग्य हैं। GPT-5.6 SOL ने पास @ 1 पर ठीक से ट्यून किए गए Qwen3.8-27B, 61.91% बनाम 60.78% की तुलना में थोड़ा अधिक स्कोर किया, लेकिन सभी बीस प्रयासों पर कम कार्यों को पारित किया, 82 बनाम 107.Claude Sonnet 4.6 ने पास@ 1 पर नीचे स्कोर किया 59.19% फिर भी हर बार 102 कार्य पूरे हुए। संदर्भ के लिए, अवलोकन 20/20 Kimi -K3 के लिए 68 है, 128 जीपीटी-एक्सएनयूएमएक्स के लिए 128, 231 जीपीडी-6 एस्ट्रा के लिए और 241 Claude Opus 5.5 के लिए।

पहली पोस्ट के समान लागत गणित का उपयोग करते हुए 50 507 × 20 अभियान की अनुमानित लागत को 20/20 पास करने वाले कार्यों से विभाजित किया गया ठीक-ठीक चेकपॉइंट $8.00 प्रति विश्वसनीय कार्य पर उतरता है, GPT-5.4 के करीब $6.80, GPT-6 एस्ट्रा में $7.45 और Claude Opus 5.5 पर $7.80। सफल प्रयास के लिए लागत $0.177 से $0.139 तक गिर गई जबकि pass@1 बढ़ी। ये डॉलर मूल्य तुलनात्मक सेवा सूचकांक हैं, चालान नहीं; चेकप्वाइंट की सेवा आधार मॉडल के समान होगी, और आंकड़े में निष्कर्षण शामिल है लेकिन dataset को क्यूरेट करने के प्रशिक्षण चलाने और नीति जांच लागत को बाहर करता है।

लूप के अंदर

चयन आधार नीति के खिलाफ एक बार, ऑफ़लाइन चलाया जाता है। प्रशिक्षण तब उस निश्चित पूल का उपयोग करता है। प्रत्येक रोलआउट एक ताजा बैकएंड, एक अलग MCP सत्र और सिमुलेटेड उपयोगकर्ता के रूप में GPT-5 चैट के साथ एक पूर्ण एपिसोड होता है, न कि टेक्स्ट पूरा करना। अधिकांश पुरस्कार निर्धारित टर्मिनल-राज्य जांच से आते हैं; संकीर्ण रूब्रिक आवश्यकताओं की अल्पसंख्यक कॉन्फ़िगर किए गए जज को लागू कर सकते हैं। प्रशिक्षण और मूल्यांकन व्याख्या कोड साझा करते हैं ताकि तर्क निष्कर्षण, उपकरण कॉल, तर्क टाइपिंग और प्रतिपादन समान रूप से पढ़े जाएं अन्यथा इनाम मूल्यांकन किए जा रहे एजेंट से भिन्न एजेंट को माप रहा होगा।

संदर्भ रन ने 187 कार्यों पर token -औसत GRPO के साथ Qwen3.8-27B के सभी मापदंडों को ठीक किया। प्रत्येक अद्यतन 24 H100s में 8 रोलआउट या 144 एपिसोड के 18 समूह उत्पन्न किए, जो पैरामीटर और ऑप्टिमाइज़र ऑफलोड के साथ सिंक्रोनस रूप से चल रहे थे। AdamW 50 चरणों के लिए 1e-6 सीखने की दर और शून्य वजन क्षय का उपयोग करता था। शून्य-भिन्नता वाले समूहों को DAPO शैली में बदल दिया गया था, और बैकएंड टाइमआउट्स एजेंट विफलताओं के रूप में स्कोर करने के बजाय फिर से भरे गए थे, क्योंकि एक त्रुटि प्रणाली गलत परिणाम नहीं है।

यदि सभी आठ रोलआउट विफल हो जाते हैं तो इनाम वेक्टर सभी शून्य होता है; अगर सभी आठ सफल होते हैं तो यह सभी एक होते हैं। किसी भी तरह से, समूह के भीतर केंद्रित होने से कोई लाभ नहीं मिलता है, क्योंकि कोई प्रक्षेपवक्र दूसरे को हराता है। केवल मिश्रित समूह संकेत लेते हैं।

एक कार्य परिवर्तन को ठोस रूप से दिखाता है। एक यात्री कमरे के डाउनग्रेड का अनुरोध करता है, लेकिन कंपनी की नीति पहले प्रबंधक अनुमोदन की आवश्यकता होती है। प्रशिक्षण से पहले, एजेंट ने बुकिंग बदल दी और 20 में से 15 प्रयासों में स्वीकृति के बिना धनवापसी जारी की। fine-tuning के बाद इसने सभी 20 में बुकिंग और भुगतान स्थिति को संरक्षित किया, जिसमें 19 में सभी अपेक्षित रिकॉर्ड मेल खाते हैं।

क्या देखना है

ट्रेडऑफ अब स्पष्ट हैः दोहराए जाने योग्य सफलता ऊपर, कम से कम एक बार कवरेज थोड़ा नीचे। यदि आपका काम डेटाबेस रिकॉर्ड पर निर्भर करता है जो हर बार सही होता है, तो 20/20 को पास @ 1 के साथ पढ़ने के लिए कॉलम माना जाता है, और उनके बीच का अंतर वह जगह है जहां उत्पादन आश्चर्य रहता है। प्रशिक्षण स्टैक GitHub पर सार्वजनिक है, इसलिए अगला उपयोगी संकेत यह होगा कि क्या पूल को अलग-अलग आधार नीति के खिलाफ पुनर्निर्मित किया जाएगा टीम ने जानबूझकर रन के दौरान नहीं लिया था।