मैंने एक स्थानीय मॉडल को होस्ट किए गए मॉडल के प्रदर्शन से मेल खाने के लिए ठीक-ठाक किया।

मेटा विवरणः एक स्व-होस्ट किया गया लाया मॉडल fine-tuning के बाद जेव सटीकता से मेल खाता है, लेकिन दो बीजों ने नियम को -21.9 और +4.9, उत्पाद मिलान में प्रतिकृति को रोकते हुए भेजा।

टैगः लया, जेव, fine-tuning , प्रतिकृति, उत्पाद मिलान

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> सटीक मिलान के बाद अलग-अलग होने वाले दो मॉडल चेकपॉइंटों का अमूर्त मैत्रीपूर्ण चित्रण, बिना वास्तविक लोगों, बिना लोगो और बिना पाठ के।

एक दूसरे क्लाइंट के वास्तविक पाइपलाइन आउटपुट पर 2026 प्रयोग में, एक स्व-होस्टेड लाया मॉडल उत्पादन लेखा परीक्षकों द्वारा उपयोग किए जाने वाले समान 11,010 मानव-समीक्षा उत्पाद जोड़ों पर लाया fine-tuning के बाद होस्ट किए गए मॉडल जेव की सटीकता बैंड तक पहुंच गया। अगला कदम अधिक नाजुक थाः छह नियमों के साथ पहले से पंजीकृत रीट्रेनिंग ने बीज 20261012 पर 21.9 अंक का रिकॉल ड्रॉप उत्पन्न किया, फिर उसी जमे हुए आउट-ऑफ-नमूना पूल 20261017 पर बीज 4.9 अंक का लाभ प्राप्त किया। fine-tuning परिणाम ग्राहक के डेटा पर आयोजित किया गया। नियम सीखने के परिणाम को दोहराया नहीं गया।

सटीक मिलान समीक्षा जोड़े से आया था, बड़ा पूल नहीं

दूसरे ग्राहक के डेटा पर सबसे मजबूत चेकपॉइंट sft_enhanced था, एक लाया मॉडल 980- token rubric match_rubric_v007. यह एक निश्चित 2,048/2,048 ऑपरेटिंग बिंदु पर Jevs परिशुद्धता बैंड तक पहुंच गया: sft _ enhanced स्कोर किया 0.791 सटीक और 0.554 याद है, जबकि Jev rv007 स्कोर 0.788 सटीक और 0.549 याद है। वेनिला चेकप्वाइंट, एसएफटी_वेनिला, ने 149- token रूब्रिक मैच_रूब्रिक_वी 1 का उपयोग किया और तुलना में उच्चतम प्वाइंट-अनुमान की सटीकता ले ली, 0.816 हालांकि इसके अंतराल ने जेव्स को ओवरलैप कर दिया।

आरटीएक्स 5090 पर एक ही समीक्षा किए गए बेस चेकपॉइंट से चार जांच बिंदुओं को प्रशिक्षित किया गया था। आर्म ए ने उसी 11,010 मानव-समीक्षा वाले जोड़े का उपयोग किया, जिस पर एसएफटी ऑडिटर मॉडल क्यूवेन 2.5, स्मोलएलएम 3, और phi4 को प्रशिक्षण दिया गया था । आर्म बी ने पाइपलाइन के अपने प्रशिक्षण पूल का इस्तेमाल किया, 348,106 सोने की जोड़ियों और सोने के विवरणों को बाहर करने के बाद पंक्तियां। प्रत्येक हाथ को दो बार: वेनिला रूब्रिक के साथ और बढ़े हुए रबर के साथ प्रशिक्षित ਕੀਤਾ गया।

सभी चार चेकपॉइंट एक प्रशिक्षण कॉन्फ़िगरेशन साझा करते हैं, जो रन स्पेक्स को अलग करके बाइट-समान रूप से सत्यापित किया जाता है। नुस्खा rlcd हानि का उपयोग करता है, जो केवल शीर्ष विकल्प के बजाय पूर्ण संभाव्यता वितरण के खिलाफ प्रशिक्षित होता है, 4 युगों, बीज 20261012 और प्रत्येक जांच बिंदु में लिखा गया 2,048/2,048 ऑपरेटिंग पॉइंट इसलिए मूल्यांकन एक बेमेल से इनकार कर देता है। पूर्ण हाइपरपैरामीटर में हैं Appendix A0 । आर्म ए लगभग 12 से 27 मिनट तक चलता था। पूल रन 6 से 15 घंटे लगते थे।

मूल्यांकन सेट भाग 1 से दूसरा क्लाइंट आउटपुट था: 37,392 उम्मीदवार जोड़े और 1,000 लेबल किए गए जोड़े, जिनमें 398 मैच शामिल थे, जिसमें पार्ट 1 के दूसरे ग्राहक ऑडिट के समान होल्डआउट का उपयोग किया गया था। किसी में भी हजार वर्ग फुट प्रविष्टियां नहीं थीं, इसलिए सोने की तुलना केवल उन प्रविष्टियों के बिना उप-सेट का इस्तेमाल करती थी। अन्य संदर्भ पंक्तियाँ, जिसमें आधार मॉडल, जेवी रूब्रिक पंक्तियां, तीन लेखा परीक्षक, सर्वसम्मति समूह और पाइपलाइन स्वीकार करते हैं परत एक ही सेट पर हैं।

छह-नियम पुनर्प्रशिक्षण प्रतिकृति में विफल रहा

fine-tuning द्वारा बंद नहीं किए गए मिस को नामित नियमों के रूप में आकार दिया गया था: रंग, ब्रांड, पैक काउंट और यूनिट समतुल्यता। पूर्व-पंजीकृत अगला कदम प्रशिक्षण प्रश्न के अंदर छह नियमों के साथ बेस चेकप्वाइंट से फिर से प्रशिक्षित करना था और नियम फ्रीज होने के बाद ब्लाइंड लेबल वाले जमे हुए आउट-ऑफ-नमूना पूल पर स्कोर देना था। आकस्मिक मतभेदों के लिए छह विस्तारित नियमों ने रंग, ब्रैंड, पैकिंग मात्रा, इकाई-समानत आकार, मूल्य-रेंज और कैलेंडर संस्करण नामित किया। ए मैच उन सामान्यीकरण के बाद एक ही आइटम और विनिर्देश का मतलब है। गैर मिलान विभिन्न वस्तुओं या असंगत विशिष्टताओं का अर्थ है। INSUFFICIENT_EVIDENCE इसका मतलब है कि जोड़ी निर्णय लेने के लिए पर्याप्त जानकारी नहीं रखती है।

बीज 20261012 में, पुनर्प्रशिक्षित चेकपॉइंट ने उस पूल पर रिकॉल के 21.9 अंक खो दिए, जिसमें लेबल-बूटस्ट्रैप 95% अंतराल पूरी तरह से शून्य से नीचे था: -0.219, इंटरवल [−0.268, −0.167। पुनः प्रशिक्षण रिपोर्ट ने सामान्य दावा करने से पहले एक सीड प्रतिकृति की सिफारिश की थी, इसलिए सीड 20261017 में उसी नुस्खा और समान डेटा के साथ दूसरा पूर्व पंजीकृत रन किया गया था। संकेत पलटाः + 4.9 अंक, शून्य से ऊपर का अंतरिमः + 0.049, अंतर [+ 0.010, + 0.087.

प्रयोग दोहराना बंद कर दिया। रिपोर्ट अंतराल को केवल लेबल अनिश्चितता के रूप में मानती हैः वे प्रशिक्षित विशेष जांच बिंदुओं पर सशर्त लेबल किए गए मूल्यांकन जोड़ों का पुनः नमूना लेते हैं। वे वर्णन करते हैं कि कैसे एक स्कोर अलग-अलग नमूने के साथ बदल सकता है, न कि फिर से तैयार की गई नुस्खा के साथ। लाया में, प्रशिक्षण बीज आरएल अन्वेषण शोर, विकल्प-क्रम मिश्रण और बैच ऑर्डर सेट करता है, इसलिए एक ही नुस्खे के दो रन दो विभिन्न खोज प्रक्षेपवक्र होते हैं। एक दावे को पलटने के लिए दो बीज पर्याप्त हैं। रेसिपी की परिवर्तनशीलता को चिह्नित करने के लिए वे पर्याप्त नहीं हैं।

याद रखना कारण है कि एक एकल स्थानीय मॉडल पर्याप्त नहीं है

लाया भाग 1 में प्रयुक्त टाइप किए गए निर्णय प्रारूप का एक open-source , स्व-होस्टेड कार्यान्वयन है: MATCH, NONMATCH और INSUFFICIENT_EVIDENCE विकल्पों के साथ प्रति जोड़ी एक बहुविकल्पीय प्रश्न और एक संभाव्यता वितरण लौटाया गया। लक्ष्य कार्य-परिभाषित उत्पाद समकक्षता है, न कि सटीक ऑर्डरेबल-एसकेयू पहचान। मूल रूब्रिक केवल उसी आइटम और विनिर्देश के लिए मैच मांगती है, जिससे नामकरण, स्वरूपण और समतुल्य इकाई प्रतिनिधित्व की अनुमति मिलती है, और अनुपलब्ध जानकारी को गैर-मिलान के प्रमाण के रूप में नहीं माना जाता है। प्रत्येक नियम अपवाद रखता है।

तीन वास्तविक जोड़े दिखाते हैं कि सीमा क्यों सूक्ष्म है। ∀TRASH CAN 456060 GAL` और ⌒ 45 TO 60 GALLON GREY TRASH CAN゙ केवल रंग में भिन्न होता है, जिसे रंग नियम आकस्मिक कहता है, इसलिए नियम उन्हें एक मैच के रूप में मानते हैं जबकि नियम-मुक्त चेकपॉइंट उन्हें नॉनमैच मानता है; यह ऑपरेटर द्वारा पुनः लेबल किए गए 13 जोड़ों में से एक है । ▽275B 32.2500 X 36.0000 122.65 एमएसएफ□ और △275B 32.2500 एक्स 36.0000 122.18 MSF□ केवल अंतिम संख्या में भिन्न होते हैं, जो हजार वर्ग फुट में खरीदी गई मात्रा है, विनिर्देश नहीं, इसलिए वे मेल खाते हैं।

दूसरे ग्राहक के डेटा पर, दोनों आर्म ए चेकपॉइंट्स ने बेस लाया से 25 से 27 अंक की सटीकता हासिल की, 0.54 से 0.79 तक 0.82, समान या थोड़ा अधिक रिकॉल के साथ। उनकी निर्णायक सटीकता 0.65 से बढ़कर 0.77 हो गई। परिशुद्धता और निर्णायिक सटीकता केवल महत्वपूर्ण कॉलों को गिनती करती है, जबकि रिकॉल मिस के रूप में एक अनिर्धारित सही मैच गिना जाता है। जेव लगभग 750 जोड़े, या सेट का 2% छोड़ देता है, ज्यादातर INSUFFICIENT_EVIDENCE। प्रत्येक ठीक-ट्यून किया गया लाया हर जोड़ी का फैसला करता है।

यह निर्णय कवरेज रिकॉल अंतर को बंद नहीं करता है। आर्म ए qwen25 और smollm3 लेखा परीक्षकों के साथ अपने training data साझा करते हैं। लाया उन दोनों की तुलना में 8 से 17 अंक अधिक सटीक है, 0.79 to 0.82 बनाम 0.65 to 0.71, लेकिन 19 से 31 अंक कम याद करने पर, 0.53 0.55 बनाम 0.74 to 0.83 Laya बैठता है जहां जेव और सर्वसम्मति वाले समूह बैठे हैंः उच्च परिशुद्धता, कम याद. बहुमत का वोट अभी भी बहुत अधिक सच्चे मैचों को पुनर्प्राप्त करता है,0.827 याद के खिलाफ 0.554, और ठीक-ट्यून किए गए लाया के लिए समीक्षा-सामान्यीकृत परिणाम अभी तक मापा नहीं गया है।

रिकॉल गैप मायने रखता है क्योंकि वर्कफ़्लो त्रुटियों को असममित रूप से व्यवहार करता है। एक गलत मर्ज विलय रिकॉर्ड पर असामान्यता जांच के दौरान डाउनस्ट्रीम सतह कर सकते हैं। अपस्ट्रीम मैच में कोई दूसरा खोज पथ नहीं होता है; दो विवरण कभी भी फिर से एक साथ नहीं देखे जाते हैं। भाग 1 पाया गया कि तीन स्थानीय मॉडल मतदान, एक विश्लेषक को भेजे गए विभाजनों के साथ, इसी तरह की समीक्षा लोड पर होस्ट किए गए मॉडल के रूप में कई गलत स्वचालित कॉल किए और बहुत कम मिलान चूक गए। यह रिपोर्ट पूछती है कि क्या स्थानीय मॉडल खुद को बार तक धकेल दिया जा सकता है। अब तक का जवाब आंशिक हैः लाया जेव्स प्रेसिजन बैंड तक पहुंच सकती है, लेकिन यह बहुमत एस्सेम्बल रिमाइंड तक नहीं पहुंचता है।

बड़ा पूल प्रशिक्षण स्थानांतरित नहीं किया

रुब्रिक अक्ष भी सोने के स्लाइस पर एक कम्प्यूटेड फेल के रूप में सामने आया। वेनिला, 149 tokens , 6 तुलनाओं में से 5 पर 980 tokens , प्रति उपसमूह को बढ़ाया गया था, इसलिए समृद्ध रूब्रिक ने आर्म ए पर कोई मूल्य नहीं जोड़ा। दूसरे क्लाइंट के डेटा पर, वैनीला फिर से अधिक सटीक थी, जबकि उन्नत लगभग 3 अंक की याद के लिए 45 अंकों की परिशुद्धता का व्यापार किया। दोनों चेकपॉइंट प्रति एक बीज थे, और सीड अध्ययन इस बात का मापदंड है कि ऐसा अंतर कितनी दूर स्थापित किया जा रहा है।

आर्म ए डेटा 16,033 उम्मीदवार पंक्तियों के साथ शुरू हुआ। सामान्यीकरण, डुप्लिकेट ड्रॉपिंग, संघर्ष-कुंजी ड्रॉप करना और एक गोल्ड-एक्सक्लूज़न चरण 11,010 पंक्तियाँ, प्रत्येक विशिष्ट जोड़ी कुंजी के लिए एक, 26.24% MATCH के साथ। हर पंक्ति को मानव-समीक्षा की गई थी, और कोई भी सोना नहीं था। स्टेज अंकगणित दोनों तरह से बंद हो जाती है, पंक्तियां और चाबियाँ पर।

आर्म बी डेटा पाइपलाइन s लेबल पूल के साथ शुरू हुआः 613,509 पंक्तियाँ, 41.27% सकारात्मक, गोल्ड 50 के करीब 41.3%। सोने की जोड़ी और विवरणों को बाहर करने के बाद जो सोने में लीक हो जाते हैं, और एक इकाई-विघटित 20,000-पंक्ति सत्यापन सेट को नक्काशी लगाने के बाद, 348,106 प्रशिक्षण पंक्तियां बनी हुई थीं। बहिष्करण ने प्रचलन को संरक्षित नहीं किया था: लीक-वर्णन पंक्तियों ज्यादातर नकारात्मक थे, इसलिए अंतिम प्रशिक्षण विभाजन 55.25% MATCH या 192,328 of 348,106 पंक्ती थी। पूल लेबल भी उसी 2026 -10 फिट-07 रन से आते हैं जिसने सोना का उत्पादन किया था, जिनके जोड़ों को इस पूल से खींचा गया था, इसलिए निर्माण द्वारा आर्म B के लिए सोना नमूना है। प्रसार, स्रोत, पैमाने और लेबल प्रस्थान में एक बार में अंतर होता है, और रिपोर्ट में कुछ भी अलग नहीं कर सकता है कि कौन सी भिन्नता मायने रखती है।

इन-पूल गोल्ड सबसेट पर, पूल चेकपॉइंट्स ने लगभग 0.95 परिशुद्धता और 0.95 रिकॉल के बारे में स्कोर किया, जो कि आर्म ए से बहुत ऊपर है। ग्राहक के वास्तविक आउटपुट पर, उनकी सटीकता लगभग 0.76 तक गिर गई, और उनकी याददाश्त आर्म A से नीचे 0.34 से 0.37, 16 से 21 अंकों तक ढह गई, दोनों रिमाइंड अंतराल आर्म ऐ को साफ करते हैं। उन्होंने मैच को भी एक तिहाई कम जोड़ों पर बुलाया, 6,000 से 7,000 बनाम 9,500 से 10,500.

प्रशिक्षण-डेटा रिसाव हथियारों के बीच की खाई का एक असंभावित स्पष्टीकरण हैः इस ग्राहक के जोड़े या विवरणों में से 1% से कम दोनों हाथों के प्रशिक्षण विभाजन में दिखाई देते हैं। गोल्ड स्कोर डिजाइन द्वारा आर्म बी के लिए नमूना है, इसलिए यह हस्तांतरण के बजाय उस वितरण को फिट करता है। वास्तव में नए डेटा पर, पूल चेकपॉइंट्स NONMATCH पर वापस आते हैं। चूंकि हथियार एक साथ कई तरीकों से भिन्न होते हैं, परिणाम वर्णनात्मक नहीं बल्कि कारणपूर्ण होता है।

अभियान का टेकआउट संकीर्ण हैः आर्म बी रिपोर्ट ने पूल_वेनिला को सोने पर सबसे अच्छा ऑपरेटिंग पॉइंट के रूप में चुना था, और यह परिणाम उस विकल्प को आगे बढ़ाने का समर्थन नहीं करता है। जब इन-पूल और आउट-ऑफ-नमूना असहमत होते हैं, तो आउट-ओफ-सैंपल नंबर वह होता है जिस पर उत्पादन निर्णय लाना चाहिए।

ताजा लेबल सीमाओं की पुष्टि करते हैं, नियम नहीं जीतते

पूरी तुलना उसी मार्च 2026 लिंक रन के दो और विभाजनों पर दोहराई गई थी, सेट 1 और सेट 2, जिनके 1,000-जोड़ी होल्डआउट को प्रत्येक चेकपॉइंट फ्रीज होने के बाद ताजा और अंधा लेबल किया गया था। set1 पकड़ता है 17,099 जोड़े, अनुमानित 49.5% मैच.

एक दायरा नोट इस बात के लिए मायने रखता है कि पाठकों को इन ताजा लेबलों का इलाज कैसे करना चाहिए। वे प्रारंभिक पूर्व-पंजीकृत नियम परीक्षण के लिए एक जमे हुए होल्डआउट थे। बीज और युग अध्ययन, जोड़ी गई लाया-जेव तुलना, और किस चेकप्वाइंट को फिर से प्रशिक्षित करने की पसंद ने उन्हें बाद में पुनः उपयोग किया। उन बाद के विश्लेषणों के लिए, सेट 1 और सेट 2 स्वतंत्र पुष्टि नहीं हैं। वे केवल नए होल्डऑट या स्वतंत्र प्रतिकृति के बाद पुष्टिकरण बन जाते हैं।

स्व-होस्टेड निर्णय मॉडल का मूल्यांकन करने वाली टीमों के लिए, व्यावहारिक संकेत स्पष्ट है। Laya fine-tuning पर समीक्षा किए गए जोड़े एक निश्चित परिचालन बिंदु पर सटीकता पर होस्ट किए गए मॉडल के साथ स्थानीय मॉडल को प्रतिस्पर्धी बना सकते हैं। यह स्वचालित रूप से मॉडल को बेहतर रूटिंग निर्णय नहीं बनाता है, क्योंकि एंसंबल अभी भी अधिक सच्चे मैचों को पुनर्प्राप्त करता है। यह शिप करने के लिए सुरक्षित छह-नियम रीट्रेनिंग भी नहीं करता है. अगला विश्वसनीय कदम अकेले और रुब्रिक टेक्स्ट नहीं है। इसमें बीज प्रतिकृति, लेबल अनिश्चितता से अलग प्रशिक्षण सेट की अनिश्चयता और किसी के दावे से पहले वास्तव में नया होल्डआउट शामिल है कि नियम उतरे थे।