ट्यूटोरियल

Claude Code अनुबंधों में $800,000 को अनदेखा किया गया, और यहां बताया गया है कि आपका कैसे जांचें

Claude Code चूक गया $800,000 और अव्यवस्थित अनुबंध डेटा के कारण एक समय सीमा। AI समीक्षा से पहले लिंक किए गए संशोधनों, नवीनीकरण खंडों और पूर्व-प्रसंस्करण की जांच करें।

मुख्य जानकारी

  • Claude Code ने विश्वसनीय लेकिन गलत अनुबंध उत्तर दिए क्योंकि अंतर्निहित दस्तावेज़ संरचना अपूर्ण थी, इसलिए नहीं कि मॉडल केवल अनुमान लगा रहा था।
  • सिस्टम अपने मूल समझौते के लिए एक संशोधन को जोड़ने में विफल रहने से $800,000 अनुबंध मूल्य अंतर चूक गया।
  • इसने एक स्वचालित नवीनीकरण खंड से पहले की तारीख को प्राप्त करने के बजाय समाप्ति खंड पर भरोसा करके गलत कार्रवाई की समय सीमा का भी उल्लेख किया।
  • सामान्य अनुबंध-डेटा जाल में अनाथ संशोधन, पुनरावर्ती कुल शामिल हैं जिन्हें दो बार गिना जा सकता है और पूर्व प्रसंस्करण विफलताएं जैसे कि टाइमआउट या टूटी हुई पृष्ठ तालिकाएँ।
  • CUAD-आधारित जांच से पता चलता है कि ये मुद्दे मापने योग्य हैंः कई अनुबंधों में कम सूचना अवधि के साथ स्वचालित नवीकरण होता है, संशोधन मूल दस्तावेजों के बिना दिखाई दे सकते हैं और 'संशोधित और पुनरावर्ती' भाषा को सावधानीपूर्वक संभालने की आवश्यकता होती है।

मेटा विवरणः Claude Code ने एलिक्स पार्टनर्स के अनुबंध परीक्षण में कुल $800,000 और नवीनीकरण की समय सीमा को याद किया। देखें कि क्यों गन्दा अनुबंध डेटा AI एजेंटों को मूर्ख बनाता है और कैसे जांचें।

टैगः Claude Code, अनुबंध डेटा, एलिक्स पार्टनर्स, AI एजेंट

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक अनुबंध पाइपलाइन का अमूर्त मैत्रीपूर्ण चित्रण जिसमें छिपी हुई नवीनीकरण घड़ी है, कोई वास्तविक लोग नहीं हैं, कोई लोगो और कोई पाठ नहीं है।

Claude Code को अनुबंध फाइलें खिलाती टीमों के लिए, एक AlixPartners वार्ता चेतावनी है: अंतर्निहित दस्तावेज़ संरचना अधूरी होने पर एक प्रशंसनीय उत्तर अभी भी गलत हो सकता है। 8 नवंबर को, AI Engineer चैनल ने एक छोटे से स्वास्थ्य सेवा कंपनी की खरीद और 40,000 से अधिक अनुबंध दस्तावेजों की समीक्षा करने की आवश्यकता के बारे में एलिक्सपार्टनर्स के Natalia Connolly और Kevin Madura द्वारा सत्र पोस्ट किया। सौदे की सिंथेटिक प्रतिकृति का उपयोग करते हुए, वक्ताओं ने दिखाया कि कैसे Claude Code ने तैयार किए गए जवाब दिए, फिर डेटा वेयरहाउस के खिलाफ उन उत्तरों की जांच की। खर्च और अनुबंध गणना सही थी। दो महत्वपूर्ण परिणाम नहीं थेः कुल अनुबंध मूल्य लगभग $800,000 तक बंद था, और कार्रवाई की समय सीमा एक महीने देर से थी।

उत्तर पूर्ण प्रतीत होते हैं

विफलता एक लापता संख्या नहीं थी। कुल अनुबंध मूल्य लगभग $800,000 से गलत था क्योंकि Claude Code को कोई संशोधन नहीं मिल सका जो कभी भी अपने मूल अनुबंध से जुड़ा हुआ न हो। दूसरी त्रुटि एक समय सीमा थी। एजेंट ने कार्य करने की तारीख के रूप में 1 दिसंबर की सूचना दी। सही तिथि 1 नवंबर थी, क्योंकि अनुबंध उस बिंदु के बाद खुद को नवीनीकृत करता है। एजंट ने इसे नवीकरण खंड से प्राप्त करने के बजाय समाप्ति खंड से लिया।

चर्चा समस्या को एक डेटा-संरचना समस्या के रूप में फ्रेम करती है, न कि केवल मॉडल विफलता। यदि कोई संशोधन उसी रिपॉजिटरी में बैठता है लेकिन समझौते से जुड़ा नहीं है तो यह बदल जाता है, केवल लिंक किए गए रिकॉर्ड पढ़ने वाली प्रणाली एक स्वच्छ कुल उत्पन्न कर सकती है जो अभी भी गलत है। अगर नवीनीकरण खंड में वास्तविक समय जाल होता है, तो केवल समाप्ति तिथि पढ़ने वाला सिस्टम पहले की अधिसूचना की समय सीमा को याद कर सकता है।

क्यों गन्दा अनुबंध डेटा धोखा दिया Claude Code

अनुबंध फाइलें अक्सर कई जाल छिपाती हैं। एक अनाथ संशोधन मूल समझौते को याद करते हुए अपने आप में वैध दिखाई दे सकता है। एक मास्टर समझौता और दो संशोधन प्रत्येक कुल मूल्य का उल्लेख कर सकते हैं। उन्हें जोड़ना लगभग $17 मिलियन देता है, लेकिन संशोधनों ने कुल को फिर से निर्धारित किया है, इसलिए नवीनतम मूल्य $7 मिलियन है।

पूर्व-प्रसंस्करण भी चुपचाप विफल हो सकता है। एक लंबा अनुबंध लटक सकता है, टाइमआउट पकड़ा जा सकता है और दस्तावेज़ कभी डेटाबेस तक नहीं पहुंच सकता। एक दर तालिका पृष्ठों में टूट सकती है, जिसमें पेज दो खाली संख्याओं के रूप में शुरू होता है और कोई हेडर नहीं होता है। यहां तक कि एक्सेस से वंचित त्रुटि एजेंट को शून्य चालान की तरह देख सकती है।

व्यावहारिक सबक यह है कि एक मॉडल डेटा के अपूर्ण मानचित्र का उपयोग करते हुए सही लग सकता है। Claude Code केवल अनुमान नहीं लगा रहा था; यह पाइपलाइन ने जो दिया उसके आधार पर जवाब दे रहा था।

स्क्रिप्ट 510 CUAD अनुबंधों की जाँच करता है

वक्ताओं ने एक dataset की ओर भी इशारा किया जो समस्या को मापने योग्य बनाता हैः Contract Understanding Atticus Dataset, या CUAD। इसमें सार्वजनिक SEC फाइलिंग से 510 अनुबंध हैं, जिनमें प्रत्येक में 41 विशेषज्ञ लेबल वाले फ़ील्ड शामिल हैं, जिसमें "Renewal Term" और "Notice Period To Terminate नवीनीकरण" शामिल हैं।

dataset को प्राप्त किया जा सकता हैः

`git क्लोन --गहराई 1 https://github.com/TheAtticusProject/cuad.git`
∀cd क्वाड && unzip -q data.zip`

अनज़िप चरण CUADv1. JSON देता है, लगभग 40 MB। चेक स्क्रिप्ट, contractcheck.py, केवल मानक पुस्तकालय का उपयोग करता है और एक मॉडल को नहीं बुलाता है। नोटिस पार्सर "कम से कम" या "पहले" जैसे क्यू के पास "नब्बे (90) दिन" जैसी अवधि की तलाश करता है। महीनों को 30 दिनों के रूप में गिना जाता है। बदलने के लिए कुंजी सेटिंग RENEWS_ON है, जिसे लिपि परीक्षण समाप्ति तिथि के तौर पर इस्तेमाल करती है।

इसे चलाएँः

∀python3 contractcheck.py CUADv1. JSON `

परिणाम 1: समय सीमा जाल आम है

स्क्रिप्ट ने 510 अनुबंधों को लोड किया। इसमें नवीनीकरण या विस्तार खंड के साथ 176 अनुबंध पाए गए। उनमें से, 115, या 23 प्रतिशत, "स्वचालित" कहते हैं। सभी 510 में से 18 प्रतिशत अन्य 91 अनुबंध भी नवीकरण बंद करने के लिए एक नोटिस अवधि रखते हैं। उन 91 मामलों में से 82 में नोटिस की अवधि दिनों तक होती है।

औसत सूचना अवधि 90 दिनों की थी, जिसमें 15 से 365 दिन तक का समय था। विश्लेषण किए गए नोटिस इन बैंडों में गिरेः 21 1 से 30 दिन थे, 37 31 से 90 दिन, 22 91 से 180 दिन और 2 181 से 400 दिन थे। परीक्षण तिथि RENEWS_ON को जनवरी 1, 2027 के रूप में उपयोग करते हुए, एक मध्यम 90-दिवसीय नोटिस का मतलब है कि 3 अक्टूबर, 2026 तक कार्य करना, न कि 1 जनवरी, 2027.

नौ नोटिस अवधि अपठनीय थी, और उनमें से पांच को फाइलिंग में एस्टेरिक्स के साथ संपादित किया गया था। एक पठनीय उदाहरण CENTRACKINTERNATIONALINC_10_29_1999-EX-1 से आया है, जहां पार्सर ने "पंद्रह (15) दिनों" से 15 दिन पाए हैं। AlixPartners बातचीत में 30-दिन की चूक शामिल है, और CUAD में 82 पठनीय अवधियों में से 21 30 दिन या उससे कम हैं। क्यू के बिना, पार्सर नोटिस की अवधि के बजाय टर्म लंबाई पकड़ने का जोखिम उठाएगा।

परिणाम 2: अनाथ संशोधन गायब हो सकते हैं

CUAD नमूना एक फ़िल्टर्ड निर्यात की तरह हैः इसमें प्रत्येक मूल दस्तावेज़ शामिल नहीं है। स्क्रिप्ट ने 9 संशोधन पाए और 3 अनाथों की पहचान कीः Columbia Laboratories, सेरुस, और एडीएमए. उन फाइलर्स के लिए, सेट में कहीं भी कोई मूल दस्तावेज दिखाई नहीं देता है। यदि किसी एजेंट को उनकी शर्तें पूछी जाती हैं और केवल संशोधन देखता है, तो जवाब पूर्ण दिख सकता है जबकि वह समझौता गायब हो जाता है जिसे यह बदलता है।

स्क्रिप्ट यह भी नोट करती है कि शीर्षक-आधारित चेक संशोधनों को कम करते हैं। अधिक संशोधन सादे समझौते के नामों के तहत छिप सकते हैं, इसलिए शीर्षक में "संशोधन" जैसे शब्द पर भरोसा करना पर्याप्त नहीं है।

परिणाम 3: संशोधित दस्तावेज खर्च की दोहरी गणना कर सकते हैं

चार अनुबंधों ने वाक्यांश को पहले 300 वर्णों में रखा है, जिसका अर्थ है कि दस्तावेज़ स्वयं एक पुराने संस्करण की जगह ले रहा है। पंद्रह अनुबंध पहले 3,000 अक्षरों के भीतर वाक्यांक का उपयोग करते हैं। उनमें से ग्यारह बाद में इसका उपयोग कर रहे हैं, अक्सर अन्य समझौतों का हवाला देते हुए, इसलिए केवल एक खोजशब्द हिट सबूत नहीं है।

यह महत्वपूर्ण है क्योंकि एक पुनर्निर्मित समझौते में एक नया कुल हो सकता है. यदि पूर्ववर्ती संस्करण और पुनर्नवीनीकरण संस्करण दोनों एक ही फ़ोल्डर में हैं, तो एक साधारण योग उसी सौदे को दो बार गिना जा सकता है।

परिणाम 4: कवरेज जांच मौन बूंदों को पकड़ती है

कवरेज जांच पूछता है कि क्या प्रत्येक इनपुट दूसरे छोर से बाहर आया। सीयूएडी में, खाली पाठ 0, सबसे लंबा अनुबंध 338,211 वर्ण था, और 81 अनुबंधों ने 100,000 वर्णों को पार कर लिया। यदि पूर्व-प्रसंस्करण चरण में समय सीमा होती है, तो सबसे लंबे दस्तावेजों के पहले असफल होने की संभावना है।

फिक्स गिनती है: दस्तावेज़ों में बराबर पंक्तियों को बाहर करना चाहिए। लेख एक छोटी साथी फ़ाइल, mine.py का भी सुझाव देता है, आपकी अपनी पाइपलाइन के लिए। उदाहरण में, input_ids प्रत्येक फ़ीड की गई फाइल को सूचीबद्ध करता है, जैसे कि c1, c2, और c3, जबकि पंक्तियाँ क्या निकली हैं, जैसे $120,000 खर्च करने वाले सी 1 और 0 के साथ सी 3 । लापता सेट तब सी 2 प्रकट करता है। यह मूक बूंदों के खिलाफ बुनियादी सुरक्षा है।

AlixPartners फिक्सः पहले डेटा संरचना

वार्ता विफलता पर नहीं रुकती। प्रस्तावित फिक्स Claude Code को जवाब देने के लिए कहने से पहले डेटा की संरचना करना है। पांच चरण हैंः ऑप्टिकल कैरेक्टर रिकग्निशन, प्रत्येक दस्तावेज़ को एक समझौते, संशोधन या गैर-प्रकटीकरण समझौते के रूप में वर्गीकृत करना, शर्तों, दरों और खर्च निकालना, व्यय श्रेणियों का मानचित्रण करना, और केवल तब Claude Code चलाना कस्टम टूल जैसे "रेट कार्ड पेज प्राप्त करें" और अंतर्निहित व्यावसायिक नियम।

वक्ताओं का कहना है कि पाइपलाइन बनाने में दो सप्ताह लगे। उसके बाद, 40,000 से अधिक अनुबंध रातोंरात चले गए, और प्रत्येक उत्तर को कोड में चेक किया जा सकता था। यह एक त्वरित जवाब और एक बचाव योग्य के बीच महत्वपूर्ण अंतर हैः मॉडल सारांश लिख सकते हैं, लेकिन संरचित डेटा परत तय करती है कि मॉडल को क्या देखने की अनुमति है।

पाठकों को क्या देखना चाहिए

यदि आप अनुबंध डेटा पर AI एजेंटों का उपयोग करते हैं, तो उपयोगी जांच यह नहीं है कि क्या उत्तर पूर्ण लगता है। यह है कि पाइपलाइन साबित कर सकती है कि सही दस्तावेज, खंड, संस्करण और कवरेज पंक्तियों को शामिल किया गया था। एक ही चार सवालों के साथ शुरू करें: क्या वास्तविक समय सीमा समाप्ति की तारीख से पहले नोटिस अवधि के साथ स्वतः नवीकरण वाले अनुबंध हैं? क्या संशोधन मूल समझौतों से जुड़े हुए हैं? इनपुट गणना पूर्व-प्रसंस्करण के बाद आउटपुट गिनती से मेल खाती है?

एलिक्सपार्टनर्स मामला मूल्यवान है क्योंकि त्रुटियां विदेशी नहीं थीं। एक लापता मूल लिंक, नवीनीकरण की तारीख के बजाय पढ़ी गई समाप्ति तिथि और एक पुनर्निर्धारित कुल सभी एजेंट को साफ दिख सकते हैं। 510 से अधिक सीयूएडी अनुबंधों की स्क्रिप्ट बताती है कि क्योंः नमूने का 18 प्रतिशत पहले से ही समय सीमा जाल में शामिल है, और शेष जांच समान संरचनात्मक जोखिमों को प्रकट करती है। Claude Code सही लग रहा था, लेकिन डेटा तैयार नहीं था।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.