एक लंबे Claude Code सत्र में, कैश किराया, प्रयास स्तर और रूटिंग निर्धारित करें कि वास्तव में tokens कहाँ जाता है

यदि आप Claude Code, Cursor, या किसी भी लंबे समय तक चलने वाले AI कोडिंग एजेंट का उपयोग करते हैं, तो आप शायद यह मान लेते हैं कि आपका अधिकांश बिल मॉडल सोचने के लिए जाता है। एक हालिया विश्लेषण इसके विपरीत सुझाव देता हैः खर्च का भारी बहुमत एजेंट को हर बार अपने स्वयं के वार्तालाप इतिहास को फिर से पढ़ने में जाता है. यहां आपके बजट के लिए इसका क्या अर्थ है, और इसे कैसे मापा जाए।

क्या एक मापा सत्र वास्तव में दिखाया

Itai Spector ने ओपस 5.5 पर चलने वाले लगभग 92 मिनट लंबे एक वास्तविक Claude Code सत्र के विश्लेषण को प्रकाशित किया। हेडलाइन निष्कर्षः सत्र की लागत का लगभग 82% संदर्भ रीरीडिंग में चला गया, जबकि केवल 9.5% के बारे में tokens तर्क करने के लिए गए थे। शेष 8.5% ने बाकी सब कुछ कवर किया और आगे नहीं तोड़ा गया था।

ये आंकड़े लेखक के अपने मापों से आते हैं, स्वतंत्र सत्यापन नहीं। मैं केवल लेख का सार्वजनिक पूर्वावलोकन देख सकता था, इसलिए इन सभी संख्याओं को पुष्टि की बजाय रिपोर्ट के रूप में मानें।

इसी विश्लेषण ने एक समान प्रकार के सत्र पर दो सेटअप की तुलना की। router जिसने प्रति मोड़ एक मॉडल चुना था, उसकी लागत $1.70 थी। बस बड़े मॉडल को उच्च प्रयास पर छोड़ने से $1.94 का खर्च आया। अंतर $0.24 था, लगभग 12%। यह वास्तविक बचत है, लेकिन यह नाटकीय कमी नहीं है जो कि router डेमो अक्सर निहित करते हैं।

एक सत्र, एक लेखक और दो रन जो लगभग निश्चित रूप से घुमावों के समान अनुक्रम का पालन नहीं करते हैं एक एजेंट कभी भी दो बार एक ही रास्ता नहीं लेता है। 12% आंकड़े को एक निश्चित नियम के रूप में व्यवहार नहीं किया जाना चाहिए। हालांकि, 82% आंकड़ा इस बात से मेल खाता है कि अंतर्निहित तंत्र कैसे काम करता है।

री-रीडिंग बिल पर हावी क्यों है

एजेंट सत्र का प्रत्येक मोड़ पूरी बातचीत को पुनः भेजता हैः सिस्टम प्रॉम्प्ट, टूल परिभाषाएं, हर पिछला संदेश और हर टूल परिणाम। मॉडल के पास कॉल के बीच कोई मेमोरी नहीं है। हार्नेस सब कुछ फिर से भेजकर याद रखता है।

प्रॉम्प्ट कैशिंग से रिसेन्ड करना सस्ता होता है, मुफ्त नहीं। कैश में एक उपसर्ग लिखना सामान्य इनपुट की तुलना में थोड़ा अधिक खर्च करता है। कैश्ड प्रीफिक्स को पढ़ने के लिए साधारण इनपुट का एक छोटा सा अंश लगता है। डिफ़ॉल्ट कैच लगभग पांच मिनट तक रहता है, उच्च लागत पर उपलब्ध लंबे विकल्प के साथ।

एक व्यस्त सत्र में, अधिकांश इनपुट को सस्ते कैश-रीड रेट पर बिल किया जाता है। लेकिन 150K- token उपसर्ग द्वारा गुणा किए गए छोटे अंश को सौ मोड़ से गुणा करना अभी भी चालान पर सबसे बड़ी संख्या है। सोचने के लिए नए tokens पर प्रति मोड़ एक बार होता है। रीडिंग सब कुछ पर हर बारी होती है।

फिर वहाँ है ठंड मोड़. सात मिनट के लिए दूर कदम, वापस आ जाओ, एक पंक्ति टाइप करें, और कैश समाप्त हो गया है. कि एकल लाइन लिखने की दर पर पूरे उपसर्ग वापस खींचती है. यह अदृश्य है जब तक आप प्रति मोड़ उपयोग लॉग नहीं करते हैं, क्योंकि इंटरफ़ेस आपको चेतावनी नहीं देता है कि इस मोड़ में पिछली बार से कई गुना खर्च होता है।

क्या प्रयास स्तर वास्तव में बदलते हैं

प्रयास के स्तरों पर Anthropic का अपना मार्गदर्शन दो बिंदुओं में आता हैः निर्माण के लिए कम प्रयास और सत्यापन के लिए अधिक प्रयास का उपयोग करें, और उच्चतम प्रयास की स्थापना लागत निम्न अंत की तुलना में प्रति प्रयास लगभग तीन गुना है।

यह सलाह अलग दिखती है जब आप जानते हैं कि सोचना खर्च के 10% से नीचे है. प्रयास ज्यादातर सोच स्लाइस को स्थानांतरित करता है. यहां तक कि इसे हर मोड़ पर तीन गुना करना भी वह नहीं है जो एक बिल उड़ाता है. मोड़ों की संख्या वह है जो बिल को उड़ाती है, क्योंकि प्रत्येक अतिरिक्त मोड़ फिर से पढ़ने का भुगतान करती है।

यदि कम प्रयास का अर्थ है कि एजेंट तीन प्रयास करता है जहां उच्च प्रयास एक लेता था, तो आपने सोचने पर बचत की और संदर्भ के दो अतिरिक्त पूर्ण रीडों के लिए भुगतान किया। मोटी उपसर्ग के साथ लंबे सत्र में, वह व्यापार आसानी से गलत हो सकता है। यह इस बात का हिस्सा हो सकती है कि तुलना में router के इतने करीब क्यों बस उच्च प्रयास सेट करेंः कम व्यर्थ दौर सस्ता tokens प्रति बारी से अधिक मूल्यवान हो सकते हैं।

एक उचित कामकाजी नियम: कम निर्माण करें जब कार्य यांत्रिक हो और पुनः प्रयास की संभावना न हो। उच्च सत्यापित करें, क्योंकि कुछ याद करने वाले सत्यापन के लिए बाद में अतिरिक्त चक्र खर्च होता है।

कैश समस्या राउटर का उल्लेख नहीं करते

Reported Haiku-5.5 मूल्य निर्धारण $0.10 प्रति मिलियन इनपुट tokens और $0.50 प्रति मिलियन आउटपुट tokens था, जो कि 100K- tokens तक के संकेतों के लिए था। लंबे एजेंट संदर्भ उस 100K सीमा को पार कर सकते हैं, और स्तरित मूल्य निर्धारण की अनदेखी करना आसान है।

उन कीमतों पर, Haiku के लिए आसान काम रूटिंग मोहक है. पकड़ः कैश एक मॉडल से संबंधित है। जब router ओपस से हाइकु को मोड़ता है, तो हाईकू ओप्स की कैश्ड प्रीफिक्स नहीं पढ़ सकता है। आगे और पीछे फ्लिप करें, और प्रत्येक स्विच का मतलब आपके द्वारा स्विच किए गए मॉडल पर एक ठंडा उपसर्ग हो सकता है. एक सत्र में जहां खर्च का 82% फिर से पढ़ा जा रहा है, एक router , जो कैश निरंतरता को तोड़ती रहती है, सबसे छोटे लीवर के साथ सबसे बड़ी लागत से लड़ रही है।

सलाहकार पैटर्न संरचना को पलट देता है। प्रति मोड़ एक मॉडल के बजाय, एक सस्ता मॉडल काम करता है और एक महंगे मॉडल से कभी-कभी सलाहकार के रूप में परामर्श किया जाता है। जो इसे आकर्षक बनाता है वह यह नहीं है कि सलाहकार सस्ते हैं यह है कि advisor एक संक्षिप्त संदर्भ देखता हैः कार्य और प्रस्तावित परिवर्तन, पूरे 92 मिनट का इतिहास नहीं। आप पूर्ण ट्रांसक्रिप्ट पर Opus कैश किराए के बजाय कुछ हजार tokens पर ओपस की कीमतों का भुगतान करते हैं।

अपने स्वयं के सत्रों को मापना

मैंने वास्तविक उपयोग के खिलाफ इन दावों की जांच करने के लिए टोकनरेंट नामक एक छोटा सी # हार्नेस बनाया। यह .नेट में token बजट के बारे में सी # कॉर्नर पर रैंकनोड लेख से एक विचार का पुनः उपयोग करता हैः प्रत्येक मॉडल कॉल से पहले एक भत्ता आरक्षित करें, बाद में इसे वास्तविक उपयोग से निपटें, और यदि कोई कॉल हो सकता है लेकिन कोई उपयोग रिपोर्ट वापस नहीं आती है, तो आरक्षण को बनाए रखें और आगे प्रवेश रोक दें। आपने जो खर्च किया है उसे न जानना बंद करने का कारण माना जाता है, शून्य नहीं।

हार्नेस उस दर्शन का विस्तार करता है: बिना ज्ञात मूल्य के एक मॉडल भी लागत रिपोर्ट को रोकता है। एक त्रुटि एक आत्मविश्वासपूर्ण कुल से बेहतर है जिसने चुपचाप शून्य पर आधे मोड़ की कीमत लगाई थी।

इसके चार मोड हैंः

• प्रतिलेख: एक Claude Code सत्र लॉग पढ़ें और कैश-हॉट और कैस-कोल्ड मोड़ को अलग करते हुए, प्रति मोड़ खर्च करें।
• जांच- API : Anthropic API पर तीन बार एक ही लंबा उपसर्ग भेजें (ठंडा, गर्म, फिर टीटीएल के बाद प्रतीक्षा करें) और प्रत्येक कॉल की लागत प्रिंट करें।
• जांच- Ollama : सस्ते स्तर के लिए एक स्थानीय Ollama मॉडल के खिलाफ एक ही जांच।
• सलाहकार: एक कार्य को दो तरह से चलाएं पूर्ण संदर्भ के साथ अकेले ओपस, या सस्ते निष्पादक (हाइकू या स्थानीय Ollama मॉडल) केवल ओप्स की समीक्षा करने वाले कार्य और परिणाम।

सेटअप के लिए किसी NuGet पैकेज की आवश्यकता नहीं है; सब कुछ बेस क्लास लाइब्रेरी में है. स्थानीय स्तर के लिए, qwen2.5-coder:7b जैसे मॉडल को Ollama तक खींचें, या तो सीधे स्थापित करें या Docker में चलाएं।

प्रोजेक्ट के बगल में JSON की कीमतें बनाएं। हाइकु लाइन ऊपर दी गई संख्याओं का उपयोग करती है। वर्तमान मूल्य निर्धारण पृष्ठ से ओपस पंक्ति को स्वयं जोड़ें हार्नेस एक मॉडल पर चलाने से इनकार करता है जिसके लिए इसकी कोई कीमत नहीं है, जो कि बिंदु है। कैश गुणक लिखने के लिए 1.25x और पढ़ने के लिए 0.10x पर डिफ़ॉल्ट हैं; यदि वे भिन्न होते हैं तो उन्हें मौजूदा प्रलेखन के खिलाफ सत्यापित करें और प्रति मॉडल ओवरराइड करें।

आपके बिल के लिए इसका क्या अर्थ है

व्यावहारिक टेकअवे "एक सस्ता मॉडल पर स्विच करें" या "प्रयास को कम करें"। यह है कि टर्न काउंट और कैश निरंतरता लंबी एजेंट सत्रों में प्रति token दरों से अधिक मायने रखती हैं। गर्म कैश के साथ कम मोड़ आमतौर पर सस्ते tokens के साथ अधिक मोड़ों को हरा देंगे।

यदि आप अपने स्वयं के उपयोग के खिलाफ इनमें से किसी को भी जांचना चाहते हैं, तो हार्नेस एक प्रारंभिक बिंदु है। स्पेक्टर द्वारा रिपोर्ट की गई संख्याएं उसकी हैं, मेरे द्वारा सत्यापित नहीं हैं, और आपके सत्र अलग-अलग होंगे। लेकिन तंत्र हर मोड़ पर बढ़ते संदर्भ का पुनर्मूल्यांकन करना सभी के लिए समान है, और यह किसी अन्य व्यक्ति के प्रतिशत पर बजट बनाने से पहले अपने लॉग में देखने लायक है।