क्यों आपका एजेंट लूप मॉडल की सूचीबद्ध कीमत से अधिक खर्च करता है

मेटा विवरण: देखें कि क्यों एंथ्रोपिक एजेंट लूप लागत, न केवल ओपस या हाइकु टोकन की कीमतें, उपकरण-भारी क्लाउड बिल चलाती हैं और मॉडल को स्वैप करने से पहले बचत कैसे मापी जाती है।

टैगः एंथ्रोपिक, क्लाउड, एजेंट लागत, शीघ्र कैशिंग, टोकन उपयोग

विशेष रुप से प्रदर्शित छवि: छोटे टोकन नोड्स, टूल आइकन और पुनः प्रयास तीर के साथ एक लूपिंग एजेंट पाइपलाइन का अमूर्त, मैत्रीपूर्ण चित्रण; कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

एंथ्रोपिक एजेंट लूप लागत उपकरण-भारी क्लाउड एजेंटों को बनाने वाली टीमों के लिए वास्तविक बजट प्रश्न है। एंथ्रॉपिक का प्रकाशित दर कार्ड Opus 5.5 इनपुट टोकन को $4 प्रति मिलियन और Haiku 4.5 इनपुट tokens को $1 प्रति मिलियन पर सूचीबद्ध करता है, इसलिए एक साधारण डाउनग्रेड 75% कटौती की तरह दिखता है। ओपस आउटपुट में भी 4x खर्च होता है जो कि Haiku आउटपुट लागत होती है। फिर भी कई एजेंट चलाने में बिल केवल इसका एक अंश गिर जाता है क्योंकि Messages API लूप, दोहराए गए टूल-रिज़ल्ट री-इंजेक्शन और रिट्रीट्स व्यय पर हावी होते हैं। व्यावहारिक टेकवे यह हैं कि टोकन कहां जाते हैं, कौन से लीवर मायने रखते हैं, और मॉडल पिकर बदलने से पहले क्या लॉग करना है।

क्यों मॉडल स्वैप बिल को याद करते हैं

एंथ्रोपिक एजेंटों को एक लूप के रूप में फ्रेम करता हैः मॉडल योजनाएं, टूल के माध्यम से कार्य करता है, परिणाम पढ़ता है और जारी रखने का निर्णय लेता है। पहले उपयोगकर्ता संदेश के बाद प्रत्येक चरण या तो नए आउटपुट टोकन का उपभोग करता है या इनपुट टोकनों के रूप میں मौजूदा संदर्भ को फिर से भेजता है। जब तक कैश नहीं किया जाता है तब तक हर मोड़ पर एक प्लानिंग कॉल पूरे सिस्टम प्रॉम्प्ट और टूल स्कीमाओं को इनपुट टॉकेन्स के रूप मे चार्ज करता है। एक टूल कॉल उत्सर्जित करना सस्ता होता है, लेकिन इसका नतीजा अगली कॉल पर पढ़ा जाना चाहिए और इसे पूरी तरह से इनपुट टोकोन्स के तौर पर वापस लौटाया जाना चाहिए। यदि किसी टास्क को छह टूल कॉल्स की आवश्यकता होती है, तो एक रिजल्ट को पुनः पढ़ा जाता है और पांच बाद के कॉल पर दोबारा बिल लगाया जाता है क्योंकि प्रोम्प्ट Messages API पूर्ण वार्तालाप इतिहास को रीसेट कर देता है। रिट्रीट्स इस मिश्रित करते हैंः अगर कोई टूल बुलावा गलत तरीके से बनाया गया हो या कोई कदम फिर से किया जाए, तो एजेंट नए सिरे से

जहां सोच और उपकरण के परिणाम बिल बढ़ाते हैं

विस्तारित सोच एक और लागत वक्र जोड़ती है। सोच टोकन आउटपुट टोकन के रूप में बिल किए जाते हैं और उपयोग.output_tokens_details.thinking_token पर अलग से ट्रैक किया जाता है। ओपस 5.5 और नए पर, पिछले मोड़ 'सोचने वाले ब्लॉक संदर्भ में रहते हैं और अगले कॉल पर इनपुट टोकन की तरह फिर से बिल कर रहे हैं। सोननेट और हाइकू पर, वे मोड़ों के बीच छीन लिए गए हैं और आगे नहीं बढ़ते हैं। विभिन्न मॉडल स्तरों पर समान बहु-चरण कार्य करने वाले दो एजेंटों के पास आधार मूल्य पर विचार करने से पहले भी सार्थक रूप से भिन्न कुल हो सकते हैं।

सोनेट पर एक काम किया गया पैटर्न 5.5

एक प्रतिनिधि एकल उपकरण का उपयोग करने वाला एजेंट सोननेट 5.5 पर टर्न करता है, जो विशिष्ट लॉग किए गए बिल के बजाय एंथ्रोपिक की प्रकाशित दरों से बनाया गया है, एकाग्रता को दर्शाता हैः योजना और अंतिम संश्लेषण एक छोटा अल्पसंख्यक हैं, जबकि टूल-रिज़ल्ट री-इंजेक्शन और एक पुनः प्रयास हावी होता है। मोड़ के साथ लागत स्केल और संदर्भ में ले जाया जाता है, न कि केवल मॉडल स्मार्टनेस या प्रति टोकन मूल्य। एंथ्रॉपिक का कॉन्टेक्स्ट-एडिटिंग उदाहरण इसे ठोस बनाता हैः अगले कॉल से पहले पुराने टूल परिणामों को साफ़ करना 70,000 इनपुट टोकन से 25,000 तक कम कर दिया गया था, 64% मॉडल स्तर, प्रॉम्प्ट या कार्य बदलने के बिना इनपुट-टोकन कटौती।

बिल को स्थानांतरित करने वाले लीवर

बैच प्रोसेसिंग चेक करने के लिए पहला डिस्काउंट हैः अतुल्यकालिक, गैर-इंटरैक्टिव अनुरोधों को ओपस 5.5, सोननेट 5.5 और हाइकु 4.5 में इनपुट और आउटपुट टोकन पर एक फ्लैट 50% छूट मिलती है। पृष्ठभूमि सारांश या रात भर पुनः अनुक्रमण के लिए, वास्तुकला परिवर्तन से पहले वह छूट लागू होती है।

मॉडल स्तर अभी भी मायने रखता हैः यदि किसी कार्य को ओपस-स्तरीय तर्क की आवश्यकता नहीं है, तो सोनेट या हाइकु आधे से एक चौथाई तक इनपुट लागत में कटौती कर सकते हैं। त्वरित कैशिंग अक्सर स्थिर सिस्टम संकेतों के लिए उच्च उत्तोलन होता है या दर्जनों मोड़ पर पुनः उपयोग किए जाने वाले टूल योजनाएं होती हैं। 5 मिनट TTL या 1 घंटे TTL के लिए 2x बेस इनपुट दर के लिए 1.25 गुना कैश लिखने का खर्च आता है; अधिकांश मॉडलों पर और Opus पर 5% जितना कम आधार इनपुट रेट की कैश हिट लागत 10% ।

संदर्भ संपादन का कम उपयोग किया जाता हैः clear_tool_uses_20250919 संपादित प्रकार स्वचालित रूप से कॉन्फ़िगर किए गए इनपुट-टोकन थ्रेसहोल्ड के बाद सबसे पुराने टूल परिणामों को साफ़ करता है, उन्हें सर्वर-साइड प्लेसहोल्डर के साथ बदल देता है, इसलिए क्लाइंट एक अलग ट्रिम की गई वार्तालाप प्रतिलिपि बनाए नहीं रखता है। मुक्त टोकन-गणना अंतबिंदु भेजने से पहले प्रॉम्प्ट, सिस्टम संदेश और टूल सेट का अनुमान लगा सकता है। यह आर्किटेक्चर चलाने और उसके बाद चालान की जांच करने से सस्ता है।

संबंधित मार्गदर्शन: Choosing Between Opus, सोनेट, और हाइकुः ए Cost Framework, शीघ्र कैशिंग और टोकन बजटीकरणः क्या दस्तावेज है बनाम परीक्षा-परीक्षण किया गया, मेमोरी का Three Layers Claude Agent SDK, और उत्पादन में विफलता के लिए क्या करना है।

क्या मापना है और किसको कार्य करना चाहिए

Messages API उपयोग ऑब्जेक्ट प्रत्येक प्रतिक्रिया पर अलग-अलग इनपुट_टोकन, आउटपुट_टेकन्स, कैश_क्रिएशन_इनपुट_टोकेन और कैशे_रीड_इंपुट_टॉकेंस की रिपोर्ट करता है, साथ ही विस्तारित सोच सक्रिय होने पर output_tokens_details.thinking_token। लूप चरण द्वारा टूटकर प्रति कॉल उन चार या पांच नंबरों को लॉग करना, एक अस्पष्ट शिकायत जैसे कि हमारा एंथ्रोपिक बिल अपेक्षित से अधिक है, उदाहरण के लिए यह तय करने योग्य खोज में बदल जाता है कि एक पुनः प्रयास पथ किसी कार्य की टोकन गिनती का अधिकांश कारण बनता है। यदि पहले से ही टूल टीमें कॉल और परिणाम लॉग करती हैं, तो उसी लॉग लाइन में टोकन गणना जोड़ने पर लगभग कुछ भी खर्च नहीं होता है और दिखाता है कि पैसा कहां गया था।

Agent FinOps मूल्य निर्धारण वार्ता की तरह कम दिखता है और प्रोफाइलिंग जैसा अधिक होता हैः मॉडल पिकर दिखाई देता है, लेकिन लूप वह जगह है जहां खर्च होता है। इसका उपयोग तब करें जब मल्टी-स्टेप क्लाउड एजेंट्स टूल्स, रिट्रीस या लंबे संदर्भ के साथ व्यय पर हावी होते हैं; भारी कैश और कॉन्टेक्स्ट-एडिटिंग कार्य को छोड़ दें यदि वर्कलोड ज्यादातर एक शॉट कॉल है या पहले से ही प्रकाशित टोकन फर्श के पास है।

स्रोत नोटः अंतर्निहित विश्लेषण, क्यों आपका एजेंट लूप इसके मॉडल मूल्य टैग से अधिक खर्च करता है, में प्रकाशित किया गया था Towards AI मध्यम पर।