TokenEconomizer AI कोडिंग एजेंटों को पिछले अनुभव से सीखकर अधिक कुशल बनने में मदद करता है
TokenEconomizer सूक्ष्म-कौशल, उपकरण छंटाई और विफलता लूप फिक्स के माध्यम से SWE-बेंच लागत 18.4-30.9% में कटौती करने के लिए कोडिंग एजेंट लॉग्स से सीखता है।
मेटा विवरण: एक open-source प्लगइन TokenEconomizer, अंतर्निहित मॉडल को बदलने के बिना 277 SWE-Bench कार्यों में 18.430.9%30.9% द्वारा AI कोडिंग एजेंट की लागत कम करता है।

टैगः AI कोडिंग एजेंट, TokenEconomizer, SWE-Bench, लागत नियंत्रण
विशेष रुप से प्रदर्शित छवि: रिपॉजिटरी सत्र लॉग का एक अमूर्त, मैत्रीपूर्ण चित्रण जो एक हल्के नियंत्रक में बहता है जो बार-बार टूल कॉल और विफलता लूप को ट्रिम करता है; कोई वास्तविक लोग नहीं हैं, न ही लोगो या पाठ।
डेवलपर्स जो एक ही कोडबेस में कई सत्रों पर AI कोडिंग एजेंट चलाते हैं, वे टोकन इकोनोमाइज़र का उपयोग कर सकते हैं। यह पूर्ण सत्र लॉग्स को बाद के सत्रों के लिए रिपॉजिटरी-विशिष्ट मार्गदर्शन में बदल देता है, 277 वास्तविक बग-फिक्सिंग कार्यों में औसत लागत 18.430.9%30.9% तक काटता है जबकि कार्य की सफलता व्यापक रूप से स्थिर रहती है। यह मौजूदा एजेंट के बगल में काम करता है और एजेंट या इसके अंतर्निहित मॉडल को संशोधित नहीं करता है।
अपशिष्ट कार्यों के बीच दिखाई देता है, न केवल एक कार्य के भीतर
AI कोडिंग एजेंट तेजी से डेवलपर्स को बग ठीक करने और सीमित चरण-दर-चरण इनपुट के साथ सुविधाओं का निर्माण करने में मदद करते हैं। प्रत्येक सत्र अभी भी मॉडल को निर्देश, टूल विवरण और सत्र इतिहास भेजता है, इसलिए हर मोड़ की लागत होती है। अधिकांश लागत कटौती कार्य कार्यों को अलग-थलग नौकरियों के रूप में मानते हैं। हालांकि, डेवलपर एक ही रिपॉजिटरी पर लौटते हैं, जो एक एजेंट को पिछले काम से सीखने का मौका देता है। उस सीखने के बिना, यह फिर से पता लगा सकता है कि परीक्षण कैसे चलाया जाए, उपकरण लोड करें जिसका वह कभी उपयोग नहीं करता है, या उसी त्रुटि को दोहराते हुए दर्जनों बारी खर्च कर सकता है।
शोध दल ने पहले एसडब्ल्यूई-बेंच से 60 कार्यों पर प्रोफाइल Claude Code बनाया, जो open-source Python परियोजनाओं में वास्तविक बग फिक्स का एक बेंचमार्क है, प्रत्येक रिपॉजिटरी से अनुक्रमिक रूप से कार्य चलाते हुए। तीन पैटर्न बार-बार दिखाई दिए। एक बार जब किसी रिपोजिटरी में कम से कम पांच पूर्ण किए गए कार्य थे,30% टूल कॉल उसी रिपोज़िटरी के पिछले कार्य की कार्रवाई को दोहराया गया था, जबकि केवल 7% दूसरे भंडार के इतिहास की कार्रवाई से मेल खाता था। एजेंट को हर मोड़ पर 23 उपकरण विवरण प्राप्त हुए, लेकिन 16 कभी नहीं बुलाए गए। और असफल होने वाले कार्यों के 17% खर्च 32% का उपभोग किया।
अध्ययन में तीन लोकप्रिय open-source प्लगइन्स का भी परीक्षण किया गया है जो कि निश्चित लागत-बचत रणनीतियों के आसपास बनाए गए हैं। प्रत्येक ने कुछ रिपॉजिटरी में लागत कम की लेकिन दूसरों को नहीं। इस परिणाम से एक अधिक व्यावहारिक निष्कर्ष निकाला गयाः हर जगह एक रणनीति लागू करने के बजाय लागत नियंत्रण को भंडारण के अनुकूल बनाने की आवश्यकता है।
समाप्त सत्रों से तीन हल्के नियंत्रण सीखते हैं
एक सत्र समाप्त होने के बाद, TokenEconomizer लॉग पढ़ता है और अपने रिपॉजिटरी ज्ञान को अपडेट करता है। फिर यह तीन तंत्रों के माध्यम से कार्य करता है, केवल एजेंट द्वारा पहले से प्रदान किए गए इंटरफेस का उपयोग करके, इसलिए एजेंट अपरिवर्तित रहता है।
पहला तंत्र सूक्ष्म-कौशल है। ये एक पंक्ति के नोट हैं जो रिपॉजिटरी-विशिष्ट तथ्यों को पकड़ते हैं। TokenEconomizer सत्रों में पुनरावर्ती पैटर्न की तलाश करता है और जब कोई पैटर्न कई बार दिखाई देता है तो एक नोट प्रस्तावित करता है। उस पुष्टि के बाद ही एजेंट के शुरुआती संदर्भ में नोट जोड़ दिया जाता है, और यदि बाद का सबूत इसके विपरीत होता है तो इसे सेवानिवृत्त कर दिया जाएगा।
दूसरा उपकरण छंटाई है। रिपॉजिटरी इतिहास दिखा सकता है कि एजेंट का उपयोग करने की संभावना नहीं है। TokenEconomizer उन उपकरणों को प्रारंभिक संदर्भ से हटा देता है, जबकि हमेशा कमांड चलाने और फ़ाइलों को संपादित करने के लिए कोर टूल बनाए रखता है। यदि एक निकाले गए टूल आवश्यक हो जाते हैं, तो इसे बहाल किया जा सकता है।
तीसरा विफलता-लूप हस्तक्षेप है। जब कोई एजेंट एक ही असफलता को हिट करता रहता है, तो एक जज मॉडल तय करता है कि क्या यह वास्तव में अटक गया है या अभी भी प्रगति कर रहा है। यदि यह फंस गया प्रतीत होता है, एजेंट को एक अलग दृष्टिकोण का सुझाव देते हुए एक संक्षिप्त नोट प्राप्त होता है। open-source प्लगइन में, अगर एजेंट उस नोट के बाद फंस जाता है, TokenEconomizer स्वयं काम को रोकने के बजाय डेवलपर को सतर्क करता है।
नियंत्रक को नए सबूत आने पर अपने निर्णयों में संशोधन करने के लिए डिज़ाइन किया गया है। रिपोर्ट की गई लागत बचत में TokenEconomizer के स्वयं के मॉडल कॉल की लागत भी शामिल है।
परीक्षण परिणामः प्रत्येक रिपॉजिटरी जोड़ी में कम लागत
मूल्यांकन में छह भंडारों से 277 एसडब्ल्यूई-बेंच कार्य शामिल थे, जिसमें पांच AI कोडिंग एजेंट और मॉडल संयोजन का उपयोग किया गया था। प्रत्येक रिपॉजिटरी के लिए, टोकन इकोनोमाइज़र बिना किसी पूर्व सत्र इतिहास के शुरू हुआ। उन सेटिंग्स पर, इसने औसत लागत कम कर दी 18.4 30.9%. 30.9% यह प्रदर्शन हानि के बिना सभी 30 रिपोजिटर-संयोजन जोड़े में सबसे अधिक बचाया।
तर्क प्रयास के साथ तुलना महत्वपूर्ण है। मॉडल के तर्क प्रयास को कम करने से समान या अधिक मात्रा में बचत हुई, लेकिन इसने पर्याप्त प्रदर्शन गिरावट का कारण बना। टोकन इकोनोमाइज़र के पास @ 1 परिणाम पांच एजेंट-मॉडल संयोजनों में से चार में बढ़े, जबकि लागत हर परीक्षण रिपोजिटरी में गिर गई।
समय के साथ बचत भी बदल गई। शुरुआती कार्यों की लागत अधिक हो सकती है जबकि टोकन इकोनोमाइज़र सीखता है। Claude Code परीक्षणों में, छठे कार्य द्वारा प्रत्येक रिपॉजिटरी में संचयी लागत डिफ़ॉल्ट से नीचे गिर गई। तीन तंत्रों में से प्रत्येक ने अपने दम पर बचत का योगदान दिया, और सभी तीनों को जोड़कर सबसे बड़ी कमी आई।
यह पैटर्न बग फिक्सिंग पर नहीं रुका। वेब-बेंच पर अनुक्रमिक वेब विकास कार्यों में, लागत 16.021.2%21.2% कम थी। सुरक्षा ऑडिटिंग में, जहां प्रत्येक कार्य एक नए रिपॉजिटरी में होता है, लागत 6.4[19.6% कम थीं।
किसे कोशिश करनी चाहिए, और किसको छोड़ना चाहिए
TokenEconomizer उन डेवलपर्स और शोधकर्ताओं के लिए सबसे उपयोगी है जो एक ही रिपॉजिटरी में बार-बार AI कोडिंग एजेंट चलाते हैं और अपने एजेंट या मॉडल को प्रतिस्थापित किए बिना कम लागत चाहते हैं। इसे अपनी कुंजी की आवश्यकता नहीं होती है, यह डेवलपर मशीन पर क्या सीखता है, और मौजूदा एजेंटों के साथ चलाने के लिए डिज़ाइन किया गया है। पेपर 17]TokenEconomizer: अनुभव - Driven Black - Box Cost Control के लिए Coding Agents, 20] स्पॉटलाइट के साथ, दृष्टिकोण का वर्णन करता है।
टीमों को पहले कुछ कार्यों में तत्काल बचत की उम्मीद नहीं करनी चाहिए: शुरुआती सत्र अधिक खर्च कर सकते हैं जबकि प्लगइन सीखता है। रिपोर्ट की गई बचत रिपॉजिटरी, एजेंट, मॉडल और कार्य प्रकार से भी भिन्न होती है। फिर भी, 277-कार्य मूल्यांकन एक व्यावहारिक दिशा का सुझाव देता हैः कोडिंग एजेंट अनुभव के साथ-साथ उनके काम करने के तरीके को अनुकूलित करके अधिक संसाधनपूर्ण हो सकते हैं।
Comments (0)