एक क्षेत्र-द्वारा-Field Breakdown के 24,723 tokens में Search Result

मेटा विवरणः- (अंग्रेज़ी में) - (संपादित करें) AI एजेंट खोज और फ़ाइल पुनर्प्राप्ति पर tokens को जला देते हैं. जानें कि क्यों पुनर्प्राप्त करने की लागत स्पाइक, कैसे token अपशिष्ट होता है, और AI एजेंट लागतों को नियंत्रित करने के व्यावहारिक तरीके।

टैगः AI एजेंट, token लागत, पुनर्प्राप्ति, संदर्भ प्रबंधन

विशेष रुप से प्रदर्शित छवि संकेत: (% s) @ info: whatsthis: tooltip एक छोटे से robot -जैसे एजेंट का अमूर्त मैत्रीपूर्ण चित्रण जो खोज शेल्फ से चमकते दस्तावेज़ कार्डों को चुन रहा है, जिसमें सरल token सिक्के बह रहे हैं; कोई वास्तविक लोग नहीं, कोई लोगो नहीं, न ही पाठ।

Sponsored Content लेबल वाला एक नोट कहता है कि AI एजेंट बड़ी संख्या में tokens खर्च कर सकते हैं जब वे खोज चलाते हैं या फ़ाइलों को पुनः प्राप्त करते हैं। टुकड़ा कहते हैं कि एजेंट जानकारी खींचते हैं, लेकिन यह विक्रेता, मॉडल, मूल्य या परीक्षण परिणाम का नाम नहीं देता है। AI एजेन्ट token लागत को नियंत्रित करने की कोशिश कर रहे बिल्डरों के लिए, संदेश अभी भी भूमि हैः पुनर्प्राप्ति अक्सर जहां बजट बढ़ता है क्योंकि प्रत्येक परिणाम जो मॉडल में प्रवेश करता है उसे एजेंट द्वारा उपयोग किए जाने से पहले tokens में बदल दिया जाना चाहिए।

क्या पुनर्प्राप्ति एक AI एजेंट के अंदर है

AI एजेंट एक प्रोग्राम है जो large language model का उपयोग चरणों को चुनने, उपकरणों को कॉल करने और लक्ष्य की ओर काम करते रहने के लिए करता है। पुनर्प्राप्ति वह कदम है जहां एजेंट अपनी मेमोरी से बाहर जानकारी पाता है। यह खोज चला सकता है, फ़ाइल खोल सकते हैं, डेटाबेस में क्वेरी कर सकते हैं या नॉलेज बेस से दस्तावेज़ ले जा सकते हैं। फिर प्राप्त पाठ मॉडल के संदर्भ में डाला जाता है। सादे शब्दों में, एजेंट को उत्तर पर कार्य करने से पहले जवाब पढ़ना होगा।

इस रीडिंग स्टेप की एक कीमत होती है. अधिकांश मॉडलों को मुफ्त पृष्ठभूमि के रूप में पूरे पृष्ठ नहीं मिलते हैं; वे token अनुक्रम प्राप्त करते हैं। खोज परिणाम, PDF का टुकड़ा, कोड स्निपेट या तालिका निर्यात सभी tokens बन जाते हैं। यदि एजेंट कई परिणाम खींचता है, तो उन्हें पढ़ता है और फिर से खोज करता है, अंतिम उत्तर छोटा होने पर भी token गिनती तेजी से चढ़ सकती है।

जहाँ token कचरा दिखाई देता है

अपशिष्ट का पहला स्थान ओवर-फ़ेचिंग है। "नीति ढूंढें" जैसे अनुरोध कई दस्तावेज वापस कर सकते हैं जो केवल आंशिक रूप से प्रासंगिक हैं। यदि एजेंट प्रत्येक को लोड करता है, तो यह अप्रासंगिक शीर्षकों, बॉयलरप्लेट और दोहराए गए मेटाडेटा के लिए भुगतान करता है। दूसरा स्थान बार-बार खोज है। एक एजेंट को पता नहीं हो सकता है कि उसे एक प्रयास के बाद क्या चाहिए, इसलिए वह नई क्वेरी जारी करती है, समान फाइलों को फिर से पढ़ती है, और संदर्भ में लगभग डुप्लिकेट स्निपेट जोड़ती है।

फ़ाइल पुनर्प्राप्ति एक और समस्या जोड़ती है। दस्तावेजों को अक्सर टुकड़ों में विभाजित किया जाता है ताकि एजेंट उन्हें खोज सके। अच्छे टुकड़े उपयोगी हो सकते हैं, लेकिन खराब चंकिंग कई टुकड़ों पर एक उत्तर बिखेर सकता है। फिर एजेंट को उन्हें कनेक्ट करने के लिए अतिरिक्त tokens की आवश्यकता होती है। लंबी फाइलें कानूनी नोटिस, संस्करण तालिका या स्वरूपण मार्कर भी ले सकती हैं जो तर्क की मदद नहीं करती हैं लेकिन अभी भी स्थान का उपभोग करती हैं।

क्यों यह लागत से परे मायने रखता है

token उपयोग गति, बजट और विश्वसनीयता को प्रभावित करता है। संदर्भ में अधिक tokens का अर्थ धीमी प्रतिक्रियाएं और उच्च खर्च हो सकता है। यह प्रॉम्प्ट के सबसे उपयोगी हिस्से जैसे उपयोगकर्ता के प्रश्न, टूल निर्देश या अंतिम उत्तर को भी बाहर कर सकता है. कुछ प्रणालियों में, अत्यधिक पुनर्प्राप्ति मॉडल को कम सटीक बना सकती है क्योंकि इसे स्पष्ट रूप से देखने की तुलना में अधिक सामग्री के माध्यम से छानना पड़ता है।

एक गोपनीयता और शासन कोण भी है। जब कोई एजेंट फ़ाइलों को पुनर्प्राप्त करता है, तो यह आर्किटेक्चर के आधार पर मॉडल या प्रदाता के लिए आंतरिक दस्तावेजों को उजागर कर सकता है। यदि खोज क्वेरी लॉग की जाती है तो यह संवेदनशील व्यावसायिक संदर्भ का खुलासा कर सकती है। स्रोत टुकड़ा इस पर चर्चा नहीं करता है लेकिन AI एजेंटों के साथ आंतरिक फाइलों को संभालने वाली किसी भी टीम के लिए यह सामान्य विचार है।

कैसे टीमों पुनः प्राप्ति token लोड कम कर सकते हैं

व्यावहारिक उत्तर पुनर्प्राप्ति को छोटा और स्मार्ट बनाना है। मॉडल में पाठ भेजने से पहले, टीमें स्रोत सेट को मेटाडेटा, तिथि, विभाग या दस्तावेज़ प्रकार द्वारा संकीर्ण कर सकती हैं। खोज परिणामों को संदर्भ में डंप करने के बजाय, एक एजेंट पहले उन्हें स्कोर कर सकता है, डुप्लिकेट हटा सकता है और केवल उन मार्गों को रख सकता है जो वर्तमान चरण का जवाब देते हैं।

टीमें प्रत्येक खोज के लिए एक स्टॉप कंडीशन भी सेट कर सकती हैं। यदि एजेंट के पास पहले से ही अगली कार्रवाई करने के लिए पर्याप्त जानकारी है, तो उसे अधिक फाइल खींचना नहीं चाहिए। सामान्य परिणामों को कैश करना एक सत्र में कई बार उसी दस्तावेज़ को पढ़ने से रोक सकता है। जब एक लंबे दस्तावेज का उपयोग किया जाना चाहिए, तो एक छोटा सारांश तर्क आगे ले जा सकता है, जबकि पूर्ण पाठ मुख्य संदर्भ के बाहर रहता है जब तक कि विशिष्ट विवरण की आवश्यकता न हो।

कार्य द्वारा token उपयोग को ट्रैक करना अगला उपयोगी कदम है। यदि एक खोज उपकरण, फ़ाइल प्रकार या प्रॉम्प्ट पैटर्न लगातार सबसे अधिक tokens जोड़ता है, तो यह अनुकूलन के लिए एक स्पष्ट लक्ष्य बन जाता है। इस तरह का माप सभी पुनर्प्राप्ति को एक बार में कम करने की कोशिश करने से अधिक उपयोगी होता है, क्योंकि सटीक उत्तरों के लिए कुछ पुनः प्राप्ति आवश्यक होती है।

पाठकों को आगे क्या देखना चाहिए

यदि यह नोट प्रायोजित उत्पाद संदेश का हिस्सा है, तो लापता विवरण मायने रखता है। एक उपयोगी दावे को यह बताने की आवश्यकता होगी कि कौन सा उपकरण token के उपयोग को कम कर रहा है, बेंचमार्क कैसे चलाया गया था, किन मॉडलों या खोज सेवाओं का परीक्षण किया गया था और क्या लागत या सटीकता परिणाम बदल गए थे। प्रदान किए गए टुकड़े में ये तथ्य शामिल नहीं हैं, इसलिए पाठकों को इसे किसी विशिष्ट विक्रेता के लिए साक्ष्य के बजाय सामान्य चेतावनी के रूप में व्यवहार करना चाहिए।

टीम निर्माण एजेंटों के लिए, टेकअवे तत्काल है. पुनर्प्राप्ति JUST एक नलसाजी समस्या नहीं है। यह लागत नियंत्रण की समस्या, गुणवत्ता की समस्या और सुरक्षा की समस्या है। अगली बार जब कोई एजेंट धीमा या महंगा महसूस करता है, तो पहला प्रश्न सरल होना चाहिएः उसने मॉडल में कौन सा पाठ खींचा था, और क्या उसे वास्तव में हर शब्द की आवश्यकता थी?