शुरुआती मूल बातें

संपीड़न हानिकारक है, इसलिए आपको यह मापना चाहिए कि आपके सारांश ने क्या खारिज कर दिया।

लंबे समय तक चलने वाले AI एजेंट परिमित खिड़कियों और नियंत्रण लागत को फिट करने के लिए संदर्भ संपीड़न का उपयोग करते हैं, लेकिन सारांश भविष्य की जरूरतों के बारे में हानिपूर्ण भविष्यवाणियां हैं। उच्च संपीडन अनुपात खारिज किए गए पहचानकर्ताओं, असफल प्रयासों और खुली बाध्यताओं के कारण पुनर्निर्माण छिपा सकते हैं। यह लेख बताता है कि क्यों token बचत नहीं, ऑपरेशनल वफादारी को संपीड़ित करना चाहिए, और परीक्षण हार्नेस की सिफारिश करता है जो महत्वपूर्ण स्मृति खो जाने पर सारांशों को जांचते हैं और कॉम्पैक्टिंग को अवरुद्ध करते हैं।

मुख्य बिंदु

  • संपीड़न token की बचत द्वारा कुशल दिख सकता है, लेकिन यदि यह परिचालन महत्वपूर्ण विवरणों को छोड़ देता है तो महंगे पुनर्मूल्यांकन का कारण बन सकता है।
  • सारांश सटीक पहचानकर्ताओं, असफल प्रयासों, खुले दायित्वों, अनिश्चितता, लक्ष्यों, मात्राओं और ताजगी मार्कर को संरक्षित करना चाहिए।
  • उच्च संपीड़न अनुपात भ्रामक हैं यदि अगले मॉडल मोड़ को पुनः प्राप्त करना, फिर से निदान करना या गलतियों को दोहराना है।
  • संपीड़न को मापें कि क्या एजेंट अभी भी सही ढंग से कार्य कर सकता है, न कि सारांश मूल पाठ के कितने समान दिखता है।
  • याद, कृत्रिम वस्तु, निर्णय और निरंतरता जांच के साथ एक निष्ठा दोहन महत्वपूर्ण स्मृति खो जाने पर गेट संपीड़न में मदद कर सकता है।

लंबे समय तक चलने वाले AI एजेंटों का संचालन करने वाली टीमों को स्वचालित संदर्भ संपीड़न से पहले सारांश निष्ठा को मापने के लिए एक तरीके की आवश्यकता होती है, जो उपयोगी मेमोरी को फिर से काम में बदल देता है। सार्वजनिक कंप्रेशन मूल्यांकन ने समस्या को परिमाणित किया हैः उच्च संपीडन अनुपात भ्रामक हो सकता है क्योंकि छोड़े गए विवरण अगले मॉडल बारी को पुनः प्राप्त करने, निदान फिर से चलाने या असफल फिक्स को दोहराने के लिए मजबूर करते हैं। एक ऑडिट किए गए डिबगिंग ट्रेस में, एक कॉम्पैक्ट चरण लगभग बचाया गया था 120,000 tokens , लेकिन इसके द्वारा बनाए गए नुकसान ने एजेंट को 400-वर्ण Redis कनेक्शन स्ट्रिंग को एक प्रकट टाइपो के साथ फिर से पढ़ा, बीसवें मिनट से एक डायग्नोस्टिक दोबारा चलाएं और नंबर दो को ठीक करें, जो पहले ही विफल हो चुका था। बचत साफ कागज पर दिखती थी; स्मृति हानि बिल में कई लागत और एक मानव घंटे शामिल थे।

Compaction Is Lossy, So You Should Measure What Your Summary Discarded.

यह मुख्य शर्त है: प्रत्येक सारांश भविष्य के मोड़ की आवश्यकता के बारे में एक पूर्वानुमान है, जो token बजट के तहत एक मॉडल द्वारा लिखा गया है जो उन मोड़ों को नहीं देख सकता है। अधिकांश टीमें लंबाई में कमी के लिए अनुकूलन करती हैं, न कि उत्तराधिकारी अभी भी कार्य कर सकते हैं या नहीं, और लगभग कोई भी इस बात की जांच करता है कि दांव जीता गया है या नहीं। व्यावहारिक उत्तर एक परीक्षण हार्नेस है जो परिचालन निष्ठा के लिए संपीड़ित संदर्भ का पता लगाता है, फिर महत्वपूर्ण मेमोरी खो जाने पर गेट्स कॉम्पैक्शन होता है। हार्नेस मायने रखता है क्योंकि हर लंबे समय तक चलने वाले एजेंट पर बिना किसी पर्यवेक्षण के, सप्ताह में दर्जनों बार कॉम्पैक्टिंग चलती है।

क्यों संपीड़न अनुपात भ्रामक है

संपीड़न वैकल्पिक नहीं है क्योंकि संदर्भ खिड़कियां परिमित हैं, लागत पैमाने के साथ संदर्भ और मेमोरी सड़ांध विंडो भरने से पहले आ सकती है। इसलिए उपयोगी सवाल यह नहीं है कि क्या संपीड़ित करना है, लेकिन कंप्रेसर को फेंक देता है। टीमों में ऑडिट से पता चलता है कि नुकसान यादृच्छिक नहीं हैं। वे सात आवर्ती वर्गों में क्लस्टर करते हैं, और प्रत्येक वर्ग एक डाउनस्ट्रीम लक्षण का उत्पादन करता है।

मूल्यांकन कार्य ने उसी उलटापन की ओर इशारा किया: एक उच्च संपीड़न अनुपात भ्रामक हो सकता है क्योंकि खोए हुए विवरण उत्तराधिकारी को सहेजे गए कॉम्पैक्टेशन से अधिक tokens खर्च कर सकते हैं। टीमें अक्सर पुनर्मूल्यांकन का मूल्य निर्धारित करने तक बहुत अधिक संपीडन दरों का जश्न मनाती हैं। गहरी असंगति संरचनात्मक है। एक धाराप्रवाह सारांश पढ़ने के लिए लिखा गया है, लेकिन एकमात्र पाठक जो मायने रखता है वह एक मॉडल है जिसे कार्रवाई करने की आवश्यकता होती है। मानव संपादक कई विवरण हटा देगा जो एजेंट को आगे बढ़ाते रहते हैं, और उस संपादकीय वृत्ति पर प्रशिक्षित सारांशकर्ता भी ऐसा ही करता है।

सार्वजनिक मूल्यांकन ने एक संख्यात्मक संकेत भी दिया। कार्यात्मक परीक्षणों में संरचित सारांशों ने कथा सार को पछाड़ दिया। 0-5 पैमाने पर, सबसे अच्छा संरचित दृष्टिकोण 3.70 स्कोर किया गया था, जबकि प्रमुख प्रदाताओं से डिफ़ॉल्ट 3.35-3.44 स्कोर किए गए थे। यह लाभ तब भी बना रहा जब संरचित विधि थोड़ी कम संपीड़ित थी। वह परिणाम token बचत और परिचालन निष्ठा की ओर इशारा करता हैः सारांश उपयोगी है जब अगली बारी सही काम कर सकती है जो पिछले संदर्भ पहले से ही जानता था उसे फिर से व्युत्पन्न करने के बिना।

संकुचन आमतौर पर क्या मिटा देता है

सात नुकसान वर्ग एजेंट स्मृति हानि की सूची है।

सटीक पहचानकर्ता त्रुटि स्ट्रिंग, फ़ाइल पथ, टिकट आईडी, प्रतिबद्ध हैश और API पैरामीटर हैं। कथा सारांश उन्हें परिभासित करने की प्रवृत्ति रखता है, लेकिन एक परिभाषित पहचानकर्ता एक नष्ट किए गए पहचानकर्ता है। उत्तराधिकारी को 400-वर्ण Redis कनेक्शन स्ट्रिंग बाइट-सटीक की आवश्यकता होती है, न कि संक्षिप्त विवरण जैसे Redis कनेक्टिविटी समस्या। दृश्य लक्षण संदर्भ में होने वाली सामग्री को फिर से प्राप्त करना है।

नकारात्मक ज्ञान कोशिश की गई और असफल सूची है। यह अक्सर सबसे महंगा नुकसान होता है क्योंकि इसे याद करना न केवल एक लुकअप का कारण बनता है; यह पुनरावृत्ति पैदा करता है। डिबगिंग ट्रेस में, एजेंट ने नए आत्मविश्वास के साथ नंबर दो को ठीक करने की फिर से कोशिश की क्योंकि सारांश ने चार विफल प्रयासों को एक अस्पष्ट नोट पर कम कर दिया था कि कई दृष्टिकोण आज़माए गए थे। लक्षण एजेंट एक मृत अंत के माध्यम से चल रहा है जो निशान दिखाता है कि वह पहले ही चला गया था।

दायित्व खुले TODOs और ट्रैक किए गए कदम हैं जो एक योजना को वास्तविक बनाते हैं। दो बार कॉम्पैक्ट की गई दस-चरणीय योजना अचिह्नित कब्रों के साथ आठ-चरण की योजना बन सकती है। लक्षण एक गिनती है जो समाप्त हो जाती है, जैसे कि 214-माइनस-9-बराबर-निष्पादित, जब काम चुपचाप गायब हो गया है।

संदेह और उत्पत्ति टैग वे हेज हैं जो कहते हैं कि एकल-स्रोत, संभावित या अनिश्चित क्या है। जब एक संभावित, एकल स्रोत का दावा एक सादा तथ्य बन जाता है, तो सारांश ने विश्वास को धो दिया है। चरण-12 अनुमान कदम-37 परिसर हो सकते हैं। लक्षण डाउनस्ट्रीम निश्चितता है कि अपस्ट्रीम कभी अर्जित नहीं किया गया था।

लक्ष्य अपने आप में टेलीफोन-गेम संपीड़न के माध्यम से बह सकता है। व्यवहार परिवर्तन के बिना 214 सेवाओं को माइग्रेट करने जैसा एक सटीक उद्देश्य लॉगिंग में सुधार जैसे नरम वाक्यांश तक सिकुड़ सकते हैं। लक्षण एक विचलित उद्देश्य पर लक्षित परिश्रम है।

जब संख्याओं को गोल किया जाता है या सीमाएं गायब हो जाती हैं तो मात्रा और विशिष्टता अपनी शक्ति खो देती हैं। auth_test.py में 3 असफल परीक्षण कुछ परीक्षण विफल हो सकते हैं। इसका लक्षण मूल रन समर्थित की तुलना में अस्पष्ट आधार पर किए गए बाद के निर्णय हैं।

स्टेट-ऑफ-द-वर्ल्ड मार्करों में as-of टैग, ताजगी स्टैम्प और कौन सा संस्करण क्वालिफ़ायर शामिल हैं। उनके बिना, पुरानी मान्यताएं ताजा दिखती हैं। लक्षण ऐसी जानकारी पर किए गए निर्णय हैं जिनमें कोई एक्सपायरी मेटाडेटा नहीं है।

इन श्रेणियों में एक चीज समान हैः वे परिचालन रूप से महत्वपूर्ण और कथात्मक रूप से वैकल्पिक हैं. यही कारण है कि सारांशों को पॉलिश किया जाता है जबकि एजेंट खराब व्यवहार करते हैं।

परिचालन उपयोगिता के लिए सारांश की जांच करना

एक वफादारी हार्नेस को यह नहीं पूछना चाहिए कि क्या सारांश मूल के समान दिखता है। लेक्सिकल ओवरलैप गलत प्रश्न है। इसे यह पूछने की आवश्यकता है कि उत्तराधिकारी अभी भी संचालित हो सकता है या नहीं। मूल्यांकन टेम्पलेट पोस्ट-संपीड़न संदर्भ के खिलाफ चार जांच परिवारों का उपयोग करता है।

रिकॉल जांच शब्दशः उत्तरजीविता के लिए पूछते हैं, जैसे कि मूल त्रुटि संदेश क्या था। आर्टिफैक्ट जांच यह पूछती है कि कौन सी फाइलें संशोधित की गई हैं, कार्य-सेट इन्वेंट्री का परीक्षण कर रही हैं। निर्णय जांच से पता चलता है कि क्या तय किया गया था और क्यों, क्योंकि इसके तर्क के बिना एक निर्णय फिर से मुकदमेबाजी को आमंत्रित करता है। निरंतरता जांच पूछता है कि आगे क्या होना चाहिए, परीक्षण करें कि संपीड़ित संदर्भ अभी भी पूर्ण संदर्भ के रूप में उसी अगली कार्रवाई का तात्पर्य है या नहीं।

उत्तरों को सटीकता, आर्टिफैक्ट-ट्रेल पूर्णता, पुनः प्राप्ति के बिना निरंतरता और निर्देश प्रतिधारण पर स्कोर किया जा सकता है। इससे व्यावहारिक अर्थ के साथ एक निष्ठा संख्या उत्पन्न होती है। जो टीम पहली बार यह ऑडिट चलाती हैं वे अक्सर संपीड़न अनुपात के बारे में बहस करना बंद कर देती हैं जब वे फिर से काम करने की लागत देखते हैं।

दो मेट्रिक्स डैशबोर्ड पर रहना चाहिए: पोस्ट-संपीड़न पुनः प्राप्ति दर और पोस्ट-सघनता दोहराया कार्रवाई की दर। वे स्मृति बिल को सूचीबद्ध करते हैं। एक निशान में प्रत्येक पोस्ट-कंपैक्ट पुनर्प्राप्ति एक लेबल हानि है, क्योंकि उत्तराधिकारी प्रभावी रूप से रिपोर्ट कर रहा है कि सारांश क्या रखने में विफल रहा था। उस लॉग से खनन किया गया एक जांच सूट आविष्कार किए गए एक से बेहतर है क्योंकि लॉग वास्तविक मांग रिकॉर्ड करता है और वजन पहचानकर्ता याद ऊपर trivia.

Compaction Is Lossy, So You Should Measure What Your Summary Discarded.

एक पद्धतिगत सावधानी यहां मायने रखती है। जांच एक प्रॉक्सी हैं। सबसे मजबूत परीक्षण डाउनस्ट्रीम प्रदर्शन हैः पूर्ण संदर्भ और संपीड़ित संदर्भ से समान निरंतरता कार्य चलाएं, फिर परिणामों की तुलना करें। यह काउंटरफैक्टिकल विधि वास्तविकता के करीब है, लेकिन यह महंगा है। व्यावहारिक व्यवस्था कभी-कभी पूरी तरह से नीचे का मूल्यांकन चलाना है कि क्या जांच स्कोर निरंतरता गुणवत्ता की भविष्यवाणी करते हैं, और नियमित रूप से जांच करना क्योंकि वे सस्ते हैं।

जांच की कठिनाई को वास्तव में उत्तराधिकारियों की आवश्यकता के खिलाफ कैलिब्रेट किया जाना चाहिए, न कि बाइट-बाइट पूर्णता के खिलाफ। एक सूट जो सब कुछ याद करने की मांग करता है वह कॉम्पैक्शन के उद्देश्य को विफल कर देता है। इसे उन तथ्यों की मांग करनी चाहिए जिनकी अनुपस्थिति ने पुनः प्राप्ति, दोहराए गए कार्यों या बुरे निर्णयों का कारण बना दिया।

एक सुरक्षित संपीड़न चरण का निर्माण

सबसे अधिक उपज वाला परिवर्तन सारांश के लिए पूछना बंद करना और एक योजना के लिए कहना है। स्कीमा को नुकसान सूची को प्रतिबिंबित करना चाहिए, लेकिन विपरीत दिशा में। इसमें सटीक पहचानकर्ताओं के लिए अनुभाग होना चाहिए, प्रत्येक कोशिश की गई और विफल आइटम और इसकी विफलता का कारण, खुले दायित्वों को मूक संपादन के बिना ट्रैक किए गए सूची के रूप में आगे बढ़ाया जाना चाहिए, तर्कसंगत निर्णय, वर्तमान कार्य स्थिति और अगले चरण। पहचानकर्ता को एक संरक्षित ब्लॉक में शाब्दिक रूप से रखा जाना चाहिए जिसे संक्षेपकर्ता फिर से नहीं लिख सकता है। एक खाली प्रयास किया गया और असफल खंड इस तरह से दिखाई देता है कि एक लापता बारीकियां कभी भी नहीं होती हैं।

यह इसलिए महत्वपूर्ण है क्योंकि कथा संपीड़न एक समग्र दांव लगाता है, और संपूर्ण दांव परिचालन रूप से महत्वपूर्ण लेकिन कथात्मक वैकल्पिक विवरणों को छोड़ देते हैं। एक योजना प्रत्येक श्रेणी के लिए अलग-अलग दांव लगाती है, जिससे गायब सामग्री स्पष्ट हो जाती है।

संरक्षित सेट को यांत्रिक रूप से लागू किया जाना चाहिए। इसमें लक्ष्य, खुले दायित्वों, संदेह और उत्पत्ति टैग और सटीक पहचानकर्ता शामिल होने चाहिए। एक सरल अंतर परीक्षण की आवश्यकता हो सकती है कि संपीड़न के बाद संपीड़ित होने से पहले संरक्षित तार मौजूद रहें। यदि जांच विफल रहती है, तो संपीडन को अस्वीकार कर दें। यह पांच-पंक्ति परीक्षण सात नुकसान वर्गों में से चार को पूरी तरह से वापस ले लेता है।

गहरी इंजीनियरिंग शिफ्ट प्रोसा के बजाय पॉइंटर्स को संपीड़ित करना है। विकल्प सारांश या रखना नहीं है; यह सारांशित या संग्रह है। कच्चे सेगमेंट को स्टोरेज में स्थानांतरित करें, जैसे कि एक फाइल सिस्टम या मेमोरी सिस्टम, और संदर्भ में एक संरचित सारांश प्लस पॉइंटर छोड़ दें, उदाहरण के लिए पूर्ण डिबगिंग ट्रांसक्रिप्ट का एक आर्काइव पथ। फिर एक असफल दांव पुनः व्युत्पन्न करने के बजाय लुकअप की लागत लेता है। एक एजेंट जिसे मूल त्रुटि संदेश की आवश्यकता होती है वह इसे बीस मिनट के निदान को दोहराने के बजाय एक टूल कॉल के साथ पुनर्प्राप्त कर सकता है। इससे कॉम्पैक्शन गैर-विनाशकारी बन जाता है, क्योंकि मूल पता लगाने योग्य रहता है। नियम कभी भी उस सामग्री को कॉम्पैक्ट नहीं करता है जो संग्रहीत नहीं किया गया हो। एक अनारक्षित मूल हर सारांश गलती को स्थायी बनाता है।

अंत में, संपीड़न प्रॉम्प्ट को एक कार्यकर्ता के रूप में लिखा जाना चाहिए, न कि एक लापरवाह वाक्य। सारांशक को पता होना चाहिए कि इसका एकमात्र पाठक वह मॉडल है जिसे आगे कार्य करना होगा। यह बताया जाना चाहिए कि कौन सी श्रेणियां अनिवार्य हैं, कौन से तार संरक्षित हैं, अनिश्चितता कैसे चिह्नित करें, पॉइंटर कहां रखें और क्या चिकना नहीं किया जाए।

यह हारनेस इज द प्रोडक्ट के साथ शुरू हुई विफलता-आकार की चाप को भी बंद कर देता है, जहां संपीड़न हानि आर्क की आधी कहानियों के पीछे तंत्र रही हैः टेलीफोन गेम जो लक्ष्यों को नष्ट करते हैं, TODOs को छोड़ दिया जाता है जो चूक हो जाते हैं, और विश्वास को धोने वाले हेजेस को हटा देते हैं। एक सारांश निष्ठा हार्नेस छिपे हुए दांव को मापा हुआ, गेटेड ऑपरेशन में बदल देता है ताकि लंबे समय तक चलने वाला एजेंट अपनी स्मृति बनाए रख सके बिना दिखावा करे कि कम पाठ का मतलब बेहतर मेमोरी है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.