उपकरण समीक्षाएँ

ALTK-Evolve से पता चलता है कि सीखी हुई स्मृति एक सीमा मॉडल पर भरोसा किए बिना customer service कार्यों के लिए τ2-बेंच लीडरबोर्ड के शीर्ष तक कैसे पहुंचती है।

ALTK-Evolve सिस्टम प्रॉम्प्ट में सीखे गए दिशानिर्देशों को जोड़कर GPT-4.1 ग्राहक सेवा एजेंटों में सुधार करता है। τ2-बेंच खुदरा पर, Pass^4 fine-tuning या वजन अपडेट के बिना लीडरबोर्ड प्रविष्टियों से ऊपर 67.5% तक पहुंचता है। विधि प्रशिक्षण प्रक्षेपवक्र से समर्थन-गणना नियमों को निकालती है और डोमेन भर में विश्वसनीयता का परीक्षण करती है, जो मार्गदर्शन मात्रा मामलों को दिखाती हैः पूर्ण दिशा निर्देशों से खुदरा लाभ होता है, जबकि एयरलाइन की विश्वसनीयता छोटे सेट पसंद कर सकती है।

ALTK-Evolve से पता चलता है कि सीखी हुई स्मृति एक सीमा मॉडल पर भरोसा किए बिना customer service कार्यों के लिए τ2-बेंच लीडरबोर्ड के शीर्ष तक कैसे पहुंचती है।

मुख्य जानकारी

  • ALTK-Evolve अपने सिस्टम प्रॉम्प्ट में सीखे गए दिशानिर्देशों को जोड़कर एक बुनियादी GPT- 4.1 ग्राहक सेवा एजेंट में सुधार करता है, जो fine-tuning या वजन अपडेट के बिना τ2-बेंच रिटेल पर 67.5% पास ^ 4 तक पहुंचता है।
  • टी2-बेंच सख्त, नीति-बाधित सेवा का मूल्यांकन करता है: एजेंटों को लिखित नीतियों का पालन करना चाहिए, सिमुलेटेड ग्राहकों के साथ बातचीत करनी चाहिए और सही उपकरण क्रियाएं लेनी होंगी, जिसमें पास ^ 4 सभी चार प्रयासों में विश्वसनीयता माप रहा होगा।
  • दिशानिर्देश एजेंट के स्वयं के प्रशिक्षण मार्ग से निकाले जाते हैं और समर्थन संख्या द्वारा रैंक किए जाते हैं; मार्गदर्शन की इष्टतम मात्रा डोमेन-विशिष्ट होती है, पूर्ण नियमों के साथ खुदरा और कॉम्पैक्ट उच्च सहायता नियम एयरलाइन विश्वसनीयता में सुधार करते हैं।
  • लाभ लंबे समय तक बातचीत के बजाय बेहतर निर्णयों से आते हैंः मिलान किए गए हल किए गए कार्यों में थोड़ा कम एजेंट मोड़ का उपयोग होता है, विलंबता को कम करता है, जबकि मुख्य लागत वृद्धि त्वरित इनपुट tokens होती है जिसे बड़े पैमाने पर कैशिंग द्वारा कम किया जा सकता है।

मेटा विवरण: ALTK-Evolve GPT-4.1 और gpt-5.5 एजेंटों के लिए सीखे गए दिशानिर्देश जोड़ता है, वजन अद्यतन या fine-tuning के बिना τ2-बेंच खुदरा पास ^ 4 को 67.5% उठाते हुए।

ALTK-Evolve reveals how learned memory reaches the top of the τ²-bench leaderboard for customer service tasks without re

टैगः ग्राहक-सेवा एजेंट, सीखी हुई स्मृति, τ2-बेंच, GPT-4.1, त्वरित दिशानिर्देश

विशेष रुप से प्रदर्शित छवि: ग्राहक-सेवा चैट इंटरफेस और एक कॉम्पैक्ट प्लेबुक ICON का अमूर्त मैत्रीपूर्ण चित्रण, कोई लोग नहीं, कोई लोगो, कोई पाठ नहीं।

ग्राहक-सेवा एजेंटों को बनाने वाली टीमों के लिए, सीखी हुई स्मृति बेहतर विश्वसनीयता का एक व्यावहारिक मार्ग बन गई है। ALTK-Evolve ने मूल जीपीटी- 4.1 एजेंट के सिस्टम प्रॉम्प्ट में एक एजंट के अपने प्रयासों से निकाले गए नियमों को जोड़ा और वह एजेंट प्राप्त हुआ 67.5% टी 2-बेंच रिटेल पर पास ^ 4 जिसका अर्थ है कि इसने कार्यों के सभी चार स्वतंत्र प्रयासों पर कार्य हल किया । परिणाम 12 अक्टूबर 2026 लीडरबोर्ड स्नैपशॉट में हर खुदरा प्रविष्टि के ऊपर बैठता है। सेटअप ने बेंचमार्क की स्टॉक रीएक्ट स्कैफोल्ड रखी और केवल प्रणाली को निर्देशित करने के लिए सीखे दिशानिर्देश जोड़े।

पॉलिसी-बाध्य customer service एक सख्त परीक्षण क्यों है

τ2-बेंच, सिएरा से, मापता है कि एक एजेंट वास्तविक बाधाओं के तहत ग्राहक-सेवा वार्तालापों को कितनी अच्छी तरह संभालता है। प्रत्येक कार्य एजेंट को LLM -अनुकरण किए गए ग्राहक के साथ जोड़ देता है जिसका लक्ष्य होता है, एजेंट डोमेन टूल जैसे ऑर्डर देखना, रिफंड जारी करना या उड़ान बुक करना और लिखित नीति दस्तावेज की आपूर्ति करता है जिसे एजेंट का पालन करना चाहिए। एजंट को सही विवरण निकालना होगा, पॉलिसी के भीतर रहना होगा, और सही often अक्सर अपरिवर्तनीय कार्रवाई करनी होगी। जब अंतिम डेटाबेस राज्य अपेक्षित परिणाम से मेल खाता है तो ही कोई कार्य हल हो जाता है, एक सख्त द्विआधारी इनाम। काम बेंचमार्क खुदरा s और एयरलाइन डोमेन का उपयोग करता है।

रन में दो-चरण THINK → ACT लूप के साथ एक बुनियादी ReAct एजेंट का τ2-बेंच4.1 का अपना कार्यान्वयन किया गया। GPT- 4.1 ने एजेंट मॉडल, gpt- 5.5 ग्राहक-सिम्युलेटर मॉडल के रूप में कार्य किया और प्रत्येक कार्य को 4 परीक्षण प्राप्त हुए। एकमात्र परिवर्तन डोमेन नीति के बाद जोड़े गए सीखे दिशानिर्देशों का एक ब्लॉक था, जिसे सादे मार्कडाउन सूची के तौर पर जोड़ा गया था। ALTK-Evolve उन दिशात्मकताओं को gpt - 1 का उपयोग करके τ2 बेंच ट्रेन कार्यों पर एजेंट के प्रक्षेपवक्र से निकालता है,4.1 फिर उन्हें बिना बदले आयोजित टेस्ट सेट पर लागू करता है। वही मॉडल गाइडलाइन निष्कर्षण और एजेंट की शक्ति देता है, और कोई वजन अद्यतन या मानव एनोटेशन की आवश्यकता नहीं होती है।

कैसे सीखे गए दिशानिर्देशों का निर्माण और मापा जाता है

यह विधि कोडिंग एजेंटों पर पहले के काम का अनुसरण करती है, अब customer service पर परीक्षण किया गया है, जहां सफलता डोमेन नीतियों का पालन करने, ग्राहक के अनुरोध को समझने और सही टूल क्रियाओं को निष्पादित करने पर निर्भर करती है।

प्रत्येक दिशानिर्देश में एक समर्थन गणना होती हैः अलग-अलग प्रशिक्षण कार्यों की संख्या से इसे निकाला गया था, इसलिए उच्च समर्थन का अर्थ है कि एक बार के बजाय अधिक कार्यों पर सामान्यीकृत नियम। तुलना तीन कॉन्फ़िगरेशनों का उपयोग करती हैः कोई दिशा निर्देश नहीं, sup3 केवल गाइडलाइन समर्थन ≥ 3, एक छोटा सा उच्च आत्मविश्वास कोर, और समेकन के बाद बनाए रखे गए हर मार्गदर्शन के साथ नुकसान रहित, समर्थन ≥ 1 ।

ALTK-Evolve reveals how learned memory reaches the top of the τ²-bench leaderboard for customer service tasks without re

दो मेट्रिक्स मायने रखते हैं। Mean Accuracy 4 परीक्षणों में औसत सफलता दर है, जो क्षमता को दर्शाता है। पास ^ 4 उन कार्यों का प्रतिशत है जो सभी 4 प्रयोगों में पारित हुए थे, विश्वसनीयता दिखाते हैं; τ2-बेंच s लीडरबोर्ड इसकी रिपोर्ट करता है। एक समर्थन एजेंट जो 4 में से 3 बार रिफंड हल करता है वह अभी भी वास्तविक ग्राहकों के एक चौथाई में विफल रहता है, इसलिए Pass^4 पूछता है कि क्या एजेंट पर हर बार भरोसा किया जा सकता है, औसतन JUST नहीं।

अधिक मार्गदर्शन मदद करता है, लेकिन सही मात्रा डोमेन पर निर्भर करती है

एजेंट मॉडल के रूप में जीपीटी- 4.1 और उपयोगकर्ता सिम्युलेटर के तौर पर जी पी टी - 5.5 के साथ, Mean Accuracy दोनों डोमेन में चढ़ गएः खुदरा + 4.4 अंक से 78.1 से 82.5, और एयरलाइन बढ़ी + 7.5 अंक से 57.5 से 65.0। विश्वसनीयता आगे बढ़ गई। सख्त पास ^ 4 रिटेल में +10 अंक बढ़ाया गया है 57.5 से 67.5 तक, और + 10 अंकों की वृद्धि हुई है 35.0 से 45.0.

मार्गदर्शन की सबसे अच्छी मात्रा दोनों डोमेन में समान नहीं थी। खुदरा में, हर मीट्रिक पर अधिक बेहतर होता हैः छोटे sup3 कोर सटीकता पर आधार रेखा को मुश्किल से हरा देता है, और वास्तविक छलांग के लिए पूर्ण हानि रहित सेट की आवश्यकता होती है। एयरलाइन में, तस्वीर विश्वसनीयता अंत में पलट जाती हैः 65% बनाम 60% पर शुद्धता पर हानिहीन लीड करता है, लेकिन 14 दिशानिर्देशों का कॉम्पैक्ट Sup3 कोर अधिक भरोसेमंद है, जो कि पास ^ 4 से लेकर 45% तक लॉसलेस .s 40% के खिलाफ लेता है। समर्थन गिनती प्रति डोमेन ट्यून करने लायक एक घुंडी है, न कि हार्ड-कोड का मान।

लाभ बेहतर कॉल से आता है, लंबे समय तक चैट नहीं

दिशानिर्देश मुक्त नहीं हैं, लेकिन लागत भूमि में शीघ्र इनपुट tokens, एक लंबे समय तक, अधिक घुमावदार बातचीत में नहीं। रिपोर्ट की गई लागत तालिकाओं कुल LLM प्रति वार्तालाप की तुलना करें, एजेंट और उपयोगकर्ता सिम्युलेटर दोनों को कवर करते हुए, पूरे आधार पर चार परीक्षणों में विभाजित किया गया है, कम मूल्यों के साथ बेहतर

चैट की लंबाई से विश्वसनीयता को अलग करने के लिए, टीम ने आधार रेखा और दिशानिर्देश संस्करण समान परिदृश्य और बीज दोनों के तहत हल किए गए मेल खाने वाले रन की तुलना की और सहायक मोड़ गिने। एजेंट लंबे समय तक बात नहीं कर रहा था। साझा सेट पर, घाटे रहित ट्रिम्स 0.3 से 0.4 दोनों डोमेन में बदल जाता हैः खुदरा 10.59 से 10.16, और एयरलाइन 9.15 से 8.82. कोई भी वैरिएंट लंबी बातचीत नहीं करता है। प्रत्येक मोड़ एक अनुक्रमिक LLM राउंड-ट्रिप होता है, इसलिए कम मोड़ का मतलब ग्राहक के लिए एंड-टू-एंड विलंबता और तेजी से पूरा होने वाला समय है, न कि JUST सस्ता।

मुख्य मूल्य इनपुट पक्ष पर है। खुदरा की 292 गाइडलाइन प्रॉम्प्ट प्रति वार्तालाप लगभग $0.084 से लगभग $0.139 तक लागत को धक्का देती है, जबकि एयरलाइन की छोटी प्लेबुक सस्ती होती है। उत्पादन में, इसका अधिकांश भाग शीघ्र कैशिंग के साथ पुनर्प्राप्त किया जा सकता है, क्योंकि प्रत्येक कॉल में दिशानिर्देश ब्लॉक समान होता है। व्यापार अनुकूल हैः थोड़ी अधिक इनपुट लागत के लिए, व्यावहारिक रूप से इसे काफ़ी दूर रखा जाता है, एजेंट एक बार में उच्च सटीकता, उच्च विश्वसनीयता और कम समय-से-पूर्ति करता है।

ALTK-Evolve reveals how learned memory reaches the top of the τ²-bench leaderboard for customer service tasks without re

फ्रंटियर मॉडल और लीडरबोर्ड परिणाम

एक उचित आपत्ति यह है कि सीखे गए दिशानिर्देश केवल कमजोर मॉडल को पैच कर सकते हैं। टीम ने एजेंट और गाइडलाइन निष्कर्षण दोनों के लिए gpt-5.5 का उपयोग करके उसी τ2-बेंच ReAct scaffold पर एयरलाइंस का परीक्षण किया, जिसमें एजेंट के अपने रन से निर्देशों को फिर से खनन किया गया था। एक विवरण बदल गयाः कोई भी दिशा-निर्देश समर्थन ≥ 3 तक नहीं पहुंचा; वे समर्थन 2 में शीर्ष पर निकलते हैं, इसलिए उच्च-समर्थन कोर sup3 के बजाय sup2 है।

सीखे गए दिशानिर्देशों ने इस सेटअप में भी सुधार किया। एक ही आयोजित परीक्षण कार्यों पर, उन्हें जोड़ने से सटीकता +10 अंक 72.5 से 82.5 तक और पास ^ 4 +15 अंक 55.0 से 70.0 इन कार्यों पर gpt- 4.1 की तुलना में अधिक विश्वसनीयता प्राप्त हुई, + 10 अंक, और उच्च मंजिल से। जहां आधारभूत विश्वसनीयता पुनरावृत्तियों के बीच झूलती है, हानि रहित कॉन्फ़िगरेशन को ठीक से पुनः पेश किया जाता है। लाभ भरोसेमंद लगता है, न कि भाग्यशाली ड्रॉ नहीं।

सबमिशन को पूर्ण आधार विभाजन, ट्रेन परीक्षण पर स्कोर किया जाता है, जैसा कि τ2-बेंच की आवश्यकता होती है, और पास ^ 4 में रिपोर्ट की जाती है। क्योंकि यह आयोजित किए गए टेस्ट विभाजन के बजाय पूरे कार्य सेट को कवर करता है, ये आंकड़े ऊपर दिए गए टेस्ट-टास्क नंबरों से भिन्न होते हैं। प्रॉम्प्ट-लेवल मेमोरी प्रत्येक बेस मॉडल का उपयोग करने वाले एजेंटों को वर्तमान सीमांत कंपनी में या अतीत में ले जाती है.

खुदरा में, सीखे गए दिशानिर्देशों के साथ एजेंट ने आधार विभाजन पर पास ^ 4 = 67.5% तक पहुंच गया, हर फ्रंटियर मॉडल से आगे और RAFT- 30B-A3B से आगे 61.4%, सिंथेटिक τ2-बेंच रिटेल डेटा पर एक मॉडल फाइन-ट्यून किया। स्टॉक gpt - 4.1 और एक प्रॉम्प्ट-एंडेड प्लेबुक का उपयोग करते हुए, इसने +6.1 अंकों द्वारा उस ठीक किए गए सिस्टम को पार कर लिया।

एयरलाइन में, कॉम्पैक्ट sup3 कोर ने gpt-4.1 एजेंट को Pass^4 = 44% दिया, इसे प्रकाशित बोर्ड के खिलाफ 8 वें स्थान पर रखा, GPT-5.2 (कोई तर्क नहीं) और लगभग मिलान Claude Sonnet 4.5। मजबूत आधार के रूप में gpt -5.5 में स्वैपिंग ने 82.0% का समान दृष्टिकोण अपनाया, 66[472% रेंज में हर सीमा प्रविष्टि को साफ़ किया।

fine-tuning एक बेंचमार्क पर एक मॉडल महंगा, नाजुक है और जरूरी नहीं कि अगले डोमेन में स्थानांतरित हो। यहां, ALTK-Evolve ने दोनों डोमेन में स्टॉक मॉडल पर एक स्टॉक एजेंट को बेहतर बनाया, और खुदरा पर ठीक से ट्यून की गई प्रणाली का मिलान किया या हराया, केवल एजेंट के अपने रन से निकाले गए प्रॉम्प्ट-स्तरीय दिशानिर्देशों का उपयोग करके स्वचालित रूप से, मानव एनोटेशन के बिना और परीक्षण सेट रिसाव के बिना।

उन पाठकों के लिए जो काम का निरीक्षण करना चाहते हैं:

  • एसीई के बारे में सोच रहे हैं? हम इसे कम कर सकते हैं tokens
  • अपने एजेंट वास्तव में कितना स्मृति की जरूरत है?
  • ALTK-Evolve लाइब्रेरी: https://github.com/AgentToolkit/altk-evolve
  • τ2-बेंचः https://github.com/sierra-research/tau2-bench
  • खुदरा लीडरबोर्ड प्रस्तुत करनाः τ2-बेंच पीआर #542
  • एयरलाइन लीडरबोर्ड प्रस्तुत करना: τ2-बेंच पीआर #551

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.