उपकरण समीक्षाएँ

Habit Benchmark एजेंट स्मृति में अनुदैर्ध्य कमजोर साक्ष्य से आदत प्रेरण का मूल्यांकन करता है।

HABIT-बेंच परीक्षण करता है कि क्या AI एजेंट शोर इतिहास से आवर्ती उपयोगकर्ता आदतों का अनुमान लगाते हैं और स्थिर वरीयताओं, अपवादों और परिवर्तनों को अलग करते हैं।

Habit Benchmark एजेंट स्मृति में अनुदैर्ध्य कमजोर साक्ष्य से आदत प्रेरण का मूल्यांकन करता है।

मुख्य जानकारी

  • HABIT-बेंच परीक्षण करता है कि क्या AI एजेंट बिखरे हुए, अपूर्ण इतिहास से आवर्ती उपयोगकर्ता की आदतों का अनुमान लगा सकते हैं, न कि JUST संग्रहीत तथ्यों को याद कर सकते हैं।
  • बेंचमार्क भोजन, वित्त, software और यात्रा को शामिल करता है, एजेंटों को स्थिर आदतों, अस्थायी अपवादों, बदलती वरीयताओं और वास्तविक उपयोगकर्ता के इरादे से एजेंट सुझावों को अलग करने की आवश्यकता होती है।
  • Qwen3-235B-A22B और GLM -5.3-फ्लैश का उपयोग करके मूल्यांकन केवल सीमित सफलता दिखाता हैः सबसे अच्छा मेमोरी-विधि विन्यास 25% यादृच्छिक अनुमान के मुकाबले 33.61% मैक्रो सटीकता तक पहुंचता है।
  • यहां तक कि एनोटेट किए गए साक्ष्य के साथ, पर्याप्त त्रुटियां बनी रहती हैं, जिससे यह पता चलता है कि मुख्य चुनौती इसे पुनर्प्राप्त करने की बजाय स्मृति को सही ढंग से व्याख्या करना है।
  • डेवलपर्स के लिए मुख्य टेकअवे यह है कि केवल पुनर्प्राप्ति सटीकता पर्याप्त नहीं है; विश्वसनीय व्यक्तिगत एजेंटों को मजबूत आदत तर्क, अनिश्चितता हैंडलिंग और खुले मूल्यांकन उपकरण की आवश्यकता होती है।

मेटा विवरण: HABIT-Bench AI एजेंटों का मूल्यांकन करता है जो सिंथेटिक इतिहास से उपयोगकर्ता की आदतें सीखते हैं, परीक्षण करते हैं कि क्या वे अपवादों से आवर्ती प्राथमिकताओं को अलग कर सकते हैं।

The Habit Benchmark evaluates habit induction from longitudinal weak evidence in agent memory.

टैगः AI एजेंट मेमोरी, HABIT-Bench, बेंचमार्क, सिंथेटिक उपयोगकर्ता इतिहास, वैयक्तिकरण

![अमूर्त, AI एजेंट मेमोरी कार्ड को सरल आदत के साथ सॉर्ट करने का अनुकूल चित्रण, अपवाद और परिवर्तन आइकन, कॉमिक-शैली, कोई वास्तविक लोग नहीं, कोई लोगो नहीं, और छवि में कोई पाठ नहीं]

HABIT-Bench के लेखकों ने एक बेंचमार्क पेश किया है जो एक कठिन प्रश्न पूछता है कि क्या कोई एजेंट याद रख सकता है कि उपयोगकर्ता ने क्या किया था? वे जानना चाहते हैं कि क्या एक एजेंट बिखरे हुए इतिहास से किसी उपयोगकर्ता की आवर्ती आदतों को सीख सकता है, सीधे बताए बिना, और फिर तय करें कि जब उन आदतों में अगली कार्रवाई का मार्गदर्शन नहीं करना चाहिए। भोजन, वित्त, software, और यात्रा के आसपास सहायक बनाने वाले डेवलपर्स के लिए, यह अंतर मायने रखता हैः एक मददगार एजेंट को दिनचर्या व्यवहार का अनुमान लगाने की आवश्यकता हो सकती है, लेकिन इसे यह भी जानने की जरूरत है कि कब रूटीन बदल गया है या जब पिछली पसंद केवल एक अपवाद थी।

अकेले याद करना एजेंट को आदत-जागरूक नहीं बनाता है

एक सामान्य मेमोरी सिस्टम पिछले इंटरैक्शन को संग्रहीत कर सकता है और बाद में उन्हें पुनः प्राप्त कर सकते हैं। HABIT-Bench इसे अपर्याप्त मानता है। बेंचमार्क इस बात पर ध्यान केंद्रित करता है कि क्या कोई एजेंट एकल असामान्य विकल्प से दोहराए गए वरीयताओं को अलग करने, जब आदत बदलती है तो नोटिस करने और अपने स्वयं के सुझावों को उपयोगकर्ता की प्राथमिकताओं में बदलने से बचने में सक्षम होता है। दूसरे शब्दों में, किसी तथ्य को याद रखना यह तय करना नहीं है कि उस तथ्य को भविष्य के व्यवहार को प्रभावित करना चाहिए या नहीं।

The Habit Benchmark evaluates habit induction from longitudinal weak evidence in agent memory.

यह फ्रेमिंग बेंचमार्क को सरल रिकॉल टेस्ट से अलग बनाती है। सवाल यह नहीं है कि क्या एजेंट एक संग्रहीत आइटम पा सकता है, लेकिन क्या वह नए अनुरोध के लिए सही कार्रवाई चुनने के लिए अपूर्ण साक्ष्य का उपयोग कर सकता है।

HABIT-Bench चार डोमेन में सिंथेटिक इतिहास बनाता है

HABIT-Bench भोजन, वित्त, software और यात्रा के माध्यम से आदत सीखने का मूल्यांकन करता है। यह सिंथेटिक उपयोगकर्ता इतिहास का उपयोग करता है जो सैकड़ों सत्रों में फैला हुआ है। कार्यों को एजेंटों को बिखरे हुए और अपूर्ण साक्ष्य को एक साथ टुकड़े करने की आवश्यकता होती है न कि केवल कुछ दोहराने के लिए जिसे उपयोगकर्ता ने स्पष्ट रूप से कहा था।

यह सेटअप उपयोगी है क्योंकि वास्तविक उपयोगकर्ता इतिहास अक्सर शोर करते हैं। एक व्यक्ति नई कॉफी की कोशिश कर सकता है, बजट बदल सकता है या software सेटिंग को एक बार अपडेट कर सकते हैं।

आठ स्मृति विधियां और दो बड़े मॉडल अंतर दिखाते हैं

लेखक Qwen3-235B-A22B और GLM -5.3-फ्लैश के साथ आठ मेमोरी विधियों का मूल्यांकन करते हैं। चार विकल्प वाले कार्यों पर, सबसे अच्छा स्मृति-विधि विन्यास 33.61% मैक्रो सटीकता तक पहुंच जाता है, जो कि यादृच्छिक अनुमान लगाने के लिए 25% की तुलना में होता है। परिणाम कुछ संकेत दिखाता है, लेकिन यह भी दर्शाता है कि समस्या हल होने से बहुत दूर है।

The Habit Benchmark evaluates habit induction from longitudinal weak evidence in agent memory.

बेंचमार्क में बिल्डरों के लिए एक और चेतावनी संकेत शामिल है। यहां तक कि जब एनोटेटेड सबूत सीधे प्रदान किए जाते हैं, तो पर्याप्त त्रुटियां बनी रहती हैं। इससे पता चलता है कि मुख्य कठिनाई केवल प्रासंगिक इतिहास ढूंढना नहीं है। कठिन हिस्सा उस इतिहास की सही व्याख्या कर रहा हैः यह तय करना कि क्या यह एक स्थिर आदत का प्रतिनिधित्व करता है, एक बदली हुई आदत, एक अस्थायी अपवाद या सिर्फ एक अलग घटना।

एजेंट डेवलपर्स के लिए यह क्यों महत्वपूर्ण है

HABIT-Bench एजेंट मूल्यांकन में एक लापता परत की ओर इशारा करता है। कई प्रणालियों का परीक्षण किया जाता है कि क्या वे संदर्भ प्राप्त कर सकते हैं, लेकिन व्यक्तिगत सहायकों को पैटर्न के बारे में तर्क करने की भी आवश्यकता होती है। यदि कोई एजेंट भोजन की सिफारिश करता है, वित्तीय विकल्पों का प्रबंधन करता है, software वरीयताओं पर नज़र रखता है या यात्रा की योजना बनाता है, तो उसे उन्हें पार किए बिना अनुमानित आदतों पर कार्य करना पड़ सकता है।

बेंचमार्क के शुरुआती नंबरों से पता चलता है कि वर्तमान मेमोरी विधियां अभी तक विश्वसनीय आदत तर्क पर नहीं पहुंची हैं। डेवलपर्स के लिए, व्यावहारिक टेकवे यह नहीं है कि मेमरी सिस्टम बेकार हैं, लेकिन केवल पुनर्प्राप्ति सटीकता पर्याप्त नहीं है। एक प्रणाली सही इतिहास पा सकती है और फिर भी गलत कार्रवाई का चयन कर सकती है यदि वह पुनरावर्ती व्यवहार को अपवादों से अलग नहीं कर सकता है।

लेखकों ने परियोजना को खुला बना दिया है। कोड https://github.com/LUMIA-Group/habit-bench पर उपलब्ध है और dataset https://huggingface.co/datasets/hollyming/HABIT-Bench पर है। बिल्डरों के लिए अगला उपयोगी कदम यह परीक्षण करना है कि अन्य मेमोरी सिस्टम इन कार्यों पर कैसे प्रदर्शन करते हैं, विशेष रूप से ऐसे तरीके जो मॉडल परिवर्तन, अनिश्चितता और उपयोगकर्ता इरादे और एजेंट सुझाव के बीच अंतर करते हैं।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.