क्या एक अपार्टमेंट सर्च एजेंट मैच क्वालिटी का त्याग किए बिना कम मॉडल कॉल कर सकता है?

मेटा विवरणः एक नया अपार्टमेंट खोज एजेंट प्रयोग भार के साथ 2,500 लिस्टिंग चेक का पता लगाता है & Biases Weave मॉडल कॉल को कम करने के लिए मैच उपयोगी रखते हुए।

टैगः अपार्टमेंट खोज एजेंट, वेट्स & Biases Weave, LLM लागत, एजेंट मूल्यांकन, मॉडल कॉल

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> अमूर्त, मैत्रीपूर्ण चित्रण शैली, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं हैः अपार्टमेंट लिस्टिंग कार्ड एक छोटे फिल्टर फ़नल के लिए ट्रैक किए गए रास्तों से जुड़े हुए हैं, जिसमें बार-बार मॉडल कॉल तीर को क्लीनर वर्कफ़्लो में कम किया जा रहा है।

यह उन बिल्डरों के लिए है जो large language models , या LLMs , आवास खोज उपकरण के अंदर उपयोग करते हैं और लागत, विलंबता और आउटपुट गुणवत्ता को चेक में रखने की आवश्यकता होती है। एक अपार्टमेंट सर्च एजेंट प्रयोग Towards Data Science पर पहली बार दिखाई देने वाली पोस्ट में वर्णित वजन के साथ 2,500 लिस्टिंग जांच का पता लगाया गया & Biases Weave, एक समय में एक परिवर्तन से बचने योग्य मॉडल का काम हटा दिया गया, और प्रत्येक संस्करण को समान उत्तरों के खिलाफ स्कोर किया गया। पोस्ट शीर्षक है क्या Apartment Search Agent Call Model Fewer Times और Still Find Good Matches हो सकता है? , और सारांश एकल पहले-और-बाद डेमो की बजाय नियंत्रित तुलना के रूप में प्रयोग प्रस्तुत करता है।

प्रयोग ने वास्तव में क्या परीक्षण किया

मुख्य गतिविधि JUST एक एजेंट का निर्माण नहीं था, लेकिन यह देखने के लिए कि कितनी बार एजेंट ने लिस्टिंग मूल्यांकन के दौरान मॉडल को बुलाया। & Biases Weave का उपयोग 2,500 लिस्टिंग जांचों को ट्रैक करने के लिए किया गया था, जिससे लेखक को यह दृश्यता मिलती है कि एजेंट ने मॉडल प्रयास कहाँ खर्च किए। इस दृष्टिकोण से, लेखक ने एक समय में एक बदलाव करके टालने योग्य मॉडल कार्य हटा दिया।

यह विवरण मायने रखता है। एजेंट विकास में एक आम विफलता कई चीजों को एक साथ बदल रही हैः संकेत शब्द, फ़िल्टरिंग तर्क, टूल कॉल, कैश व्यवहार, पुनः प्रयास नियम और मॉडल चयन। यदि परिणाम बेहतर या बदतर होता है, तो यह जानना मुश्किल हो जाता है कि कौन सा परिवर्तन अंतर का कारण बना। वर्णित विधि उन परिवर्तनों को अलग करती है। प्रत्येक संस्करण का मूल्यांकन समान उत्तरों के खिलाफ किया जाता है, इसलिए तुलना में एक निश्चित संदर्भ बिंदु होता है।

पोस्ट एक मॉडल नाम, मूल्य निर्धारण तालिका, विलंबता बेंचमार्क या मॉडल कॉल में प्रतिशत कमी प्रदान नहीं करता है। उपलब्ध सारांश विधि पर केंद्रित हैः जांच का पता लगाएं, वृद्धिशील रूप से टालने योग्य कार्य हटा दें और प्रत्येक संस्करण को लगातार स्कोर करें।

अपार्टमेंट खोज के लिए कम मॉडल कॉल क्यों मायने रखते हैं

अपार्टमेंट खोज एजेंट अक्सर एक ही सत्र में कई सूचियों को संसाधित करते हैं। एक उपयोगकर्ता बजट, पड़ोस, बेडरूम की संख्या, पालतू जानवरों की नीति, आवागमन रेंज या सुविधाओं का एक सेट के भीतर घर चाहते हो सकते हैं। यदि प्रत्येक सूची ताजा मॉडल कॉल को ट्रिगर करती है, तो वर्कफ़्लो महंगा और धीमा हो सकता है, भले ही कई लिस्टिंग स्पष्ट रूप से अनुपयुक्त हों।

एजेंट समान तर्क को भी दोहरा सकता है। उदाहरण के लिए, यह मॉडल से पूछ सकता है कि क्या एक सूची बजट में फिट बैठती है भले ही एक साधारण मूल्य फ़िल्टर पहले से ही उस प्रश्न का उत्तर दे चुका हो। यह मॉडल को उन विवरणों का सारांश देने के लिए कह सकता है जो संरचित लिस्टिंग क्षेत्रों से निकाले जा सकते हैं। यह बॉर्डरलाइन मामलों के लिए मॉडल को कॉल कर सकता है जिन्हें इसके बजाय मानव समीक्षा कतार या सस्ते हेरिस्टिक पर पारित किया जाना चाहिए।

इससे बचने योग्य मॉडल कार्य को कम करना इसलिए केवल tokens की बचत के बारे में नहीं है। यह प्रतिक्रिया समय, प्रति खोज सत्र लागत को कम कर सकता है, डिबगिंग आसान बना सकता है और एजेंट द्वारा विवरणों का आविष्कार करने की संभावना को कम करता है जब लिस्टिंग डेटा पहले से ही उन्हें प्रदान करता है।

मूल्यांकन सेटअप बिल्डरों के लिए क्या सुझाव देता है

प्रयोग एजेंट बिल्डरों के लिए एक व्यावहारिक पैटर्न की ओर इशारा करता हैः उपकरण पहले, अनुकूलन दूसरा। 2,500 लिस्टिंग चेक को ट्रैक करने से एजेंट के व्यवहार का मानचित्र मिलता है। उस नक्शे के बिना, डेवलपर्स गलत कदम को अनुकूलित कर सकते हैं। वे अनावश्यक कॉल छोड़ते हुए प्रॉम्प्ट को छोटा कर सकते थे, या वे मॉडल स्विच कर सकते थीं जबकि वास्तविक अपशिष्ट उन सूचियों पर मॉडल को बुलाने से आता था जिन्हें पहले फ़िल्टर किया जाना चाहिए था।

विभिन्न संस्करणों में एक ही उत्तर का उपयोग करना भी महत्वपूर्ण है। एजेंट मूल्यांकन में, लक्ष्य केवल यह नहीं है कि अंतिम प्रतिक्रिया अच्छी लगती है या नहीं। क्या सिस्टम लगातार उपयुक्त लिस्टिंग की पहचान करता है, खराब मिलान से बचा जाता है और तथ्यों को आविष्कार किए बिना विकल्प बताता है। समान संदर्भ उत्तरों के खिलाफ कई संस्करणों को स्कोर करने से डेवलपर्स परीक्षण लक्ष्य को स्थानांतरित किए बिना परिवर्तनों की तुलना कर सकते हैं।

इस प्रकार के अपार्टमेंट खोज एजेंट के लिए एक उपयोगी मूल्यांकन हार्नेस में कई आयाम शामिल हो सकते हैंः

• क्या एजेंट अभी भी मॉडल कॉल को हटाने के बाद अच्छे मिलान पाता है;
• क्या यह कीमत, स्थान या बेडरूम की संख्या जैसे स्पष्ट असंगतताओं से बचा जाता है;
• क्या यह एक ही मॉडल अनुरोध को अनावश्यक रूप से दोहराता है; या नहीं।
• क्या यह लापता लिस्टिंग फ़ील्ड को ध्यान से संभालती है; और
• क्या इसकी अंतिम सिफारिशें उपयोगकर्ता को समझाने योग्य हैं।

स्रोत सारांश अनुरेखण, वृद्धिशील परिवर्तनों और सुसंगत स्कोरिंग की पुष्टि करता है, लेकिन यह उन आयामों के अंतिम रैंकिंग को नहीं बताता है।

सामान्य त्रुटियाँ इस प्रकार का परीक्षण उजागर कर सकता है

एजेंट प्रयोग अक्सर उन समस्याओं का खुलासा करते हैं जिन्हें लाइव चैट डेमो में याद करना आसान होता है। एक लिस्टिंग सर्च एजेंट सहायक प्रतीत हो सकता है क्योंकि यह धाराप्रवाह पाठ उत्पन्न करता है, जबकि चुपचाप इसके नीचे अक्षम कॉल करता है। ट्रेस किए गए 2,500 लिस्टिंग चेक दृष्टिकोण उस पैटर्न को दृश्यमान बनाता है।

एक गलती हर अनिश्चित मामले को मॉडल निर्णय के रूप में मान रही है। संरचित लिस्टिंग डेटा पहले से ही कई सवालों का जवाब दे सकता है। किसी भी मॉडल कॉल की आवश्यकता होने से पहले मूल्य सीमा, बेडरूम गणना या पालतू नीति अक्सर नियमों के साथ संभाली जा सकती है। एक अन्य त्रुटि केवल अंतिम उत्तर स्कोरिंग कर रहा है। यदि एजेंट एक प्रशंसनीय सिफारिश लौटाता है लेकिन दर्जनों अनावश्यक मॉडल कॉल लेता है, तो सिस्टम अभी भी ऑपरेशनल रूप से कमजोर है।

एक तीसरी गलती संस्करणों के बीच मूल्यांकन लक्ष्य को बदलना है। यदि संस्करण एक उत्तरों के एक सेट और दूसरे के खिलाफ संस्करण दो का स्कोर किया जाता है, तो तुलना अविश्वसनीय हो जाती है। वर्णित सेटअप हर संस्करण को समान जवाबों के खिलाफ स्कोरिंग करके इससे बचाता है।

पाठकों को अभी तक क्या नहीं सोचना चाहिए

शीर्षक एक सवाल पूछता हैः क्या एजेंट मॉडल को कम बार कॉल कर सकता है और फिर भी अच्छे मैच पा सकता है? उपलब्ध सारांश उस प्रश्न का परीक्षण करने के लिए डिज़ाइन किए गए एक प्रयोग का वर्णन करता है, लेकिन यह किसी विशिष्ट प्रदर्शन परिणाम की पुष्टि करने में पर्याप्त विवरण प्रदान नहीं करता है। इसमें मॉडल का नाम, सूची मूल्य, राज्य सटीक कॉल गिनती या अंतिम मिलान-गुणवत्ता स्कोर नहीं दिया गया है।

पाठकों को पोस्ट को एक सार्वभौमिक बेंचमार्क के बजाय उपयोगी डिबगिंग पद्धति के साक्ष्य के रूप में व्यवहार करना चाहिए। मूल्य प्रक्रिया में हैः कई लिस्टिंग चेक का पता लगाएं, टालने योग्य मॉडल कार्य की पहचान करें, एक समय में एक चीज बदलें और निश्चित संदर्भ सेट के खिलाफ मूल्यांकन करें।

आगे क्या देखना है

अपार्टमेंट सर्च एजेंट बनाने वाली टीमों के लिए, अगला व्यावहारिक कदम मूल्यांकन अनुशासन की नकल करना है, जरूरी नहीं कि सटीक कोड। एक टीम को लिस्टिंग चेक का एक प्रतिनिधि सेट ट्रैक करना चाहिए, प्रत्येक मॉडल कॉल को आवश्यक, अनावश्यक या प्रतिस्थापन योग्य के रूप में वर्गीकृत करना चाहिए और फिर एक समय में एक हटाने का परीक्षण करना चाहिए। महत्वपूर्ण सवाल यह है कि क्या मैच गुणवत्ता हर बदलाव के बाद बनी रहती है।

यदि एजेंट मॉडल कॉल को कम कर सकता है जबकि अभी भी एक ही उत्तरों के खिलाफ अच्छी तरह से स्कोर करता है, तो परिणाम JUST सस्ती प्रणाली नहीं है। यह कम छिपे हुए लूप, कम विलंबता और विश्वसनीय आवास अनुशंसाओं के लिए बेहतर मार्ग के साथ एक स्पष्ट प्रणाली है।