उत्पाद डेटा विज्ञान के लिए natural language processing का उपयोग करना सीखें

मेटा विवरणः उत्पाद डेटा वैज्ञानिक चर्न, सीएलवी, विभाजन और मांग मॉडल में सुधार करने के लिए समर्थन टिकटों और समीक्षाओं से भावना, विषय और embedding सुविधाएँ जोड़ सकते हैं।

टैगः NLP , उत्पाद डेटा विज्ञान, ग्राहक चक्कर, विषय मॉडलिंग

लॉगिन डेटा, बिलिंग इतिहास और सुविधा उपयोग के साथ एक टीम में एक उत्पाद डेटा वैज्ञानिक को अक्सर एक परिचित अनुरोध का सामना करना पड़ता हैः हमें बताएं कि कौन से ग्राहक छोड़ने वाले हैं, और क्यों। व्यवहार तालिका उस प्रश्न का हिस्सा जवाब देती है। वे शायद ही कभी "क्यों" का उत्तर देते हैं। समर्थन टिकट, समीक्षा और सर्वेक्षण प्रतिक्रियाओं में संदर्भ होता है जो उन तालिकाओं पर कब्जा नहीं करते हैं और natural language processing तकनीकों का एक छोटा सेट उस पाठ को मौजूदा मॉडलों द्वारा उपयोग की जा सकने वाली विशेषताओं में बदल सकता है।

यह लेख आठ उत्पाद समस्या क्षेत्रों और प्रत्येक को मजबूत करने वाली NLP विधियों के माध्यम से चलता है। यह उन उत्पाद डेटा वैज्ञानिकों के लिए लिखा गया है जो पहले से ही चर्न, सीएलवी, विभाजन या पूर्वानुमान मॉडल का निर्माण करते हैं और एक अलग सिस्टम बनाने के बिना पाठ संकेत जोड़ना चाहते हैं।

NLP तकनीकों के तीन परिवार

नीचे दिए गए अधिकांश उपयोग के मामले तीन समूहों की विधियों पर निर्भर करते हैं। वर्गीकरण पाठ को एक पूर्वनिर्धारित लेबल, जैसे कि सकारात्मक या नकारात्मक भावना, या उच्च जोखिम बनाम निम्न-जोखिम रेटिंग में असाइन करता है। विषय और क्लस्टर विश्लेषण पहले से परिभाषित श्रेणियों के बिना अर्थ द्वारा पाठ को समूहीकृत करता है, अग्रिम रूप से चुने गए लेबल लागू करने के बजाय थीम का सामना करना पड़ता है। embedding आधारित पुनर्प्राप्ति और समानता घने वैक्टर के रूप में पाठ का प्रतिनिधित्व करती है, जो सिमेंटिक खोज और सिफारिशों के लिए समानता माप सक्षम बनाता है।

दो संबंधित तकनीकें इन परिवारों को अप्रत्यक्ष रूप से फिट करती हैं। नामित इकाई मान्यता (एनईआर) पूरे दस्तावेजों के बजाय व्यक्तिगत शब्दों और वाक्यांशों पर लागू वर्गीकरण है। embedding -आधारित विसंगति का पता लगाने समानता खोज के लिए उपयोग किए जाने वाले समान वैक्टरों पर बनाता है।

ग्राहक वियोग का पूर्वानुमान

चर्न मॉडल पारंपरिक रूप से व्यवहारिक और लेनदेन संबंधी विशेषताओं पर चलते हैंः लॉगिन आवृत्ति, उत्पाद का उपयोग, भुगतान। समर्थन वार्तालापों, समीक्षाओं और सर्वेक्षणों की भावना अक्सर व्यवहार से पहले बदल जाती है, जो इन मॉडलों को पहले के संकेत देती है। समर्थन टिकटों से निकाले गए विषय भी वर्गीकृत सुविधाओं के रूप में कार्य कर सकते हैं, मॉडल को "कौन छोड़ रहा है" से "को छोड़कर जा रहा है और क्यों"। यही दृष्टिकोण अन्य प्रवृत्ति मॉडल तक फैलता है, जैसे रूपांतरण या सदस्यता उन्नयन की भविष्यवाणी करना।

तकनीकेंः BERT या रोबर्टा के साथ भावना वर्गीकरण, BERTopic के साथ विषय मॉडलिंग, पाठ वर्गीकरण।

ग्राहक जीवनकाल मूल्य

सीएलवी मॉडल आय की भविष्यवाणी करते हैं और खर्च का मार्गदर्शन करते हैं, आमतौर पर खरीद डेटा पर संभाव्यता मॉडल या ग्रेडिएंट-बूस्ट रिग्रेशन का उपयोग करके। वे नए ग्राहकों के साथ संघर्ष करते हैं जिनके पास पर्याप्त इतिहास नहीं है। समर्थन इतिहास में भावना रुझानों को ट्रैक करना, या ग्राहक समीक्षाओं में चर्चा करने वाले विषय, मॉडल को खरीदारी इतिहास जमा होने से पहले एक संकेत देता है।

तकनीकेंः भावना वर्गीकरण, विषय मॉडलिंग, पाठ वर्गीकरण।

ग्राहक विभाजन

सेगमेंटेशन आमतौर पर हालिया, आवृत्ति, मौद्रिक मूल्य और अन्य व्यवहार विशेषताओं के आधार पर ग्राहकों को क्लस्टर करता है। NLP -व्युत्पन्न खंड उन समूहों की सतह कर सकते हैं जो अकेले व्यवहार डेटा याद करेंगे। समीक्षाओं, टिकटों या सर्वेक्षणों में उनकी भाषा द्वारा क्लास्टिंग ग्राहक "मूल्य-संवेदनशील लेकिन गुणवत्ता के बारे में मुखर" या "शांत उच्च-मूल्य वाले उपयोगकर्ता" जैसे समूह पैदा कर सकता है। ये पाठ-आधारित खंड आम तौर पर उन्हें बदलने के बजाय व्यवहार क्लस्टर के साथ संयुक्त होते हैं।

तकनीकें: K-means या HDBSCAN के साथ पाठ क्लस्टरिंग, BERTopic के साथ विषय मॉडलिंग।

अनुशंसा प्रणाली

उत्पाद डेटा वैज्ञानिकों के पास सिफारिश प्रणाली नहीं हो सकती है, लेकिन वे सिस्टम क्लिक दर और देखने के समय को प्रभावित करते हैं, और अक्सर प्रयोगों के लिए आधार के रूप में काम करते हैं। एक आम समस्या ठंडी शुरुआत हैः नए उपयोगकर्ताओं या वस्तुओं के पास कोई डेटा नहीं होता है। embedding आइटम विवरण और अन्य सामग्री सिस्टम को कुछ क्लिक के बाद सामग्री पर अनुशंसा करने की अनुमति देती है, जब तक कि व्यवहारिक डेटा जमा न हो जाए तब तक अंतराल को बंद कर देता है। आज अधिकांश अनुशंसक इस कारण से संकर हैं, जो टेक्स्ट-आधारित embeddings के साथ व्यवहार संबंधी डेटा का मिश्रण करता है।

तकनीकेंः embeddings Sentence- BERT या Item2Vec के साथ, कोसाइन समानता, FAISS के साथ वेक्टर खोज या निकटतम पड़ोसी विधियों का अनुमान।

मूल्य निर्धारण और लोच

लोचदार मॉडल मूल्य बिंदुओं, रूपांतरण दरों और प्रतिस्पर्धी मूल्य निर्धारण का उपयोग करते हैं, इसलिए यह मान लेना आसान है कि पाठ कोई भूमिका नहीं निभाता है। समीक्षाओं पर भावना और विषय विश्लेषण और समर्थन टिकट जो कीमत का उल्लेख करते हैं उन्हें सीधे मूल्य-संवेदनशीलता सुविधा में परिवर्तित किया जा सकता है। इससे आप पूरे आधार को समान रूप से मूल्य-सेंसिटिव के रूप में व्यवहार करने के बजाय लोच द्वारा ग्राहकों को विभाजित कर सकते हैं।

तकनीकेंः भावना वर्गीकरण, पाठ वर्गीकरण और BERTopic के साथ विषय मॉडलिंग।

मांग पूर्वानुमान

पूर्वानुमान काफी हद तक ऐतिहासिक डेटा पर निर्मित एक समय-श्रृंखला समस्या है, जो किसी उत्पाद के वायरल होने, ब्रांड विवाद या प्रतिस्पर्धी ठोकर खाने जैसे संकेतों को याद करती है। समाचार भावना, सामाजिक गपशप और समीक्षा की मात्रा में स्पाइक को प्रमुख संकेतक के रूप में इंजीनियर किया जा सकता है, जिससे ऐतिहासिक प्रवृत्ति से पहले मांग शिफ्ट हो सकती है।

तकनीक: भावना वर्गीकरण, BERTopic के साथ विषय मॉडलिंग।

विसंगति का पता लगाना

असामान्यता का पता लगाना धोखाधड़ी का पता लगाने और अन्य उद्देश्यों के अलावा डेटा गुणवत्ता की जांच करने में मदद करता है। धोखाधडी मॉडल परंपरागत रूप से लेनदेन पैटर्न और व्यवहार संकेतों पर भरोसा करते हैं। कुछ मामलों में, embeddings को नकली समीक्षा, एक घोटाले सूची या phishing संदेश जैसे आंकड़ों पर लागू किया जा सकता है जो खुद को असामान्य व्यवहार के बजाय भाषा पैटर्न के माध्यम से प्रकट करता है.

तकनीकेंः Isolation Forest या ऑटोकोडर के साथ embedding आधारित विसंगति का पता लगाना।

लीड स्कोरिंग

लीड स्कोरिंग, B2B कंपनियों में आम है, संभावनाओं को रैंक करता है ताकि बिक्री टीम उच्चतम संभावित खरीदारों पर ध्यान केंद्रित कर सके। यह आमतौर पर फर्मोग्राफिक और सगाई के आंकड़ों पर चलता हैः कंपनी का आकार, नौकरी शीर्षक, email खोलता है, पृष्ठ विज़िट। एक कॉल पर उठाए गए आपत्तियों सहित एक सीसा वास्तव में क्या कहता है, प्रतिस्पर्धियों का उल्लेख किया गया है, या email में व्यक्त की गई तात्कालिकता भी मायने रखती है। उस सिग्नल को निकालने से "वे कितने लगे हुए हैं" से एक नेतृत्व स्कोर बदल जाता है "वे कैसे तैयार हैं, और उन्हें क्या रोक रहा है"।

तकनीक: पाठ वर्गीकरण, spaCy के साथ एनईआर, BERTopic के साथ विषय मॉडलिंग।

आउटपुट को सुविधाओं में बदलना

उपरोक्त उदाहरण आउटपुट पर रुकते हैंः एक भावना लेबल, एक विषय, एक क्लस्टर। व्यवहार में, वह आउटपुट आपके पास पहले से मौजूद मॉडल की विशेषता बन जाता है। लक्ष्य एक अलग NLP मॉडल नहीं है बल्कि टेक्स्ट को मौजूदा मॉडल द्वारा खपत किए जा सकने वाले फीचर्स में परिवर्तित किया गया है। उदाहरण के रूप में चर्न का उपयोग करते हुए, आप प्रत्येक समर्थन टिकट स्कोर करते हैं, परिणामों को ग्राहक स्तर तक एकत्र करते हैं और उन्हें व्यवहारिक सुविधा तालिका में शामिल करते हैं।

एक बार फ़ीचर एकीकृत हो जाने के बाद, अगला सवाल यह है कि क्या यह मदद करता है। सबसे सरल परीक्षण टेक्स्ट फीचर के साथ और उसके बिना उसी मॉडल को प्रशिक्षित करना और एक होल्डआउट सेट पर प्रदर्शन की तुलना करना है। एयूसी काम करता है, लेकिन आपकी टीम पहले से ही किसी भी मीट्रिक ट्रैक ठीक है। यदि प्रदर्शन में सुधार होता है, तो पाठ एक सिग्नल जोड़ रहा है जो अकेले व्यवहार चूक जाता है।

याद रखने लायक तीन पैटर्न

इन समस्या क्षेत्रों में, कुछ पैटर्न दोहराए जाते हैं।

टेक्स्ट अक्सर व्यवहार से पहले चलता है। चर्न, सीएलवी और मांग पूर्वानुमान में, पाठ में भावनात्मक बदलाव संख्याओं में परिवर्तन से पहले होते हैं। उपयोग गिरने से पहले एक ग्राहक का टोन समर्थन टिकट में बदल जाता है, और बिक्री में गिरावट से पहले भावना की समीक्षा करता है।

पाठ उन अंतरालों को भरता है जहां व्यवहार डेटा पतला होता है। सीएलवी मॉडल और अनुशंसाकर्ता संचित इतिहास पर निर्भर करते हैं, इसलिए वे नए ग्राहकों और नई वस्तुओं के साथ संघर्ष करते हैं। embedding विवरण, समीक्षा या प्रारंभिक समर्थन वार्तालाप मॉडल को कुछ कारण देते हैं इससे पहले कि व्यवहार संबंधी डेटा मौजूद हो।

पाठ "क्यों" की व्याख्या करता है, न कि "क्या". व्यवहारिक और लेन-देन संबंधी आंकड़े आपको बताते हैं कि कुछ हुआ; पाठ वह जगह है जहाँ तर्क रह सकता है. यह भविष्यवाणी की सटीकता के बारे में कम है और कार्रवाई करने योग्य किसी चीज़ का उत्पादन करने के लिए अधिक है।

शुरुआत

NLP उत्पाद डेटा वैज्ञानिक की टूलकिट के लिए एक व्यावहारिक अतिरिक्त है। भावना वर्गीकरण, विषय मॉडलिंग और embeddings चर्न, सीएलवी या मांग पूर्वानुमान के पीछे पारंपरिक मॉडल को प्रतिस्थापित नहीं करते हैं। वे पाठ से पहले संकेत प्रदान करते हैं कि अकेले व्यवहारिक डेटा याद कर सकते हैं। तकनीकों का एक छोटा सेट, सही डेटा और कोड की कुछ पंक्तियां शुरू करने के लिए पर्याप्त हैं।

बुकमार्क करने योग्य प्रलेखनः नामित संस्थाओं के लिए spaCy की भाषाई विशेषताएं पृष्ठ, BERTopic, HuggingFace पाइपलाइन दस्तावेज, FAISS विकी और विसंगति का पता लगाने के लिए scikit-learn Isolation Forest पेज।