निम्न-गुणवत्ता AI सामग्री पहले से ही आपके प्रशिक्षण डेटा में है यहां तीन विधियां हैं जिन्हें मैंने इसका पता लगाने के लिए परीक्षण किया था।
एक प्रयोग ने ग्राहक-समीक्षा training data में निम्न गुणवत्ता वाले AI पाठ का पता लगाने के तीन तरीकों का परीक्षण किया। डिटेक्टरों ने अक्सर वास्तविक मानव समीक्षाओं को AI स्लोप के रूप में चिह्नित किया। उन ध्वजांकित उदाहरणों को हटाने से भावना मॉडल की सटीकता कम हो गई, जिससे यह दिखाया गया कि आक्रामक फ़िल्टरिंग उपयोगी प्रशिक्षण सिग्नल को छोड़ सकती है। लेख टेक्स्ट वर्गीकरण के लिए datasets को साफ करने से पहले लेबल किए गए मानव डेटा के खिलाफ डिटेक्टर्स का मूल्यांकन करने की सिफारिश करता है।
मुख्य बिंदु
- प्रयोग में पाया गया कि AI स्लोप डिटेक्टर नकली रूप से वास्तविक ग्राहक समीक्षाओं को चिह्नित कर सकते हैं, न केवल सिंथेटिक पाठ।
- चिह्नित समीक्षाओं को हटाने से भावना मॉडल की सटीकता कम हो गई, यह दर्शाया गया कि आक्रामक फ़िल्टरिंग उपयोगी मानव उदाहरणों को हटा सकती है।
- संक्षिप्त या सामान्य प्रामाणिक समीक्षाएं एआई-जनरेट किए गए पाठ की तरह हो सकती हैं, जिससे training data के लिए व्यापक पता लगाना जोखिम भरा हो जाता है।
- प्रैक्टिशनर्स को झूठे सकारात्मक मापने चाहिए और सफाई विकल्पों को मान्य करने के लिए फ़िल्टरिंग से पहले और बाद में मॉडल प्रदर्शन की तुलना करनी चाहिए।
- AI ढलान का पता लगाने को एक गुणवत्ता जोखिम कदम के रूप में माना जाना चाहिए, सुरक्षित डिफ़ॉल्ट नहीं है और इसके लिए सख्त सीमाएं या मैन्युअल समीक्षा की आवश्यकता हो सकती है।
मेटा विवरणः
एक Towards Data Science परीक्षण में पाया गया कि AI स्लोप डिटेक्टर वास्तविक समीक्षाओं को चिह्नित कर सकते हैं, और उन्हें फ़िल्टर करने से training data की समीक्षा में भावना मॉडल सटीकता कम हो जाती है।
टैगः AI स्लोप, भावना विश्लेषण, training data , डेटा की गुणवत्ता, machine learning
विशेष रुप से प्रदर्शित छवि: समीक्षा बुलबुले को साफ और शोर वाले डेटा में छांटे जाने का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक व्यक्ति नहीं, कोई लोगो नहीं, न ही पाठ
डेटा टीमों और मशीन-लर्निंग प्रैक्टिशनर्स के लिए जो ग्राहक-समीक्षा datasets को साफ करते हैं, Towards Data Science पर एक छोटा प्रयोग चेतावनी प्रदान करता हैः AI स्लोप डिटेक्शन स्पष्ट सिंथेटिक टेक्स्ट को हटाने से अधिक कर सकता है। यह वास्तविक समीक्षाओं को भी मिटा सकता है और मॉडल प्रदर्शन को नुकसान पहुंचा सकता है. मूल पोस्ट, जिसका शीर्षक training data में पहले से मौजूद AI slop का वर्णन किया गया था और इसे स्पॉट करने के तीन तरीकों की जांच की गई थी, ने एक व्यावहारिक परिणाम की सूचना दीः डिटेक्टरों ने कई सच्ची समीक्षाएं चिह्नित कीं, और उन्हें फ़िल्टरिंग ने भावना मॉडल को कम सटीक बना दिया।
परीक्षण ने एक गलत-सकारात्मक समस्या को उजागर किया
रिपोर्ट किए गए परिणाम सरल लेकिन परिणामी हैं। इस कार्य ने training data में AI स्लोप खोजने के तीन तरीकों का परीक्षण किया, और पोस्ट में वर्णित परिणाम एक स्वच्छ सुधार नहीं था। इसके बजाय, डिटेक्टरों ने कई प्रामाणिक समीक्षाओं को संदिग्ध निम्न-गुणवत्ता वाली सिंथेटिक सामग्री के रूप में चिह्नित किया। जब उन ध्वजांकित समीक्षाएं हटा दी गईं, तो प्रशिक्षण के लिए उपयोग की जाने वाली भावना मॉडल कम सटीक हो गई। यह इसलिए महत्वपूर्ण है क्योंकि समीक्षा datasets अक्सर मानव-लिखित पाठ पर निर्भर करती है ताकि किसी मॉडल को सिखाया जा सके कि लोग सकारात्मक और नकारात्मक राय कैसे व्यक्त करते हैं। यदि वास्तविक उदाहरण हटा दिए जाते हैं क्योंकि वे कृत्रिम दिखते हैं, तो मॉडल को इसकी आवश्यकता वाले लेबल खो देते हैं।
AI स्लोप को आमतौर पर निम्न-गुणवत्ता वाले जनित पाठ के रूप में समझा जाता है जो अस्पष्ट, दोहरावपूर्ण, सूत्रबद्ध या खराब आधार हो सकता है। एक समीक्षा dataset में, यह मशीन-जनित प्रशंसा या शिकायत टेक्स्ट की तरह दिखाई दे सकता है. वह पृष्ठभूमि परिणाम को समझाने में मदद करती है। कुछ वास्तविक समीक्षाएं संक्षिप्त, सामान्य या सादे शैली में लिखी जाती हैं, जो सिंथेटिक आउटपुट के समान दिख सकती हैं। इसलिए एक डिटेक्टर वास्तविक मानव लेखन को AI ढलान के लिए गलत कर सकता है ।
क्यों फ़िल्टरिंग भावना मॉडल को बदतर बना सकती है
भावना मॉडल उदाहरणों से सीखते हैं। सकारात्मक, नकारात्मक या तटस्थ लेबल वाली समीक्षा शब्द चयन, स्वर, नकार और संदर्भ के बारे में साक्ष्य प्रदान करती है। बहुत सारे लेबल किए गए उदाहरणों को हटाने से प्रशिक्षण संकेत सिकुड़ सकता है, खासकर यदि हटाए गए उदाहरण शोर नहीं बल्कि उपयोगी मानव भाषा हैं। प्रयोग का परिणाम बताता है कि आक्रामक फ़िल्टरिंग सटीकता को कम कर सकती है, न कि JUST जंक निकालें।
यह खोज पाठ वर्गीकरण के लिए डेटा तैयार करने वाले किसी भी व्यक्ति के लिए प्रासंगिक है। यह नहीं कहता कि फ़िल्टरिंग बेकार है। पोस्ट ने AI स्लोप को स्पॉट करने के तरीकों का परीक्षण किया, और रिपोर्ट किए गए परिणाम में एक व्यापार-बंद दिखाया गयाः सफाई dataset शुद्धता में सुधार कर सकती है जबकि गलत सकारात्मक उच्च होने पर डाउनस्ट्रीम प्रदर्शन को नुकसान पहुंचाती है। चिकित्सकों के लिए, व्यावहारिक प्रश्न बन जाता है कि कैसे सत्यापित करें कि डिटेक्टर के झंडे ज्यादातर खराब डेटा हैं, न कि अधिकांश वास्तविक समीक्षाएं।
एक सामान्य जांच मूल डेटा पर प्रशिक्षित मॉडल की तुलना फिल्टर किए गए उदाहरणों का उपयोग करके फ़िल्टर्ड डेटा पर प्रशिक्षण प्राप्त मॉडल से करना है। यह पोस्ट में कोई नया बेंचमार्क नहीं है; यह देखने के लिए एक मानक तरीका है कि क्या डेटा क्लीनिंग ने मदद की थी। यदि छानने के बाद सटीकता गिरती है, तो फ़िल्टर बहुत अधिक उपयोगी जानकारी को हटा सकता है। Towards Data Science परिणाम उस दिशा में संकेत देता है जो वहां वर्णित भावना मॉडल के लिए है।
पाठकों को प्रयोग से क्या सीखना चाहिए
मुख्य टेकआउट यह है कि AI स्लोप डिटेक्शन को एक गुणवत्ता-जोखिम कदम के रूप में माना जाना चाहिए, न कि सुरक्षित डिफ़ॉल्ट। उन पाठकों के लिए जो समीक्षा datasets का निर्माण या ऑडिट करते हैं , प्रयोग एक सरल निदान उठाता हैः यदि कोई फ़िल्टर कई वस्तुओं को ध्वजांकित करता है जो बाद में वास्तविक प्रतीत होते हैं, तो फिल्टर को हटाने से पहले सख्त सीमाएं, अलग-अलग सुविधाएँ या मैनुअल समीक्षा की आवश्यकता हो सकती है।
पोस्ट पहली बार Towards Data Science पर दिखाई दिया और training data में पहले से ही AI ढलान का पता लगाने के तीन तरीकों के आसपास इस मुद्दे को तैयार किया। रिपोर्ट किए गए परिणाम पाठकों को देखने के लिए कुछ ठोस देता हैः एक डिटेक्टर बहुत व्यापक हो सकता है। भावना विश्लेषण में, व्यापक झूठे सकारात्मक अंतिम मॉडल को बदतर बना सकते हैं क्योंकि प्रशिक्षण सेट वास्तविक मानव उदाहरणों को खो देता है।
जब शोधकर्ता या कंपनियां खुले स्रोतों से डेटा एकत्र करती हैं, तो उस पाठ का कुछ हिस्सा लोगों द्वारा लिखे जाने के बजाय उत्पन्न किया जा सकता है। डिटेक्शन टूल ऐसी सामग्री की पहचान करने में मदद कर सकते हैं, लेकिन परीक्षण से पता चलता है कि वे प्रामाणिक लेखन को भी गलत तरीके से वर्गीकृत कर सकती हैं।
किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए
टीमों को इस परिणाम पर पूरा ध्यान देना चाहिए यदि वे समीक्षा डेटा की सफाई करते हैं, भावना मॉडल को ठीक से ट्यून करते हैं या सामग्री-मॉडरेशन पाइपलाइन का मूल्यांकन करते हैं। यह विशेष रूप से छोटे datasets पर भरोसा करने वाले समूहों के लिए प्रासंगिक है, जहां कुछ वास्तविक उदाहरणों को हटाने से प्रदर्शन में उल्लेखनीय बदलाव हो सकता है। यह किसी भी व्यक्ति के लिए उपयोगी है जो एक मॉडल भेजने से पहले एआई-डिटेक्शन विधियों की तुलना करता है।
पाठकों को हर dataset पर अंधाधुंध रूप से सबक लागू करने के बारे में सावधान रहना चाहिए। पोस्ट एक भावना मॉडल पर एक विशिष्ट प्रयोग का वर्णन करता है और AI स्लोप डिटेक्शन के लिए सार्वभौमिक स्कोर प्रदान नहीं करता है। यदि किसी परियोजना में स्पष्ट रूप से सिंथेटिक स्पैम का एक बड़ा निकाय है, तो फ़िल्टरिंग अभी भी सार्थक हो सकती है। अगर लक्ष्य सूक्ष्म मानव राय की उच्च-सटीक वर्गीकरण है, एक व्यापक डिटेक्टर जोखिम भरा हो सकता है।
मूल स्रोत एक उपयोगी चेतावनी बना हुआ हैः AI ढलान पहले से ही कुछ training data का हिस्सा है, और इसे स्पॉट करने के तीन तरीकों का परीक्षण किया गया था। लेकिन रिपोर्ट किए गए परिणाम में चेतावनी दी गई है कि स्पॉटिंग पर्याप्त नहीं है। चिकित्सकों को यह मापने की आवश्यकता है कि क्या हटा दिया जाता है और सफाई के बाद मॉडल सटीकता का क्या होता है।

Comments (0)