LLM उत्तरों में ब्रांड उल्लेख की गणना करना आसान है, लेकिन उन्हें सटीक रूप से मापना मुश्किल है।
व्हिस्कीजैक ने 240 LLM उत्तरों का परीक्षण किया और ब्रांड उल्लेख माप में छह जाल पाएः फुलाए हुए उद्धरण, शीघ्र पूर्वाग्रह, शोर और रैंकिंग त्रुटियां।
मुख्य जानकारी
- लेख में 48 निश्चित संकेतों पर चार वेब-खोज इंजन LLM से 240 उत्तरों का विश्लेषण किया गया है ताकि यह दिखाया जा सके कि ब्रांड उल्लेख की गिनती आसान है, लेकिन सटीक माप मुश्किल है।
- छह प्रमुख फंसे परिणामों को विकृत करते हैंः कच्चे उद्धरण गिनती, संकेत है कि नाम ब्रांडों, एकल रन शोर, स्पष्ट समझौते के कारण त्वरित वाक्यांश, बहुभाषी उत्तर inflating उल्लेख शेयर, और पूल रैंकिंग अधिक पंक्तियों के साथ इंजन overweighting।
- प्रति सॉफ्टवेयर श्रेणी में केवल 40 उत्तरों के साथ, सप्ताह-दर-सप्ताह छोटे परिवर्तन संभवतः शोर हैं; लगभग 10 प्रतिशत अंकों से नीचे की चाल को निष्कर्षों के बजाय जांच के लिए नेतृत्व के रूप में माना जाना चाहिए।
- बेहतर अभ्यास में ब्रांड-नाम संकेतों को टैग करना, प्रति उत्तर प्रति डोमेन एक बार उद्धरण गिनना, दोहराए जाने वाले रन, इंजन-विशिष्ट और स्थिति-जागरूक मैट्रिक्स की रिपोर्टिंग और स्पष्ट भार या बूटस्ट्रैप अंतराल का उपयोग करना शामिल है।
7 नवंबर 2026 को, व्हिस्कीजैक ने चार वेब-खोज बड़े भाषा मॉडल इंजनों से 240 उत्तर प्रकाशित किए, या LLM इंजन Open ओपनएआई, एंथ्रोपिक, गूगल और उलझन LLM ब्रांड अनुशंसा मापन में छह जाल दिखाने के लिए। डेटा एक मुफ्त साप्ताहिक न्यूज़लेटर, Mention Impossible से आता है, और कोई भी ब्रांड क्लाइंट या प्रायोजक नहीं है। पाठ AI लेखन सहायक के साथ तैयार किया गया था, फिर लेखक द्वारा संपादित किया गया और कच्चे परिणाम तालिकाओं के खिलाफ जांच की गई।
240-उत्तर माप कैसे बनाया गया था
पैनल में 48 फिक्स्ड इंग्लिश प्रॉम्प्ट्स हैं, छह सॉफ्टवेयर श्रेणियों में प्रति श्रेणी आठ: ग्राहक संबंध प्रबंधन, ईमेल मार्केटिंग, परियोजना प्रबंधन, ईकॉमर्स प्लेटफॉर्म, वेबसाइट बिल्डर और AI लेखन उपकरण। प्रत्येक श्रेणी के पहले चार संकेत सभी चार इंजनों द्वारा साझा किए जाते हैं।
| इंजन | मॉडल/सेटिंग | संकेत | प्रति संकेत चलाता है |
|---|---|---|---|
| ओपनएआई | जीपीटी-6.1-सोल | 24 साझा | एक |
| मानवजनित | क्लाउड-सोनट-5-5 | 24 साझा | एक |
| गूगल | मिथुन-3.8-फ्लैश | सभी 48 | एक |
| उलझन | एजेंट API "फास्ट" प्रीसेट | सभी 48 | तीन |
रन ने 240 उत्तरों को बिना किसी विफलता के लौटाया। प्रसंस्करण जानबूझकर सरल हैः उल्लेख ब्रांड और उपनामों के एक समीक्षा किए गए शब्दकोश के खिलाफ केस-असंवेदनशील, पूरे शब्द मैच का उपयोग करते हैं; बेजोड़ उम्मीदवार नाम साप्ताहिक समीक्षा फ़ाइल में जाते हैं। रैंक पहली उपस्थिति का क्रम है। उद्धरण प्रत्येक API की संरचित उद्धरण वस्तुओं से आते हैं, जो डोमेन नाम पर सामान्यीकृत होते हैं। यदि डोमेन ट्रैक किए गए ब्रांड से संबंधित हो तो एक उद्धरण "स्वामित्व" होता है।
छह जाल जो संख्याओं को बदलते हैं
जाल 1: कच्चे उद्धरणों की गिनती एक इंजन को हावी होने देती है। 240 उत्तरों में, एपीआई ने 3,775 उद्धरण लौटाए हैं। प्रत्येक डोमेन को प्रति उत्तर एक बार गिना जाता है तो 1,404 छोड़ देता है। औसत कच्चा उद्धरण प्रति उत्तरः मिथुन 52.3, रेंज 9 से 86; क्लाउड 18.9, 12 से 28; चैटजीपीटी 7.2, 3 से 12; उलझन 4.4, 2 से 11. विक्रेता के स्वामित्व वाले स्रोत 15.8% कच्ले उद्धरण हैं लेकिन अद्वितीय-प्रति-प्रतिक्रिया उद्धरण का 20.7% अनूठा संस्करण क्या यह उत्तर इस साइट पर निर्भर था?
जाल 2: किसी ब्रांड के विकल्प 21 संकेत उस ब्रांड को पुरस्कृत करते हैं। छह संकेत हबस्पॉट, मेलचिमप, आसन, शॉपिफाई, वर्डप्रेस और जैस्पर के विकल्पों के लिए पूछते हैं, जिससे 34 उत्तर प्राप्त होते हैं। बहिष्कृत ब्रांड का नाम 33 उत्तरों में रखा गया था और 28 में पहला नाम दिया गया था, क्योंकि उत्तर अक्सर विकल्प सूचीबद्ध करने से पहले प्रश्न को दोहरा देते हैं। ईमेल विपणन में, Mailchimp को 40 उत्तरों के 21 में नामित किया गया है, जो कि श्रेणी की सबसे अधिक हिस्सेदारी है। आठ ईमेल संकेतों में से दो में Mailchimp 21 शामिल हैंः वैकल्पिक सवाल और Klaviyo, MailChimp और Omnisend की तुलना। उन दोनों संकेतों ने 10 मेलबॉक्स में 21 उल्लेख उत्पन्न किए। अन्य 30 प्रतिक्रियाओं में, ActiveCampaign 12 से 11 और क्लाविओस 10 तक ले जाता है। प्रथम-नाम वाले ब्रैंड 6 संकेतों पर दिखाई देता है मैलचिम्प और जास्पर के लिए, 5 HubSpot के लिए 6 और Shopify के लिए 4 वें स्थान पर, 3 टैग के लिए WordPress, और 6 नवंबर के रूप
जाल 3: प्रमोट पर एक रन शोर छुपाता है। उलझन 48 में से 42 संकेतों पर तीन बार प्रति प्रोम्प्ट चलाया गया था। इसने ईमेल मार्केटिंग में 8 में से 8 से लेकर AI लेखन उपकरणों में 6 में से आठ तक सभी तीन रनों में पहले ब्रांड का नाम दिया। तीन रन्स के दौरान, 185 प्रश्न-ब्रांड जोड़े कम से कम एक बार दिखाई दिएः सभी तीन रन में 131, दो रन में 24, एक रन में 30। तो 185 में से 54 या 29%, हर रन में नहीं दिखाए गए थे। सूची के निचले हिस्से में एक ब्रांड कुछ भी बदले बिना गायब हो सकता है। जीपीटी चैट, क्लाउड और मिथुन एक बार दौड़ा, इसलिए उनका शोर अनुपस्थित नहीं है। यदि बजट केवल दोहराव के साथ एक इंजन की अनुमति देता है, तो वे पुनरावृत्ति अभी भी लगभग दिखाते हैं कि कितनी गति को अनदेखा किया जाना चाहिए।
जाल 4: स्पष्ट सहमति एक त्वरित प्रभाव हो सकता है। 24 संकेतों पर प्रत्येक इंजन ने जवाब दिया, सभी चार ने पहले 10 पर एक ही ब्रांड का नाम रखा। लेकिन उन साझा संकेतों में से 8 ने एक ब्रांड को नाम दिया। उन आठ पर, इंजन 4 बार सहमत हुए। अन्य 16 पर, वे 6 बार सहमत थे। ब्रांड-नाम वाले संकेतों के बिना, समझौता 16 में से 6 है, 40% से थोड़ा कम, निकटतम इंजन आमतौर पर शीर्ष पिक पर असहमत होते हैं
जाल 5: वर्बोस इंजन उल्लेख के हिस्से को बढ़ा देते हैं। यदि कोई ब्रांड कहीं भी दिखाई देता है, तो उल्लेख का हिस्सा एक उत्तर की गणना करता है। प्रति उत्तर अलग-अलग ब्रांडः क्लाउड 6.3, मिथुन 4.7, चैटजीपीटी 3.8, उलझन 3.3। एक ब्रांड को क्लॉड द्वारा mentioned किए जाने की अधिक संभावना है क्योंकि क्लेड में लगभग दोगुने से अधिक ब्रांड सूचीबद्ध हैं। प्रति इंजन शेयर रिपोर्ट करें, फिर शीर्ष तीन में उपस्थिति जैसे स्थिति-जागरूक मीट्रिक जोड़ें।
जाल 6: पूलिंग चुपचाप सबसे अधिक पंक्तियों के साथ इंजन का वजन करता है। प्रति संकेत पर तीन रन और सभी 48 संकेतों के साथ, पेर्प्लेक्सिटी प्रत्येक श्रेणी में 40 उत्तरों में से 24 प्रदान करती है। मिथुन 8, चैटजीपीटी 4 और क्लाउड 4 की आपूर्ति करते हैं। उल्लेख का एक pooled शेयर ज्यादातर एक पेर्लेक्सिसिटी नंबर होता है। यदि पेर्प्लेसिटी खरीदारों का प्रतिनिधित्व करता है तो यह ठीक हो सकता है, लेकिन ऐसा दुर्घटना से नहीं होना चाहिए। या तो भार स्पष्ट रूप से, उदाहरण के लिए समान रूप से या अनुमानित उपयोगकर्ता हिस्सेदारी द्वारा, या प्रत्येक इंजन को अपने स्वयं के नमूना आकार के साथ रिपोर्ट करें।
240 उत्तर शोर के बारे में क्या कहते हैं
प्रति श्रेणी 40 उत्तरों के साथ, एक उत्तर 2.5 प्रतिशत अंकों द्वारा शेयर को स्थानांतरित करता है। 50% के आसपास के हिस्से के लिए लगभग 95% मार्जिन नमूना आकार 40 पर प्लस या माइनस 15 प्रतिशत अंक और नमूना आकार 30 पर लगभग प्लस या मिनस 18 के बारे में है। यह एक सामान्य अनुमान है, एक मोटा सांख्यिकीय विधि है, और पैनल के अंदर बार-बार चलने से शायद सही अनिश्चितता अधिक हो जाती है। इस आकार के पैनल में अधिकांश सप्ताह-दर-हफ्ते मूव्स शोर हैं। लगभग 10 प्रतिशत बिंदुओं के नीचे की चाल को शोर माना जा सकता है; बड़ी चालें चेक करने का कारण बनती हैं न कि निष्कर्ष। बेहतर दृष्टिकोण बूटस्ट्रैपिंग, रीमॉडलिंग पद्धति, ओवर प्रॉम्प्ट्स और रन द्वारा अंतराल प्रकाशित करना है।
चेकलिस्ट, सीमाएं और अगले कदम
प्रॉम्प्ट पैनल को फ्रीज करें; नए संकेतों को एक नए संस्करण के रूप में जोड़ें और उन्हें अलग से रिपोर्ट करें जब तक कि उनके पास आधार रेखा न हो। ब्रांड-नाम संकेत टैग करें और उन्हें रैंकिंग से बाहर रखें। प्रति उत्तर डोमेन पर एक बार उद्धरण की गिनती करें और ऐसा कहें। शोर का अनुमान लगाने के लिए कम से कम एक इंजन पर दोहराएं. कुछ भी पूलिंग करने से पहले, नमूने के आकार के साथ, प्रत्येक इंजन पर रिपोर्ट करें। पहली उपस्थिति रैंक पर शीर्ष तीन में नामित या अनुशंसित पसंद करते हैं। उल्लेख और उद्धरण अलग रखें: किसी ब्रांड को बिना नाम दिए उद्धृत किया जा सकता है, और बिना उद्धृत किए नाम दिया गया है।
सीमाएँ: दायरा 48 संकेत, छह सॉफ्टवेयर श्रेणियां और केवल अंग्रेजी है। इंजनों को वेब खोज के साथ एपीआई के माध्यम से बुलाया गया था; उपभोक्ता ऐप्स वैयक्तिकरण, अन्य मॉडलों या अन्य खोज सेटिंग्स के कारण अलग-अलग जवाब दे सकते हैं। यह एक स्नैपशॉट सप्ताह, 7 नवंबर 2026, की तुलना में एक ही पैनल एक हफ्ते पहले, 1 नवंबर। Only Perplexity प्रति संकेत कई बार चला। ब्रांड मिलान शब्दकोष आधारित है, इसलिए यह उन ब्रांडों को याद करता है जो अभी तक शब्दकोश में नहीं हैं और पासिंग उल्लेख से सिफारिश नहीं बता सकता है। कोई महत्व परीक्षण नहीं है; मार्जिन मोटे अंकगणितीय हैं। ग्रोक अगले साप्ताहिक रन से जोड़ा जा रहा है और इन संख्याओं में नहीं है।
मुख्य सबक यह है कि LLM ब्रांड सिफारिशों को मापने में अधिकांश काम गिनती के नियमों में होता है, न कि API कॉल। त्वरित शब्दावली, उद्धरण डी-डुप्लीकेशन, दोहराव रन, उत्तर की लंबाई और पूलिंग वेट प्रत्येक इस नमूने में संख्याओं को स्थानांतरित कर देते हैं जितना कि लोगों द्वारा रिपोर्ट किए जाने वाले साप्ताहिक परिवर्तन होते हैं। उन विकल्पों को स्पष्ट करना और उन्हें प्रकाशित करना सप्ताह से सप्ताह तक तुलनात्मक बनाता है।
संदर्भः व्हिस्की जैक, Mention Impossible: विधि और साप्ताहिक तालिकाएं (2026), https://data.mentionimpossible.com/method/; मूल रूप से मध्यम पर Towards AI में प्रकाशित।
मेटा विवरणः 240 AI उत्तरों में से छह मापने वाले जाल दिखाते हैं कि कैसे उद्धरण गणना, संकेत और इंजन वजन साप्ताहिक पैनल में LLM ब्रांड सिफारिश रैंकिंग को विकृत करते हैं।
टैगः LLM ब्रांड अनुशंसा मापन, AI खोज दृश्यता, उद्धरण गिनती, शीघ्र इंजीनियरिंग, मॉडल बेंचमार्किंग
चित्रित छवि: रंगीन कार्डों को छांटने वाले फ़नल के ऊपर चार चैट बुलबुले का अमूर्त, मैत्रीपूर्ण चित्रण, कोई लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

Comments (0)