FairStress LLM निर्णय लेने में निष्पक्षता का अधिक गहन मूल्यांकन प्रदान करता है।
FairStress बेंचमार्क LLM निष्पक्षता परीक्षण करके कि क्या विरोधाभासी उपसर्ग 13 मिलियन मामलों में जनसांख्यिकीय पहचानों पर निर्णय बदलते हैं।
मुख्य जानकारी
- FairStress अंतिम विकल्पों से परे निष्पक्षता का मूल्यांकन करता है LLM यह परीक्षण करके कि क्या विरोधाभासी प्रेरक तर्क मॉडल को शामिल जनसांख्यिकीय पहचान के आधार पर अलग-अलग निर्णय बदलने के लिए प्रेरित करते हैं।
- बेंचमार्क 300 दो-उम्मीदवार परिदृश्यों को 13 मिलियन से अधिक परीक्षण मामलों में विस्तारित करता है जैसे कि भर्ती, स्वास्थ्य सेवा, उधार, शिक्षा, आवास और आपराधिक न्याय।
- यह सूक्ष्म जनसांख्यिकीय पूर्वाग्रह का पता लगाने के लिए सबूतों की ताकत और पहचान प्रस्तुति दोनों में भिन्न होता है - कोई संकेत नहीं से लेकर कोडित नाम, निहित सिग्नल और स्पष्ट लेबल तक।
- परिणाम बताते हैं कि मॉडल जनसांख्यिकीय संकेतों के बिना लगभग सममित रूप से व्यवहार करते हैं, लेकिन पहचान अधिक स्पष्ट होने पर कम सुसंगत और अधिक विषम हो जाते हैं।
- एक प्रमुख खोज विरोधी रूढ़िवादी अति-सुधार है: जब तर्क अल्पसंख्यक कोडित पहचानों का पक्ष लेते हैं तो मॉडल वस्तुतः मजबूत उम्मीदवार को छोड़ने की अधिक संभावना रखते हैं।
मेटा विवरण: FairStress परीक्षण LLM अंतिम विकल्पों से परे निष्पक्षता, असममित जनसांख्यिकीय निर्णयों को प्रकट करने के लिए 13 मिलियन मामलों में विरोधाभासी उपसर्ग का उपयोग करता है।
टैग: निष्पक्षता, जनसांख्यिकीय पूर्वाग्रह
![एक निष्पक्षता पैमाने पर संतुलित दो गुमनाम उम्मीदवार प्रोफाइल का सार मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है]
उच्च दांव सेटिंग्स में LLMs का मूल्यांकन करने वाली टीमों के लिए नौकरी आवेदकों की स्क्रीनिंग और ऋण को मंजूरी देने से लेकर उपचार के लिए रोगियों को प्राथमिकता देना और प्रवेश के लिए छात्रों का आकलन करना FairStress एक बेंचमार्क प्रदान करता है जो उम्मीदवार से परे दिखता है, एक मॉडल अंततः चुनता है। यह मापता है कि क्या मॉडल अलग-अलग जनसांख्यिकीय पहचानों के साथ उन विकल्पों को बदलते हैं, और बेंच मार्क डाउनलोड के लिए उपलब्ध है और इसे ओल्मो-एवल में बनाया जा रहा है, टीम ने मॉडल मूल्यांकन चलाने और तुलना करने के लिए कार्यक्षेत्र खोला है।
क्यों अंतिम विकल्प पर्याप्त नहीं हैं
कई जनसांख्यिकीय निष्पक्षता परीक्षण केवल पूछते हैं कि क्या एक मॉडल डेमोग्राफिक पहचानों को स्वैप करने के बाद दो अन्यथा समान परिदृश्यों में एक ही व्यक्ति का चयन करता है। मान लीजिए कि मजबूत आवेदक के पास बेहतर अनुभव और क्रेडेंशियल्स हैं; क्या यह मॉडल अभी भी उस व्यक्ति को पसंद करता है जब मजबूत उम्मीदवार काले रंग का होता है?
फेयरस्ट्रेस एक तनाव परीक्षण जोड़ता है। मॉडल चुनने के बाद, इसे एक प्रेरक तर्क प्राप्त होता है, जिसे विरोधाभासी उपसर्ग कहा जाता है, जैसे कि यह दावा है कि उम्मीदवार बी को वरिष्ठ नेतृत्व द्वारा पसंद किया जाता है या B.s जनसांख्यिकीय समूह के लोगों को ऐतिहासिक रूप से नजरअंदाज कर दिया गया है। बेंचमार्क माप करता है कि क्या मॉडल अपने साक्ष्य-समर्थित विकल्प को अधिक आसानी से बदल देता है जब तर्क एक जनसाख्यिक समूह का पक्षधर होता है जब वह दूसरे का समर्थन करता है।
बेंचमार्क कैसे बनाया जाता है
यह बेंचमार्क 300 दो-उम्मीदवार परिदृश्यों से बनाया गया है, जिसमें 29 डोमेन शामिल हैं, जिनमें भर्ती, स्वास्थ्य सेवा, उधार, शिक्षा, आवास और आपराधिक न्याय शामिल हैं। एक उदाहरण में, मॉडल को मैकेनिकल इंजीनियरिंग आवेदकों के बीच चयन करना होगा। दूसरे में, यह तय करता है कि दो रोगियों में से किसको दुर्लभ दवा की अंतिम खुराक मिलती है।
कुछ मामलों में एक उम्मीदवार शामिल होता है जो स्पष्ट रूप से दिए गए मानदंडों से बेहतर मेल खाता है। वे मामले दिखाते हैं कि जनसांख्यिकीय जानकारी कितनी बार बदलती है, मॉडल सबूत द्वारा समर्थित उम्मीदवार का चयन करता है। अन्य मामले जानबूझकर अस्पष्ट हैंः दोनों उम्मीदवार अलग-अलग, कठिन तुलना करने वाले तरीकों से मजबूत होते हैं, इसलिए कोई वस्तुनिष्ठ रूप से बेहतर विकल्प नहीं होता है। ये मामले यह प्रकट करते हैं कि कौन सा उम्मीदवार एक मॉडल को पसंद करता है जब साक्ष्य स्पष्ट तौर पर एक दिशा की ओर इशारा नहीं करते हैं।
पहचान प्रस्तुति में भी हेरफेर किया जाता हैः संकेतों में कोई जनसांख्यिकीय सिग्नल, एक लोकतांत्रिक रूप से कोडित नाम, अप्रत्यक्ष निहितार्थ या स्पष्ट लेबल शामिल हो सकता है। यह डिजाइन परीक्षण करता है कि क्या व्यवहार संबंधी अंतर केवल तब दिखाई देते हैं जब पहचान को सीधे तौर पर कहा जाता है या जब इसे सूक्ष्म तरीके से व्यक्त किया जाता है।
प्रतिद्वंद्वी उपसर्ग प्राधिकरण, सामाजिक सहमति, कथित साक्ष्य, कानूनी चिंताओं, ऐतिहासिक नुकसान और अन्य प्रेरक रूपों का उपयोग करते हैं। एक उदाहरण यह हैः एक वरिष्ठ नेता ने निजी तौर पर फाइलों की समीक्षा की है और इस भूमिका के लिए उम्मीदवार बी की सिफारिश की है। प्रत्येक उपसर्ग में एक समान संस्करण होता है जो दूसरे उम्मीदवार के लिए उसी तरह का मामला बनाता है, इसलिए दोनों जनसांख्यिकीय स्थितियों में एक ही तर्क का परीक्षण किया जा सकता है। ये पहचान और उपसर्ग भिन्नताएं 300 आधार परिदृश्य को 13 मिलियन से अधिक परीक्षण मामलों में गुणा करती हैं।
एक छोटा साथी, फेयरस्ट्रेस-कोर में Fluid Benchmarking विधि के तहत आइटम प्रतिक्रिया सिद्धांत के साथ चयनित 50,000 वस्तुएं हैं। उपसमूह मॉडल व्यवहार में अंतर के लिए पूर्ण बेंचमार्क की संवेदनशीलता को संरक्षित करते हुए कंप्यूटेशनल लागत और समय को कम करता है।
परिणामों ने क्या दिखाया
कई प्रशिक्षण चरणों में ओल्मो, लामा, Qwen, जेम्मा, Claude और जीपीटी परिवार पर खुले वजन और सीमा प्रणालियों के परीक्षण से पता चला है कि एक ही विरोधाभासी उपसर्ग मॉडल को निर्णय बदलने की अधिक या कम संभावना रखते हैं जो इस बात पर निर्भर करता है कि कौन सा जनसांख्यिकीय समूह तर्क का पक्षधर था। बेंचमार्क भी भर्ती, उधार, स्वास्थ्य सेवा, शिक्षा और आवास भर में मॉडल स्पष्टीकरण और आंतरिक सक्रियण पैटर्न में जनसाङ्ख्यिक मतभेदों की जांच करता है।
जनसांख्यिकीय संकेतों के बिना, व्यवहार लगभग सममित था। स्पष्ट मामलों में, बेहतर उम्मीदवार को लगभग उसी दर से चुना गया जब केवल पहचान बदल गई थी। अस्पष्ट मामलों में जहां कोई भी उम्मीदवार वस्तुतः मजबूत नहीं था, विकल्प समान रूप से विभाजित होने के करीब थे। जैसे-जैसे पहचान अधिक स्पष्ट हो जाती है, व्यवहार कम सममितीय होता जाता है।
पैटर्न विरोधी रूढ़िवादी अति-सुधार है। If Candidate ए स्पष्ट रूप से बेहतर योग्य है और उस तुलना में परंपरागत रूप से लाभप्रद पहचान को ले जाने वाले बहुमत-कोडेड है, जैसे कि सफेद, पुरुष या विषमलैंगिक जबकि उम्मीदवार बी अल्पसंख्यक कोडित है, B का समर्थन करने वाला एक उपसर्ग मॉडल को मजबूत उम्मीदवार से कमजोर व्यक्ति के लिए स्विच करने की अधिक संभावना रखता है। यदि A अल्पसंख्येय-कोड किया गया है और B को योग्यता तय होने के साथ बहुसंख्यकों द्वारा कोडित किया जाता है, तो उसी प्रकार के प्रीफिक्सिंग B को मॉडल A को छोड़ने की संभावना कम होती है। चिंता यह है कि पहचान बदलती है कि कैसे लगातार एक मॉडल सबूतों का पालन करता है, तब भी जब एक उम्मीदवार स्पष्ट तौर पर बेहतर होता है।
रिपोर्ट किए गए परिणामों में अल्पसंख्यक-कोडेड और बहुमत-कोडित उम्मीदवारों के बीच 15 मॉडलों में औसत अंतर दिखाया गया है, जिसका मूल्यांकन सभी चार पहचान स्थितियों द्वारा साझा किए गए 19 डोमेन में किया गया था। मान प्रतिशत अंकों में हैं; सकारात्मक मूल्य अल्पसंख्येय कोडित उम्मीदवारों का पक्ष लेने वाले मतभेदों को दर्शाते हैं, और शून्य समूहों में समान दरों को दर्शाता है।
एक भर्ती मामले में, तुलू ने दोनों पहचान संस्करणों में ब्लैक ट्रांसजेंडर महिला को चुना। कमजोर रेज़्यूमे के साथ, इसके औचित्य से विकास की क्षमता और विविध पृष्ठभूमि पर प्रकाश डाला गया था, भले ही प्रमाणन गायब थे; मजबूत रिज़्यूम के साथ यह अनुभव और प्रमाणीकरण को उजागर करता है।
पूर्ण बेंचमार्क पर, 15 मॉडलों ने सही उत्तरों को छोड़ने में औसतन 6.9 प्रतिशत अंक का अंतर हासिल किया जब पहचान निहित थी, और 9.3 अंक जब यह स्पष्ट था। फेयरस्ट्रेस-कोर परीक्षणों में,Claude Opus 5 और जीपीटी-5.5 ने अल्पसंख्यक-कोडेड उम्मीदवारों को लगभग 6016]65% समय के लिए चुना जब कोई भी उम्मीदवार वस्तुतः मजबूत नहीं था। मिलान किए गए उपसर्गों ने 12 मॉडल-और-मोड रन में बहुमत-कोडित उम्मीदवारों की ओर स्विच करने से अधिक संभावना बनाई 8.8[42.4 प्रतिशत अंक
यहां तक कि सही चयनों ने अलग-अलग औचित्य उत्पन्न किए। 11 खुले वजन वाले मॉडलों में, अल्पसंख्यक-कोडेड विकल्पों को थोड़ा अधिक आत्मविश्वास और सकारात्मक भाषा के साथ समझाया गया था। जब पहचान स्पष्ट रूप से लेबल की गई थी, तो उन व्याख्याओं में अक्सर शब्द जैसे लचीलापन, विविधता, और बाधाएं often का उपयोग किया जाता था। बहुमत कोडित स्पष्टीकरण प्रक्रियात्मक शब्दों पर झुकते थे जैसे कि साक्ष्य, मानदंड, तथा विस्तृत.
आंतरिक सक्रियण - एक मॉडल के अंदर संख्यात्मक गतिविधि भी भविष्य कहनेवाला संकेत ले जाती है। Gemma-3-12B-it और Qwen2.5-7B-Instruct के नियंत्रित विश्लेषण में, आंतरिक सक्रियताओं ने अनुमान लगाया कि किस जनसांख्यिकीय पक्ष को मॉडल द्वारा लगभग 73% सटीकता के साथ चुना गया था। उन समान सक्रियणों का पाठ विवरण 57[2 तक पहुंच गया,59%, 50% मौके की आधार रेखा के खिलाफ। अनुवर्ती परीक्षण में, उम्मीदवार नाम हटाने से सक्रियण-आधारित सटीकता लगभग 18 प्रतिशत अंक कम हो गई थी। सक्रियण विश्लेषण केवल दो मॉडलों और जनसंख्या संबंधी विरोधाभासों के सीमित सेट को कवर करता है, इसलिए शोधकर्ता इन निष्कर्षों को व्यापक व्यवहारिक परिणामों की तुलना में संकीर्ण मानते हैं। फिर भी, वे सुझाव देते हैं कि एक मॉडल का तर्क ट्रेस निर्णय लेने पर आंतरिक रूप से प्रतिनिधित्व किए गए सभी चीजों को प्रकट नहीं कर सकता है, जो पूर्वव्याख्यात्मक अनुसंधान के अनुरूप है जिसमें दिखाया गया है कि chain-of-thought कुछ कारकों को छोड़ सकता है जो एक मॉडल की भविष्यवाणी को प्रभावित करते हैं।
क्यों बेंचमार्क डिजाइन तस्वीर बदल सकता है
FairStress परिणाम BBQ से अलग थे, एक व्यापक रूप से उपयोग किया जाने वाला बेंचमार्क जो यह परीक्षण करता है कि क्या मॉडल सामाजिक समूहों को शामिल करने वाले परिदृश्यों में रूढ़िवादी-संगत उत्तर का पक्ष लेते हैं। उदाहरण के लिए, बीबीक्यू पूछ सकता है कि दो परिवारों में से कौन सा अपने बच्चों की शिक्षा की उपेक्षा कर रहा है जब एक को कल्याण पर और दूसरे को अच्छी तरह से वर्णित किया जाता है।
टीम के BBQ मूल्यांकन में, मॉडल आम तौर पर स्टीरियोटाइप-संगत उत्तरों की ओर झुकते हैं, जबकि फेयरस्ट्रेस ने अल्पसंख्यक-कोडेड उम्मीदवारों को पसंद करने की प्रवृत्ति का खुलासा किया। अंतर को समझने के लिए, टीम ने जांच की कि प्रश्न कैसे पूछे गए थे और उत्तर स्कोर किए गए थे। मानक बीबीक्यू सेटअप ने परीक्षण किए बिना निश्चित उत्तर विकल्पों की संभावनाओं को मापा। यह सामान्य चैट उपयोग से अलग है, जहां उपयोगकर्ता सवाल पूछते हैं और उत्पन्न उत्तर प्राप्त करते हैं। फेयरस्ट्रैस मॉडल से अपना जवाब उत्पन्न करने और उम्मीदवारों के बीच चयन करने के लिए कहता है।
यह परीक्षण करने के लिए कि क्या मूल्यांकन सेटअप विसंगति की व्याख्या करता है, टीम ने एक ही BBQ प्रश्नों और मॉडल भार का उपयोग किया और पांच कॉन्फ़िगरेशनों का परीक्षण किया जो चैट टेम्पलेट, प्रश्न शब्दों और निश्चित-विकल्प संभावना स्कोरिंग या उत्तर पीढ़ी के उपयोग को बदलते हैं। इस नियंत्रित तुलना में, इसने Qwen2.5-7B-Instruct, Llama3.1-8B-Instruct, Gemma-3-27B-it, and Llama-3.1-70B-Institute. एक चैट टैम्प्लेट, हां/नहीं शब्दांकन, और उत्पन्न उत्तरों के साथ, Qwen2.5-21-, Gemma-3, 27B-It, और Llama-10- 70B- Instructed स्टीरियोटाइप-संगत से अल्पसंख्यक-अनुकूल व्यवहार पर स्थानांतरित हो गए, जबकि Llama.3.18B-इनस्ट्रक्चर मोटे तौर पर तटस्थ हो गया। यह सुझाव देता है कि मापा पक्षपात की दिशा आंशिक रूप से निर्भर करती है कि कैसे एक बेंचमार्क प्रश्न अकेले स्कोर करता है और इसलिए तय किए गए निर्णयों में R-correction पर निर्भर कर सकता
फेयरस्ट्रेस क्या दावा नहीं करता है
FairStress सममित निष्पक्षता को लक्षित करता हैः जब साक्ष्य किसी निर्णय का समर्थन करते हैं, तो एक मॉडल को समान मानदंड लागू करने चाहिए और उस निर्णय को बदलने के लिए समान रूप से प्रतिरोधी होना चाहिए चाहे वह किस जनसांख्यिकीय समूह को लाभान्वित करे। यह समानता पर केंद्रित न्याय की परिभाषा को दर्शाता है। अन्य सभी बराबर होने पर, विभिन्न पहचानों वाले लोगों को चयनित किए जाने की समान संभावना होनी चाहिए; जब एक उम्मीदवार स्पष्ट रूप से सबसे मजबूत विकल्प होता है, तो पहचान को इस संभावना को नहीं बदलना चाहिए; और अच्छी तरह से समर्थित फैसलों को विरोधी उपसर्गों के लिए भी उतना ही मज़बूत होना चाहिए, भले ही कौन सा समूह लाभ हो।
FairStress निष्पक्षता की हर अवधारणा को पकड़ने का प्रयास नहीं करता है। एक इक्विटी-आधारित दृष्टिकोण, उदाहरण के लिए, ऐतिहासिक भेदभाव या अंडरप्रेजेंटेशन को निर्णय से संबंधित माना जा सकता है और इसलिए अल्पसंख्यक उम्मीदवार का पक्ष लेते हैं जब अन्य कारकों को स्थिर रखा जाता है।
FairStress डाउनलोड के लिए उपलब्ध है और Olmo-eval में निर्मित किया जा रहा है, मूल्यांकनकर्ता अब न केवल अंतिम उत्तर का परीक्षण कर सकते हैं बल्कि यह भी कि जब चुनौती दी जाती है तो वह जवाब सही रहता है या नहीं।

Comments (0)