एल्गोरिथम संबंधी निष्पक्षता और पूर्वाग्रह
एल्गोरिथम संबंधी निष्पक्षता इस बात से संबंधित है कि स्वचालित निर्णय प्रणालियाँ व्यक्तियों और समूहों के साथ समान व्यवहार कैसे करती हैं, और डेटा तथा मॉडल किस प्रकार पूर्वाग्रह को कूटबद्ध या बढ़ा सकते हैं।
Definition
स्वचालित निर्णय प्रणालियों में समानता और भेदभाव का अध्ययन, जिसमें पूर्वाग्रह का मापन और निष्पक्ष व्यवहार की औपचारिक तथा नैतिक अवधारणाएँ शामिल हैं।
Scope
यह विषय डेटा और मशीन-लर्निंग प्रणालियों में पूर्वाग्रह के स्रोतों, निष्पक्षता की प्रतिस्पर्धी औपचारिक परिभाषाओं (जैसे जनसांख्यिकीय समानता, समतुल्य बाधाएँ और अंशांकन), यह दर्शाने वाले असंभवता परिणामों को शामिल करता है कि ये परस्पर विरोधी हो सकते हैं, सांख्यिकीय निष्पक्षता और वास्तविक न्याय के बीच संबंध, तथा भर्ती, ऋण और आपराधिक न्याय जैसे क्षेत्रों में स्वचालित निर्णय-निर्माण के सामाजिक परिणाम। यह तकनीकी और नैतिक बहसों का वर्णन करता है, बिना यह बताए कि किसी भी प्रणाली को कौन सा निष्पक्षता मानदंड अपनाना चाहिए।
Core questions
- डेटा-संचालित निर्णय प्रणालियों में पूर्वाग्रह और भेदभाव कैसे प्रवेश करते हैं?
- किसी एल्गोरिथम के 'निष्पक्ष' होने का क्या अर्थ है, और क्या प्रतिद्वंद्वी परिभाषाओं को एक साथ संतुष्ट किया जा सकता है?
- निष्पक्षता की सांख्यिकीय धारणाएँ न्याय की कानूनी और नैतिक अवधारणाओं से कैसे संबंधित हैं?
- स्वचालित प्रणालियों द्वारा उत्पन्न भेदभावपूर्ण परिणामों के लिए कौन जवाबदेह है?
Key theories
- डेटा-संचालित प्रणालियों में असमान प्रभाव
- बारोकस और सेल्बस्ट विश्लेषण करते हैं कि डेटा माइनिंग भेदभावपूर्ण इरादे के बिना भी, पक्षपातपूर्ण प्रशिक्षण डेटा, प्रॉक्सी और फीचर चयन के माध्यम से भेदभावपूर्ण परिणाम कैसे उत्पन्न कर सकती है।
- निष्पक्षता मानदंडों की असंगति
- औपचारिक कार्य दर्शाता है कि निष्पक्षता की विशिष्ट सांख्यिकीय परिभाषाएँ—जैसे अंशांकन और समूहों में संतुलित त्रुटि दरें—विशेष मामलों को छोड़कर आम तौर पर एक साथ संतुष्ट नहीं की जा सकती हैं, जिससे मूल्य-आधारित विकल्प चुनने पड़ते हैं।
History
एल्गोरिथम संबंधी निष्पक्षता पर ध्यान 2010 के दशक के मध्य में बढ़ा, जब मशीन-लर्निंग प्रणालियों को महत्वपूर्ण सेटिंग्स में तैनात किया गया। बारोकस और सेल्बस्ट का 2016 का असमान प्रभाव का विश्लेषण, कंप्यूटर-विज्ञान समुदाय से औपचारिक निष्पक्षता परिभाषाएँ, और ओ'नील जैसे लोकप्रिय आलोचनाओं ने इस क्षेत्र के मुख्य प्रश्नों को स्थापित किया।
Debates
- किस निष्पक्षता परिभाषा का उपयोग किया जाए
- चूंकि औपचारिक निष्पक्षता मानदंड परस्पर विरोधी हो सकते हैं, बहस इस बात पर केंद्रित है कि क्या कोई एक परिभाषा उपयुक्त है, संदर्भ में उनके बीच कैसे चयन किया जाए, और क्या औपचारिक मेट्रिक्स वास्तविक न्याय को बिल्कुल भी पकड़ सकते हैं।
Key figures
- Solon Barocas
- Andrew Selbst
- Cynthia Dwork
- Cathy O'Neil
Related topics
Seminal works
- barocas2016
- oneil2016
Frequently asked questions
- क्या कोई एल्गोरिथम पक्षपातपूर्ण हो सकता है, भले ही वह संरक्षित विशेषताओं (protected attributes) को अनदेखा करता हो?
- हाँ। नस्ल या लिंग जैसी विशेषताओं को हटाने से निष्पक्षता की गारंटी नहीं मिलती, क्योंकि अन्य विशेषताएँ उनके लिए प्रॉक्सी (प्रतिनिधि) के रूप में काम कर सकती हैं, जो असमान प्रभाव की चर्चाओं का एक केंद्रीय पहलू है।
- क्या एल्गोरिथम संबंधी निष्पक्षता की कोई एक सही परिभाषा है?
- कोई आम सहमति मौजूद नहीं है। कई औपचारिक परिभाषाएँ प्रस्तावित की गई हैं, और परिणाम दर्शाते हैं कि वे परस्पर असंगत हो सकती हैं, इसलिए किसी एक का चयन करने में विवादास्पद नैतिक और राजनीतिक निर्णय शामिल होते हैं।