The Multiple Comparisons Problem and Statistical Correction Methods

कल्पना कीजिए कि एक निष्पक्ष सिक्का 20 बार उछाला जाता है और पूछा जाता है: 'क्या यह सिक्का चित की ओर पक्षपाती है?' 20 उछालों में 13+ चित प्राप्त करने की संभावना ~0.05 है (α = 0.05 पर सीमांत रूप से महत्वपूर्ण)। अब कल्पना कीजिए कि 100 विभिन्न सिक्कों के साथ ऐसा किया जा रहा है, प्रत्येक का α = 0.05 पर परीक्षण किया जा रहा है। भले ही सभी सिक्के निष्पक्ष हों, आप उम्मीद करते हैं कि संयोग से ~5 सिक्के पक्षपाती दिखाई देंगे। यदि आप केवल 5 'महत्वपूर्ण' परिणाम रिपोर्ट करते हैं, तो आपने एक गलत सकारात्मक परिणाम दिया है: आपने दावा किया कि आपने पक्षपाती सिक्के पाए जब आपने केवल शोर पाया। यह एकाधिक तुलना समस्या है। समाधान सीमा को समायोजित करना है: या तो प्रत्येक परीक्षण के लिए α को कम करें (बोनफेरोनी: α/100) ताकि समग्र गलत सकारात्मक दर नियंत्रित रहे, या फाल्स डिस्कवरी रेट (FDR) का उपयोग करें, जो कुछ गलत सकारात्मक परिणामों की अनुमति देता है जबकि सभी 'खोजों' में उनके अनुपात को नियंत्रित करता है।