Распределение данных и нормальность

Распределение переменной описывает, как ее значения распределены по всему диапазону возможных значений, и многие описательные и инференциальные методы зависят от вида этого распределения. Нормальность — соответствие данных симметричному, колоколообразному нормальному распределению — является наиболее часто исследуемым предположением о распределении в медицинских исследованиях, поскольку оно определяет выбор между параметрическими и непараметрическими сводками и тестами.

Definition

Статистическое распределение описывает относительную частоту или вероятность возможных значений переменной; нормальность относится к соответствию гауссовскому (нормальному) распределению, симметричной колоколообразной форме, оцениваемой графически и с помощью формальных тестов для принятия решения о применимости параметрических методов.

Scope

Эта статья охватывает форму распределения (симметрия, асимметрия, эксцесс), нормальное распределение и его значение, а также способы оценки нормальности с помощью графического анализа и формальных тестов. Это методологический справочник и не содержит клинических рекомендаций.

Core questions

• Какую форму принимает распределение переменной, и является ли оно симметричным или асимметричным?
• Является ли предположение о нормальности обоснованным для этой переменной?
• Какие графические и формальные инструменты лучше всего оценивают нормальность, и как они ведут себя с малыми или большими выборками?

Key concepts

• Нормальное (гауссовское) распределение
• Асимметрия и эксцесс
• Графическая оценка (гистограмма, Q-Q график)
• Тест Шапиро-Уилка
• Тест Колмогорова-Смирнова
• Выбор между параметрическими и непараметрическими методами
• Чувствительность тестов нормальности к размеру выборки

Key theories

Центральная предельная теорема

Центральная предельная теорема утверждает, что для достаточно большой выборки выборочное распределение среднего приближается к нормальному распределению независимо от формы исходной переменной. Именно поэтому методы, основанные на нормальном распределении, часто остаются применимыми для средних значений, даже если исходные данные не являются нормальными.

Mechanisms

Нормальность оценивается двумя взаимодополняющими способами. Графические методы — гистограмма и квантиль-квантильный (Q-Q) график — непосредственно показывают отклонения, такие как асимметрия, тяжелые хвосты или бимодальность. Формальные тесты, среди которых тест Шапиро-Уилка является одним из наиболее широко используемых, возвращают вероятность наблюдения данных при нормальной модели. Поскольку эти тесты набирают мощность с увеличением размера выборки, они, как правило, выявляют тривиальные отклонения в больших выборках и пропускают значимые в малых, поэтому графический анализ и практические последствия ненормальности взвешиваются наряду с любым результатом теста. Когда интересующая величина является средним, центральная предельная теорема часто оправдывает методы, основанные на нормальном распределении, даже для ненормальных исходных данных.

Clinical relevance

То, рассматривается ли биомаркер, продолжительность пребывания или оценка как нормальные, определяет, как они суммируются и анализируются в клинической литературе, поэтому оценка нормальности является частью оценки методов исследования. Эта статья описывает оценку предположений о распределении и не является основанием для индивидуальных диагностических или лечебных решений.

Epidemiology

Многие биологические и клинические измерения имеют правостороннюю асимметрию (например, уровни гормонов, затраты и время ожидания), поэтому нормальность нельзя предполагать и ее регулярно проверяют. Это решение определяет, будут ли результаты представлены со средними значениями и стандартными отклонениями или с медианами и диапазонами, а также будут ли использоваться параметрические или непараметрические тесты.

History

Нормальное распределение было разработано в XVIII и XIX веках в работах де Муавра, Лапласа и Гаусса и стало центральным в статистике благодаря теории ошибок и центральной предельной теореме. Формальные инструменты для проверки этого предположения появились в XX веке, а тест Шапиро-Уилка 1965 года на нормальность, основанный на дисперсионном анализе, стал стандартной процедурой в прикладных работах.

Debates

Следует ли оценивать нормальность по формальным тестам или по графическому анализу?

Формальные тесты нормальности чувствительны к размеру выборки — они отклоняют тривиальные отклонения в больших выборках и не выявляют значимых в малых, поэтому многие методологи рекомендуют, чтобы решение основывалось на графической оценке и практической устойчивости планируемого анализа, а не только на p-значении теста.

Key figures

• Samuel S. Shapiro
• Martin B. Wilk
• Carl Friedrich Gauss

Seminal works

• shapiro-wilk-1965
• kwak-2017
• ghasemi-2012

Frequently asked questions

Почему важна нормальность?

Многие распространенные сводки (среднее, стандартное отклонение) и тесты (t-тест, ANOVA) предполагают приблизительно нормальные данные; когда это предположение не выполняется, эти меры могут вводить в заблуждение, и более подходящими могут быть непараметрические или преобразованные альтернативы.

Является ли значимый тест Шапиро-Уилка достаточным основанием для отказа от параметрического метода?

Не сам по себе. Тест становится очень чувствительным в больших выборках и недостаточно мощным в малых, поэтому следует учитывать размер отклонения, форму, наблюдаемую на Q-Q графике, и устойчивость планируемого анализа.