Законы больших чисел

Законы больших чисел утверждают, что среднее арифметическое многих независимых наблюдений случайной величины сходится к ее математическому ожиданию, придавая математическое содержание интуиции о том, что долгосрочные частоты стабилизируются.

Definition

Законы больших чисел утверждают, что выборочное среднее независимых одинаково распределенных случайных величин с конечным математическим ожиданием сходится к этому математическому ожиданию: по вероятности для слабого закона и почти наверное для сильного закона.

Scope

Тема охватывает слабый закон больших чисел, доказанный с помощью неравенства Чебышева и методом усечения, слабый закон Хинчина при наличии только конечного среднего, сильный закон больших чисел Колмогорова с его максимальным неравенством и теоремой о трех рядах, различие между сходимостью по вероятности и сходимостью почти наверное, а также неприменимость законов для переменных без конечного среднего.

Core questions

• В каком точном смысле выборочное среднее приближается к истинному среднему по мере увеличения выборки?
• В чем разница между слабым и сильным законами, и какие гипотезы требуются для каждого из них?
• Какие неравенства и разложения позволяют доказать сильный закон?
• Что происходит, когда базовое распределение не имеет конечного среднего?

Key concepts

• сходимость по вероятности
• сходимость почти наверное
• неравенство Чебышева
• метод усечения
• теорема Колмогорова о трех рядах

Key theories

Слабый закон больших чисел

Для независимых одинаково распределенных переменных с конечным средним выборочное среднее сходится к среднему по вероятности; этот результат может быть получен из неравенства Чебышева, когда дисперсия конечна, и из аргументов усечения при более слабой гипотезе Хинчина.

Сильный закон больших чисел Колмогорова

Для независимых одинаково распределенных переменных конечное среднее является необходимым и достаточным условием для сходимости выборочного среднего к среднему почти наверное; это окончательная форма закона и основа для частотной интерпретации вероятности.

Clinical relevance

Сильный закон позволяет оценивать математическое ожидание с помощью выборочного среднего и лежит в основе метода Монте-Карло, состоятельности оценок в статистике и частотной интерпретации вероятности как долгосрочной относительной частоты; его неприменимость для данных с «тяжелыми хвостами» предостерегает от усреднения величин с бесконечным средним, таких как некоторые страховые убытки.

History

Бернулли доказал первый закон больших чисел для биномиальных пропорций в 1713 году. Чебышев представил простое доказательство, основанное на дисперсии, Хинчин ослабил гипотезы до конечного среднего, а Колмогоров установил окончательный сильный закон почти наверное вместе с максимальным неравенством и теоремой о трех рядах, которые его доказывают.

Key figures

• Jacob Bernoulli
• Pafnuty Chebyshev
• Aleksandr Khinchin
• Andrey Kolmogorov

Seminal works

• billingsley1995

Frequently asked questions

В чем разница между слабым и сильным законами больших чисел?

Слабый закон гласит, что среднее, вероятно, будет близко к математическому ожиданию для любого большого фиксированного размера выборки, тогда как сильный закон утверждает, что с вероятностью единица вся последовательность средних сходится к математическому ожиданию; сильный закон является более определенным утверждением.

Может ли закон больших чисел не выполняться?

Да; если базовое распределение не имеет конечного среднего, например, распределение Коши, выборочное среднее вообще не сходится к константе, и закон в его обычной форме не применяется.