大数定律

大数定律指出，大量独立随机量的观测值的平均值收敛于其期望值，这为长期频率趋于稳定的直觉提供了数学依据。

Definition

大数定律断言，具有有限均值的独立同分布随机变量的样本均值收敛于该均值，对于弱大数定律而言是依概率收敛，对于强大数定律而言是几乎必然收敛。

Scope

本主题涵盖了通过切比雪夫不等式和截断法证明的弱大数定律、仅在有限均值条件下成立的辛钦弱大数定律、科尔莫戈罗夫强大数定律及其最大不等式和三级数定理、依概率收敛与几乎必然收敛的区别，以及对于没有有限均值的变量，大数定律的失效情况。

Core questions

• 随着样本量的增加，样本均值以何种精确的方式逼近真实均值？
• 弱大数定律和强大数定律之间有何区别？它们各自需要哪些假设条件？
• 哪些不等式和分解使得强大数定律可被证明？
• 当基础分布没有有限均值时会发生什么？

Key concepts

• 依概率收敛
• 几乎必然收敛
• 切比雪夫不等式
• 截断法
• 科尔莫戈罗夫三级数定理

Key theories

弱大数定律

对于具有有限均值的独立同分布变量，样本均值依概率收敛于均值。当方差有限时，这可以从切比雪夫不等式中得出；在辛钦较弱的假设下，则可以通过截断论证得出。

科尔莫戈罗夫强大数定律

对于独立同分布变量，有限均值是样本均值几乎必然收敛于均值的必要且充分条件，这是大数定律的最终形式，也是概率频率解释的基础。

Clinical relevance

强大数定律是允许通过样本均值估计期望值的基础，也是蒙特卡洛积分、统计学中估计量一致性以及概率频率学派解释（即概率是长期相对频率）的理论依据；对于重尾数据，如果其均值无限，例如某些保险损失，强大数定律的失效提醒我们不要对其进行平均。

History

伯努利于1713年首次证明了二项式比例的大数定律。切比雪夫给出了一个简单的基于方差的证明，辛钦将假设条件放宽到仅需有限均值，而科尔莫戈罗夫则确立了最终的几乎必然强大数定律，并提出了证明该定律的最大不等式和三级数定理。

Key figures

• Jacob Bernoulli
• Pafnuty Chebyshev
• Aleksandr Khinchin
• Andrey Kolmogorov

Seminal works

• billingsley1995

Frequently asked questions

弱大数定律和强大数定律有什么区别？

弱大数定律表明，对于任何大的固定样本量，平均值可能接近均值；而强大数定律则表明，以概率一，整个平均值序列收敛于均值；强大数定律是更具决定性的陈述。

大数定律会失效吗？

是的；如果基础分布没有有限均值，例如柯西分布，样本均值根本不收敛于一个常数，因此大数定律的通常形式不适用。