大数定律、中心极限定理总结

​​写在前面​​​​几类收敛​​​​依分布收敛(分布函数的弱收敛)​​​​依概率收敛​​​​定理​​​阶收敛​​​​定理​​​​以概率收敛（几乎处处收敛）​​​​大数定律&中心极限定理​​​​大数定律​​​​伯努利(Bernoulli)大数定律​​​​切比雪夫(Chebyshev)大数定律​​​​马尔可夫(Markov)大数定律​​​​辛钦(Khinchin)大数定律​​​​泊松(Poisson)大数定律​​​​中心极限定理​​​​独立同分布情形​​​​林德伯格-列维(Lindeberg-Lévy)中心极限定理​​​​二项分布的正态近似​​​​棣莫弗-拉普拉斯(De Moivre-Laplace)中心极限定理​​​​应用​​​​独立不同分布情形​​​​林德伯格中心极限定理​​​​林德伯格条件​​​​林德伯格中心极限定理​​​​李雅普诺夫中心极限定理​​写在前面

写一下大数定律，算是复习，也为以后的学习打好基础。本文总结自峁诗松老师的《概率论与数理统计教程（第二版）》及李贤平老师的《概率论基础（第二版）》。一些详细的定理讲解等内容可以从这两本教材中找到，需要资源可以私信我。

为什么要引入大数定律？在大量重复实验中，结果会呈现出明显的规律性，一般可总结为：“概率是频率的稳定值”，用数学语言表示这种稳定性，就是大数定律。

下面先介绍几类收敛，这是之后讨论的前提。

几类收敛

大数定律涉及依概率收敛，中心极限定理涉及依分布收敛。

依分布收敛(分布函数的弱收敛)

设随机变量的分布函数分别为若对的任一连续点，都有

则称 弱收敛于，记作，也称依分布收敛(Convergence in distribution)于，记作.

依概率收敛

设为一随机变量序列，为一随机变量，如果对，有

则称序列依概率收敛(Convergence in probability)于, 记作.

其含义是，序列对的绝对偏差小于任意给定量的可能性将随着的增大而越来越接近, 即

定理，说明依概率分布具有更强的形式；若为常数，则 r r r阶收敛

设对随机变量及有, 其中, 如果

则称 阶收敛(Convergence in r-order mean)于，并记为.

定理.以概率 1 1 1收敛（几乎处处收敛）

如果

则称以概率收敛(Convergence in probability 1)于, 或几乎处处收敛于，记.

大数定律&中心极限定理大数定律

大数定律讨论的是在什么条件下，随机变量序列的算术平均依概率收敛到其均值的算术平均。

下面这段话摘自Wikipedia，简单介绍了大数定律。大概意思是：大数定律描述了大量重复试验的结果，即结果的平均值应接近预期值，并随着试验次数的增加，结果将趋于预期值。

The law of large numbers (LLN) is a theorem that describes the result of performing the same experiment a large number of times. According to the law, the average of the results obtained from a large number of trials should be close to the expected value and will tend to become closer to the expected value as more trials are performed.

称随机变量序列服从大数定律(Law of Large Numbers，LLN)，如果存在常数序列，对

恒有：

上述大数定律是一种广义的大数定律，下面具体介绍各种不同形式的大数定律。

伯努利(Bernoulli)大数定律

设为重伯努利试验中事件发生的次数，为每次试验中出现的概率，则对，有

证明思路：由于，且，由此应用切比雪夫不等式，以及极限的迫敛性，可以证得结论。

说明：随着试验次数的增大，事件发生的频率与其频率的偏差大于预先给定的精度的可能性越来越小，这就是“频率稳定于概率”的含义。

切比雪夫(Chebyshev)大数定律

设为一列两两不相关的随机变量序列，若每个的方差存在，且有共同上界，即，则服从大数定律。用数学语言表示就是：对 ，

成立。

证明同样采用切比雪夫不等式，并运用方差的上界条件，即可证明。

马尔可夫(Markov)大数定律

对随机变量序列, 若马尔可夫条件成立，即下式

成立，则服从大数定律，即对 ，

成立。

一种比切比雪夫大数定律更强的结论，对序列没有同分布、独立、不相关的假设，可以推出切比雪夫大数定律。

辛钦(Khinchin)大数定律

设为一独立同分布的随机变量序列，若的数学期望存在，则服从大数定律，即对

成立。

辛钦大数定律没有了序列的方差一定存在的条件，伯努利大数定律是辛钦大数定律的特例。

泊松(Poisson)大数定律

如果在一个独立试验序列中，事件在第次试验中出现的概率等于，前次试验中事件出现的次数记为, 则对，有

可以导出Poisson分布，是一种区别于伯努利试验的另一种独立试验模型。

中心极限定理

中心极限定理讨论了在怎样的条件下，独立随机变量之和的极限分布为正态分布。

考虑随机变量序列的标准化之和，定义如下：

若满足

则称随机变量序列服从中心极限定理(Central Limit Theorem)。

独立同分布情形林德伯格-列维(Lindeberg-Lévy)中心极限定理

设为一独立同分布的随机变量序列，且 存在，若记

则对 , 有

二项分布的正态近似棣莫弗-拉普拉斯(De Moivre-Laplace)中心极限定理

设重伯努利试验中，事件在每次试验中出现的概率均为，次试验中事件出现的次数记为,并记

则对 , 有

应用由棣莫弗-拉普拉斯中心极限定理，可以导出下面的近似式

只需要知道其中两个变量，即可求出第三个（查正态分布表）。

导出伯努利大数定律。独立不同分布情形林德伯格中心极限定理林德伯格条件

设是一个相互独立的随机变量序列，且有有限的数学期望和方差：
并设随机变量之和，其标准化为
则对，有
称式为林德伯格条件。林德伯格证明了满足式的的极限分布是正态分布，即下面的林德伯格中心极限定理。

林德伯格中心极限定理

设独立随机变量序列满足林德伯格条件，则对 ，有

注记：
若独立随机变量序列满足同分布、方差有限的条件，则必满足的林德伯格条件，即林德伯格-列维中心极限定理是林德伯格中心极限定理的特例。

李雅普诺夫中心极限定理

设为独立随机变量序列，若存在，满足
则对，有