知识库
大数定律
设 $X_1,\ldots,X_n$ 独立同分布,均值 $\mu$,方差 $0<\sigma^2<\infty$,$\bar X_n=\frac1n\sum_iX_i$。则
LaTeX
$$E[\bar X_n]=\mu,\qquad \operatorname{Var}(\bar X_n)=\frac{\sigma^2}{n}.$$
由 Chebyshev 不等式
LaTeX
$$P(|\bar X_n-\mu|\ge\varepsilon)\le\frac{\sigma^2}{n\varepsilon^2}\longrightarrow0,$$
即 $\bar X_n\xrightarrow{P}\mu$(弱大数定律)。它说的是长期平均会稳定下来,不是说每一次的结果都接近均值。
偏离均值的那部分长什么样,由 中心极限定理 回答;方差无穷时这里的论证就失效了,见 厚尾与圣彼得堡悖论。
三种收敛,不要混
- 依概率收敛:偏离目标超过 $\varepsilon$ 的概率趋于零(弱大数定律);
- 依分布收敛:分布函数在连续点处收敛(中心极限定理);
- 几乎处处收敛:除了一个概率为零的集合,每条样本路径都收敛(强大数定律)。
从强到弱:几乎处处 ⇒ 依概率 ⇒ 依分布。不同的定理给的是不同强度的结论。
用到它的地方
- 知识库 中心极限定理
核对
这一条是文字讲解,由 AI 整理,没有可以数值核对的步骤;作者读过后才公开。