知识库 · 文字讲解,AI 整理
期望、方差、协方差与线性拟合
定义
LaTeX
$$\begin{aligned}
E[X]&=\int x f_X(x)\,dx,\\
\operatorname{Var}(X)&=E[X^2]-E[X]^2,\\
\operatorname{Cov}(X,Y)&=E[XY]-E[X]E[Y].
\end{aligned}$$
协方差量的是线性的同向变化,不是任意的依赖。协方差为零一般推不出独立:$X$ 在 $[-1,1]$ 上均匀、$Y=X^2$,两者完全相关,协方差却是 0。
最小二乘线性拟合
找 $a,b$ 使 $E[(Y-aX-b)^2]$ 最小。对 $a,b$ 求偏导令其为零,得到(要求 $\operatorname{Var}(X)>0$)
LaTeX
$$a=\frac{\operatorname{Cov}(X,Y)}{\operatorname{Var}(X)},\qquad b=E[Y]-aE[X].$$
拟合直线经过均值点 $(E[X],E[Y])$。用样本数据时,把期望换成样本均值、协方差换成样本协方差。几何上这是 正交投影。
核对
这一条是文字讲解,由 AI 整理,没有可以数值核对的步骤;作者读过后才公开。