知识库 · 文字讲解,AI 整理
正交投影矩阵
设 $a\in\mathbb R^n$ 非零。$x$ 在 $\mathrm{span}(a)$ 上的正交投影是
LaTeX
$$\operatorname{proj}_a(x)=\frac{a^\mathsf Tx}{a^\mathsf Ta}\,a=\underbrace{\frac{aa^\mathsf T}{a^\mathsf Ta}}_{P}\,x.$$
投影矩阵满足
LaTeX
$$P^\mathsf T=P,\qquad P^2=P.$$
$P^2=P$ 说明投影两次和投影一次一样,所以 特征值 只能是 0 或 1:在 $\mathrm{span}(a)$ 上 $P$ 是恒等变换(特征值 1),在它的正交补上 $P$ 把一切映到 0(特征值 0)。
更一般地,列满秩矩阵 $A$ 的列空间上的投影是
LaTeX
$$P=A(A^\mathsf TA)^{-1}A^\mathsf T.$$
最小二乘就是把观测向量投影到这个列空间上。
$A$ 不是列满秩时,$A^\mathsf TA$ 不可逆,投影矩阵改用 Moore–Penrose 伪逆写成 $AA^+$。
用到它的地方
- 讲义 几何投影、拉格朗日乘子与 KKT 约束优化
- 知识库 期望、方差、协方差与线性拟合
- 知识库 特征值与对角化
- 知识库 拉格朗日乘子
核对
这一条是文字讲解,由 AI 整理,没有可以数值核对的步骤;作者读过后才公开。