如果只能留下一个数，应该留下什么？

推导 · 任意维数

上面用的是平面上的 8 个点。换成 $n$ 条记录、每条 $d$ 个数，道理一样，下面一步步写出来。

1. 记第 $i$ 条记录为 $x_i$，平均为 $\mu$，偏移 $\tilde x_i=x_i-\mu$。尺子方向是单位向量 $w$（$w^Tw=1$）。刻度和垂线分别是

   $$z_i=\tilde x_i^{T}w,\qquad d_i=\tilde x_i-z_iw.$$

2. 垂线和尺子垂直：

   $$w^{T}d_i=w^{T}\tilde x_i-z_i\,w^{T}w=z_i-z_i=0.$$

3. 所以勾股定理成立，交叉项消失：

   $$\begin{aligned}\|\tilde x_i\|^2&=\|z_iw+d_i\|^2\\&=z_i^2+2z_i\,w^{T}d_i+\|d_i\|^2\\&=z_i^2+\|d_i\|^2.\end{aligned}$$

4. 对 $n$ 条记录求平均，得到留下的 $V$、丢掉的 $E$ 和总量 $T$：

   $$\underbrace{\tfrac1n\textstyle\sum_i\|\tilde x_i\|^2}_{T}=\underbrace{\tfrac1n\textstyle\sum_i z_i^2}_{V(w)}+\underbrace{\tfrac1n\textstyle\sum_i\|d_i\|^2}_{E(w)}.$$

   $T$ 里没有 $w$，尺子怎么转都不变。于是

   $$\min_{w}E(w)\iff\max_{w}V(w).$$

5. 刻度的平均是 0，因为偏移的平均是 0：$\tfrac1n\sum_i z_i=\big(\tfrac1n\sum_i\tilde x_i\big)^{T}w=0$。所以 $V(w)$ 正是刻度 $z_i$ 的方差。

核对：这 8 个点 $T=133$。尺子在 45° 时 $V=125$、$E=8$，在 0° 时 $V=E=66.5$，两次相加都是 133。

推导 · 任意维数

1. 把 $V(w)$ 写成矩阵。$z_i^2=(\tilde x_i^{T}w)^2=w^{T}\tilde x_i\tilde x_i^{T}w$，平均以后 $w$ 可以提到外面：

   $$\begin{aligned}V(w)&=w^{T}Cw,\\C&=\frac1n\sum_{i=1}^{n}\tilde x_i\tilde x_i^{T}=\frac1n X^{T}X.\end{aligned}$$

   $X$ 是把偏移按行排成的 $n\times d$ 矩阵。$C$ 是 $d\times d$ 的对称矩阵：第 $j$ 行第 $k$ 列是第 $j$、$k$ 个特征乘积的平均，对角线是各自的方差。总量 $T$ 就是对角线之和 $\operatorname{tr}C$。

2. 要解的问题：

   $$\max_{w}\;w^{T}Cw\quad\text{s.t.}\quad w^{T}w=1.$$

3. 用拉格朗日乘子把约束并进去，对 $w$ 求导并令其为 0（$C$ 对称，所以 $\nabla_w\,w^{T}Cw=2Cw$）：

   $$\begin{aligned}L(w,\lambda)&=w^{T}Cw-\lambda(w^{T}w-1),\\\nabla_wL&=2Cw-2\lambda w=0\\\Longrightarrow\quad Cw&=\lambda w.\end{aligned}$$

   最大值点一定是 $C$ 的特征向量。这就是实验里「不拐弯」的意思。

4. 在这样的点上，留下的方差就是特征值：

   $$V(w)=w^{T}Cw=\lambda\,w^{T}w=\lambda.$$

   所以在所有特征向量里挑特征值最大的那个。

5. 它确实是全局最大，不只是几个候选里最好的。对称矩阵有一组互相垂直的单位特征向量 $v_1,\dots,v_d$，特征值 $\lambda_1\ge\dots\ge\lambda_d\ge0$（非负，因为 $w^{T}Cw$ 是平方的平均）。任何单位方向都能写成 $w=\sum_j a_jv_j$，$\sum_j a_j^2=1$，于是

   $$w^{T}Cw=\sum_{j}\lambda_ja_j^2\le\lambda_1\sum_{j}a_j^2=\lambda_1,$$

   等号在 $w=v_1$ 时取到。此时丢掉的最少，是 $E=T-\lambda_1$。

核对：$v_1=(1,1)/\sqrt2$ 时 $Cv_1=(125,125)/\sqrt2=125\,v_1$；$v_2=(1,-1)/\sqrt2$ 时 $Cv_2=8\,v_2$。$\operatorname{tr}C=66.5+66.5=133=125+8$，丢掉的最少是 $133-125=8$。

推导 · 任意维数

1. 留 $k$ 条轴，就是选 $k$ 个互相垂直的单位向量，排成 $d\times k$ 的矩阵 $W$，$W^{T}W=I$。每条记录存 $k$ 个新坐标，还原时用它们把轴加回去，剩下的是垂线：

   $$\begin{aligned}z_i&=W^{T}\tilde x_i,\\\hat x_i&=Wz_i,\\d_i&=\tilde x_i-Wz_i.\end{aligned}$$

2. 和第 2 站一样，垂线垂直于每一条轴：$W^{T}d_i=z_i-W^{T}Wz_i=0$。勾股定理照样成立，平均以后还是那本账：

   $$T=\underbrace{\textstyle\sum_{l=1}^{k}w_l^{T}Cw_l}_{V(W)}+E(W).$$

3. 把 $C$ 按特征向量展开，$C=\sum_j\lambda_jv_jv_j^{T}$，于是 $w_l^{T}Cw_l=\sum_j\lambda_j(v_j^{T}w_l)^2$。把同一个 $j$ 的项收在一起：

   $$V(W)=\sum_{j=1}^{d}\lambda_j\,p_j,\qquad p_j=\sum_{l=1}^{k}(v_j^{T}w_l)^2.$$

4. 这些权重有两条限制。$p_j$ 是 $v_j$ 投影到这 $k$ 条轴上的长度平方，不超过 $v_j$ 本身的长度 1；而对 $j$ 求和，等于把每条 $w_l$ 在一组垂直基上的分量平方加起来：

   $$0\le p_j\le1,\qquad \sum_{j}p_j=\sum_{l}\|w_l\|^2=k.$$

   总共 $k$ 份权重，每个特征值最多分到 1 份。要让 $\sum_j\lambda_jp_j$ 最大，就把权重全给最大的 $k$ 个特征值：

   $$\begin{aligned}V(W)&\le\lambda_1+\dots+\lambda_k,\\E(W)&\ge\lambda_{k+1}+\dots+\lambda_d.\end{aligned}$$

   取 $W=[v_1,\dots,v_k]$ 时等号成立。$k=2$ 时就说明了正文那句话：第二条轴是第二大特征值的特征向量。

5. 总量 $T=\operatorname{tr}C=\lambda_1+\dots+\lambda_d$（第 3 站第 1 步）。所以累积贡献率就是留下的比例：

   $$\frac{\lambda_1+\dots+\lambda_k}{\lambda_1+\dots+\lambda_d}=\frac{V}{T}=1-\frac{E}{T}.$$

   「累积贡献超过 80%」，意思正是「丢掉的平方误差不超过总量的 20%」。

6. 顺带一个性质：新坐标的协方差矩阵是

   $$\begin{aligned}\frac1n\sum_i z_iz_i^{T}&=W^{T}CW\\&=\operatorname{diag}(\lambda_1,\dots,\lambda_k).\end{aligned}$$

   对角线外都是 0，新坐标两两不相关。第 5 站的支线会说明，不相关还不等于独立。

核对：一个主导方向的数据，总量 $10.5$，留 1 条是 $8.5/10.5\approx80.95\%$，丢掉 $2$。缓慢衰减的数据，留 4 条 75.96%，留 5 条 84.75%，所以 80% 的线要留 5 条。接近平坦的数据，留 6 条 79.63%，留 7 条 90.12%，要留 7 条。

推导 · 它只看得见 μ 和 C

回头看前四站的推导，数据只通过两样东西进来：平均 $\mu$ 和协方差矩阵 $C=\frac1n\sum_i\tilde x_i\tilde x_i^{T}$。两批数据只要 $\mu$ 和 $C$ 相同，PCA 给出的轴就完全一样。四个盲点都从这里来。

1. 尺度。把第 $j$ 个特征的单位换掉，相当于乘上一个倍数 $s_j$。记 $D=\operatorname{diag}(s_1,\dots,s_d)$，则 $\tilde x_i\to D\tilde x_i$，

   $$C\to DCD.$$

   $DCD$ 的特征向量一般不是 $C$ 的特征向量乘上 $D$，轴会转。二维时可以写出来：方向角为 $\theta$ 时 $V(\theta)=c_{11}\cos^2\theta+2c_{12}\sin\theta\cos\theta+c_{22}\sin^2\theta$，令导数为 0，

   $$\tan2\theta=\frac{2c_{12}}{c_{11}-c_{22}}.$$

   纵坐标乘 $s$ 后，$c_{12}\to s\,c_{12}$，$c_{22}\to s^2c_{22}$：

   $$\tan2\theta=\frac{2\cdot58.5\,s}{66.5-66.5\,s^2}.$$

   标准化是取 $s_j=1/\sqrt{c_{jj}}$，这时 $DCD$ 的对角线全是 1，也就是相关系数矩阵。它和单位无关，但量「丢多少」的尺子换了，答案回答的是另一个问题。

2. 离群点。一个点在 $C$ 里的份额是 $\frac1n\tilde x_o\tilde x_o^{T}$。它让方向 $u$ 上的方差多出

   $$\frac{(u^{T}\tilde x_o)^2}{n},$$

   和它离中心的距离成平方关系。距离翻倍，影响变成 4 倍。

3. 意义。目标函数 $V(w)=w^{T}Cw$ 里只有 $C$，没有类别标签。不管标签怎么分，PCA 都给出同样的轴。要用标签，就得换一个把标签写进去的目标，比如线性判别分析：让两类中心沿 $w$ 拉开，同时让每一类内部沿 $w$ 尽量紧。

4. 形状。只留 $k$ 条轴时，还原出来的点 $\hat x_i=\mu+WW^{T}\tilde x_i$ 全落在一个过 $\mu$ 的平直子空间里（$k=1$ 时是一条直线）。弯线上的点不在任何一条直线上，所以只留一条轴，误差不可能是 0。$C$ 只记录「一起线性变化」的程度，弯曲这件事它记不下来。

核对：$s=0.1$ 时 $\theta\approx5.0^\circ$，$s=10$ 时 $\theta\approx85.0^\circ$。离群点放在 (25, −25)，9 个点的中心移到 (2.78, −2.78)，它的偏移 (22.2, −22.2) 正好朝 135°，单独给这个方向加了 $31.4^2/9\approx109.7$；135° 的方差变成 130.6，超过 45° 的 $125\times8/9\approx111.1$，主轴翻转。类别那组 $C=\operatorname{diag}(132,1)$，第一主轴留下 $132/133\approx99.25\%$，区分两类的纵向只占 1。弯线那组 $x$ 左右对称，$c_{12}=\frac{1}{3n}\sum_i x_i^3=0$，$C=\operatorname{diag}(13,\,14.95)$，第一主轴只留下 $14.95/27.95\approx53.5\%$。