PCA 把数据压扁之前,先请了一台隐形的机器——奇异值分解的三段式
有段时间我特别好奇一件事:一张照片明明看着"没差",存成文件却能小一半,被删掉的那些信息到底长什么样?后来一路追下去,撞见了一个名字——奇异值分解(SVD)。再往后学 PCA、推荐系统,发现它们背后都站着同一台机器。
SVD 最反直觉的地方是:它说任何一个矩阵,都能拆成"旋转 → 拉伸 → 旋转"三段。没有例外,不需要矩阵有什么特殊性质(不用对称、不用方阵)。今天就把它拆开看。
一句话定义
任意 m × n m \times n m×n 实矩阵 A A A,都能写成:
A = U Σ V T A = U \Sigma V^{T} A=UΣVT
- U U U 是 m × m m \times m m×m 的正交矩阵,列是左奇异向量;
- V V V 是 n × n n \times n n×n 的正交矩阵,列是右奇异向量;
- Σ \Sigma Σ 是 m × n m \times n m×n 的对角矩阵,对角线上是奇异值 σ 1 ≥ σ 2 ≥ ⋯ ≥ σ r > 0 \sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0 σ1≥σ2≥⋯≥σr>0,其余位置全是 0。
正交矩阵的列两两垂直且都是单位向量,作用在向量上只旋转/反射、不改变长度。所以 A A A 作用在向量 x x x 上,等于:先用 V T V^T VT 转一下,再用 Σ \Sigma Σ 沿各坐标轴拉伸 σ i \sigma_i σi 倍,最后用 U U U 再转一下。这就是"旋转—缩放—旋转"三段式。一个线性变换的本质,无非就是"转两下、再拉长"。
奇异值从哪来
奇异值不是凭空冒出来的,它跟特征值有直接血缘。把 A A A 和它的转置相乘:
A T A = V Σ T Σ V T , A A T = U Σ Σ T U T A^T A = V \Sigma^T \Sigma V^{T}, \qquad A A^T = U \Sigma \Sigma^T U^{T} ATA=VΣTΣVT,AAT=UΣΣTUT
看到没有—— A T A A^T A ATA 的特征向量就是 V V V 的列, A A T A A^T AAT 的特征向量就是 U U U 的列,而它们的非零特征值都是 σ i 2 \sigma_i^2 σi2。所以:
σ i = λ i ( A T A ) \sigma_i = \sqrt{\lambda_i(A^T A)} σi=λi(ATA)
这就把 SVD 和熟悉的特征分解接上了。特征分解要求方阵、还要求可对角化;SVD 把它推广到了任意矩阵——这正是它威力大的原因。
一个能徒手算的 2×2 例子
取对称矩阵 A = [ 3 1 1 3 ] A = \begin{bmatrix} 3 & 1 \\ 1 & 3 \end{bmatrix} A=[3113]。先算 A T A A^T A ATA:
A T A = A 2 = [ 10 6 6 10 ] A^T A = A^2 = \begin{bmatrix} 10 & 6 \\ 6 & 10 \end{bmatrix} ATA=A2=[106610]
求它的特征值:迹是 20 20 20,行列式是 100 − 36 = 64 100 - 36 = 64 100−36=64。设特征值 λ \lambda λ,满足 λ 2 − 20 λ + 64 = 0 \lambda^2 - 20\lambda + 64 = 0 λ2−20λ+64=0,解得 λ 1 = 16 \lambda_1 = 16 λ1=16, λ 2 = 4 \lambda_2 = 4 λ2=4。于是奇异值:
σ 1 = 16 = 4 , σ 2 = 4 = 2 \sigma_1 = \sqrt{16} = 4, \qquad \sigma_2 = \sqrt{4} = 2 σ1=16=4,σ2=4=2
对应的单位特征向量分别是 v 1 = 1 2 [ 1 1 ] v_1 = \frac{1}{\sqrt2}\begin{bmatrix}1\\1\end{bmatrix} v1=21[11](对应 16)和 v 2 = 1 2 [ 1 − 1 ] v_2 = \frac{1}{\sqrt2}\begin{bmatrix}1\\-1\end{bmatrix} v2=21[1−1](对应 4)。因为 A A A 对称, U = V U = V U=V。于是:
A = [ 1 / 2 1 / 2 1 / 2 − 1 / 2 ] [ 4 0 0 2 ] [ 1 / 2 1 / 2 1 / 2 − 1 / 2 ] A = \begin{bmatrix} 1/\sqrt2 & 1/\sqrt2 \\ 1/\sqrt2 & -1/\sqrt2 \end{bmatrix} \begin{bmatrix} 4 & 0 \\ 0 & 2 \end{bmatrix} \begin{bmatrix} 1/\sqrt2 & 1/\sqrt2 \\ 1/\sqrt2 & -1/\sqrt2 \end{bmatrix} A=[1/21/21/2−1/2][4002][1/21/21/2−1/2]
验算一下右边,确实回到 [ 3 1 1 3 ] \begin{bmatrix}3&1\\1&3\end{bmatrix} [3113]。到这一步,SVD 就不是黑箱了——奇异值 4 和 2,就是"先沿 45 ∘ 45^\circ 45∘ 方向拉 4 倍、沿 − 45 ∘ -45^\circ −45∘ 方向拉 2 倍"。
低秩逼近:删掉小奇异值,几乎不损失什么
SVD 最实用的副产品是低秩逼近。把 Σ \Sigma Σ 里只保留前 k k k 个奇异值,其余清零,就得到一个秩为 k k k 的矩阵:
A k = ∑ i = 1 k σ i u i v i T A_k = \sum_{i=1}^{k} \sigma_i\, u_i v_i^{T} Ak=i=1∑kσiuiviT
其中 u i u_i ui、 v i v_i vi 分别是 U U U、 V V V 的第 i i i 列(列向量外积,得到 m × n m \times n m×n 矩阵)。秩 r r r 的矩阵 A A A 可以看成 r r r 个"外积项"的和,每项贡献一个奇异值的大小。
为什么可以放心删?因为奇异值衰减通常很快,大头信息集中在前面几个大奇异值里。而这件事背后有一条定理撑着——Eckart–Young 定理:
在所有秩为 k k k 的矩阵中, A k A_k Ak 是 Frobenius 范数意义下离 A A A 最近的,且逼近误差就是被丢掉的那些奇异值的平方和开根号。
min rank ( B ) ≤ k ∥ A − B ∥ F = ∥ A − A k ∥ F = ∑ i = k + 1 r σ i 2 \min_{\text{rank}(B) \le k} \|A - B\|_F = \|A - A_k\|_F = \sqrt{\sum_{i=k+1}^{r} \sigma_i^2} rank(B)≤kmin∥A−B∥F=∥A−Ak∥F=i=k+1∑rσi2
换句话说,你想用秩 k k k 的矩阵近似 A A A, A k A_k Ak 已经是最优解,没有别的秩 k k k 矩阵能做得更好。Frobenius 范数就是"把矩阵所有元素的平方加起来开根号", ∥ A ∥ F = ∑ i , j a i j 2 \|A\|_F = \sqrt{\sum_{i,j} a_{ij}^2} ∥A∥F=∑i,jaij2,可以理解成"矩阵的能量总量"。
用上面的例子感受一下。 A A A 的能量是 ∥ A ∥ F = 3 2 + 1 2 + 1 2 + 3 2 = 20 ≈ 4.47 \|A\|_F = \sqrt{3^2 + 1^2 + 1^2 + 3^2} = \sqrt{20} \approx 4.47 ∥A∥F=32+12+12+32=20≈4.47。取 k = 1 k=1 k=1,保留 σ 1 = 4 \sigma_1=4 σ1=4:
A 1 = 4 ⋅ u 1 u 1 T = 4 ⋅ 1 2 [ 1 1 1 1 ] = [ 2 2 2 2 ] A_1 = 4 \cdot u_1 u_1^T = 4 \cdot \frac12 \begin{bmatrix}1&1\\1&1\end{bmatrix} = \begin{bmatrix}2&2\\2&2\end{bmatrix} A1=4⋅u1u1T=4⋅21[1111]=[2222]
误差 ∥ A − A 1 ∥ F = ∥ [ 1 − 1 − 1 1 ] ∥ F = 1 + 1 + 1 + 1 = 2 \|A - A_1\|_F = \|\begin{bmatrix}1&-1\\-1&1\end{bmatrix}\|_F = \sqrt{1+1+1+1} = 2 ∥A−A1∥F=∥[1−1−11]∥F=1+1+1+1=2,正好等于 σ 2 \sigma_2 σ2。删掉奇异值 2,误差就是 2——和定理说的一模一样。而压缩收益呢?原来要存 4 个数,现在 A 1 A_1 A1 只要存 u 1 u_1 u1(2 个数)加一个奇异值(1 个数),3 个数,少了 25%。
三个真正会用到它的地方
图像压缩。一张 m × n m \times n m×n 灰度图就是个大矩阵 A A A。取前 k k k 个奇异值,用 A k A_k Ak 逼近它,只需要存 k k k 个奇异值加 k k k 对左右奇异向量,共 k ( m + n + 1 ) k(m+n+1) k(m+n+1) 个数;当 k k k 远小于 min ( m , n ) \min(m,n) min(m,n) 时,存储量从 m n mn mn 骤降。看压缩图"和原图几乎一样",就是因为被丢掉的全是小奇异值对应的细节分量。
PCA 主成分分析。把数据按列排成矩阵 X X X,先对每行中心化(减均值),那么 X X T X X^T XXT 就是协方差矩阵。对它做 SVD, V V V 的列直接就是主成分方向,奇异值的平方对应各方向的方差。等于说:PCA 就是 SVD 的一个特例,SVD 是那条更底层的机器。
推荐系统。用户—物品评分矩阵是稀疏的,把它做低秩分解 R ≈ U k Σ k V k T R \approx U_k \Sigma_k V_k^T R≈UkΣkVkT,能"填"出空缺的评分——这就是隐语义模型的数学核心,Netflix 那场百万美金大赛里就活跃着它的身影。
还有一个隐藏用途:伪逆。 A + = V Σ + U T A^+ = V \Sigma^+ U^T A+=VΣ+UT( Σ + \Sigma^+ Σ+ 是把非零奇异值取倒数再转置),最小二乘问题 A x ≈ b Ax \approx b Ax≈b 的最小范数解就是 x = A + b x = A^+ b x=A+b。秩亏矩阵求不出真逆,但总有伪逆。
别被"旋转"两个字骗了
我第一次学的时候,总盯着"旋转—缩放—旋转"这个画面,觉得它只是漂亮。后来才意识到,那句话的真正分量在于:任何线性变换,在换一组合适的正交基之后,都只是单纯的、按坐标轴的缩放。你把坐标系摆对方向( V V V),拉伸就变得清清楚楚( Σ \Sigma Σ),再摆回原来的视角( U U U)。这跟"特征向量方向不改变"是一脉相承的,只不过 SVD 把它带到了任意矩阵上。
练手:给矩阵 B = [ 2 0 0 0 0 3 ] B = \begin{bmatrix}2&0\\0&0\\0&3\end{bmatrix} B= 200003 直接写出它的 SVD,再取 k = 1 k=1 k=1 算低秩逼近和误差,感受一下"把一个 3×2 矩阵压成秩 1"会丢多少。
(SVD、协方差、PCA 这套,是机器学习里绕不开的数学底子。想把这些矩阵工具从"会用"练到"知道为什么",推荐 B站【408实验室】的《机器学习数学基础》。)
转载自 CSDN-专业IT技术社区




