CS实验室头像
PCA 把数据压扁之前,先请了一台隐形的机器——奇异值分解的三段式封面图

PCA 把数据压扁之前,先请了一台隐形的机器——奇异值分解的三段式

PCA 把数据压扁之前,先请了一台隐形的机器——奇异值分解的三段式

有段时间我特别好奇一件事:一张照片明明看着"没差",存成文件却能小一半,被删掉的那些信息到底长什么样?后来一路追下去,撞见了一个名字——奇异值分解(SVD)。再往后学 PCA、推荐系统,发现它们背后都站着同一台机器。

SVD 最反直觉的地方是:它说任何一个矩阵,都能拆成"旋转 → 拉伸 → 旋转"三段。没有例外,不需要矩阵有什么特殊性质(不用对称、不用方阵)。今天就把它拆开看。

一句话定义

任意 m × n m \times n m×n 实矩阵 A A A,都能写成:

A = U Σ V T A = U \Sigma V^{T} A=UΣVT

  • U U U 是 m × m m \times m m×m 的正交矩阵,列是左奇异向量;
  • V V V 是 n × n n \times n n×n 的正交矩阵,列是右奇异向量;
  • Σ \Sigma Σ 是 m × n m \times n m×n 的对角矩阵,对角线上是奇异值 σ 1 ≥ σ 2 ≥ ⋯ ≥ σ r > 0 \sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0 σ1​≥σ2​≥⋯≥σr​>0,其余位置全是 0。

正交矩阵的列两两垂直且都是单位向量,作用在向量上只旋转/反射、不改变长度。所以 A A A 作用在向量 x x x 上,等于:先用 V T V^T VT 转一下,再用 Σ \Sigma Σ 沿各坐标轴拉伸 σ i \sigma_i σi​ 倍,最后用 U U U 再转一下。这就是"旋转—缩放—旋转"三段式。一个线性变换的本质,无非就是"转两下、再拉长"。

奇异值从哪来

奇异值不是凭空冒出来的,它跟特征值有直接血缘。把 A A A 和它的转置相乘:

A T A = V Σ T Σ V T , A A T = U Σ Σ T U T A^T A = V \Sigma^T \Sigma V^{T}, \qquad A A^T = U \Sigma \Sigma^T U^{T} ATA=VΣTΣVT,AAT=UΣΣTUT

看到没有—— A T A A^T A ATA 的特征向量就是 V V V 的列, A A T A A^T AAT 的特征向量就是 U U U 的列,而它们的非零特征值都是 σ i 2 \sigma_i^2 σi2​。所以:

σ i = λ i ( A T A ) \sigma_i = \sqrt{\lambda_i(A^T A)} σi​=λi​(ATA) ​

这就把 SVD 和熟悉的特征分解接上了。特征分解要求方阵、还要求可对角化;SVD 把它推广到了任意矩阵——这正是它威力大的原因。

一个能徒手算的 2×2 例子

取对称矩阵 A = [ 3 1 1 3 ] A = \begin{bmatrix} 3 & 1 \\ 1 & 3 \end{bmatrix} A=[31​13​]。先算 A T A A^T A ATA:

A T A = A 2 = [ 10 6 6 10 ] A^T A = A^2 = \begin{bmatrix} 10 & 6 \\ 6 & 10 \end{bmatrix} ATA=A2=[106​610​]

求它的特征值:迹是 20 20 20,行列式是 100 − 36 = 64 100 - 36 = 64 100−36=64。设特征值 λ \lambda λ,满足 λ 2 − 20 λ + 64 = 0 \lambda^2 - 20\lambda + 64 = 0 λ2−20λ+64=0,解得 λ 1 = 16 \lambda_1 = 16 λ1​=16, λ 2 = 4 \lambda_2 = 4 λ2​=4。于是奇异值:

σ 1 = 16 = 4 , σ 2 = 4 = 2 \sigma_1 = \sqrt{16} = 4, \qquad \sigma_2 = \sqrt{4} = 2 σ1​=16 ​=4,σ2​=4 ​=2

对应的单位特征向量分别是 v 1 = 1 2 [ 1 1 ] v_1 = \frac{1}{\sqrt2}\begin{bmatrix}1\\1\end{bmatrix} v1​=2 ​1​[11​](对应 16)和 v 2 = 1 2 [ 1 − 1 ] v_2 = \frac{1}{\sqrt2}\begin{bmatrix}1\\-1\end{bmatrix} v2​=2 ​1​[1−1​](对应 4)。因为 A A A 对称, U = V U = V U=V。于是:

A = [ 1 / 2 1 / 2 1 / 2 − 1 / 2 ] [ 4 0 0 2 ] [ 1 / 2 1 / 2 1 / 2 − 1 / 2 ] A = \begin{bmatrix} 1/\sqrt2 & 1/\sqrt2 \\ 1/\sqrt2 & -1/\sqrt2 \end{bmatrix} \begin{bmatrix} 4 & 0 \\ 0 & 2 \end{bmatrix} \begin{bmatrix} 1/\sqrt2 & 1/\sqrt2 \\ 1/\sqrt2 & -1/\sqrt2 \end{bmatrix} A=[1/2 ​1/2 ​​1/2 ​−1/2 ​​][40​02​][1/2 ​1/2 ​​1/2 ​−1/2 ​​]

验算一下右边,确实回到 [ 3 1 1 3 ] \begin{bmatrix}3&1\\1&3\end{bmatrix} [31​13​]。到这一步,SVD 就不是黑箱了——奇异值 4 和 2,就是"先沿 45 ∘ 45^\circ 45∘ 方向拉 4 倍、沿 − 45 ∘ -45^\circ −45∘ 方向拉 2 倍"。

低秩逼近:删掉小奇异值,几乎不损失什么

SVD 最实用的副产品是低秩逼近。把 Σ \Sigma Σ 里只保留前 k k k 个奇异值,其余清零,就得到一个秩为 k k k 的矩阵:

A k = ∑ i = 1 k σ i   u i v i T A_k = \sum_{i=1}^{k} \sigma_i\, u_i v_i^{T} Ak​=i=1∑k​σi​ui​viT​

其中 u i u_i ui​、 v i v_i vi​ 分别是 U U U、 V V V 的第 i i i 列(列向量外积,得到 m × n m \times n m×n 矩阵)。秩 r r r 的矩阵 A A A 可以看成 r r r 个"外积项"的和,每项贡献一个奇异值的大小。

为什么可以放心删?因为奇异值衰减通常很快,大头信息集中在前面几个大奇异值里。而这件事背后有一条定理撑着——Eckart–Young 定理:

在所有秩为 k k k 的矩阵中, A k A_k Ak​ 是 Frobenius 范数意义下离 A A A 最近的,且逼近误差就是被丢掉的那些奇异值的平方和开根号。

min ⁡ rank ( B ) ≤ k ∥ A − B ∥ F = ∥ A − A k ∥ F = ∑ i = k + 1 r σ i 2 \min_{\text{rank}(B) \le k} \|A - B\|_F = \|A - A_k\|_F = \sqrt{\sum_{i=k+1}^{r} \sigma_i^2} rank(B)≤kmin​∥A−B∥F​=∥A−Ak​∥F​=i=k+1∑r​σi2​ ​

换句话说,你想用秩 k k k 的矩阵近似 A A A, A k A_k Ak​ 已经是最优解,没有别的秩 k k k 矩阵能做得更好。Frobenius 范数就是"把矩阵所有元素的平方加起来开根号", ∥ A ∥ F = ∑ i , j a i j 2 \|A\|_F = \sqrt{\sum_{i,j} a_{ij}^2} ∥A∥F​=∑i,j​aij2​ ​,可以理解成"矩阵的能量总量"。

用上面的例子感受一下。 A A A 的能量是 ∥ A ∥ F = 3 2 + 1 2 + 1 2 + 3 2 = 20 ≈ 4.47 \|A\|_F = \sqrt{3^2 + 1^2 + 1^2 + 3^2} = \sqrt{20} \approx 4.47 ∥A∥F​=32+12+12+32 ​=20 ​≈4.47。取 k = 1 k=1 k=1,保留 σ 1 = 4 \sigma_1=4 σ1​=4:

A 1 = 4 ⋅ u 1 u 1 T = 4 ⋅ 1 2 [ 1 1 1 1 ] = [ 2 2 2 2 ] A_1 = 4 \cdot u_1 u_1^T = 4 \cdot \frac12 \begin{bmatrix}1&1\\1&1\end{bmatrix} = \begin{bmatrix}2&2\\2&2\end{bmatrix} A1​=4⋅u1​u1T​=4⋅21​[11​11​]=[22​22​]

误差 ∥ A − A 1 ∥ F = ∥ [ 1 − 1 − 1 1 ] ∥ F = 1 + 1 + 1 + 1 = 2 \|A - A_1\|_F = \|\begin{bmatrix}1&-1\\-1&1\end{bmatrix}\|_F = \sqrt{1+1+1+1} = 2 ∥A−A1​∥F​=∥[1−1​−11​]∥F​=1+1+1+1 ​=2,正好等于 σ 2 \sigma_2 σ2​。删掉奇异值 2,误差就是 2——和定理说的一模一样。而压缩收益呢?原来要存 4 个数,现在 A 1 A_1 A1​ 只要存 u 1 u_1 u1​(2 个数)加一个奇异值(1 个数),3 个数,少了 25%。

三个真正会用到它的地方

图像压缩。一张 m × n m \times n m×n 灰度图就是个大矩阵 A A A。取前 k k k 个奇异值,用 A k A_k Ak​ 逼近它,只需要存 k k k 个奇异值加 k k k 对左右奇异向量,共 k ( m + n + 1 ) k(m+n+1) k(m+n+1) 个数;当 k k k 远小于 min ⁡ ( m , n ) \min(m,n) min(m,n) 时,存储量从 m n mn mn 骤降。看压缩图"和原图几乎一样",就是因为被丢掉的全是小奇异值对应的细节分量。

PCA 主成分分析。把数据按列排成矩阵 X X X,先对每行中心化(减均值),那么 X X T X X^T XXT 就是协方差矩阵。对它做 SVD, V V V 的列直接就是主成分方向,奇异值的平方对应各方向的方差。等于说:PCA 就是 SVD 的一个特例,SVD 是那条更底层的机器。

推荐系统。用户—物品评分矩阵是稀疏的,把它做低秩分解 R ≈ U k Σ k V k T R \approx U_k \Sigma_k V_k^T R≈Uk​Σk​VkT​,能"填"出空缺的评分——这就是隐语义模型的数学核心,Netflix 那场百万美金大赛里就活跃着它的身影。

还有一个隐藏用途:伪逆。 A + = V Σ + U T A^+ = V \Sigma^+ U^T A+=VΣ+UT( Σ + \Sigma^+ Σ+ 是把非零奇异值取倒数再转置),最小二乘问题 A x ≈ b Ax \approx b Ax≈b 的最小范数解就是 x = A + b x = A^+ b x=A+b。秩亏矩阵求不出真逆,但总有伪逆。

别被"旋转"两个字骗了

我第一次学的时候,总盯着"旋转—缩放—旋转"这个画面,觉得它只是漂亮。后来才意识到,那句话的真正分量在于:任何线性变换,在换一组合适的正交基之后,都只是单纯的、按坐标轴的缩放。你把坐标系摆对方向( V V V),拉伸就变得清清楚楚( Σ \Sigma Σ),再摆回原来的视角( U U U)。这跟"特征向量方向不改变"是一脉相承的,只不过 SVD 把它带到了任意矩阵上。

练手:给矩阵 B = [ 2 0 0 0 0 3 ] B = \begin{bmatrix}2&0\\0&0\\0&3\end{bmatrix} B= ​200​003​ ​ 直接写出它的 SVD,再取 k = 1 k=1 k=1 算低秩逼近和误差,感受一下"把一个 3×2 矩阵压成秩 1"会丢多少。

(SVD、协方差、PCA 这套,是机器学习里绕不开的数学底子。想把这些矩阵工具从"会用"练到"知道为什么",推荐 B站【408实验室】的《机器学习数学基础》。)

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/qiwsir/article/details/170484130

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--