核心内容摘要
八重神子的绝技：掌握“腿部熟练脚法”的奥秘
在前面几篇文章中我们已经写下了一系列方程这些方程从数学上定义了奇异值分解 (SVD) 的各个分量以及它们与输入矩阵 M 的关系。
现在让我们通过一些可视化使这些导出的分量更加具象化。
图 1方阵 M 的奇异值分解的 U 、 S 和 V 的可视化其中 mn图 1方阵 SVD 的“标准形态”4×4 的例子这张图里有 4 个同样大小的热力图从左到右可以理解为① 左一原始矩阵 A颜色红/蓝代表正负与大小这就是你要分解的“混合变换”。
② 左二U左奇异向量矩阵U 的列向量是一组正交单位基。
它的本质作用在输出空间里定义“最舒服的坐标轴”一组正交方向你可以把它当成把坐标系旋转到某个新方向性质③ 左三Σ奇异值矩阵只有对角线亮你会看到大部分格子都接近 0深蓝只有对角线上有几个明显的亮块。
这就是 SVD 最“灵魂”的部分Σ 只做一件事沿着某些轴做伸缩拉伸/压缩对角线元素就是奇异值性质④ 右一右奇异向量的转置V 的列向量也是一组正交单位基但它属于“输入空间”。
它的作用在输入空间里先把向量换一套坐标系旋转/镜像你可以理解为把输入方向对齐到“最容易被拉伸的方向”性质✅图 1 的一句话
总结A(任意复杂)U(输出旋转) Σ(轴向缩放)(输入旋转)图 2高矩阵 M 的奇异值分解的 U 、 S 和 V 的可视化其中 mn 。
图 2矩形矩阵的 SVD“不是方阵也能拆”这张图的关键点是中间那个 Σ 变成“长方形对角阵”。
你会看到一个高高的深蓝矩阵里面斜对角有几块亮色方块——这就是比如 mn高矩阵时Σ 最多只有n个奇异值也就是说最多只有 min(m,n) 个“有效拉伸方向”所以矩形矩阵的 SVD 依然成立✅图 2 的一句话
总结矩阵不必是方阵SVD 仍然能把它拆成“旋转 拉伸 旋转”只不过拉伸那一步的 Σ 是长方形。
图 3宽矩阵 M 的奇异值分解的 U 、 S 和 V 的可视化其中 mn 。
图 3SVD 的“秩”与“信息量”——为什么只亮了几格你会注意到第三张图里有一个 Σ或类似形态只亮了很少几个对角块这在暗示一个超重要事实很多矩阵虽然看起来很乱但真正“有用的结构”只集中在前几个奇异值上。
SVD 有一个等价表达式特别关键这句话很炸裂它说每一项都是一个秩 1 矩阵 是“一个方向 × 另一个方向”的外积 决定这一项的“贡献强弱”所以你在热力图里看到的效果就是第一项σ1贡献最大后面的项越来越小小到可以忽略就像图里“几乎没颜色”✅图 3 的一句话
总结A 可以看成很多个“秩 1 图案”的叠加而真正重要的往往只有前几个。
图 4奇异向量构成正交基左列显示了对随机矩阵 [m×n][10×5] 进行奇异值分解 (SVD) 后得到的 U 和 VT 矩阵。
中间列绘制了沿每个矩阵的奇异向量列计算的 L2 范数所有奇异向量的范数均为 1。
右列显示了每个矩阵与其自身的内积该内积为单位矩阵表明奇异向量的正交性。
图 4最核心的一张——“完整 SVD” vs “截断 SVD低秩近似”这张图上下两排就是在对比上排完整 SVD左原矩阵 A看起来噪声很多中U 或 V用“竖条纹”表示它的列向量是正交单位基——每一列长度为 1彼此垂直右Σ对角线全亮表示你保留了全部奇异值下排截断 SVD只保留前 k 个奇异值右下角的只剩前几个亮块这意味着它的含义是我只用最强的前 k 个“主方向”丢掉后面那些弱小的、像噪声一样的方向⚡这件事有一个世界级结论SVD 的王炸性质 是所有秩为 k 的矩阵里离 A 最近的那个误差最小不管你用 Frobenius 范数还是 2-范数也就是✅图 4 的一句话
总结SVD 不只是分解它还能做“最优压缩/降噪”只保留最重要的 k 个模式。
图 5 以可视化的方式展示了图 4 中计算/展示的 SVD 结果的三个属性。
这张图其实是在用可视化把图 4 的 SVD 结果的3 个关键属性“钉死在眼睛里”。
我按从上到下、从左到右把它归纳成 3 点①最上面两张长条热力图SVD 可以把原矩阵“完全重构”你看到左上、右上两张几乎一模一样的长方形热力图左上原始矩阵 M右上用 SVD 分解再乘回去得到的重构矩阵它们一致说明一个事实✅SVD 不是近似方法它首先是一个“精确分解”只要保留全部奇异值完整 Σ就能100%还原原矩阵。
②中间两张方阵热力图与的“非零谱”相同中间那两张方阵热力图也是几乎一模一样左中输出空间的 Gram/协方差型矩阵右中输入空间的 Gram/协方差型矩阵它们“谱意义上的等价”是 SVD 的核心桥梁✅ 所以结论是两者的非零特征值完全相同并且都等于这就是为什么U 来自的特征向量V 来自的特征向量Σ 统一管理它们的“强度”奇异值③最下面两张折线图奇异值衰减曲线 “平方关系”被验证底部两张图分别在讲两个重点左下红色折线奇异值谱Singular Value Spectrum红线明显从大到小下降说明σ1 最大代表“最主要结构”越往后越小代表“次要结构 / 细节 / 噪声”✅ 这就是低秩近似为什么成立只用前 k 个奇异值就能抓住大部分信息右下蓝线 vs 黄虚线两边特征值几乎重合图例写着蓝色eigs of黄色虚线eigs of两条线几乎重合视觉上证明了第②点✅它们的非零特征值相同而结合 SVD 的关系就是一句话总归纳这图展示的 SVD 三大属性可重构性完整 SVD 能精确还原矩阵双 Gram 同谱与共享同一组非零特征值能量集中奇异值快速衰减 → 信息主要集中在前几个 → 低秩近似/压缩/降噪成立把 SVD 原理“讲透”的一条主线你可以把 SVD 牢牢记成下面这 5 句话完全够你吃透它1SVD 是在描述一个线性变换如何扭曲空间把单位圆或单位球经过 A 变换会变成一个椭圆或椭球。
椭球的主轴方向由 U 给出输出空间椭球主轴长度由 给出输入空间对齐主轴的方向由 V 给出2V 给“输入最敏感的方向”U 给“输出对应的方向”这句是 SVD 的核心物理意义往 方向输入一个单位向量输出一定落在 方向长度被放大/缩小倍3奇异值来自特征值SVD 其实是“把特征分解做到了任意矩阵”所以 是的特征向量 是的特征向量 是对应特征值4SVD 旋转 拉伸 再旋转对任意向量 x按步骤读就是把输入坐标系旋转到“主方向坐标系”沿各轴拉伸/压缩再旋转到输出空间5截断 SVD 是“最优低秩近似”也是 PCA、压缩、去噪的底层这就是图片压缩只保留主要纹理推荐系统矩阵补全NLP 里的语义空间压缩PCA 的矩阵版本图 1图 3 下面那条带刻度的长条叫做颜色条 / 色标colorbar它的作用是把“颜色”翻译成“数值大小”让你知道热力图里每个格子的颜色到底对应多大、是正还是负。
1它表示什么数热力图里的每一个小格子对应矩阵里的一个元素 aija_{ij}aij。
颜色条告诉你蓝色→ 数值是负数越蓝越小、越负白色→ 数值接近0红色→ 数值是正数越红越大、越正所以它本质上就是(数值)2为什么中间通常是白色因为很多绘图默认用的是“发散色图”diverging colormap把0放在中间负数往一边渐变成蓝正数往另一边渐变成红这样你能一眼看出“符号”和“强弱”。
3刻度代表什么刻度就是具体数值范围比如可能会标意思是如果某个格子颜色接近最蓝端说明这个元素大约接近-3接近白色说明接近0接近最红端说明接近34为什么图 1图 3 每张都有一条因为每张图每个矩阵都在用颜色表示数值没有 colorbar你只能看“红蓝分布”但不知道到底最大值是多少是不是正负对称两幅热力图之间能不能公平比较colorbar 就是统一的“数值尺子”。
5特别关键同一张图内colorbar 的范围通常是统一的比如图 1 的 4 个矩阵往往共享同一个 colorbar 范围这样才能直接比较A 的元素可能在 [−2,2]Σ 可能只有对角线比较亮多数元素在 [−1,1]因为它们是正交矩阵元素一般不会很大所以你看到 U 和很“淡”并不是它们不重要而是因为它们数值本来就通常比较小接近 -1 到 1但依然在做旋转/镜像。
✅一句话