核心内容摘要
触碰色彩的灵魂：黄色AAAAA，点亮你的每一个瞬间
以下是对图片中Eckart-Young-Mirsky 定理谱范数版本的完整、透彻讲解。
图片展示的是该定理在2-范数谱范数下的形式即矩阵的最佳低秩逼近问题。
我会先陈述定理然后逐部分解释图片中的内容并将所有公式用标准的 LaTeX 格式重新呈现便于阅读。
定理陈述设是一个矩阵其奇异值分解SVD为,其中 pmin(m,n) 奇异值满足 σ1≥σ2≥⋯≥σp≥0 U 和 V 的列分别是左、右奇异向量单位正交。
Eckart-Young-Mirsky 定理谱范数版本,并且最小值由截断 SVD 达到这里的是谱范数算子范数即矩阵的最大奇异值。
图片内容逐部分解释
SVD 分解与截断逼近上界图片左侧写出了矩阵的完整 SVD截断前 R 项得到低秩逼近误差计算上界证明用矩阵形式写成这是一个对角矩阵除前 R 行/列全零外乘以酉矩阵 U 和不改变奇异值。
因此误差矩阵的奇异值恰好是最大奇异值是故谱范数这证明了上界存在一个秩至多 R R R 的矩阵使逼近误差等于。
下界证明关键部分图片右下黄色框要证明定理的完备性还需说明任何秩 ≤ R 的矩阵 A′ 都满足图片用一个极小化问题巧妙地给出了下界考虑子空间由前 R1 个右奇异向量张成维度为 R1对任意秩 ≤ R 的矩阵 B 这里用 B 表示任意的 A′ 由秩-零度定理B 的像空间维度 ≤ R 因此限制到 S 上的的像维度 ≤ R 从而其核维度于是存在单位向量 x∈S 使得 Bx0此时因此谱范数关键是对任意这样的 B 总存在这样的 x∈S 使上式成立。
要得到对所有 B 都成立的统一下界我们取最坏情况即 在单位球面上的最小值任意 x∈S 可写成则图片中正是求这个最小值约束由于目标函数在单位球上的最小值在“最弱方向”取得取其余得到最小值.因此对任意 B 秩 ≤ R 总有这就证明了下界。
总结上界截断 SVD 给出误差恰好。
下界利用前 R1 个右奇异向量张成的子空间和秩-零度定理证明任何低秩逼近误差至少。
两者结合截断 SVD 正是谱范数意义下最佳的秩 ≤ R 逼近误差精确为第 R1 个奇异值。
注存在另一个版本用 Frobenius 范数此时最佳误差是证明更直接但图片展示的是谱范数版本。
这个证明非常经典且精炼子空间维数比秩多 1 是关键使得总能找到一个方向被低秩矩阵“抹平”而在该方向上 A 的增益至少是。