奇异值分解 (SVD) 计算流程笔记

核心定义

任何一个 $mxn$ 的矩阵 $A$ 都可以被分解为三个矩阵的乘积：

• $U$: 一个 $m\times m$ 的正交矩阵 (Orthogonal Matrix)。其列向量 $uᵢ$ 被称为左奇异向量 (Left Singular Vectors)。
• $\Sigma$ (Sigma): 一个 $m\times n$ 的对角矩阵。其对角线上的元素 $\sigma ᵢ$ 被称为奇异值 (Singular Values)。它们非负 ($\sigma ᵢ\ge 0$) 且按从大到小的顺序排列。
• $V$: 一个 $nxn$ 的正交矩阵。其列向量 $vᵢ$ 被称为右奇异向量 (Right Singular Vectors)。$V^T$ 是 $V$ 的转置。

计算流程：三步走战略

我们的目标是依次求出 $V$、$\Sigma$ 和 $U$。

Step 1: 计算 V 和 Σ (从 $A^{T}A$ 入手)

• 构建 $\Sigma$ (奇异值矩阵):

  1. 计算奇异值: $\sigma ᵢ=\sqrt{\lambda ᵢ}$，其中 $\lambda ᵢ$ 是 $AᵀA$ 的特征值。
  2. 排序: 将奇异值从大到小排序：$\sigma ₁\ge \sigma ₂\ge ...\ge \sigma ᵣ>0$ (其中 $r$ 是矩阵 $A$ 的秩)。
  3. 确定形状: 创建一个与原矩阵 $A$ 维度完全相同的 $m\times n$ 零矩阵 $\Sigma$。
  4. 填充对角线: 从左上角 $\Sigma (1,1)$ 开始，沿着主对角线，依次填入排序后的奇异值 $\sigma ₁$, $\sigma ₂$, ...。一直填到矩阵的行或列的边界为止。
  • 注：关于“消失”的小特征值
    • 如果 $A$ 是“宽”的 ($n>m$) 或“高”的 ($m>n$)，那么对角线位置的数量会小于奇异值的总数。
    • 这意味着较小的奇异值（尤其是0）可能没有位置可填。它们并没有被“舍弃”，而是隐式地体现在了 $\Sigma$ 矩阵中用于“填充”形状的零行或零列里。
    • 例如，对于一个 $2\times 3$ 矩阵，$\Sigma$ 的对角线只有 $(1,1)$ 和 $(2,2)$ 两个位置。$\sigma ₃$ 即使不为0，也无法被填入。

• 构建 $V$ (右奇异向量矩阵):

  1. 排序特征向量: 找到 $AᵀA$ 的所有特征向量。必须按照它们所对应的奇异值 $\sigma ᵢ$ (从大到小) 的顺序来排列这些特征向量。
     • 例：$v₁$ 对应 $\sigma ₁$，$v₂$ 对应 $\sigma ₂$，以此类推。
  2. 单位化 (Normalize): 对每一个排好序的特征向量进行单位化，确保它们的长度都为1。这会得到一组标准正交基 $v₁,v₂,...,vₙ$。
  3. 构建矩阵: 将这些单位化的、排好序的特征向量作为列向量，构建 $n\times n$ 的正交矩阵 $V$。
  $$V=\left[\begin{array}{cccc}|& |& & |\\ v_1& v_2& \cdots & v_n\\ |& |& & |\end{array}\right]$$

Step 2: 计算 U (左奇异向量矩阵)

这一步的目标是找到输出空间的“特殊正交基” $U$。

1. 计算与非零奇异值对应的 $uᵢ$

   • 对于每一个非零的奇异值 $\sigma ᵢ$ (i 从 1 到 r)，使用以下关系式计算对应的左奇异向量 $uᵢ$：$$u_i=\frac{1}{{\sigma }_i}A{v}_i$$这里的 $vᵢ$ 是你在 Step 1 中计算出的、与 $\sigma ᵢ$ 对应的右奇异向量。

2. 处理可能存在的“补充”向量 (如果 m > r)

   • 你已经通过上面的方法得到了 $r$ 个左奇异向量 $u₁,u₂,...,uᵣ$。
   • IF $m=r$: 恭喜，你已经找到了所有的 $u$ 向量。
   • IF $m>r$: 你还需要找到 $m-r$ 个额外的向量 $u_{r+1},...,u_m$ 来填满 $U$ 矩阵。这些向量构成了 $A^T$ 的零空间 (Null Space) 的一组标准正交基。
     1. 解方程组 $A^{T}y=0$。
     2. 求出其解空间的一组基。
     3. 使用格拉姆-施密特正交化 (Gram-Schmidt Process) 方法将这组基以及之前算出的 $u₁,...,uᵣ$ 合并，得到一个完整的标准正交基 $u₁,...,u_m$。

3. 构建 $U$

   • 将所有 $m$ 个单位化的、互相正交的左奇异向量 $u₁,u₂,...,u_m$ 作为列向量，构建 $m\times m$ 的正交矩阵 $U$。
   $$U=\left[\begin{array}{cccc}|& |& & |\\ u_1& u_2& \cdots & u_m\\ |& |& & |\end{array}\right]$$

Step 3: 最终检验

• 将你计算出的 $U$, $\Sigma$, $V^T$ 相乘。
• 验证 $U\Sigma V^T$ 是否等于原始矩阵 $A$。
• 同时检查 $U$ 和 $V$ 是否真的是正交矩阵 ($U^{T}U=I$, $V^{T}V=I$)。