最小二乘解：为什么正规方程就是投影方程？

我们要证明：对于线性系统 $Ax=b$，其中 $A\in {\mathbb{R}}^{m\times n}$ 且 $m>n$ (过定系统)，如果 $A$ 具有列满秩，则向量 $x=(A^{T}A{)}^{-1}{A}^{T}b$ 是使 $\parallel Ax-b{\parallel }_2^2$ 最小化的唯一解。

这个证明可以从两个角度理解：一是纯粹的代数优化，二是更直观的几何投影。几何方法能让我们深刻理解为什么正规方程 $A^{T}Ax=A^{T}b$ 会自然而然地出现。

几何视角证明：

1. 目标：最小化距离

我们的目标是找到一个 $x$，使得向量 $Ax$ 与向量 $b$ 之间的距离 $\parallel Ax-b\parallel$ 最小。

• 向量 $b$ 是一个固定的点。
• 集合 $\{Ax\mid x\in {\mathbb{R}}^n\}$ 是矩阵 $A$ 的列空间 (Column Space)，记为 Col(A)。它是一个由 $A$ 的列向量张成的子空间。
• 所以，我们的问题等价于：在 Col(A) 这个子空间中，找到一个点，使得它离 $b$ 最近。

2. 几何答案：正交投影

根据我们对正交投影的定义，子空间中离一个外部点最近的点，正是这个点在该子空间上的正交投影。

• 我们设这个最近点（也就是投影点）为 $\hat{b}$。$$\hat{b}={\pi }_{\text{Col}(A)}(b)$$
• 因为 $\hat{b}$ 在 Col(A) 中，所以一定存在一个唯一的 $\hat{x}$ (因为A的列线性无关)，使得：$$A\hat{x}=\hat{b}$$这个 $\hat{x}$ 就是我们要找的最小二乘解。

3. 投影的核心性质：正交性

正交投影最关键的性质是：误差向量 $(b-\hat{b})$ 必须与目标子空间 Col(A) 中的任何向量都正交。

• 这意味着，误差向量 $(b-A\hat{x})$ 必须与 Col(A) 的所有基向量都正交。
• Col(A) 的基向量就是矩阵 $A$ 的列向量，记为 $a_1,a_2,...,a_n$。
• 所以，我们必须满足以下正交条件：$$a_i^T(b-A\hat{x})=0\text{对于所有 }i=1,\dots ,n$$

4. 从几何正交性到正规方程

这 $n$ 个正交条件可以被非常巧妙地写成一个矩阵方程。

• $a_1^T(b-A\hat{x})=0$
• $a_2^T(b-A\hat{x})=0$
• ...
• $a_n^T(b-A\hat{x})=0$

将这些行向量 $a_i^T$ 堆叠起来，就构成了矩阵 $A$ 的转置 $A^T$：

这就是：

展开这个方程，我们就得到了：

看！我们从纯粹的几何投影思想出发，推导出了与代数优化方法完全相同的“正规方程”。

5. 求解正规方程

这一步与代数证明完全相同。

• A 的列是线性独立的（这是假设条件）。
• 定理： 如果矩阵 $A$ 的列线性无关，那么矩阵 $A^{T}A$ 是可逆的。
  • (证明过程：通过证明 $A^{T}Av=0$ 的唯一解是 $v=0$)
• 既然 $(A^{T}A{)}^{-1}$ 存在，我们可以从左侧乘以它来求解 $\hat{x}$：$$(A^{T}A{)}^{-1}(A^{T}A)\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$$$$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$$

两种方法的联系与总结

• 代数优化方法通过求梯度为零，找到了一个驻点 (stationary point)，并证明了这个驻点是最小值点。
• 几何投影方法通过“最近点”的直觉，利用正交性直接构造出了最优解必须满足的条件。

这两种方法殊途同-归，都得到了正规方程 $A^{T}Ax=A^{T}b$。这个方程的深刻含义是：

它是一个数学声明，表达了“误差向量 $b-Ax$ 必须与 $A$ 的所有列向量（即 Col(A) 的所有方向）都正交”。这正是正交投影的定义。

因此，求解最小二乘问题，在几何上就是做一次正交投影，而在代数上就是解一个被称为正规方程的线性系统。伪逆公式 $x=(A^{T}A{)}^{-1}{A}^{T}b$ 正是这个方程的直接解。

这个解 $x$ 告诉我们，需要对 $A$ 的列向量进行怎样的线性组合，才能得到那个离 $b$ 最近的投影点 $\hat{b}$。

有解与无解对比

让我们来详细对比一下有解和无解两种情况下，最小二乘解（或者说它的公式）到底意味着什么。

我们将使用几何投影的视角，因为它最直观。

背景回顾

• 问题: 求解线性方程组 $Ax=b$。
• 几何视角: 我们想找到一个对 $A$ 的列向量的线性组合，使其恰好等于向量 $b$。
• 核心空间: 矩阵 $A$ 的列空间 Col(A)，即由 $A$ 的列向量张成的子空间。
• 最小二乘公式: $\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$ (假设 $A$ 列满秩)。

情况一：当 $Ax=b$ 有精确解时

这种情况在理论上很完美，但在实际数据问题中较少见。

1. 几何上发生了什么？

• “有精确解”意味着向量 $b$ 本身就已经位于矩阵 $A$ 的列空间 Col(A) 内部。
• 我们现在要问：在 Col(A) 中，离 $b$ 最近的点是哪个点？
• 答案: 既然 $b$ 已经身处 Col(A) 之中，离它最近的点当然就是它自己！
• 因此，$b$ 在 Col(A) 上的正交投影就是 $b$ 本身：$$\hat{b}={\pi }_{\text{Col}(A)}(b)=b$$

2. 最小二乘公式会算出什么？

• 最小二乘法要我们求解新的方程 $A\hat{x}=\hat{b}$。
• 既然在这种情况下 $\hat{b}=b$，那么我们要解的方程就是：$$A\hat{x}=b$$
• 这正是我们一开始要解的原始方程！
• 所以，当我们把 $b$ 代入那个复杂的最小二乘公式时，它计算出的解 $\hat{x}$，就是原始方程的那个唯一的精确解 $x$。$$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b=x_{\text{exact}}$$

3. 误差是多少？

• 最小二乘法旨在最小化误差 $\parallel b-Ax\parallel$。
• 既然我们找到了一个精确解 $x$，使得 $Ax=b$，那么误差就是：$$\parallel b-Ax\parallel =\parallel b-b\parallel =\parallel 0\parallel =0$$
• 误差为零，这与我们的预期完全相符。

总结 (有解时):
最小二乘法在这种情况下没有做任何“近似”。它只是通过一个看起来更复杂的公式，找到了那个本来就存在的精确解。投影操作 $\pi (b)$ 就像一个“验证器”，它发现 $b$ 已经在目标空间里了，所以什么也没改变。

情况二：当 $Ax=b$ 无解时 (最小二乘法的真正用武之地)

这种情况在处理带有噪声的真实数据时是常态。

1. 几何上发生了什么？

• “无解”意味着向量 $b$ 位于矩阵 $A$ 的列空间 Col(A) 的外部。它“飘”在了子空间的“上方”或“旁边”。
• 我们无法在 Col(A) 中找到任何一个点能精确等于 $b$。
• 于是，我们寻找 Col(A) 中离 $b$ 最近的点，也就是 $b$ 在 Col(A) 上的正交投影 $\hat{b}$。$$\hat{b}={\pi }_{\text{Col}(A)}(b)\ne b$$
• 这个投影点 $\hat{b}$ 是我们能用 $A$ 的列向量线性组合出来的、最接近 $b$ 的“替代品”。

2. 最小二乘公式会算出什么？

• 最小二乘法让我们求解 $A\hat{x}=\hat{b}$。
• 这个方程一定有解，因为根据定义，$\hat{b}$ 就在 Col(A) 中。
• 最小二乘公式计算出的 $\hat{x}$ 就是这个方程的解。这个 $\hat{x}$ 告诉我们：需要对 $A$ 的列向量进行怎样的线性组合，才能得到那个最佳的近似点 $\hat{b}$。$$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$$这个解 $\hat{x}$ 不再是原始问题的精确解（因为它不存在），而是最优的近似解。

3. 误差是多少？

• 最小二乘解 $\hat{x}$ 使得误差 $\parallel b-Ax\parallel$ 最小。
• 最小误差的值就是 $b$ 到它的投影 $\hat{b}$ 之间的距离：$$\text{Minimum Error}=\parallel b-A\hat{x}\parallel =\parallel b-\hat{b}\parallel >0$$
• 这个误差向量 $(b-\hat{b})$ 是垂直于整个 Col(A) 空间的。

总结 (无解时):
最小二乘法找到了一个近似解 $\hat{x}$。这个解本身没有让 $A\hat{x}$ 等于 $b$，而是让 $A\hat{x}$ 等于 $b$ 的投影 $\hat{b}$。它通过牺牲“完全相等”的目标，换取了“误差最小”的最优结果。投影操作 $\pi (b)$ 在这里扮演了“寻找最佳替代品”的关键角色。

核心对比

希望这个对比能让你彻底明白最小二乘解在两种情况下的不同含义！它是一个非常优雅的框架，统一了有解和无解两种情况的处理方式。