专题讨论：子空间之间的投影

我们已经学习了如何将一个向量投影到子空间上。现在，我们来探讨一个更宏观的问题：如果我们将一个子空间 V 投影到另一个子空间 W 上，结果会是什么？

“投影一个空间 V” 的意思是：将 V 中的每一个向量都投影到 W 上，然后将所有这些投影结果集合在一起，形成一个新的空间，记为 π_W(V)。

这个问题的答案取决于两个子空间 V 和 W 的维度关系。

情况一：高维子空间投影到低维子空间 (最常见)

这是投影在数据科学和机器学习中最核心的应用，例如维度约减。

• 前提: dim(V) > dim(W)。

• 直观想象: 将整个三维空间 (V=R³) 投影到地面（一个二维平面 W）上。

• 结论: 投影结果会“填满”并覆盖整个低维子空间 W。

  $${\pi }_W(V)=W$$$$\text{dim}({\pi }_W(V))=\text{dim}(W)$$

• 原因:

  1. 结果的有界性: 根据投影的定义，任何向量的投影结果都必须落在目标子空间 W 内。因此，π_W(V) 最多只能是 W。
  2. 结果的完备性: 因为 V 的维度更高，它包含了比 W “更丰富”的方向。对于 W 中的任何一个点 w，我们总能在更高维的 V 中找到一个（通常是无穷多个）源向量 v，使得 v 在 W 上的投影恰好是 w。没有任何 W 中的点会被“遗漏”。

• 信息变化: 在这个过程中，垂直于 W 的所有信息都被“压扁”了。这是一个信息有损压缩的过程，投影后的维度等于低维子空间的维度。

• 具体例子:

  • 将整个三维空间 V = R³ 投影到 xy 平面 W 上。
  • R³ 中任意一点 (x, y, z) 的投影是 (x, y, 0)。
  • 所有这些投影点的集合，构成了整个 xy 平面。
  • π_W(V) = W，投影后的维度为 dim(W) = 2。

情况二：低维子空间投影到高维子空间

这种情况在理论上很有启发性，它帮助我们理解投影的边界条件。

• 前提: dim(V) < dim(W)，并且 V 是 W 的一个子空间，即 V ⊆ W。

• 直观想象: 将地面上的一条直线 (V) “投影”到整个三维空间 (W=R³) 中。

• 结论: 投影结果就是低维子空间 V 本身。

  $${\pi }_W(V)=V$$$$\text{dim}({\pi }_W(V))=\text{dim}(V)$$

• 原因:

  • 根据投影最根本的几何定义：π_W(v) 是 W 中离 v 最近的那个点。
  • 既然 V 整个都在 W 里面，那么对于任何一个取自 V 的向量 v，它本身就已经在 W 中了。
  • 在 W 中离 v 最近的点，显然就是 v 自己（距离为0）。
  • 因此，V 中的每一个向量在投影后都保持不变。

• 信息变化: 在这个过程中，没有任何信息发生改变。这是一个信息无损的操作，投影后的维度等于原始低维子空间的维度。

• 具体例子:

  • 将 x 轴 (V = span{[1,0,0]ᵀ}) 投影到整个三维空间 W = R³ 上。
  • x 轴上任意一点 (x, 0, 0) 在 R³ 中的投影是什么？就是它自己。
  • 所有这些投影点的集合，构成的仍然是 x 轴本身。
  • π_W(V) = V，投影后的维度为 dim(V) = 1。

总结与对比

这两个对偶的场景共同揭示了投影的本质：投影操作的结果永远不会超过目标子空间 W 的范围和维度。它要么将一个“更大”的空间压缩并填满 W，要么将一个“更小”的空间原封不动地保留在 W 中。