“Why don't we just go deeper and deeper?” (为什么我们不一直把网络做得更深呢？) 这个问题触及了深度学习实践中的一些核心挑战。虽然理论上更深的网络可能具有更强的表达能力，但实际上，当网络达到一定深度后，继续简单地增加层数可能会导致性能下降，甚至比更浅的网络还要差。

以下是限制网络无限加深的主要原因：

  1. 梯度消失/爆炸 (Vanishing/Exploding Gradients):

    • 这是早期限制深度网络训练的最主要障碍。
    • 梯度消失 (Vanishing Gradients): 在反向传播过程中，梯度从输出层向输入层传播。每经过一层（特别是使用像 Sigmoid 或 Tanh 这样的饱和激活函数，或者不当的权重初始化），梯度可能会被乘以一个小于1的因子。在很深的网络中，这些因子连乘会导致梯度在传播到浅层时变得非常小，接近于0。这使得浅层的权重几乎不更新，网络难以学习。
    • 梯度爆炸 (Exploding Gradients): 相反，如果梯度在传播过程中被乘以大于1的因子，它们可能会指数级增长，变得非常大。这会导致参数更新过大，使得训练过程不稳定，甚至导致数值溢出 (NaNs)。
    • 解决方案： 更好的激活函数 (如 ReLU 及其变体)、仔细的权重初始化策略 (如 He/Xavier 初始化)、批量归一化 (Batch Normalization)、残差连接 (Residual Connections in ResNets) 等技术可以显著缓解这个问题。

  2. 过拟合 (Overfitting):

    • 更深的网络通常意味着模型拥有更多的参数，从而具有更强的拟合能力。
    • 当模型过于复杂（参数过多或深度过大）而训练数据有限时，模型可能会“记住”训练数据中的噪声和特定细节，而不是学习到底层普适的规律。
    • 这会导致模型在训练数据上表现很好，但在未见过的测试数据（或验证数据）上表现很差，即泛化能力差。
    • 解决方案： 正则化技术 (L1/L2 正则化、Dropout)、数据增强 (Data Augmentation)、早停法 (Early Stopping) 等可以帮助减轻过拟合。

  3. 网络退化问题 (Degradation Problem):

    • 这是一个令人惊讶的现象，即使没有梯度消失/爆炸，简单地堆叠层数也可能导致训练准确率先饱和然后迅速下降。 这不同于过拟合（过拟合是训练准确率高，测试准确率低）。
    • 这意味着更深的模型在训练集上都难以达到与较浅模型相当的性能。优化更深的网络变得更加困难。
    • ResNet (Residual Networks) 的提出就是为了解决这个退化问题。 残差连接允许梯度更容易地流过深层网络，并使得深层网络至少能够学习到恒等映射 (identity mapping)，从而不会比其对应的浅层版本表现更差。

  4. 计算成本和训练时间 (Computational Cost and Training Time):

    • 更深的网络意味着更多的计算量（前向传播和反向传播都需要更多的操作）。
    • 这导致训练时间显著增加，对计算资源（GPU/TPU 内存和算力）的要求也更高。
    • 在实际应用中，需要在模型性能和计算预算之间进行权衡。

  5. 优化困难 (Optimization Difficulty):

    • 深度网络的损失曲面 (loss landscape) 可能非常复杂，有很多局部最小值、鞍点 (saddle points) 和平坦区域。
    • 虽然现代优化器 (如 Adam, RMSProp) 和初始化技术有所帮助，但优化一个非常深的网络仍然是一个挑战。

  6. 对数据量的需求 (Need for More Data):

    • 更深（更复杂）的模型通常需要更多的数据才能充分训练并避免过拟合。如果数据量不足，深层网络的优势可能无法体现，甚至可能因过拟合而表现更差。

总结：

虽然深度是神经网络强大能力的关键来源，但并不是“越深越好”那么简单。当我们试图构建非常深的网络时，会遇到：

现代深度学习的许多研究进展，如 ResNet、DenseNet、Batch Normalization、Dropout、新的激活函数和优化器等，都是为了克服这些挑战，使得我们能够成功地训练和利用更深的网络。但即使有了这些技术，仍然存在一个实际的“最佳深度”，超过这个深度，收益可能会递减甚至变为负值。因此，网络深度的选择通常需要根据具体任务、数据量和可用的计算资源进行实验和调整。