虽然理论上（根据通用逼近定理 Universal Approximation Theorem），一个足够“胖”（即拥有足够多神经元的单隐藏层）的神经网络可以以任意精度逼近任何连续函数，但在实践中，“深” (Deep) 的网络通常比“胖” (Fat) 的浅层网络在学习复杂函数和解决复杂问题时更有效、更强大。
以下是为什么我们倾向于构建更深而不是仅仅更宽（胖）的网络的主要原因：
-
层次化特征学习 (Hierarchical Feature Learning):
- 这是最核心的原因。 深度网络通过其多层结构，能够学习到数据的层次化特征表示 (hierarchical representations)。
- 类比人类感知： 以视觉为例，我们的大脑首先识别简单的边缘和角点，然后将它们组合成更复杂的形状（如眼睛、鼻子），再将这些形状组合成物体（如人脸）。
- 神经网络中的层次：
- **浅层（靠近输入的层）**倾向于学习低级的、局部的特征（例如，在图像中是边缘、纹理、颜色斑块；在文本中是词的局部组合）。
- 中层将这些低级特征组合起来，学习更复杂、更抽象的模式（例如，图像中的物体部件；文本中的短语或简单语义结构）。
- **深层（靠近输出的层）**则学习最高级、最抽象的特征，这些特征直接与任务目标相关（例如，图像中的完整物体或场景类别；文本中的整体情感或主题）。
- 一个非常“胖”的单隐藏层网络，尽管理论上可以做到，但它必须在一个层内同时学习所有这些不同抽象级别的特征，这通常效率低下，并且可能无法很好地概括。深度结构则提供了一种更自然、更有效的方式来逐步构建这些抽象表示。
-
参数效率和紧凑性 (Parameter Efficiency and Compactness):
- 对于许多复杂的函数，特别是那些具有内在层次结构或组合结构的函数，深度网络可以用比浅层宽网络少得多的参数来表示它们。
- 想象一下，用逻辑门构建一个复杂的布尔函数。如果你只能用一层门（AND后直接OR），你可能需要非常非常多的门。但如果你可以用多层门（AND-OR-AND-OR...），你可以用更少的总门数实现同样复杂的功能。
- 更少的参数意味着：
- 更少的计算量（在训练和推理时）。
- 更少的内存需求。
- 通常更容易训练（需要的数据量可能更少，或者更容易避免过拟合，尽管深度网络本身也可能过拟合）。
-
更好的泛化能力 (Better Generalization):
- 由于深度网络学习到的层次化特征通常更具代表性和鲁棒性，它们往往能更好地泛化 (generalize) 到未见过的数据上。
- 通过强制模型学习这种逐步抽象的过程，模型更可能捕捉到数据中潜在的、普适的规律，而不是仅仅记住训练数据中的特定模式。
-
模块化和可重用性 (Modularity and Reusability):
- 深度网络学习到的特征（尤其是浅层和中层的特征）往往是可重用的。例如，在一个大型图像数据集上训练的深度网络的浅层（如学习边缘和纹理的层）可以被迁移到其他视觉任务中，即使目标任务的数据集较小。这就是迁移学习 (Transfer Learning) 的基础。
- “胖”的浅层网络缺乏这种显式的层次结构，其学习到的特征可能更特定于原始任务，不易迁移。
-
对输入变换的更强不变性 (Increased Invariance to Input Transformations):
- 通过多层非线性变换，深度网络可以逐渐学习到对输入的某些变换（如平移、旋转、尺度变化等）具有不变性的表示，这对于许多任务（如图像识别）至关重要。
理论与实践的差异：
- 通用逼近定理 (UAT) 告诉我们一个足够宽的单隐藏层网络可以做什么，但它并没有说明这是不是最有效或最实际的方式，也没有说明需要多少神经元才能达到所需的精度。在实践中，这个“足够宽”可能意味着神经元数量呈指数级增长，导致参数数量巨大，难以训练。
- 深度网络则提供了一种在参数数量和计算复杂度方面更可行的方式来逼近复杂函数。
总结：
选择“深”而不是仅仅“胖”的网络，主要是因为深度结构能够更有效地学习数据的层次化特征表示，这通常导致更好的参数效率、更强的泛化能力和更高的模块化程度。虽然一个非常宽的浅层网络理论上也能完成任务，但深度网络提供了一种更自然、更强大、更符合许多现实世界数据内在结构的学习范式。
当然，这并不意味着越深越好。过深的网络也可能面临梯度消失/爆炸、训练困难、过拟合等问题，需要通过合适的架构设计（如残差连接 Residual Connections）、激活函数选择、归一化技术和正则化方法来解决。但总体趋势是，对于复杂问题，具有一定深度的网络通常优于非常宽的浅层网络。