2.2 卷积神经网络（CNN）：架构演进（LeNet to ResNeXt）与视觉归纳偏置

卷积神经网络是深度学习在计算机视觉领域取得革命性突破的核心架构。其成功不仅源于深层次的网络设计，更根植于其内建的视觉归纳偏置。本节将深入探讨CNN的视觉归纳偏置原理，并系统回顾其从诞生到成熟的关键架构演进路径。

2.2.1 视觉归纳偏置：CNN的理论基石

归纳偏置 指的是学习算法中为引导模型趋向某种特定假设而引入的预设偏好。CNN的归纳偏置使其特别适合处理图像类数据，这些偏置直接编码了我们对视觉世界的基本认知。

1. 局部相关性（Local Connectivity）

   • 原理： 图像中有意义的物体或特征通常由局部范围内的像素共同定义。一个像素与其邻近像素的相关性远大于与图像另一端像素的相关性。
   • 实现： 卷积层中的每个神经元（卷积核）只与前一层特征图的局部区域（感受野）相连，而非全连接。这大幅减少了参数数量，并强制模型学习局部特征。

2. 平移不变性/等变性（Translation Invariance/Equivariance）

   • 原理： 图像中的物体（如猫）无论出现在图像的哪个位置，它仍然是一只猫（类别不变）。同时，低级特征（如边缘）的位置会随着物体的移动而移动（位置等变）。
   • 实现： 权值共享。同一个卷积核在输入的不同位置进行滑动卷积，检测相同的特征。这意味着，无论特征出现在何处，都由同一组权重来识别，天然具有平移不变性/等变性。

3. 空间层次结构（Spatial Hierarchy）

   • 原理： 复杂的视觉模式由简单的模式组合而成（例如：边缘 -> 纹理 -> 部件 -> 物体）。
   • 实现： 通过交替堆叠卷积层（提取特征）、池化层（下采样，扩大感受野，获得平移不变性）和非线性激活函数，CNN能够从浅到深地学习从低级到高级的层次化特征表示。

这些归纳偏置使CNN无需从零开始学习图像的所有结构属性，从而能够更高效、更泛化地从有限的数据中学习。

2.2.2 架构演进：从LeNet到ResNeXt

CNN的发展史是一部如何构建更深、更强大、更高效网络的探索史。

1. 开创先河：LeNet-5 (1998)

• 背景： Yann LeCun等人为手写数字识别设计。
• 架构： CONV -> POOL -> CONV -> POOL -> FC -> FC
• 关键贡献：
  • 首次成功展示了梯度下降训练CNN的可行性。
  • 确立了卷积-池化-全连接的基本架构范式。
• 局限： 受限于当时算力和数据规模，网络较浅，难以处理复杂任务。

2. 深度觉醒：AlexNet (2012)

• 背景： 在ImageNet大规模视觉识别挑战赛（ILSVRC）上以巨大优势夺冠，点燃深度学习革命。
• 架构： 更深版的LeNet，核心结构类似但规模更大。
• 关键创新：
  • 深度与规模： 8个学习层（5卷积+3全连接），6000万参数。
  • ReLU激活函数： 替代Sigmoid/Tanh，有效缓解梯度消失，加速训练。
  • Dropout： 在全连接层使用，强力正则化，防止过拟合。
  • 重叠最大池化。
  • 数据增强。

3. 深化探索：VGGNet (2014)

• 背景： 探索网络深度与性能的关系。
• 架构： 具有里程碑意义的均匀化架构设计。
• 关键创新：
  • 小卷积核堆叠： 全程使用$3\times 3$的小卷积核。两个$3\times 3$卷积层的感受野相当于一个$5\times 5$卷积层，但参数更少（$2\times 3^2<5^2$），非线性更强。
  • 深度增加： VGG-16/19层，证明了增加深度可以有效提升模型性能。
  • 影响： 其简洁、模块化的设计思想对后续研究影响深远。

4. 维度革命：GoogLeNet / Inception (2014)

• 背景： 思考如何在不显著增加计算成本的前提下增加网络的“深度”和“宽度”。
• 核心思想： Inception模块 - “让网络自己选择”。在同一层并行使用不同大小的卷积核（$1\times 1$, $3\times 3$, $5\times 5$）和池化操作，最后在通道维度上进行拼接。
• 关键创新：
  • 网络中的网络： 通过$1\times 1$卷积进行降维，显著减少$3\times 3$和$5\times 5$卷积的计算量。
  • 高效利用计算资源： 在相近的计算复杂度下，性能超越VGG。
  • 辅助分类器： 在中间层引入辅助损失，缓解梯度消失问题。

5. 突破瓶颈：ResNet (2015)

• 背景： 当网络深度增加到一定程度（如20层以上）时，性能会饱和甚至下降，即退化问题。这并非过拟合，表明深层网络反而更难训练。
• 核心思想： 残差学习。不再让堆叠的非线性层直接拟合一个目标映射 $H(x)$，而是拟合其残差 $F(x)=H(x)-x$。因此，原始映射变为 $H(x)=F(x)+x$。
• 关键创新：
  • 快捷连接/恒等映射： 通过跨层连接实现 $x$ 的恒等映射。这允许梯度直接反向传播到更浅的层，彻底解决了深层网络的梯度消失/爆炸问题。
  • 残差块： 构建网络的基本模块。使得训练数百甚至上千层的网络成为可能。
  • 批量归一化： 广泛使用，稳定了训练过程。

6. 维度进化：ResNeXt (2017)

• 背景： 在ResNet的基础上，探索除了深度之外的另一个维度——基数——即变换集的大小。
• 核心思想： 分组卷积的规模化。采用“分割-变换-合并”的策略，在单个残差块内使用多组（如32组）并行的、具有相同拓扑结构的变换。
• 关键创新：
  • 基数 vs. 宽度/深度： 证明了增加基数（即更多的并行变换路径）是比增加深度或宽度更有效的模型能力提升方式。
  • 可扩展性： 模型复杂度可以通过一个超参数（基数）轻松控制，提供了深度和宽度之外的第三个维度。
  • 与Inception关系： 可视为一种简化、均匀化的Inception结构，所有分支共享相同的拓扑，更易于训练和扩展。

架构演进关键思想总结表

总结

CNN的演进是一条从模仿生物视觉机理到探索深度网络本质的辉煌路径。其成功始于契合图像数据特性的视觉归纳偏置，并通过一系列关键的架构创新（ReLU、Dropout、小卷积核、Inception、残差连接、分组卷积）不断突破深度学习的边界。从LeNet到ResNeXt的历程，不仅是模型变得更深更强大的过程，更是我们对如何构建有效神经网络的理解变得愈发深刻的过程。这些架构思想奠定了现代计算机视觉乃至其他领域深度学习模型的基础。