前言

最近在学习Transformer这一深度学习模型架构，随手记录一下知识点，以防忘记，在阅读本篇文章前，读者需事先了解Transformer的基本结构和概念。
在Transformer模型中，前馈神经网络（Feed-Forward Network, FFN）是每个编码器和解码器层的核心组件之一，并与多头注意力机制协同工作。它是通过非线性特征增强和位置独立的复杂模式学习来显著提升模型的表达能力。以下是相关知识点的整理及理解：

基本概念

前馈神经网络是一种基础的人工神经网络结构，由多个层构成，从输入层至隐藏层，再至输出层，同时层内包含多个神经元，每一层的神经元通过权重（W）和偏置（b）与下一层的神经元相连，并通过激活函数进行非线性转换。

基本结构和数学表达

在Transformer中，前馈层由两个线性变换组成，这两个变换之间有一个ReLU激活函数。一个前馈层可以表示为以下形式：

FFN(x) = max(0, x $\times$ $W_1$ +$b_1$)$W_2$ + $b_2$

其中：

• 输入层(x)：来自前一层的输出（如多头注意力后的结果，维度为$d_{model}$）。
• 中间隐层：维度扩展至 $d_{ff}$（如 4 $\times$ $d_{model}$），通过激活函数（如ReLU）引入非线性，让网络能够捕捉更复杂的特征，学习更复杂的模式，提高模型的表达能力。
• 输出层：前一层的输出映射回与输入相同的维度，即维度恢复为 $d_{model}$，与输入维度一致，以便残差连接。

简单理解：
x是前一层的输出，$W_1$和$W_2$是权重矩阵，$b_1$和$b_2$是偏置项。第一个线性变换 x $\times$ $W_1$ +$b_1$ 将输入映射到一个较高维度的空间（通常称为“扩展”），接着应用ReLU激活函数，最后第二个线性变换 max(0, x $\times$ $W_1$ +$b_1$)$W_2$ + $b_2$ 将数据映射回原始维度。

主要作用

(1) 非线性变换与高阶特征提取

• 多头注意力机制的局限性：
  • 自注意力机制本质是线性加权求和，即使通过Softmax函数加权，其组合也仅仅是线性操作的叠加。
  • 仅依赖注意力机制，模型难以学习复杂的非线性关系（如组合特征、高阶交互）。
• FFN的增强：
  • 通过ReLU激活函数和隐层维度扩展，FFN能够将注意力输出的特征映射到高维非线性空间。
  • 例如，能够捕捉“词与词之间的组合语义”（如“蛋仔派对”的整体含义，而非单独“蛋仔”和“派对”的简单叠加）。

(2) 位置独立的特征处理

• 位置独立性（Position-wise）：
  • FFN对序列中每个位置的向量独立处理，不依赖其他位置的上下文（这种情况下能够与注意力机制进行互补）。
  • 这种设计允许模型在每个位置上学习局部特征，而注意力机制负责全局交互。
• 示例：
  • 在处理“哆啦A梦喜欢铜锣烧”时，注意力机制可能关联“哆啦A梦”与“喜欢”，而FFN可独立强化“喜欢”的动作特征表示。

(3) 特征维度扩展与压缩

• 隐层维度扩展：
  • 增加模型容量，允许更复杂的特征表示。
  • 实验表明，扩展隐层维度（如4倍）显著优于直接使用 $d_{model}$ 维度。
• 维度恢复：
  • 最终输出维度与输入一致，便于残差连接和层标准化，缓解梯度消失问题。

与多头注意力机制的关系

FFN与多头注意力形成互补的分工：

1. 注意力机制：
   • 负责全局信息聚合（关注序列中不同位置的关系）。
   • 例如，在翻译任务中确定代词"she”指代的具体对象。
2. FFN：
   • 负责局部特征增强（强化每个位置的独立表示）。
   • 例如，将“happy”的向量映射为更丰富的“情绪状态”特征。

这种协作关系使得Transformer既能捕捉长距离依赖，又能精细化局部语义。

结论

前馈神经网络在Transformer中具有非线性特征增强的作用，通过高维映射和位置独立处理，弥补了注意力机制的不足。其核心价值在于：

1. 引入非线性，使模型能够拟合复杂函数。
2. 独立处理每个位置的表示，与注意力机制的全局交互形成互补。
3. 通过维度扩展与压缩，平衡模型容量与计算效率。
   这种设计使得Transformer在捕捉长距离依赖和局部精细化特征之间达到平衡，成为现代NLP模型的基石。