[机器学习-从入门到入土] 神经网络

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

符号说明

$m$：样本数
$k$：神经元编号 / 输出维度索引

权重矩阵 ${\Theta }^{(l)}$

${\Theta }^{(l)}$ 表示 第 $l$ 层 → 第 $l+1$ 层的权重矩阵

• 包含该层的 权重 + bias
• 行：第 $l+1$ 层神经元
• 列：$1+$ 第 $l$ 层神经元数（首列为 bias）

维度：(下一层神经元数, 1+当前层神经元数)

${\Theta }^{(l)}\in {\mathbb{R}}^{(\text{next},1+\text{self})}$

误差项 ${\delta }^{(l)}$

${\delta }^{(l)}$ 表示 第 $l$ 层神经元的误差项

• 本质：$\frac{\partial E}{\partial z^{(l)}}$
• 用于将误差从输出层反向传播

特殊记号：

• ${\delta }^{(L)}$：输出层误差（$L$ 为网络总层数）

单样本梯度矩阵${\delta }_k^{(l+1)}{\left(a_k^{(l)}\right)}^T$

${\delta }_k^{(l+1)}{\left(a_k^{(l)}\right)}^T$

• 表示 单个样本 对 ${\Theta }^{(l)}$ 的梯度
• 外积形式
• 维度与 ${\Theta }^{(l)}$ 相同

批量梯度累加矩阵 ${\Delta }^{(l)}$

${\Delta }^{(l)}$ 表示 第 $l$ 层在一个 batch（$m$ 个样本）上的梯度累加

${\Delta }^{(l)}\in {\mathbb{R}}^{(\text{next},1+\text{self})}$

总梯度（代价函数梯度）$\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )$

$\frac{\partial }{\partial {\Theta }_{ij}^{(l)}}J(\Theta )$

• 维度与 ${\Theta }^{(l)}$ 相同
• 是 ${\Delta }^{(l)}$ 的平均

符号	形状	解释
$a^{(l)}$	$(\text{self},1)$	第 $l$ 层神经元的激活后的输出（不含 bias）
${\tilde{a}}^{(l)}$	$(1+\text{self},1)$	第 $l$ 层激活向量补 1 后的输入（首元素为 bias）
$z^{(l+1)}$	$(\text{next},1)$	第 $l+1$ 层的加权后的输入（线性部分）
${\Theta }^{(l)}$	$(\text{next},1+\text{self})$	第 $l$ 层 → 第 $l+1$ 层的权重矩阵（含 bias）
${\delta }^{(l)}$	$(\text{self},1)$	第 $l$ 层神经元的误差项，$\frac{\partial E}{\partial z^{(l)}}$
${\delta }^{(l+1)}({\tilde{a}}^{(l)}{)}^T$	$(\text{next},1+\text{self})$	单样本对 ${\Theta }^{(l)}$ 的梯度（外积）
${\Delta }^{(l)}$	$(\text{next},1+\text{self})$	batch 内 $m$ 个样本的梯度累加矩阵
$\frac{\partial }{\partial {\Theta }^{(l)}}J(\Theta )$	$(\text{next},1+\text{self})$	代价函数对权重的总梯度（$\frac{1}{m}{\Delta }^{(l)}$）

激活函数（Activation Function）

1. Sigmoid

定义：
$$\mathbf{g}(\mathbf{z})=\frac{1}{1+\exp (-\mathbf{z})}$$

梯度：
$${\mathbf{g}}^{\prime }(\mathbf{z})=\mathbf{g}(\mathbf{z})(1-\mathbf{g}(\mathbf{z}))$$

若 $a=g(z)$：
$$g^{\prime }(z)=a(1-a)$$

2. Tanh

定义：
$$\mathbf{g}(\mathbf{z})=\tanh (\mathbf{z})=\frac{{\mathbf{e}}^{\mathbf{z}}-{\mathbf{e}}^{-\mathbf{z}}}{{\mathbf{e}}^{\mathbf{z}}+{\mathbf{e}}^{-\mathbf{z}}}$$

梯度：
$${\mathbf{g}}^{\prime }(\mathbf{z})=1-{\tanh }^2(\mathbf{z})$$

若 $a=g(z)$：
$$g^{\prime }(z)=1-a^2$$

3. ReLU

定义：
$$\text{ReLU}(z)=\max (0,z)$$

梯度：
$${\text{ReLU}}^{\prime }(z)=\{\begin{array}{ll}1,& z>0\\ 0,& z\le 0\end{array}$$

损失函数 $E$（单样本）

单个样本的误差，用于衡量模型输出与目标之间的差异

$y$: 预测值
$t$: 真实标签

1.均方误差（MSE）

$$E=\frac{1}{2}(y-t{)}^2$$

2.交叉熵（Binary Cross-Entropy）

$$E=-[t\log y+(1-t)\log (1-y)]$$

代价函数 $J$（全样本）

整个训练集的平均损失：
$$J(\Theta )=\frac{1}{m}\sum _{i=1}^m{E}^{(i)}$$

误差项 $\delta$（核心）

误差项是 损失函数对加权输入 $z$ 的偏导数：
$${\delta }^{(l)}=\frac{\partial E}{\partial z^{(l)}}$$

• 输出层误差项 ${\delta }^{(L)}$
• 隐藏层误差项 ${\delta }^{(L-1)}$

输出层误差项 ${\delta }^{(L)}$

假设：
$$a^{(L)}=g(z^{(L)})$$

定义：
$${\delta }^{(L)}=\frac{\partial E}{\partial a^{(L)}}\odot g^{\prime }(z^{(L)})$$

1. Sigmoid + MSE

合法但过时, 早期大量使用
-> 梯度结构是根本问题
$$E=\frac{1}{2}\sum _k{\left(a_k-t_k\right)}^2$$

$${\delta }_k=(a_k-t_k)a_k(1-a_k)$$

$$\delta =(a-t)\odot (a\odot (1-a))$$

2. Sigmoid + Binary Cross-Entropy

神经网络常用
$$E=-[t\log a+(1-t)\log (1-a)]$$

$${\delta }^{(L)}=a^{(L)}-t$$

3. Sigmoid + Categorical Cross-Entropy

没人这么做

概率假设层面:

• Sigmoid 的假设: 多标签独立事件

  • 每个 $a_k$ 是 独立 Bernoulli 概率
  • 不要求${\sum }_k{a}_k=1$

• Categorical Cross-Entropy 的假设: 单标签互斥事件

  • $t$ 是 one-hot, 事件是 互斥且完备
  • 必须要求${\sum }_k{a}_k=1$

4. Softmax + MSE

$$E=\frac{1}{2}\sum _k(a_k-t_k{)}^2$$

$$\delta \text{无法化简，包含 Softmax 的 Jacobian}$$

$\delta$无法化简, 极其复杂 -> 没人用

5. Softmax + Binary Cross-Entropy

$$E=-[t\log a+(1-t)\log (1-a)]$$

$${\delta }^{(L)}=a^{(L)}-t$$

6. Softmax + Categorical Cross-Entropy

这正是现在神经网络最常用的:

• 直接拿linear的输出结果logits传给CrossEntropy的criterion
• 而该criterion内封装了一个softmax

$$E=-\sum _k{t}_k\log a_k$$

$${\delta }^{(L)}=a^{(L)}-t$$

隐藏层误差项 ${\delta }^{(L-1)}$

递推公式（反向传播核心）：
$$\begin{array}{rl}{\delta }^{(L-1)}& =\frac{\partial E}{\partial a^{(L-1)}}\odot g^{\prime }(z^{(L-1)})\\ & =(\frac{\partial E}{\partial z^{(L)}}\cdot \frac{\partial z^{(L)}}{\partial a^{(L-1)}})\odot g^{\prime }(z^{(L-1)})\\ & ={\delta }^{(L)}{\Theta }^{(L-1)}\odot g^{\prime }(z^{(L-1)})\end{array}$$

说明：

• 先通过权重矩阵传播误差
• 再乘以激活函数梯度

批量梯度累加 ${\Delta }^{(l)}$

单样本梯度：
$$\begin{gathered} \frac{\partial E}{\partial {\Theta }_{jk}^{(l)}}=\frac{\partial E}{\partial z_j^{(l+1)}}\cdot \frac{\partial z_j^{(l+1)}}{\partial {\Theta }_{jk}^{(l)}}={\delta }_j^{(l+1)}{a}_k^{(l)} \\ \to \\ {\delta }^{(\mathbf{l}+1)}({\mathbf{a}}^{(\mathbf{l})}{)}^{\mathbf{T}} \end{gathered}$$

批量梯度累加：
$${\Delta }^{(l)}=\sum _{i=1}^m{\delta }_i^{(l+1)}(a_i^{(l)}{)}^T$$

总梯度（用于更新）

是批量梯度累加 ${\Delta }^{(l)}$的平均
$$\frac{\partial }{\partial {\Theta }^{(l)}}J(\Theta )=\frac{1}{m}{\Delta }^{(l)}$$

前向传播（Forward Propagation）

每一层输入补 1（bias）：
$${\tilde{a}}^{(l)}=\left[\begin{array}{c}1\\ a^{(l)}\end{array}\right]$$

线性变换：
$$z^{(l+1)}={\Theta }^{(l)}{\tilde{a}}^{(l)}$$

非线性激活：
$$a^{(l+1)}=g(z^{(l+1)})$$

反向传播（Backpropagation）

假设三层全连接网络，Sigmoid + BCE

输出层：
$${\delta }^{(3)}=a^{(3)}-y$$

隐藏层：
$${\delta }^{(2)}=({\Theta }^{(2)}{)}^T{\delta }^{(3)}\odot g^{\prime }(z^{(2)})$$

梯度下降更新

学习率 $\alpha$：

$${\Theta }^{(l)}\leftarrow {\Theta }^{(l)}-\alpha \frac{1}{m}{\Delta }^{(l)}$$

总结（反向传播主线）

前向传播：
$$a\to z\to a$$

反向传播：
$${\delta }^{(L)}\to {\delta }^{(L-1)}\to \cdots$$

梯度构造：
$${\delta }^{(l+1)}(a^{(l)}{)}^T$$

拓展 - 为什么要神经网络

如果用线性回归, 那么分界面就是一条直线
如果用广义线性, 那么多项式的项数会特别多, 导致数据集的数量需求也特别多

-> 线性模型的维度灾难(The curse of dimensionality)

当数据特征维度越多, 线性模型的代价越高 -> 发展其他模型 -> 神经网络

用神经网络解决逻辑异或XOR

神经网络实现交集∩:

• 二式+三式: $w_1+w_2+2w_0<=-20$
  结合一式, 得到: $w_0$的临界是$-30$
• 二式: $w_1=20$
• 三式: $w_2=20$

神经网络实现并集∪:

• 同理: $w_0=-10,w_1=20,w_2=20$

同理得到非的并集:

• 同理: $w_0=10,w_1=-20,w_2=-20$

综合上述结构:

拓展 - 数值差分

参数数量为$W$

1.有限差分 finite differences

• 定义：数值差分的一种，通过 “给参数 $w_{ji}$ 加一个小扰动 $\epsilon$”，用函数值的变化量近似梯度，公式为：
  $$\begin{array}{rl}\frac{\partial E_n}{\partial w_{ji}}& \approx \frac{E_n(w_{ji}+\epsilon )-E_n(w_{ji})}{\epsilon }\\ & =\frac{E_n(w_{ji}+\epsilon )-E_n(w_{ji})}{\epsilon }+O(\epsilon )\end{array}$$

• 误差阶：近似误差是 $O(\epsilon )$（即误差和 $\epsilon$ 同量级）

• 计算复杂度：需要对每个参数 w 单独计算一次函数值，复杂度是 $O(W^2)$

要给每个参数单独加扰动，所以需要额外算 W 次损失
加上原始参数的 1 次，共 W+1 次计算损失

而每次计算损失的复杂度为$O(W)$

-> 总计算复杂度: $O(W^2)$

2.中心差分 central differences

• 定义：数值差分的一种，通过 “给参数 $w_{ji}$ 同时加、减小扰动 $\epsilon$”，用函数值的变化量近似梯度，公式为：
  $$\begin{array}{rl}\frac{\partial E_n}{\partial w_{ji}}& \approx \frac{E_n(w_{ji}+\epsilon )-E_n(w_{ji}-\epsilon )}{2\epsilon }\\ & =\frac{E_n(w_{ji}+\epsilon )-E_n(w_{ji}-\epsilon )}{2\epsilon }+O({\epsilon }^2)\end{array}$$

• 误差阶：近似误差是 $O({\epsilon }^2)$（误差是 $\epsilon$ 的平方量级，比有限差分更精确）

• 计算复杂度：同样需要对每个参数单独计算两次函数值，复杂度还是 $O(W^2)$

要给每个参数单独分别加两次扰动，共 2n 次损失计算损失

而每次计算损失的复杂度为$O(W)$

-> 总计算复杂度: $O(W^2)$

BP算法

反向传播BP算法是基于“链式法则”的解析梯度计算方法，核心思路是“正向传播计算输出与误差，反向传播回传误差并求解各层参数梯度”

• 正向传播
• 反向传播
• 梯度求解

优势：无需对参数施加扰动，直接通过数学推导得到梯度解析表达式，计算效率极高，复杂度仅为 $O(W)$

例题1

例题2

试给出使用数值差分方法计算神经网络损失函数的梯度的公式，并分析其计算复杂度