1. 动态系统

  由外部信号$x^{(t)}$驱动的动态系统：
$$h^{(t)}=f(h^{(t-1)},x^{(t)};\theta ).$$
  从下图中可以看出，对于$h^{(t)}$而言，$h^{(t)}$包含了$h^{(t-1)}$的信息，$\cdots$，$h^{(2)}$包含了$h^{(1)}$的信息，因此$h^{(t)}$包含了整个过去序列的信息。$f$是涉及循环的函数。

  循环神经网络利用了类似上图的循环连接，使其能够对序列中的每一个元素进行递归地处理，并保留过去的信息，从而具备对上下文信息的记忆能力。上图也可认为是没有输出的循环神经网络。

2. 循环神经网络

  对于循环神经网络而言，代价函数的计算方式有两种：一种是仅使用最后一个时间步的输出计算代价函数，另一种是对每个时间步的输出计算损失并累加得到代价函数。第一种适合用于序列分类或者序列到单输出的任务，而第二种适合用于序列到序列的任务，如机器翻译、时间序列预测等。
  循环神经网络的循环连接有好几种，下面仅介绍三种循环连接构成的RNN——标准RNN，双向RNN，门控RNN。

2.1 标准RNN

  以下面的循环神经网络为例子，该循环神经网络的输入层有4个神经元，输出层有3个神经元，隐藏层为两层标准RNN层，有5个神经元，分别记作$R_1$、$R_2$。

符号	含义	符号	含义
$U_1$	输入层到$R_1$的权重矩阵	$U_2$	$R_1$到$R_2$的权重矩阵
$V$	$R_2$到输出层的权重矩阵	$W_1$	$R_1$隐藏状态的权重矩阵
$h_1^{(0)}$	$R_1$隐藏状态的初始值	$h_1^{(t)}$	$R_1$经过$t$个时间步后的隐藏状态
$W_2$	$R_2$隐藏状态的权重矩阵	$h_2^{(0)}$	$R_2$隐藏状态的初始值
$h_2^{(t)}$	$R_2$经过$t$个时间步后的隐藏状态	${\vec{b}}^1$	输入层到$R_1$的偏置
${\vec{b}}^2$	$R_1$到$R_2$的偏置	${\vec{b}}^3$	$R_2$到输出层的偏置
${\vec{b}}_1$	$R_1$隐藏状态的偏置	${\vec{b}}_2$	$R_2$隐藏状态的偏置
${\vec{x}}^{(t)}$	输入$X$第$t$行(行向量)	$f$	激活函数

  输入$X$的形状为$(5,4)$，其中5是序列长度，也就是要就计算5个时间步，也就是4是输入的尺寸。
  $U_1=\left[\begin{array}{ccccc}{u}_{11}^{(1)}& u_{12}^{(1)}& u_{13}^{(1)}& u_{14}^{(1)}& u_{15}^{(1)}\\ u_{21}^{(1)}& u_{22}^{(1)}& u_{23}^{(1)}& u_{24}^{(1)}& u_{25}^{(1)}\\ u_{31}^{(1)}& u_{32}^{(1)}& u_{33}^{(1)}& u_{34}^{(1)}& u_{35}^{(1)}\\ u_{41}^{(1)}& u_{42}^{(1)}& u_{43}^{(1)}& u_{44}^{(1)}& u_{45}^{(1)}\end{array}\right]$，${\vec{b}}^1=[b_1^{(1)},b_2^{(1)},b_3^{(1)},b_4^{(1)},b_5^{(1)}{]}^T$，$W_1$的形状为$5\times 5$，$h_1^{(0)}$和${\vec{b}}_1$的形状都为$5\times 1$，则$R_1$的输出为$h_1^{(t)}=f(U_1^T{x}^{(t)}+{\vec{b}}^1+W_1{h}_1^{(t-1)}+{\vec{b}}_1),t=1,2,3,4,5$。
  对于堆叠的RNN来说，上一个RNN层的输出作为下一个RNN层的输入。$U_2=\left[\begin{array}{ccccc}{u}_{11}^{(2)}& u_{12}^{(2)}& u_{13}^{(2)}& u_{14}^{(2)}& u_{15}^{(2)}\\ u_{21}^{(2)}& u_{22}^{(2)}& u_{23}^{(2)}& u_{24}^{(2)}& u_{25}^{(2)}\\ u_{31}^{(2)}& u_{32}^{(2)}& u_{33}^{(2)}& u_{34}^{(2)}& u_{35}^{(2)}\\ u_{41}^{(2)}& u_{42}^{(2)}& u_{43}^{(2)}& u_{44}^{(2)}& u_{45}^{(2)}\\ u_{51}^{(2)}& u_{52}^{(2)}& u_{53}^{(2)}& u_{54}^{(2)}& u_{55}^{(2)}\end{array}\right]$，${\vec{b}}^2=[b_1^{(2)},b_2^{(2)},b_3^{(3)},b_4^{(2)},b_5^{(2)}]$，$W_2$的形状为$5\times 5$，$h_2^{(0)}$和${\vec{b}}_2$的形状都是$5\times 1$，则$R_2$的输出$h_2^{(t)}=f(U_2^T{h}_1^{(t)}+{\vec{b}}^2+W_2{h}_2^{(t-1)}+{\vec{b}}_2),t=1,2,3,4,5$。
  $V=\left[\begin{array}{ccc}{v}_{11}& v_{12}& v_{13}\\ v_{21}& v_{22}& v_{23}\\ v_{31}& v_{32}& v_{33}\\ v_{41}& v_{42}& v_{43}\\ v_{51}& v_{52}& v_{53}\end{array}\right]$，${\vec{b}}^3$的形状是$5\times 1$，则输出层的输出$y^{(t)}=f(V^T{h}_2^{(t)}+{\vec{b}}^3)$。然后可以根据任务来选择是计算每个时间步的代价累加还是计算最后一个时间步的代价。

2.2 双向RNN

  与标准RNN相比，双向RNN多了从序列末尾到起点的反向循环连接，可以更好地捕捉到前后文信息，提升对序列数据的理解。
  下面给出了单层双向RNN的循环神经网络(这里$U$仍按照上面的方式填写权重，所以下面公式中U要用转置)，序列长度为t。正向隐藏状态$h^{(i)}=f(W{h}^{(i-1)}+U^T{x}^{(i)}+\vec{b}),i=1,2,\cdots ,t$，反向隐藏状态$g^{(i)}=f(W{g}^{(i+1)}+U^T{x}^{(i)}+\vec{b}),i=t,t-1,\cdots ,1$。在PyTorch的nn.RNN中正向和反向隐藏状态最终是拼接在一起的，当然也有其他方式把正向和反向隐藏状态的信息结合起来。

2.3 门控RNN

  与标准RNN相比，门控RNN能避免梯度消失和爆炸，能更好地选择记住或者遗忘信息，能更快地收敛，减少对初始隐藏状态的依赖。

2.3.1 LSTM

  LSTM单元比标准RNN单元的输入和输出多了一个单元状态$c$。下面左图是单层LSTM的循环神经网络，右图是一个LSTM单元的结构，LSTM单元由四部分构成：遗忘门、输入门、候选记忆单元和输出门。

符号	含义	符号	含义
$x^{(t)}$	输入$X$第$t$行构成的列向量	z	LSTM单元中隐藏层神经元个数
$W_f$	输入到遗忘门的权重矩阵	$W_i$	输入到输入门的权重矩阵
$W_c$	输入到候选记忆单元的权重矩阵	$W_o$	输入到输出门的权重矩阵
$W_{hf}$	隐藏状态到遗忘门的权重矩阵	$W_{hi}$	隐藏状态到输入门的权重矩阵
$W_{hc}$	隐藏状态到候选记忆单元的权重矩阵	$W_{ho}$	隐藏状态到输出门的权重矩阵
$b_f$	输入到遗忘门的偏置	$b_i$	输入到输入门的偏置
$b_c$	输入到候选记忆单元的偏置	$b_o$	输入到输出门的偏置
$b_{hf}$	隐藏状态到遗忘门的偏置	$b_{hi}$	隐藏状态到输入门的偏置
$b_{hc}$	隐藏状态到候选记忆单元的偏置	$b_{ho}$	隐藏状态到输出门的偏置

  输入$X$的形状为$(m,n)$，$W_f$、$W_i$、$W_c$和$W_o$的形状都为$z\times n$，$W_{hf}$、$W_{hi}$、$W_{hc}$、和$W_{ho}$的形状都为$z\times z$，偏置的形状都为$z\times 1$。遗忘门的输出为$F^{(t)}=\sigma (W_f{x}^{(t)}+b_f+W_{hf}{h}^{(t-1)}+b_{hf})$，输入门的输出为$I^{(t)}=\sigma (W_i{x}^{(t)}+b_i+W_{hi}{h}^{(t-1)}+b_{hi})$，候选记忆单元的输出为$C^{(t)}=tanh(W_c{x}^{(t)}+b_c+W_{hc}{h}^{(t-1)}+b_{hc})$，输出门的输出为$O^{(t)}=\sigma (W_o{x}^{(t)}+b_o+W_{ho}{h}^{t-1}+b_{ho})$。
  遗忘门的作用是决定上一步的单元状态有多少传递到当前时间步。遗忘门输出中元素的范围为$[0,1]$，数值越接近0，该部分信息会被遗忘，反之数值越接近1，这部分信息会被记住。
  候选记忆单元生成了当前时间步的新信息，输入门的作用是决定当前时间步候选记忆单元的信息有多少会被允许存入单元状态中。遗忘门、输入门和候选记忆单元共同参与对单元状态的更新，当前时间步的单元状态为$c^{(t)}=c^{(t-1)}\odot F^{(t)}+I^{(t)}\odot C^{(t)}$。($\odot$表示逐元素乘法)
  输出门的作用是控制当前单元状态中输出多少信息作为隐藏状态，当前时间步的隐藏状态为$h^{(t)}=O^{(t)}\odot tanh(c^{(t)})$。
  此外，当前单元状态$c^{(t)}$通过$tanh$激活函数的主要作用是对其数值范围进行压缩，限制在 -1 到 1 之间，从而保持计算的稳定性并避免梯度爆炸问题。

2.3.2 GRU

符号	含义	符号	含义
$W_r$	输入到重置门的权重矩阵	$W_z$	输入到更新门的权重矩阵
$W_h$	输入到候选隐藏状态的权重矩阵	$W_{hh}$	隐藏状态到候选隐藏状态的权重矩阵
$W_{hr}$	隐藏状态到重置门的权重矩阵	$W_{hz}$	隐藏状态到更新门的权重矩阵
$b_r$	输入到重置门的偏置	$b_z$	输入到更新门的偏置
$b_h$	输入到候选隐藏状态的偏置	$b_{hh}$	隐藏状态到候选隐藏状态的偏置
$b_{hr}$	隐藏状态到重置门的偏置	$b_{hz}$	隐藏状态到更新门的偏置

  输入$X$的形状为$(m,n)$，隐藏层的神经元个数为$a$，$W_r$、$W_z$和$W_h$的形状为$a\times n$，$W_{hh}$、$W_{hr}$和$W_{hz}$的形状为$a\times a$，偏置的形状为$a\times 1$。重置门的输出为$R^{(t)}=\sigma (W_r{x}^{(t)}+b_r+W_{hr}{h}^{(t-1)}+b_{hr})$，更新门的输出为$Z^{(t)}=\sigma (W_z{x}^{(t)}+b_z+W_{hz}{h}^{(t-1)}+b_{hz})$，候选隐藏状态的输出为$H^{(t)}=tanh(W_h{x}^{(t)}+b_h+W_{hh}(h^{(t-1)}\odot R^{(t)})+b_{hh})$。
  重置门的作用是决定上一步的隐藏状态有多少信息被允许进入候选隐藏状态。候选隐藏状态受重置门的调节接受上一步的隐藏状态，并且引入了当前时间步的新信息。
  更新门的作用是决定上一步的隐藏状态和候选隐藏状态的结合程度。当前隐藏状态为$h^{(t)}=h^{(t-1)}\odot Z^{(t)}+(1-Z^{(t)})\odot H^{(t)}$。

2.3.3 LSTM与GRU的比较

  LSTM 有独立的输入、输出和遗忘门，使得它在管理长期和短期记忆方面更加灵活，可以更好地学习复杂的依赖关系；更擅长处理长序列数据，特别是在语言建模、机器翻译等需要长时间依赖的任务中，通常能获得更好的表现。
  GRU 结构更简单，没有遗忘门，只有重置门和更新门。参数较少，训练速度更快，占用内存也更少，适合在资源有限的环境中使用；在一些小数据集或不太复杂的任务上，GRU 往往表现不逊于 LSTM，甚至在短序列任务上效果更佳。

参考

[美]伊恩·古德费洛（lan Goodfellow）[加]约书亚·本吉奥（Yoshua Bengio）[加]亚伦·库维尔（Aaron Courville） 深度学习（中文翻译版）
动手学深度学习 8. 循环神经网络