深度学习——LSTM原理与公式推导

1、 RNN回顾

1.1 RNN神经网络回顾

1.1.1 RNN概述

循环神经网络(RNN)，主要用于出来序列式问题，通过隐藏节点之间的相互连接，赋予了整个神经网络的记忆能力。对于RNN中的每一隐藏状态而言，其输入主要包括两个部分，一部分是正常接受输入数据的输入，另外一个输是将前一个隐藏状态节点作为下一个节点的输入。

1.1.2 RNN的网络构成图

上述是一个简单的正向传播的RNN网络结构，其中，Xi表示序列输入，中间表示的是隐藏层的节点，Oi表示输出。

1.1.3 RNN的传播公式

对于某一个隐藏层的状态节点$S_t$而言，其前一个隐藏层的状态节点为$S_{t-1}$，t时刻的输入为$X_t$，则计算出来的$S_t$的状态值为:

$S_t=f_w(S_{t-1},X_t)$
则$s_t$时刻的输出$o_t$为：
$O_t=F_v(s_t)$
其中$f_w$对应的是激活函数tanh，$f_v$对应的softmax函数。

1.1.4 RNN的局限性

距离问题：根据上面的介绍可以知道，RNN中的记忆性是通过隐藏状态节点之间的连接实现的。前一个状态节点作为当前隐藏状态的输入，就将之前的信息输入到了当前的节点之中。但是，根据上面的传播公式，RNN采用的激活函数为tanh，而tanh的将节点的计算结果压缩到了(-1,1)之间，当节点不断的向前传播的时候，这使得从前面传来的信息越来越少。也就是说越远节点的信息对当前节点的贡献度越小。如果切换成其他的大于1的激活函数，通过节点的不断前向传播，也可能造成梯度爆炸的问题。

1.1.6 RNN的改进

多层RNN网络：我们以两层的RNN网络为例，其基本的构成图如下：

上图是具有两层神经网络的RNN，第一层为蓝色，第二层为橘色，每一个输入分别向两层隐藏层的节点进行输入。其中，两个隐藏层的传播方向是相反的。

2、LSTM神经网络

2.1 LSTM神经网络概述

根据上面的介绍我们可以知道，单层的RNN网络单元的记忆能力是有限的，即每一个神经单元，离它越近，对它的贡献度越大。为了解决这种短记忆力的局限性，我们上面提出来多层RNN的概念，下面，我们来介绍另外一个解决距离问题的神经网络。长短时记忆网络(LSTM)网络。

2.2 LSTM神经网络结构

2.2.1 LSTM的神经单元结构

根据上面的LSTM神经单元的结构，我们可以对LSTM的细胞结构有一个大致的了解。每一个LSTM的神经单元是由细胞状态，输入门，遗忘门，输出门三个门所组成的。下面我们逐步对每一个门进行介绍。

2.2.1 输入门

其基本结构如下图：

输入门，顾名思义，就是复制处理当前神经单元的输入信息。整个的输入门包含的是两个部分，左侧是sigmoid激活函数，这个函数是用来决定什么样的输入信息会被更新。也就是忽略掉一定的输入信息。右侧是tanh部分，该部分的主要作用是用来构建出一个新的候选值向量，加入到当前的细胞状态中。
其中sigmoid输出的向量为
$$I(t)=sigmoid(W_i^T{S}_{t-1}+U_i^T{X}_t+B_i)$$
tanh输出的向量为：
$$R(t)=tanh(W_r^T{S}_{t-1}+U_r^T{X}_t+B_r)$$

2.2.2 遗忘门

其基本结构如图所示：

遗忘门的主要作用是用来决定当前的状态需要丢弃之前的那些信息。LSTM的通过学习来决定让网络记住那些内容。其主要的计算公式为：
$$F(t)=sigmoid(W_f^T{S}_{t-1}+U_f^T{X}_t+B_f)$$

2.2.3 细胞状态

所谓的细胞状态，我们可以将其理解为一个存储信息的容器，通过输入门，遗忘门，输出门的过程控制，逐步对容器中的信息进行增变化和输出。其具体结构为：

在每一个神经单元中，细胞状态经历了遗忘门的遗忘过程，输入门的输入过程以及向输出门进行输出信息的过程。计算过程为：
$$C_t=C_{t-1}\ast F(t)$$
$$C_t=C_t+I(t)\ast R(t)$$

2.2.4 输出门

输出门，主要控制的是当前隐状态的输出信息。其基本计算过程为：
$$O(t)=sigmoid(W_o^T{S}_{t-1}+U_o^T{X}_t+B_o)$$
$$S_t=O(t)\ast tanh(C_t)$$

2.3 LSTM前向传播过程总结

输入：$$C_{t-1}，S_{t-1}，X_t$$
遗忘门：
$$ne{t}_F(t)=W_f^T{S}_{t-1}+U_f^T{X}_t+B_f$$
$$F(t)=sigmoid(ne{t}_F(t))$$
细胞状态第一个改变：
$$C_{t1}=C_{t-1}\ast F(t)$$
输入门：
$$ne{t}_I(t)=W_i^T{S}_{t-1}+U_i^T{X}_t+B_i$$
$$I(t)=sigmoid(ne{t}_I(t))$$
$$ne{t}_R(t)=W_r^T{S}_{t-1}+U_r^T{X}_t+B_r$$
$$R(t)=tanh(ne{t}_R(t))$$
细胞状态第二次改变：
$$C_t=C_{t1}+I(t)\ast R(t)$$
输出门：
$$ne{t}_O(t)=W_o^T{S}_{t-1}+U_o^T{X}_t+B_o$$
$$O(t)=sigmoid()$$
$$S_t=tanh(C_t)\ast O(t)$$

2.4 LSTM的反向传播过程

2.4.1 误差计算

现在，我们假设St时刻的总的误差为${\delta }_{S_t}$，我们来计算各个门的相关误差

首先计算输出门的误差
$$\frac{\partial {\delta }_{S_t}}{\partial O(t)}=tanh(C_t)$$
且有：
$$\frac{\partial O(t)}{\partial ne{t}_O(t)}=O(t)\ast (1-O(t))$$
则有：
$${\delta }_o(t)=\frac{\partial {\delta }_{S_t}}{\partial ne{t}_O(t)}=tanh(C_t)\ast O(t)\ast (1-O(t))$$

然后计算输入门的误差：
$$\begin{gathered} \frac{\partial {\delta }_{S_t}}{\partial R(t)}=\frac{\partial {\delta }_{S_t}}{\partial tanh(C_t)}\ast \frac{\partial tanh(C_t)}{\partial C_t}\ast \frac{\partial C_t}{\partial R(t)}= \\ \frac{}{} \\ O(t)\ast (1-tan{h}^2(C_t))\ast I(t) \end{gathered}$$
则有：
$$\begin{gathered} {\delta }_R(t)=\frac{\partial {\delta }_{S_t}}{\partial ne{t}_R(t)}=\frac{\partial {\delta }_{S_t}}{\partial R(t)}\ast \frac{\partial R(t)}{\partial ne{t}_R(t)}= \\ \frac{}{} \\ O(t)\ast (1-tan{h}^2(C_t))\ast I(t)\ast (1-R^2(t)) \end{gathered}$$
同理有：
$$\begin{gathered} \frac{\partial {\delta }_{S_t}}{\partial I(t)}=\frac{\partial {\delta }_{S_t}}{\partial tanh(C_t)}\ast \frac{\partial tanh(C_t)}{\partial C_t}\ast \frac{\partial C_t}{\partial I(t)}= \\ \frac{}{} \\ O(t)\ast (1-tan{h}^2(C_t))\ast R(t) \end{gathered}$$
则有：
$$\begin{gathered} {\delta }_I(t)=\frac{\partial {\delta }_{S_t}}{\partial ne{t}_I(t)}=\frac{\partial {\delta }_{S_t}}{\partial R(t)}\ast \frac{\partial I(t)}{\partial ne{t}_I(t)}= \\ \frac{}{} \\ O(t)\ast (1-tan{h}^2(C_t))\ast R(t)\ast I(t)\ast (1-I(t)) \end{gathered}$$

然后是遗忘门的误差：

$$\begin{gathered} \frac{\partial {\delta }_{S_t}}{\partial F(t)}=\frac{\partial {\delta }_{S_t}}{\partial tanh(C_t)}\ast \frac{\partial tanh(C_t)}{\partial C_t}\ast \frac{\partial C_t}{\partial C_{(}t1)}\ast \frac{\partial C_{(}t1)}{\partial F(t)}= \\ \frac{}{} \\ O(t)\ast (1-tan{h}^2(C_t))\ast C_{t-1} \end{gathered}$$
则有:
$$\begin{gathered} {\delta }_F(t)=\frac{\partial {\delta }_{S_t}}{\partial ne{t}_F(t)}=\frac{\partial {\delta }_{S_t}}{\partial F(t)}\ast \frac{\partial F(t)}{\partial ne{t}_F(t)}= \\ \frac{}{} \\ O(t)\ast (1-tan{h}^2(C_t))\ast C_{t-1}\ast F(t)\ast (1-F(t)) \end{gathered}$$

最后，我们要计算的是关于前一个时刻的误差：
$$\begin{gathered} {\delta }_{S_{t-1}}=\frac{\partial {\delta }_{S_t}}{\partial S_{t-1}}=\frac{\partial {\delta }_{S_t}}{\partial tanh(C_t)}\ast \frac{\partial tanh(C_t)}{\partial S_{t-1}}\ast O(t)+\frac{\partial {\delta }_{S_t}}{\partial O(t)}\ast \frac{\partial O(t)}{\partial S_{t-1}}\ast tanh(C_t) \\ \frac{}{} \\ =\frac{\partial {\delta }_{S_t}}{\partial tanh(C_t)}\ast \frac{\partial tanh(C_t)}{\partial C_t}\ast \frac{\partial C_t}{\partial S_{t-1}}\ast O(t)+tanh(C_t)\ast \frac{\partial {\delta }_{S_t}}{\partial O(t)}\ast \frac{\partial O(t)}{\partial ne{t}_O(t)}\ast \frac{\partial ne{t}_O(t)}{\partial S_{t-1}} \\ \frac{}{} \\ =W_f{\delta }_F(t)+W_I{\delta }_I(t)+W_r{\delta }_R(t)+W_o{\delta }_O(t) \end{gathered}$$

2.4.2 梯度计算

我们来分别计算该误差对于$W_o,W_i,W_r,W_f,U_o,U_i,U_r,U_f,B_o,B_i,B_r,B_f,S_{t-1}$的相关梯度。

$$\frac{\partial {\delta }_{S_t}}{\partial W_o}=S_{t-1}{\frac{\partial {\delta }_{S_t}}{\partial ne{t}_O(t)}}^T=S_{t-1}{\delta }_O^T(t)$$
$$\frac{\partial {\delta }_{S_t}}{\partial W_r}=S_{t-1}{\frac{\partial {\delta }_{S_t}}{\partial ne{t}_R(t)}}^T=S_{t-1}{\delta }_R^T(t)$$
$$\frac{\partial {\delta }_{S_t}}{\partial W_i}=S_{t-1}{\frac{\partial {\delta }_{S_t}}{\partial ne{t}_R(t)}}^T=S_{t-1}{\delta }_R^T(t)$$
$$\frac{\partial {\delta }_{S_t}}{\partial W_f}=S_{t-1}{\frac{\partial {\delta }_{S_t}}{\partial ne{t}_F(t)}}^T=S_{t-1}{\delta }_F^T(t)$$
$$\frac{\partial {\delta }_{S_t}}{\partial U_o}=X_t{\frac{\partial {\delta }_{S_t}}{\partial ne{t}_O(t)}}^T=X_t{\delta }_O^T(t)$$
$$\frac{\partial {\delta }_{S_t}}{\partial U_r}=X_t{\frac{\partial {\delta }_{S_t}}{\partial ne{t}_R(t)}}^T=X_t{\delta }_R^T(t)$$
$$\frac{\partial {\delta }_{S_t}}{\partial U_i}=X_t{\frac{\partial {\delta }_{S_t}}{\partial ne{t}_R(t)}}^T=X_t{\delta }_R^T(t)$$
$$\frac{\partial {\delta }_{S_t}}{\partial U_f}=X_t{\frac{\partial {\delta }_{S_t}}{\partial ne{t}_F(t)}}^T=X_t{\delta }_F^T(t)$$
$$\frac{\partial {\delta }_{S_t}}{\partial B_o}={\delta }_O(t)$$
$$\frac{\partial {\delta }_{S_t}}{\partial B_I}={\delta }_I(t)$$
$$\frac{\partial {\delta }_{S_t}}{\partial B_R}={\delta }_R(t)$$
$$\frac{\partial {\delta }_{S_t}}{\partial B_F}={\delta }_F(t)$$