6.1、给神经网络增加记忆记忆能力

1、前馈网络

假设每次输入都是独立的，也就是说每次网络的输出只依赖与当前的输入。

2、时延神经网络

建立一个额外的延时单元，用来存储网络的历史信息。

6.2、循环神经网络（RNN）

1、

2、简单循环网络（SRN）

3、图灵完备

图灵完备是指一种数据操作规则，比如一种计算机编程语言，可以实现图灵机的所有功能，解决所有的可计算问题。一个完全连接的循环神经网络可以近似解决所有的可计算问题。

6.3、应用到机器学习

1、序列到类别：输入是序列，输出是类别。

例子：情感分类，输入文本，输出情感；

2、序列到序列

例子：中文分词

信息抽取，从无结构的文本中抽取结构化的信息，形成知识。

语音识别，输入一段语音，送到RNN，输出一段文字。

3、异步的序列到序列模式

例子：机器翻译

6.4、参数学习与长程依赖问题

1、参数学习

时刻t的瞬时损失函数为

总损失函数

2、计算梯度

3、随时间反向传播算法

梯度

长程依赖问题：由于梯度爆炸或消失问题，实际上只能学习到短周期的依赖关系。

6.5、如何解决长程依赖问题

1、

6.6、GRU与LSTM

1、门控循环单元（GRU）

2、长短期记忆神经网络（LSTM）

3、LSTM的各种变体

6.7、深层循环神经网络

1、堆叠循环神经网络

2、双向循环神经网络

3、循环神经网络小结

优点：引入（短期）记忆；图灵完备。

缺点：长程依赖问题；记忆容量问题；并行能力。

若把前馈神经网络看成一个万能函数，循环神经网络可以看成一个万能的程序。

6.8、循环网络应用

1、语言模型：一切都是概率

2、传统统计机器翻译

3、基于序列到序列的机器翻译

一个RNN用来编码，另一个RNN用来解码

4、看图说话

5、对话系统

6.9、扩展到图结构

1、递归神经网络是在一个有向图无循环图上共享一个组合函数

2、图网络

在实际应用中，很多数据是图结构的，比如知识图谱、社交网络、分子网络等。而前馈网络和循环网络很难处理图结构的数据。