【笔记】循环神经网络RNN（反向传播公式推导）、LSTM、GRU：RNN对具有序列特性的数据非常有效，可以捕捉时序信息以及语义信息，适用于语音识别、语言模型、机器翻译以及时序分析等NLP领域
RNN公式推导：循环神经网络(RNN)模型与前向反向传播算法 - 刘建平Pinard - 博客园一文搞懂RNN（循环神经网络）基础篇 - 知乎RNN结构理解和双向、深层RNN - 知乎正文：从反向传播推导到梯度消失and爆炸的原因及解决方案（从DNN到RNN，内附详细反向传播公式推导） - 知乎...
·
注：
最基础版RNN那里可以不用把向量拆开讲，那样反而繁琐并且不容易对照公式，可以直接说U=V=W=[[1,1],[1,1]]，直接对着公式用矩阵外积可能更好。
注：
“我”“吃”苹果”这三个词汇是在不同的时刻输入到rnn网络的把。“吃”训练出来的权重，会输入到“苹果”的模型的隐层中。
RNN公式推导：
循环神经网络(RNN)模型与前向反向传播算法 - 刘建平Pinard - 博客园
正文：
从反向传播推导到梯度消失and爆炸的原因及解决方案（从DNN到RNN，内附详细反向传播公式推导） - 知乎 
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
2
0- 0
已为社区贡献10条内容
所有评论(0)