「深度学习」长短时记忆网络LSTM
·
一、经典模型
\widetilde{c}^{<t>} = tanh(w_{c}[a^{<t-1>},x^{<t>}]+b_{c})
-
更新门：\Gamma_{u} = \sigma(w_{u}[a^{<t-1>},x^{<t>}]+b_{u})
-
遗忘门：\Gamma_{f} = \sigma(w_{f}[a^{<t-1>},x^{<t>}]+b_{f})
-
输出门：\Gamma_{o} = \sigma(w_{o}[a^{<t-1>},x^{<t>}]+b_{o})
c^{<t>} = \Gamma_{u}*\widetilde{c}^{<t>} + \Gamma_{f}*\widetilde{c}^{<t-1>}
a^{<t>} = \Gamma_{o} * tanh(c^{<t>})
二、窥视孔连接
c^{<t-1>} 也能影响门的值：
\Gamma_{u} = \sigma(w_{u}[a^{<t-1>},x^{<t>},c^{<t-1>}]+b_{u})
\Gamma_{f} = \sigma(w_{f}[a^{<t-1>},x^{<t>},c^{<t-1>}]+b_{f})
\Gamma_{o} = \sigma(w_{o}[a^{<t-1>},x^{<t>},c^{<t-1>}]+b_{o})
三、vs GRU
GUR 相关内容见上一篇博客
GRU 是更简单的模型，只有两个门，运行快，更容易建立大的网络
LSTM 更加强大和灵活 —— 作为默认选择
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
9
0- 0
已为社区贡献3条内容
所有评论(0)