「深度学习」长短时记忆网络LSTM

一、经典模型

widetilde{c}^{<t>} = tanh(w_{c}[a^{<t-1>},x^{<t>}]+b_{c})

• 更新门：Gamma_{u} = sigma(w_{u}[a^{<t-1>},x^{<t>}]+b_{u})

• 遗忘门：Gamma_{f} = sigma(w_{f}[a^{<t-1>},x^{<t>}]+b_{f})

• 输出门：Gamma_{o} = sigma(w_{o}[a^{<t-1>},x^{<t>}]+b_{o})

c^{<t>} = Gamma_{u}*widetilde{c}^{<t>} + Gamma_{f}*widetilde{c}^{<t-1>}​

a^{<t>} = Gamma_{o} * tanh(c^{<t>})

二、窥视孔连接

c^{<t-1>} 也能影响门的值：

Gamma_{u} = sigma(w_{u}[a^{<t-1>},x^{<t>},c^{<t-1>}]+b_{u})

Gamma_{f} = sigma(w_{f}[a^{<t-1>},x^{<t>},c^{<t-1>}]+b_{f})

Gamma_{o} = sigma(w_{o}[a^{<t-1>},x^{<t>},c^{<t-1>}]+b_{o})​

三、vs GRU

GUR 相关内容见上一篇博客

GRU 是更简单的模型，只有两个门，运行快，更容易建立大的网络

LSTM 更加强大和灵活 —— 作为默认选择

代码007普通

打赏 收藏 海报 链接