设计师一般用什么网站,厦门seo网站建设费用,模板式网站建设,asp网站关键字lstm前言
LSTM(Long short-term memory)通过刻意的设计来避免长期依赖问题#xff0c;是一种特殊的RNN。长时间记住信息实际上是 LSTM 的默认行为#xff0c;而不是需要努力学习的东西#xff01;
在标准的RNN中#xff0c;这个重复模块具有非常简单的结构#xff0c;例…lstm前言
LSTM(Long short-term memory)通过刻意的设计来避免长期依赖问题是一种特殊的RNN。长时间记住信息实际上是 LSTM 的默认行为而不是需要努力学习的东西
在标准的RNN中这个重复模块具有非常简单的结构例如只有单个tanh层如下图所示。 LSTM具有同样的结构但是重复的模块拥有不同的结构如下图所示。与RNN的不同这里有四个网络层并且以一种非常特殊的方式进行交互。
公式推导 三个门的作用
ft门的作用是选择性遗忘部分记忆it门决定了新的知识有哪些需要被记住意思就是对新知识进行取舍g(新的记忆单元)根据当前的输入和前一个隐藏状态计算出来的一个潜在的新记忆。它本身并不决定新信息是否要存入细胞状态而只是提供了一种可能的输入。ot门决定了输出哪些新的知识。
总结
总结我刚考完高等数学下一门考线性代数首先通过遗忘门进行选择性遗忘旧的知识然后通过更新门将旧的知识和已经学习的新的知识进行整合。形成目前所学到的全部知识然后和输出门进行结合转化成考试的能力也就是记住线性代数所要考察的考点最后输出考试所得的分数。
