> For the complete documentation index, see [llms.txt](https://luweikxy.gitbook.io/machine-learning-notes/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://luweikxy.gitbook.io/machine-learning-notes/long-short-term-memory-networks.md).

# LSTM长短期记忆网络

## LSTM长短期记忆网络

* [返回顶层目录](https://luweikxy.gitbook.io/machine-learning-notes/pages/-LpO5vE88qYwjk5WM_Qf#目录)
* [什么是LSTM](https://luweikxy.gitbook.io/machine-learning-notes/pages/-LpO5vHA0r8QPgXlDZZ4#什么是LSTM)
  * [LSTM的结构](https://luweikxy.gitbook.io/machine-learning-notes/pages/-LpO5vHA0r8QPgXlDZZ4#LSTM的结构)
  * [LSTM的流程](https://luweikxy.gitbook.io/machine-learning-notes/pages/-LpO5vHA0r8QPgXlDZZ4#LSTM的流程)
    * [LSTM流程举例](https://luweikxy.gitbook.io/machine-learning-notes/pages/-LpO5vHA0r8QPgXlDZZ4#LSTM流程举例)
  * [将LSTM的cell作为神经元](https://luweikxy.gitbook.io/machine-learning-notes/pages/-LpO5vHA0r8QPgXlDZZ4#将LSTM的cell作为神经元)
  * [为什么LSTM属于RNN](https://luweikxy.gitbook.io/machine-learning-notes/pages/-LpO5vHA0r8QPgXlDZZ4#为什么LSTM属于RNN)

## 什么是LSTM

LSTM网络如下图所示，虽然看起来太复杂了，第一次看到的人都是一脸懵逼，这是啥？有用吗？但是原理不难，我们一点点分析。

![multiple-layer-LSTM](/files/-M1DtSfbixjwUEsC8H_8)

### LSTM的结构

前面讲的SimpleRNN只是RNN中最简单的版本，里面的memory是最简单的，可以随时把值写入，也可随时把值读出。但现在常用的memory称为Long Short-term Memory(LSTM)。

![LSTM](/files/-M1DtSffa2TchE2rFm-c)

这个Long Short-term Memory是比较复杂的，它有3个Gate。

* Input Gate

  当某个网络（外界）的输出值想要写入到LSTM里面的时候，必须先通过一个闸门（Input Gate），并且只有当Input Gate打开的时候，才能把值写入到memory中去，当Input Gate关起来的时候，就无法写入值。至于什么时候把Input Gate打开还是关闭，这是网络自己学到的
* Output Gate

  输出的地方有一个Output Gate，可以决定外界是否可以把值从memory里面读出。只有当Output Gate打开的时候，外界才能读取。同样的，Output Gate什么时候打开还是关闭，也是Output Gate自己学到的。
* Forget Gate

  Forget Gate决定什么时候把过去记得的东西（存在memory中的值）忘掉，什么时候记住过去学的东西。同样的，Output Gate什么时候把存在memory中的值清除掉或者保留下来，也是Forget Gate自己学到的。

整个LSTM单元可以看成有四个Input，一个Output。

> 一个有意思的知识点：**LSTM的名字应该叫下面哪一个呢？**
>
> ```
> Long Short-term Memory
> Long-Short term Memory
> ```
>
> 应该是第一个，因为LSTM和前面讲的SimpleRNN一样，还是个Short-term的Memory，只不过SimpleRNN的Memory每一步都会被清除并更新，它的Short-term是非常Short的。相对的，LSTM的Memory不是每一步都会被更新，可以记得比较长一些，只要Forget Gate不Forget的话，它的Memory里的值就会被存起来，所以是比较长的Short-term Memory，即称之为Long Short-term Memory。

### LSTM的流程

LSTM这个Cell的具体结构和数据流程如下所示。

![LSTM-2](/files/-M1DtSfiDaBbHeBymgzw)

输入：输入$$z$$通过激活函数得到$$g(z)$$，然后乘上输入门的控制信号$$z\_i$$经过激活函数得到的$$f(z\_i)$$，得到$$g(z)f(z\_i)$$。

Memory更新：memory中原有值为$$c$$，然后乘上遗忘门的控制信号$$z\_f$$经过激活函数得到的$$f(z\_f)$$，得到$$cf(z\_f)$$，即遗忘门对memory中原有数据的处理，$$f(z\_f)$$**为1代表记忆，为0代表遗忘**。然后加上输入值得到新的memory中要存储的值$$c'=g(z)f(z\_i)+cf(z\_f)$$。

输出：memory中的值$$c'$$经过激活函数得到$$h(c')$$，然后乘上输出门的控制信号$$z\_o$$经过激活函数得到的$$f(z\_o)$$，得到$$h(c')f(z\_o)$$，就是输出了，即输出值$$a=h(c')f(z\_o)$$。

#### LSTM流程举例

假设该神经网络只有一个LSTM，如下图所示。再假设该网络的权值已知（权值是学习出来的），然后输入x序列。**三个门的输入值，都是序列x乘上一个权值矩阵得到的结果**。

![cell](/files/-M1DtSfnox_g9aDImDJF)

我们来依次输入x序列，看整个流程是怎么运行的。为了简单起见，假设输入门和输出门的激活函数都是线性的，memory的初始值为0，具体如下图所示。

![cell-1](/files/-M1DtSfqom-9F3gkcE-r)

现在输入x的第一个向量\[3, 1, 0]，计算流程如下图所示，具体就不细讲了，图里面的流程非常清楚，memory中的值会从0变为3+1x0=3，最后的输出是0。

![cell-3](/files/-M1DtSftkP94PozeJ0cd)

接下来，输入x的第二个向量\[4, 1, 0]，计算流程如下图所示，memory中的值会从0变为4+1x3=7，由于输出门关闭，最后的输出是0。

![cell-4](/files/-M1DtSfvSudy0WHg4I3g)

接下来，输入x的第三个向量\[2, 0, 0]，计算流程如下图所示，memory中的值会从7变为0+1x7=7，由于输出门关闭，最后的输出是0。

![cell-5](/files/-M1DtSfxFrp41i3kZ2Zq)

接下来，输入x的第四个向量\[1, 0, 1]，计算流程如下图所示，memory中的值会从7变为0+1x7=7，最后的输出是7。

![cell-6](/files/-M1DtSfzvIuw0v9jaLJY)

接下来，输入x的最后一个向量\[3, -1, 0]，计算流程如下图所示，memory中的值会从7变为0+0x7=0，最后的输出是0。

![cell-7](/files/-M1DtSg0f99hSOWPgUa4)

### 将LSTM的cell作为神经元

看到这里，你可能会疑惑，LSTM一个cell的结构我理解了，但是和神经网络有什么关系呢？其实，**直接把神经网络中的神经元替换成LSTM的cell**就可以了。

下图是一般的神经网络和里面的神经元。

![neurons](/files/-M1DtSg2x-U_EV63Ay3u)

然后输入x乘上不同的权值作为LSTM单元的四个输入（输入和三个门）。就好像一般的机器插一个电源线就能运行，但LSTM这个机器需要插四个电压不同的电源线才能跑。所以同样的neuron数目下，LSTM的参数是一般的四倍。

![neurons-1](/files/-M1DtSg4F7pcInUGFh0M)

### 为什么LSTM属于RNN

只看上图的话，我们就会很疑惑，这个和RNN的关系是什么呢？怎么看起来不太像RNN。所以要画另外一个图来表示LSTM。

![LSTM-RNN](/files/-M1DtSg6EKBWBSuxhLvD)

假设有一整排的LSTM单元，里面的memory的标量值按从左到右接起来，就是一个vector，我们把它记作$$c^{t-1}$$（c是cell单元的意思），作为memory上一刻时间点t-1的值。

现在在时间点t，我们输入一个向量$$x^t$$，然后乘以一个矩阵变为向量$$z$$，这个矩阵其实就是全连接神经网络的权值了，z向量中的每一个元素值，就是每一个LSTM的输入，所以向量z的维度就是LSTM的数目。

同样的，给向量$$x^t$$乘以另一个矩阵，得到向量$$z^i$$，向量$$z^i$$的维度就是LSTM的数目，其每一个值就会对应操控每一个LSTM的输入门。

同样的，给向量$$x^t$$乘以另一个矩阵，得到向量$$z^f$$，$$z^f$$中的每一个值会去操控每一个LSTM的遗忘门。

同样的，给向量$$x^t$$乘以另一个矩阵，得到向量$$z^o$$，$$z^o$$中的每一个值会去操控每一个LSTM的输出门。

这四个vector合起来就会操控这些LSTM单元的运作。

接下来，我们**向量化的并行**看一下LSTM单元的运作，不再去分开单独看。注意里面的乘号是逐元素运算。

![LSTM-RNN-1](/files/-M1DtSgQ-2CDHtppzmmF)

然后里面相加后的向量$$c^t$$就是时刻t的memory中的值，然后如此反复下去，就会形成循环，那不就是RNN了吗。

![LSTM-RNN-2](/files/-M1DtSgS_Ia_BVYXTZlL)

虽然上图已经很复杂了，但这并不是LSTM的最终形态，真正的LSTM怎么做呢？

还会把隐藏层的值（即LSTM单元的输出值，但在整个神经网络上它的位置属于隐藏层）也加到输入，还会把memory单元中的值也加到输入中。即在操纵LSTM的时候，输入向量是由$$x^t$$、$$h^t$$和$$c^t$$组成的，然后再分别乘以四个矩阵作为四个门的输入或操纵信号。

![LSTM-RNN-3](/files/-M1DtSgUNEK_e_7UlDvk)

上图只是LSTM只有一层的情况，但通常LSTM不会只有一层，再叠加个五六层才是我们要的样子。

![multiple-layer-LSTM](/files/-M1DtSfbixjwUEsC8H_8)

每一次看到这个东西的人，它的反应都是这个样子：

![newton-surprise](/files/-M1DtSgYr3TOS1kYY86I)

每一个人第一次都看到这个图，都在想这应该是不work的吧，但其实它确实是work的。现在说自己在用RNN的时候，其实都是在用LSTM了，用Keras的时候，这些都帮你是写好的，你只要输入LSTM四个字就好了。GRU是LSTM的稍微简化版本，只有两个gate，但据说少了一个gate，但表现和LSTM差不多，所以少了三分之一的参数，比较不容易过拟合。所以，我们之前讲的那种最简单的RNN，要称其为SimpleRNN才行，即RNN包含了LSTM、GRU和SimpleRNN。

## 参考资料

* [李宏毅教授讲解 RNN LSTM的视频](http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/RNN1.mp4)

本文参考了此视频。

\===

[完全图解RNN、RNN变体、Seq2Seq、Attention机制](https://zhuanlan.zhihu.com/p/28054589)

[Understanding LSTM Networks](https://colah.github.io/posts/2015-08-Understanding-LSTMs/)

[Understanding LSTM Networks翻译：如何简单的理解LSTM——其实没有那么复杂](https://www.jianshu.com/p/4b4701beba92)

[谁能用比较通俗有趣的语言解释RNN和LSTM？](https://www.zhihu.com/question/314002073)