A: LSTM也有神经网络的重复模块链形式。只是在CNN的基础上,每个重复模块增加了三个神经网络层,如下图所示。图中绿色大框代表单元模块;黄框代表神经网络层;粉色圆圈代表逐点运算,如向量加法;箭头向量变换,从一个节点输出到另一个节点输入;合并的行表示串联,而分支的行表示要复制的内容,副本将到达不同的位置。
回答:T时刻,LSTM有三个输入:当前网络的输入值,LSTM上一时刻的输出值,上一时刻的细胞状态;LSTM有两个输出:当前时间LSTM的输出值和当前时间的单元状态。
回答:LSTM的核心部分是类似于图4中传送带的顶部(图6)。这部分一般称为细胞状态,它自始至终存在于LSTM的整个链条系统中。它被称为遗忘门,表示哪些特征用于计算。
回答:所以关键在于LSTM的状态值更新函数和隐节点的输出值函数。对于状态更新函数:f (t)是遗忘门的门,m (t-1)是历史状态信息,m (t)的当前状态由它们相乘确定,代表T时刻允许进入多少历史信息。如果遗忘门全关,历史对当前状态没有影响;如果遗忘门全关,是1,那么历史信息会原封不动的传到T时刻,没有任何信息丢失。当然,更有可能的是