基于Tensorflow的LSTM-CNN文本分类模型_cnn istm模型

题记

    前段时间再看QA方面的文章，读了一篇paper（《LSTM-based deep learning model for non-factoid answer selection》）中，使用了LSTM-CNN模型来做answer与question的语义抽取。受此启发，使用这个模型对文本语义信息进行抽取，加上一个softmax函数形成文本分类模型。

1.LSTM(Long Short-Term Memory)

    LSTM在NLP中的应用实在太广泛了，在Machine Translation，Text Classification，QA等领域都有着成熟的应用，具体通过对RNN的结构进行改进，加入Memory Cell与三个门控单元，对历史信息进行有效的控制。而不是像RNN一样每次都将前一时刻的hidden state完全洗掉，从而增强了其处理长文本序列的能力，也解决了vanishing gradient的问题。

    具体结构如图所示：

    Input Gate决定当前时刻LSTM单元的Input vector对memory cell中信息的改变量，Forget Gate决定上一时刻历史信息对当前时刻memory cell中的信息的影响程度，Output Gate对memory cell中信息的输出量进行控制。

    将Input Gate，Output Gate，Forget Gate表示为：，，，LSTM更新方法为：

</