NLP论文（情感分析）：《Convolutional multi-head self-attention on memory for aspect sentiment classification》

论文

NLP论文笔记合集（持续更新）

原论文：《Convolutional multi-head self-attention on memory for aspect sentiment classification》

介绍

2020年06月29日发表的文章

模型结构

文章翻译

Abstract

提出了一种 aspect-based 的情感分类方法，称为卷积多头自注意记忆网络（CMA MemNet）。这是一个基于记忆网络的改进模型，使得从序列和 aspect 提取更丰富和复杂的语义信息成为可能。为了解决记忆网络无法在单词级别捕获上下文相关信息的问题，我们建议使用卷积来捕获n-gram语法信息。我们使用多头自我注意来弥补记忆网络忽略序列本身语义信息的问题。同时，与大多数递归神经网络（RNN）长短期记忆（LSTM）、门控循环单元（GRU）模型不同，我们保留了网络的并行性。我们在开放数据集SemEval-2014任务4和SemEval-2016任务6上进行了实验。与一些流行的基线方法相比，我们的模型表现得非常好。

IV. Conclusion

本文提出了一种高度并行的卷积多头自注意记忆网络。与基于 embedding 的记忆网络相比，CMA-MemNet能够更好地捕获上下文的复杂语义信息，并更加关注序列中单词之间的语义关系。我们在ATSA和ACSA任务的四个数据集上展示了该模型的性能，并证明了其有效性。在未来，我们希望在语义信息表示中考虑更多类型的内存模块，并根据不同内存模块输出的分数综合分析它们的各个方面。

相关视频

相关的笔记

相关代码

pytorch

tensorflow

keras

pytorch API:

tensorflow API