3 Learning to Attend via Word-Aspect Associative Fusion for Aspect-Based Sentiment Analysis AAAI2018

论文3

Learning to Attend via Word-Aspect Associative Fusion for Aspect-Based Sentiment Analysis（AAAI2018）

0 摘要

       我们通过建模单词-方面关系将方面信息合并到神经模型中，方面融合LSTM (AF-LSTM)基于句子单词和方面之间的关联关系学习参与，允许我们的模型自适应地聚焦在给定方面术语的正确单词上，改进了其他使用简单连接来建模单词方面相似度的先进模型的缺陷。我们的模型采用了循环卷积和循环关联来模拟方面和单词之间的相似性，并将其优雅地整合到一个可区分的神经注意框架中。

1 介绍

1.1 ATAE-LSTM的缺陷

• 不是让注意力层专注于学习上下文词的相对重要性，而是给注意力层增加了对方面和上下文词之间的关系进行建模的负担；

• 除了对顺序信息进行建模之外，LSTM的参数现在还承担了额外的负担，即它还必须学习方面和单词之间的关系。ATAE-LSTM中的LSTM层在一个由方面嵌入主导的序列上进行训练，这将大大增加模型的训练难度；

• 简单的拼接会使ATAE-LSTM中LSTM层的输入加倍，这会增加LSTM层参数成本， 影响内存占用量，计算复杂性和存在过拟合风险。

1.2 文章贡献

• 提出了一种简单有效的关注机制，将方面信息整合到神经模型中，用于进行基于方面的情感分析。

• 首次引入了一种新的关联层。在这一层中，我们采用向量的循环卷积进行词语方面的融合，即学习句子中词语与方面之间的关系。我们的关联层可以被认为是一个压缩张量积，这使得词汇和方面之间的丰富的高阶关系被习得。

• Aspect Fusion LSTM (AF-LSTM)

2 模型

AF-LSTM模型