SST-EmotionNet: 基于空-谱-时的注意力三维稠密网络脑电情感识别_metaemotionnet: spatial-spectral-temporal based at

传统脑电信号只在时域、频域进行相应的信号处理，本文利用时频空三维特征构建神经网络，提出一种特征更全、识别率更高的脑电信号分类算法，并在三个维度分别施加对应的注意力机制，具有很高的参考学习意义。

ABSTRACT

多媒体刺激脑活动不仅成为一个新兴的研究领域，而且在基于脑活动的脑电情感分类方面也取得了重要进展。然而，如何充分利用不同的脑电特征和特征之间的区分不同的情绪的局部模式是具有挑战性的。现有的模型忽略了空间-谱-时特征之间的互补性和各特征中具有区分性的局部模式，在一定程度上限制了模型的分类能力。在本文中，我们提出了一种新的空间-频谱-时间为基础的注意力三维密集网络，命名为SST-推理网络，脑电情感识别。SST-ProptionNet的主要优点是在统一的网络框架中同时集成空间-光谱-时间特征。同时，设计了一个三维注意机制，以自适应地探索有区别的局部模式。在两个真实世界数据集上进行的广泛实验表明，SST-EmotionNet的性能优于最先进的基线。

关键词：脑电;情绪识别;卷积神经网络;注意机制;情感计算

第1章 引言

情绪影响人的行为，在日常生活中起着重要的作用。一般来说，许多精神疾病都与情绪有关，如自闭症和抑郁症[1，5]。因此，情绪常被用作评估患者精神障碍的参考[34]。越来越多的研究人员致力于分析特定刺激模式诱发的不同情绪的脑电，并在人机交互（HCI）中开发情感人工智能[3]。研究主要集中在利用图像、声音、文本等多媒体材料设计实验范式，刺激大脑并暴露其认知活动以进行情绪分类[35]。

脑电信号可以客观地反映不同的情绪，成为识别真实的情绪的可靠途径[31]。图1呈现不同情绪脑电信号的空-谱-时特征的差异。例如，在时空维度上，积极情绪的激活程度一般较高，消极情绪则相反;在空间频谱维度上，当被试处于消极情绪中时，低频带（和）比高频带（和）激活程度更高，而积极情绪的激活程度正好相反。