基于脑电图和眼电图融合的多模态情绪识别研究,IEEE Transactions on Instrumentation and Measurement

基于脑电图和眼电图融合的多模态情绪识别研究
IEEE Transactions on Instrumentation and Measurement ( IF 5.6 ) Pub Date : 2024-02-27 , DOI: 10.1109/tim.2024.3370813
Jialai Yin 1 , Minchao Wu 2 , Yan Yang 3 , Ping Li 2 , Fan Li 4 , Liang Wen 5 , Zhao Lv 6

情感识别对于构建和谐社会和情感互动具有至关重要的作用。最近的研究表明，多模态渠道间相关性和情绪引发不足困扰着基于深度学习的情绪识别技术。为了解决这些问题，我们提出了一种多模态和通道注意力融合变压器（MCAF-Transformer）。首先，我们采用嗅觉视频方法来更充分地唤起情绪表达并获取脑电图（EEG）和眼电图（EOG）信号数据。其次，该模型充分利用EEG和EOG信号的多模态通道信息、时域和空域信息，利用通道注意力捕获不同通道的相关性，通过关注全局依赖关系来提高情绪识别的准确性。使用变压器的时间顺序。我们对嗅觉视频情感数据集进行了大量的实验，实验结果正确率为 94.63%。结果表明，嗅觉视频比纯视频更能充分唤起情感，并且 MCAF-Transformer 模型显着优于其他情感识别方法。

"点击查看英文标题和摘要"

更新日期：2024-02-27

相关知识

顶刊TPAMI 2022！基于不同数据模态的行为识别：最新综述
多模态传感器融合提升宠物训练效率.docx
基于AI的宠物情绪识别与行为分析
来自各种数据模式的人类行为识别：回顾,IEEE Transactions on Pattern Analysis and Machine Intelligence
非侵入式可穿戴动态血压连续测量技术的研究与临床应用价值
语音情感识别调研
查找： 关键字=情感识别
基于心率变异性的情绪识别研究
一种基于多线索融合的动物行为识别方法
宠物声音识别与理解研究.pptx

网址: 基于脑电图和眼电图融合的多模态情绪识别研究,IEEE Transactions on Instrumentation and Measurement https://www.mcbbbk.com/newsview412358.html