基于自注意力机制时频谱同源特征融合的鸟鸣声分类

基于自注意力机制时频谱同源特征融合的鸟鸣声分类

78会员权益

作者

摘要

目前深度学习模型大都难以应对复杂背景噪声下的鸟鸣声分类问题。考虑到鸟鸣声具有时域连续性、频域高低性特点，提出了一种利用同源谱图特征进行融合的模型用于复杂背景噪声下的鸟鸣声分类。首先，使用卷积神经网络（CNN）提取鸟鸣声梅尔时频谱特征；然后，使用特定的卷积以及下采样操作，将同一梅尔时频谱特征的时域和频域维度分别压缩至1，得到仅包含鸟鸣声高低特性的频域特征以及连续特性的时域特征。基于上述提取频域以及时域特征的操作，在时域和频域维度上同时对梅尔时频谱特征进行提取，得到具有连续性以及高低特性的时频域特征。然后，将自注意力机制分别用于得到的时域、频域、时频域特征以加强其各自拥有的特性。最后，将这三类同源谱图特征决策融合后的结果用于鸟鸣声分类。所提模型用于Xeno-canto网站的8种鸟类音频分类，并在分类对比实验中取得了平均精确率（MAP）为0.939的较好结果。实验结果表明该模型能应对复杂背景噪声下的鸟鸣声分类效果较差的问题。

显示全部

来源

关键词

相关知识

基于表征全局依赖关系的并行注意力机制鸟鸣声识别方法
一种基于注意力残差和特征融合的鸟语识别方法和系统
一种真实环境中的鸟类鸣声自动识别系统
信息融合增强鸟类声纹识别研究
基于多维神经网络深度特征融合的鸟鸣识别算法
基于MFF
基于神经网络的野生生态环境鸟类鸣声识别方法与流程
面向鸟鸣声识别任务的深度学习技术
毕设文献9（Related）
视觉 注意力机制——通道注意力、空间注意力、自注意力、交叉注意力

网址: 基于自注意力机制时频谱同源特征融合的鸟鸣声分类 https://www.mcbbbk.com/newsview692894.html