基于多视角多层次对比学习的果园鸟鸣识别,Applied Acoustics

在收获季节，果园经常受到鸟类的侵害，因此大量的啄食会对水果的质量和产量产生不利影响。识别鸟鸣对于防止果园鸟类造成的损害至关重要，因为它可以为后续的驱鸟工作提供基础。然而，注释声音样本所需的大量工作对监督深度学习提出了重大挑战。在本文中，我们提出了一种基于多级对比（MV-MLC）的自监督多视图学习框架，用于鸟鸣识别，该框架利用时间和频谱图视图作为输入。该框架利用 MLC 自动学习未标记数据的表示，并采用多尺度特征提取 (MSFE) 主干网络来捕获不同尺度的鸟鸣声的时间特征。 MLC 学习中的时间谱图一致性任务促进了跨多视图的语义级信息交换，而分层对比学习任务捕获粒度级信息，从而产生更稳健的上下文表示。此外，在MSFE中嵌入shuffle注意力模块有利于挖掘鸟鸣特征的空间和通道依赖性，从而进一步增强多尺度网络的特征表示。我们使用自建的 10 类鸟鸣数据集（Orchard-birds）以及公开的 Birdsdata 和 Powdermill 数据集进行了广泛的实验。实验结果表明，MV-MLC 的性能优于最先进的自监督模型。特别是，MV-MLC 即使在标记数据比例很小的情况下也能获得出色的性能。 基于Orchard-birds和Birdsdata数据集的识别准确率分别为99.40%和92.67%，宏观F1得分为99.40%和92.61%。

"点击查看英文标题和摘要"

相关知识

基于多维神经网络深度特征融合的鸟鸣识别算法
基于深度学习的多模态融合网民情感识别研究
基于广义Jaccard系数的微博情感新词判定
鸟鸣识别，破译“鸟际关系”
【计算机科学】【2019.03】基于深度学习的动物识别
基于KH
基于深度学习的水下鱼类检测与种类识别算法研究
信息融合增强鸟类声纹识别研究
基于度学习的猫狗分类识别
最新最全论文合集——基于机器学习/深度学习的情绪识别

网址: 基于多视角多层次对比学习的果园鸟鸣识别,Applied Acoustics https://www.mcbbbk.com/newsview692896.html