首页分享一种基于语义分析的宠物牵引绳入梯检测方法

一种基于语义分析的宠物牵引绳入梯检测方法

来源：萌宠菠菠乐园时间：2024-10-29 01:43

发明内容

为了实现在电梯运行过程中对宠物牵引绳等细长柔性物体的准确识别，本发明提出了一种基于语义分析的宠物牵引绳入梯检测方法，包括：

获取宠物入梯图像集，基于宠物牵引绳入梯事件的要素对宠物入梯图像集中的宠物入梯图像进行物体标注与事件标注，得到标注后的图像集，对标注后的图像集进行预处理得到宠物入梯数据集；

构建深度学习网络模型，并通过宠物入梯数据集训练并测试深度学习网络模型得到目标网络模型；

通过轿厢摄像头获取轿厢内外的实时画面，并实时输入目标网络模型，预测当前实时画面是否属于宠物牵引绳入梯事件，并保存预测结果至时序逻辑缓存器内；

若当前实时画面属于宠物牵引绳入梯事件，则判断时序逻辑缓存器内是否存在预设百分比的画面对应的预测结果均属于宠物牵引绳入梯事件，若是，则输出报警信号；所述时序逻辑缓存器中保存有预设帧最新轿厢内外连续画面对应的预测结果。

进一步地，所述宠物牵引绳入梯事件的要素包含：宠物牵引绳、宠物、电梯门开启状态、入梯状态；

所述物体标注表示对物体的类别进行标注；所述物体的类别标注包含：宠物牵引绳标注、宠物标注、牵引者标注、电梯门标注与电梯门开启状态标注。

进一步地，所述事件标注包括：入梯状态标注与时间戳标注；所述时间戳标注用于标注宠物入梯图像集中的连续帧图像；所述入梯状态标注表示采用多类标注对入梯的状态进行标注；所述多类标注包含：进梯中、出梯中与静止状态。

进一步地，获取宠物入梯图像集，具体包括：

在不同的电梯轿厢真实环境下获取宠物进出电梯时的真实图像，并对图像进行预处理；构建电梯轿厢仿真环境，并在该环境下创建宠物牵引绳入梯事件，获取该事件发生时的仿真画面即牵引宠物进出电梯时的图像；通过仿真画面与预处理后的真实图像构建宠物入梯图像集。

进一步地，对标注后的图像集进行预处理，包括：

将图像集中的图像进行缩放并统一为预设像素大小，对缩放后的图像进行数据清洗与增强操作。

进一步地，通过宠物入梯数据集训练并测试深度学习网络模型得到目标网络模型，具体包括：

通过宠物入梯数据集与损失函数训练并测试深度学习网络模型，得到初始网络模型；

通过量化初始网络模型中的权重参数得到各权重参数对应的权重值，并去除权重值小于预设值的权重参数，得到目标网络模型。

进一步地，所述目标网络模型包括：

输入层，用于输入待预测图像；

下采样层，用于对待预测图像进行下采样，得到第一特征图；

第一分支模块与第二分支模块，其中：

所述第一分支模块包括第一高分辨率模块与多个依次连接的空间特征提取模块；所述第二分支模块包括第一低分辨率模块、特征金字塔模块与多个依次连接的语义特征提取模块；

所述第一高分辨率模块用于提取第一特征图的空间信息并输入空间特征提取模块；所述第一低分辨率模块用于提取第一特征图的语义信息并输入语义信息提取模块；

所述空间特征提取模块用于通过第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出，与第一低分辨率模块提取的语义信息或上一语义特征提取模块的输出提取空间特征得到空间特征图像；

所述语义信息提取模块用于通过第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出，与第一低分辨率模块提取的语义信息或上一语义信息提取模块的输出提取语义特征得到语义特征图像；所述空间特征提取模块与语义特征提取模块一一对应；所述特征金字塔模块用于对最后一个语义信息提取模块提取的语义特征图像进行蛇形卷积处理得到多个卷积特征图像；

融合模块，用于对多个卷积特征图像与最后一个空间特征提取模块提取的空间特征图像进行融合得到融合特征图像；

分割头，用于对融合特征图像生成像素级别的类别标注，得到标注图像；

上采样层，用于对标注图像进行上采样；

分割图像层，用于分割上采样后的标注图像得到分割图像并输出；所述分割图像中的每个像素均分配有对应的类别标注。

进一步地，所述空间特征提取模块包括：

第一自注意力模块、第二高分辨率模块与第一残差模块；

所述第一自注意力模块用于对第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出，与第一低分辨率模块提取的语义信息或上一语义特征提取模块的输出进行增强，得到自注意力特征图像；

所述第一残差模块用于对第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出进行残差计算得到残差特征；

所述第二高分辨率模块用于通过自注意力特征图像与残差特征提取空间特征得到空间特征图像。

进一步地，所述语义信息提取模块包括：

第二自注意力模块、第二低分辨率模块与第二残差模块；

所述第二自注意力模块用于对第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出，与第一低分辨率模块提取的语义信息或上一语义特征提取模块的输出进行增强，得到自注意力特征图像；

所述第二残差模块用于对第一低分辨模块提取的空间信息或上一语义特征提取模块的输出进行残差计算得到残差特征；

所述第二低分辨率模块用于通过自注意力特征图像与残差特征提取语义特征得到语义特征图像。

进一步地，所述特征金字塔模块包括：

第一动态蛇形卷积，用于对语义特征图像进行蛇形卷积处理得到第一卷积特征图像；

第二动态蛇形卷积，用于对语义特征图像进行蛇形卷积处理得到第二卷积特征图像；

动态可分离卷积，用于对语义特征图像进行分离卷积得到第三卷积特征图像。

与现有技术相比，本发明至少含有以下有益效果：

（1）本发明基于宠物牵引绳入梯事件的要素对宠物入梯图像集中的宠物入梯图像进行物体标注与事件标注，并进行预处理得到宠物入梯数据集；并通过宠物入梯数据集训练并测试深度学习网络模型得到目标网络模型；通过目标网络模型预测当前实时画面是否属于宠物牵引绳入梯事件，并保存预测结果；若当前实时画面属于宠物牵引绳入梯事件，则判断时序逻辑缓存器内是否存在预设百分比的画面对应的预测结果均属于宠物牵引绳入梯事件，若是，则输出报警信号；即本发明通过结合深度学习算法和语义分析技术，建立电梯摄像头图像与物体类别之间的精确映射模型，从而实现了在电梯运行过程中对宠物牵引绳等细长柔性物体的准确识别；

（2）本发明通过对标注后的图像集进行预处理，包括：将图像集中的图像进行缩放并统一为预设像素大小，对缩放后的图像进行数据清洗与增强操作（翻转、遮挡、旋转、颜色扰动、以及整体对比度与亮度的调节），提高了宠物入梯数据集的质量，增强了模型的泛化能力和对不同光照、视角等条件的适应性；

（3）本发明使用第一分支模块与第二分支模块，两条双通路对经过下采样后的低分辨率图像进行双向推理，旨在使不同通路捕获不同的图像特征，并通过特征融合的方法后经过自注意力机制达到信息共享，提高了模型的识别精度，同时，本发明在第二分支模块中通过往特征金字塔模块中加入动态蛇形卷积，加强了模型对柔性物体检测识别的能力；

（4）本发明通过对宠物入梯图像集中的连续帧图像进行时间戳标注，提升了模型理解和学习牵引绳入梯这一动态过程的时序特征，进而提高了模型的预测精度。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

为了实现在电梯运行过程中对宠物牵引绳等细长柔性物体的准确识别，如图1所示，本发明提出了一种基于语义分析的宠物牵引绳入梯检测方法，包括：

本实施例中，宠物牵引绳入梯事件是指在电梯使用过程中，宠物主人携带宠物进入或离开电梯时，宠物牵引绳（即连接宠物与主人的手柄或环状装置的绳索）与电梯门、门框或电梯内部其他结构产生接触、穿越或可能产生缠绕风险的行为过程。这一事件包括以下几种情况：

1、宠物牵引绳进入电梯轿厢：当宠物主人牵着宠物进入电梯时，牵引绳随宠物移动并穿过电梯门。此时，牵引绳可能与电梯门、门框边缘、门槛等部位接触，尤其是在宠物快速进入或主人行动不当时，存在牵引绳被门夹住的风险。

2、宠物牵引绳离开电梯轿厢：类似地，当宠物主人携宠物离开电梯时，牵引绳会随宠物一同移出电梯。在这个过程中，牵引绳同样可能与电梯门、门框或门槛接触，如果电梯门关闭过快或操作不当，可能导致牵引绳被夹。

3、宠物牵引绳在电梯内部移动：在电梯运行过程中，若宠物在轿厢内活动，牵引绳可能会触及电梯内部的扶手、按钮、缝隙或其他结构，尤其是当宠物兴奋或不安时，牵引绳摆动幅度增大，增加了与电梯内部部件发生纠缠的可能性。

4、牵引绳卡阻：在上述任一阶段，如果牵引绳不慎被电梯门夹住或与电梯内部结构缠绕，导致牵引绳不能顺畅移动或被拉紧，形成卡阻现象。这不仅可能对牵引绳造成损坏，还可能危及宠物安全，如宠物被吊起或拖拽。

本实施例中，基于宠物牵引绳入梯事件的要素对宠物入梯图像集中的宠物入梯图像进行物体标注与事件标注，具体指的是：

将宠物入梯图像与宠物牵引绳入梯事件相关联：对每一幅包含宠物牵引绳的图像进行细致的标注，明确标记出图像中与宠物牵引绳入梯事件相关的各项要素，建立起图像内容与入梯事件之间的直接联系。所述宠物牵引绳入梯事件的要素包含：宠物牵引绳、宠物、电梯门开启状态、入梯状态等。

获取宠物入梯图像集，具体包括：

需要说明的是，在不同的电梯轿厢真实环境下获取宠物进出电梯时的真实图像，包括：在真实环境下模拟人牵宠物进出电梯事件（即宠物牵引绳入梯事件）。具体地，分别选取如下不同的变量进行组合，所述变量包括：电梯轿厢种类(乘客电梯、货运电梯等)、电梯地板种类(不锈钢、瓷砖/大理石、地毯等)、电梯摄像头安装位置(轿厢门旁、轿厢角落等)、不同的电梯摄像头配置(焦距、视场角、分辨率等)、宠物种类(如小型犬、大型犬、猫等)、牵引绳类别(如尼龙绳、皮绳、伸缩式牵引绳等)等，对上述变量组合的场景进行数据采集，得到宠物进出电梯时的真实图像。

对图像进行预处理，具体为：通过图像编辑手段，变换真实图片中的物体；具体地，对电梯轿厢内的前景物体做添加、删除、替换操作，对背景物体做一些更改，如在一些实施方式中将电梯地板从瓷砖替换成毛毯；将红色的牵引绳替换成黑色的牵引绳，以此来扩张宠物入梯图像集。

本实施例中，构建电梯轿厢仿真环境，并在该环境下创建宠物牵引绳入梯事件，获取该事件发生时的仿真画面即牵引宠物进出电梯时的图像；具体为：

根据实际情况，构建高逼真度的电梯轿厢仿真环境，建立人牵宠物进出电梯事件（即宠物牵引绳入梯事件），获取电梯轿厢仿真环境中的电梯摄像头图像。具体地，首先是电梯轿厢仿真环境的建立，该仿真环境基于虚幻引擎5作为核心框架，结合电梯仿真插件和虚拟环境模拟插件，提供与现实电梯操作和环境相匹配的模拟效果。在此基础上，通过在虚幻引擎中导入电梯内部的纹理信息、照明设置和其他环境元素，进一步提升仿真环境的真实感。例如，模拟电梯门的开关过程、电梯内部的照明变化，以及电梯到达不同楼层时的环境变化等。此外，为了模拟人牵宠物进出电梯的事件，将在仿真环境中加入虚拟的人物和宠物模型，并通过动画技术模拟其进出电梯的动作。通过电梯轿厢仿真环境中设置的虚拟摄像头，捕捉这一系列动作的图像。

对标注后的图像集进行预处理，包括：

将图像集中的图像进行缩放并统一为预设像素大小，对缩放后的图像进行数据清洗与增强操作（翻转、遮挡、角度旋转、颜色扰动、图像对比度调节与图像亮度调节）。

所述物体标注表示对物体的类别进行标注；所述物体的类别标注包含：宠物牵引绳标注、宠物标注、牵引者标注、电梯门标注与电梯门开启状态标注。

所述事件标注包括：入梯状态标注与时间戳标注；所述时间戳标注用于标注宠物入梯图像集中的连续帧图像；所述入梯状态标注表示采用多类标注对入梯的状态进行标注；所述多类标注包含：进梯中、出梯中与静止状态。

构建深度学习网络模型，并通过宠物入梯数据集训练并测试深度学习网络模型得到目标网络模型；

通过宠物入梯数据集训练并测试深度学习网络模型得到目标网络模型，具体包括：

通过宠物入梯数据集与损失函数训练并测试深度学习网络模型，得到初始网络模型；

具体地：

以预设比例将宠物入梯数据集划分为训练集和测试集；

通过训练集与损失函数训练深度学习网络模型；

式中，L为最终获得的损失，H,W分别为原始图像的高宽，M为类别数，

为类别c真实值标注，为类别c预测概率值。

当深度学习网络模型的损失函数值小于阀值时，使用该深度学习网络模型对测试集进行预测，判断训练后的深度学习网络模型的准确率是否达到预设值；若准确率和推理每张图片的时间都符合预期值，则结束模型挑选及训练，得到初始网络模型；

式中，IOU(Intersection over Union，交并比)代表该类预测像素与真实像素交集和并集的比例，MIOU代表全部类别的平均IOU，k代表全部类别个数，P代表该类预测像素，G为该类真实像素。

；

通过量化初始网络模型中的权重参数得到各权重参数对应的权重值，并去除权重值小于预设值的权重参数，得到目标网络模型。

需要解释的是，对模型的权重参数进行权重量化，将模型中的浮点数权重转换为低比特宽度的整数，通过分析模型权重参数的重要性，去除那些影响较小的权重，可以使网络变得稀疏。而量化有两种方式，一种是感知量化即在训练过程中引入量化操作，另一种是训练完成后进行量化，本发明采用后者，在进入实际使用之前进行权重量化和稀疏化。这两个步骤在完成模型训练之后进行操作，有助于部署模型的推理效率。当完成模型训练之后，模型的权重即固定下来了，这时候便可以方便的获取到固定的权重。

量化是指通过将模型中的浮点数权重转换为整数或更低位数的浮点数，可加快模型推理速度。稀疏化是指剪掉量化后的小权重连接，由于模型中的权重大多数是零，因此可以通过稀疏格式来存储模型，进而减少存储空间，在特定的硬件上实现加速。

如图2所示（图中Nx表示对应的虚线框模块即空间特征提取模块与语义特征提取模块会重复N遍），所述目标网络模型包括：

输入层，用于输入待预测图像；

下采样层，用于对待预测图像进行下采样，得到第一特征图；

第一分支模块与第二分支模块，其中：

需要说明的是，第一分支模块主要在于提取图像的空间信息和细节信息，例如纹理、边缘等。第二分支模块主要用于处理图像的全局信息，涵盖较大尺度物体以及背景区域的语义信息。

为了在速度和分辨率之间实现良好的平衡，第一分支模块的特征图大小始终为固定尺寸，并且不进行任何下采样操作，目的是为了保留图像的空间细节，获得精细的位置信息，减少空间信息的损失。而第二分支模块中的低分辨率模块，首先会经过下采样来降低分辨率，进而提高模型的预测速度。

具体地，当空间特征提取模块不是第一个空间特征提取模块时，则通过上一空间特征提取模块的输出与上一语义特征提取模块的输出提取空间特征得到空间特征图像；当空间特征提取模块为第一个空间特征提取模块时，则通过第一高分辨率模块提取的空间信息与第一低分辨率模块提取的语义信息提取空间特征得到空间特征图像。

所述空间特征提取模块具体包括：

第一自注意力模块、第二高分辨率模块与第一残差模块；

具体地，当第一自注意力模块对应的空间特征提取模块不是第一个空间特征提取模块时，则该第一自注意力模块对上一空间特征提取模块的输出与上一语义特征提取模块的输出进行增强；当第一自注意力模块对应的空间特征提取模块是第一个空间特征提取模块时，则该第一自注意力模块对第一高分辨率模块提取的空间信息与第一低分辨率模块提取的语义信息进行增强。

所述第一残差模块用于对第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出进行残差计算得到残差特征；

具体地，当第一残差模块对应的空间特征提取模块不是第一个空间特征提取模块时，则该第一残差模块对上一空间特征提取模块的输出进行残差计算；当第一残差模块对应的空间特征提取模块是第一个空间特征提取模块时，则该第一残差模块对第一高分辨率模块提取的空间信息进行残差计算。

所述第二高分辨率模块用于通过自注意力特征图像与残差特征提取空间特征得到空间特征图像。

所述语义信息提取模块用于通过第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出，与第一低分辨率模块提取的语义信息或上一语义信息提取模块的输出提取语义特征得到语义特征图像；

具体地，当语义信息提取模块不是第一个语义信息提取模块时，则通过上一空间特征提取模块的输出与上一语义特征提取模块的输出提取语义特征得到语义特征图像；当语义信息提取模块为第一个语义信息提取模块时，则通过第一高分辨率模块提取的空间信息与第一低分辨率模块提取的语义信息提取语义特征得到语义特征图像。

所述语义信息提取模块包括：

第二自注意力模块、第二低分辨率模块与第二残差模块；

具体地，当第二自注意力模块对应的语义信息提取模块不是第一个语义信息提取模块时，则该第二自注意力模块对上一空间特征提取模块的输出与上一语义特征提取模块的输出进行增强；当第二自注意力模块对应的语义信息提取模块是第一个语义信息提取模块时，则该第二自注意力模块对第一高分辨率模块提取的空间信息与第一低分辨率模块提取的语义信息进行增强。

即，本发明在不同阶段（对应的两个模块：空间特征提取模块与语义特征提取模块表示为一个阶段）多次进行双向特征融合，实现空间信息和语义信息的充分融合。这一过程能够有效地结合图像中的细节信息与整体语义信息，从而达到更好的分辨率和准确性的平衡。

所述第二残差模块用于对第一低分辨模块提取的空间信息或上一语义特征提取模块的输出进行残差计算得到残差特征；

具体地，当第二残差模块对应的语义特征提取模块不是第一个语义特征提取模块时，则该第二残差模块对上一语义特征提取模块的输出进行残差计算；当第二残差模块对应的语义特征提取模块是第一个语义特征提取模块时，则该第二残差模块对第一低分辨模块提取的空间信息进行残差计算。

所述第二低分辨率模块用于通过自注意力特征图像与残差特征提取语义特征得到语义特征图像。

所述空间特征提取模块与语义特征提取模块一一对应；

所述特征金字塔模块用于对最后一个语义信息提取模块提取的语义特征图像进行蛇形卷积处理得到多个卷积特征图像；

所述特征金字塔模块包括：

第一动态蛇形卷积，用于对语义特征图像进行蛇形卷积处理得到第一卷积特征图像；

第二动态蛇形卷积，用于对语义特征图像进行蛇形卷积处理得到第二卷积特征图像；

动态可分离卷积，用于对语义特征图像进行分离卷积得到第三卷积特征图像。

需要说明的是，考虑到宠物绳索具有细长、柔性特点，传统的卷积值变化依赖于网络最终的损失约束回传，这个变化过程是相对自由的，容易让模型丢失占比小的细小结构特征，即丢失细长、柔性结构。因此，本发明在模型中引入动态蛇形卷积核，从而引入连续性约束。每一个卷积位置都由其前一个位置作为基准，自由选择摆动方向，从而在自由选择的同时确保感受野的连续性。增强模型对细长连续特征的关注，进而增强模型对宠物牵引绳目标的检测能力。

融合模块（图2中的⊕），用于对多个卷积特征图像（第一卷积特征图像、第二卷积特征图像、第三卷积特征图像）与最后一个空间特征提取模块提取的空间特征图像进行融合得到融合特征图像；

分割头，用于对融合特征图像生成像素级别的类别标注，得到标注图像；

上采样层，用于对标注图像进行上采样；

分割图像层，用于分割上采样后的标注图像得到分割图像并输出；所述分割图像中的每个像素均分配有对应的类别标注。

本实施例中，在电梯轿厢内设置有边缘计算盒，所述目标网络模型部署在边缘计算盒内，所述边缘计算盒中还设置时序逻辑缓存器。时序逻辑缓存器用于缓存最近15帧的预测结果，数据存储采取先进先出的方式，当有新数据存入时，删除最早的数据。

边缘计算盒是一种具备计算能力的硬件设备，靠近数据源（电梯内置摄像头）进行数据处理，以减少数据传输延迟，实现实时分析。将模型部署到边缘计算盒意味着模型可以直接在电梯现场进行推理运算，无需依赖云端服务器，提高了响应速度和系统的实时性。

通过轿厢摄像头获取轿厢内外的实时画面，并实时输入目标网络模型，预测当前实时画面是否属于宠物牵引绳入梯事件，并保存预测结果（即是否存在宠物牵引绳）至时序逻辑缓存器内；

若当前实时画面属于宠物牵引绳入梯事件，则在预设时长（比如当前实时画面被预测为宠物牵引绳入梯事件开始至继续连续预测15帧所需要的时长）内持续判断时序逻辑缓存器内是否存在预设百分比（80%）的画面对应的预测结果均属于宠物牵引绳入梯事件，若是，则输出报警信号；所述时序逻辑缓存器中保存有预设帧（15帧）最新轿厢内外连续画面对应的预测结果。

本发明基于宠物牵引绳入梯事件的要素对宠物入梯图像集中的宠物入梯图像进行物体标注与事件标注，并进行预处理得到宠物入梯数据集；并通过宠物入梯数据集训练并测试深度学习网络模型得到目标网络模型；通过目标网络模型预测当前实时画面是否属于宠物牵引绳入梯事件，并保存预测结果；若当前实时画面属于宠物牵引绳入梯事件，则判断时序逻辑缓存器内是否存在预设百分比的画面对应的预测结果均属于宠物牵引绳入梯事件，若是，则输出报警信号；即本发明通过结合深度学习算法和语义分析技术，建立电梯摄像头图像与物体类别之间的精确映射模型，从而实现了在电梯运行过程中对宠物牵引绳等细长柔性物体的准确识别。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。