首页分享基于视频深度学习的电梯内宠物单独乘梯的检测方法与流程

基于视频深度学习的电梯内宠物单独乘梯的检测方法与流程

来源：萌宠菠菠乐园时间：2025-05-04 21:18

本发明涉及电梯监控技术，尤其是一种基于视频深度学习的电梯内宠物单独乘梯的检测方法。

背景技术：

伴随着国家经济的快速发展以及城镇化进程的不断加快，我国电梯配有量也在快速提升。日新月异的城市更新以及基建工程的建设助推中国电梯制造业步入高速发展阶段。来自中国电梯工业协会的数据显示我国的电梯保有量从2009年的137.0万台上升至2019年的709.75万台左右，近十年复合增长率达到16.13％。2019年，全国共发生特种设备事故和相关事故130起，死亡119人，受伤49人。其中，涉及的电梯事故33起，死亡29人。因此，电梯安全问题应该引起极大的重视。另据《2019年中国宠物行业白皮书》(消费报告)显示，2019年我国城镇宠物犬猫数量达到9915万只，其中宠物犬数量为5503万只，宠物猫数量为4412万只。鉴于如此庞大的宠物饲养量，各地出台的文明乘梯规范中，也增加了对宠物乘梯的条例，对饲养人提出比较严格的要求规范。但由于宠物数量庞大，不可避免的会发生宠物单独进入电梯或被单独留置在电梯内的事件，当宠物单独进入电梯时，在电梯下次开门的时候，突然出现的宠物往往会惊扰他人，并且由于电梯内部空间狭小，一旦宠物在电梯内发生不安全的行为，也难以有效制止，因此宠物单独乘梯存在一定的安全隐患，而避免宠物单独进入电梯便可以消除上述不安因素，目前，现有的针对宠物单独乘梯的检测方法就是单纯依靠人工监控，但是电梯安保人员会出现注意力分散的情况，不可能做到全天24小时无休止的工作，而且依靠人工监控，费时费力，也很难及时发现宠物单独进入电梯。

鉴于此提出本发明。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于视频深度学习的电梯内宠物单独乘梯的检测方法，可以及时发现单独进入电梯或留置在电梯内的宠物，以提醒工作人员及时处理，防止意外事件发生。

为了实现该目的，本发明采用如下技术方案：

一种基于视频深度学习的电梯内宠物单独乘梯的检测方法，包括以下步骤：

步骤一、获取包含各种宠物的图片，并建立图片集；

步骤二、利用图片集训练深度学习网络模型，并在模型收敛后完成训练；

步骤三、获取电梯内部摄像头视频流数据；

步骤四、从视频流数据中提取所需的视频帧图像，并对图像进行预处理；

步骤五、根据预处理后的图像，判断电梯门的开关状态，若电梯门为打开状态，则返回步骤四提取下一帧图像，若电梯门为关闭状态，则执行下一步骤；

步骤六、将提取的视频帧图像输入训练后的深度学习网络模型，识别出图像中是否包含宠物和乘客，并根据识别结果执行以下操作：

若图像中包含宠物且不包含乘客，则发出警报信息，并打开电梯门；否则不发出报警信息，并返回步骤四提取下一帧图像。

进一步，所述步骤四中，对图片进行预处理的过程为：

a1、对提取的视频帧图像求取梯度信息；

a2、对得到的梯度图像使用自适应二值化算法处理，得到二值化图像；

a3、对二值化图像进行形态学膨胀算法处理。

进一步，所述步骤四中，

提取的视频帧图像包括背景图像和待检测图像，所述背景图像为人工选取的电梯门处于关闭状态下的图像，所述待检测图像为按照一定时间间隔自动从视频流数据中提取的图像；

所述步骤五中，判断电梯门开关状态的过程为：

b1、将背景图像和待检测图像做模板匹配操作，得出匹配度系数；

b2、判断匹配度系数是否大于设定阈值，如果大于阈值，则判定电梯门处于关闭状态，否则为打开状态。

进一步，所述步骤五中，在对背景图像和待检测图像做模板匹配操作之前，先对背景图像和待检测图像进行裁切，并选取电梯门上变化明显的区域进行模板匹配操作。

进一步，所述步骤六中，在将视频帧图像输入深度学习网络模型之前，先对图像进行裁切，保留合适的区域作为目标待检区域，然后对图像进行分辨率调整，并缩小图像分辨率，之后将调整之后的图像输入深度学习网络模型。

进一步，在步骤六中，对图像进行裁切时，以电梯地面为基准，向上延伸一定距离后进行裁切，并将裁切后保留电梯地面的部分图像作为目标待检区域。

进一步，所述的深度学习网络模型为mobilenet-ssd深度网络学习模型。

进一步，所述步骤二中的训练利用了tensorflowmodels中objectdetectionapi进行训练，并先得到ckpt格式的参数模型，然后将训练得到的ckpt参数模型转换为opencv可使用的pb文件，并从pb文件中导出其对应的网络模型pbtxt文件，完成训练。

进一步，所述步骤六中，发出警报信息的方式为，向特定移动终端发送提示短信，或在监控设备室内，发出声光报警。

进一步，所述步骤三至步骤五相对步骤一和/或步骤二独立执行，且步骤一和步骤二应在执行步骤六之前完成。

采用本发明所述的技术方案后，带来以下有益效果：

本发明用于对电梯内部宠物进行检测，如果电梯内出现有宠物且没有人员的情况，能够及时发出警报信息，提醒安保人员对该电梯内宠物进行处理。本发明可以做到不间断实时检测、且检测精度高，不需要人工耗费过多的精力参与，只需及时处理程序发出的警报信息，这样可以极大地节省人力成本，提高电梯安保人员工作效率，而且有效避免了宠物单独乘梯而引发的安全隐患，保障了电梯的安全运行。

附图说明

图1：本发明的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细的描述。

如图1所示，一种基于视频深度学习的电梯内宠物单独乘梯的检测方法，包括以下步骤：

步骤一、获取包含各种宠物的图片集，或者通过电梯摄像头拍摄进入电梯内的各种宠物图片，并建立图片集；

步骤二、将图片集输入深度学习网络进行训练，并获得训练后的深度学习网络模型；

步骤三、实时获取电梯内部摄像头视频流数据；

步骤四、提取所需的视频帧图像，并对图像进行预处理；

步骤六、将提取的视频帧图像输入训练后的深度学习网络模型，识别出图像中是否包含宠物和乘客，并根据识别结果执行以下操作：

若图像中包含宠物且不包含乘客，则发出警报信息，并打开电梯门；否则不发出报警信息，并返回步骤四提取下一帧图像。

针对上述步骤，下文将进行更加详细描述。

具体地，所述步骤四中，对图片进行预处理的过程为：

a1、对提取的视频帧图像求取梯度信息，以降低电梯中光照的变化所带来的图像明暗的影响；

a2、对得到的梯度图像使用自适应二值化算法(otsu)处理，得到二值化图像；

a3、对二值化图像进行形态学膨胀算法处理，主要包括开操作，去除离散点，消除小的干扰块。

进一步，在步骤四中，提取的视频帧图像包括背景图像和待检测图像，所述背景图像为人工选取的电梯门处于关闭状态下的图像，所述背景图像选定后，即可一直使用，一般不需要再提取或更换。所述待检测图像为按照一定时间间隔从视频流数据中提取的图像，如可以设置0.5秒为一间隔，这样可以降低数据量，同时又不影响检测结果。

所述背景图像和待检测图像进过预处理之后，即可用于电梯门状态的判断。

具体地，在步骤五中，判断电梯门开关状态的过程为：

b1、将背景图像和待检测图像做模板匹配操作，得出匹配度系数；

b2、判断匹配度系数是否大于设定阈值，如果大于阈值，则判定电梯门处于关闭状态，否则为打开状态，如匹配度大于90％，则可以判断电梯门为关闭状态，匹配度小于或等于90％，则判断电梯门为打开状态。

优选地，在步骤五中，在对背景图像和待检测图像做模板匹配操作之前，先对背景图像和待检测图像进行裁切，并选取电梯门上变化明显的区域进行模板匹配操作，如可以截取电梯门边缘位置的图像进行模板匹配。

所述步骤六中，在将视频帧图像输入深度学习网络模型之前，先对图像进行裁切，保留合适的区域作为目标待检区域，如可以以电梯地面为基准，向上延伸一定距离进行裁切，以裁切后保留电梯地面的部分图像作为目标待检区域，然后对图像进行分辨率调整，并缩小图像分辨率，优选地，图像分辨率可以调整为300×300像素，之后将调整之后的图像输入深度学习网络模型进行识别。

优选地，所述的深度学习网络模型为mobilenet-ssd深度网络学习模型。所述步骤二中的训练利用了tensorflowmodels中objectdetectionapi进行训练，并先得到ckpt格式的参数模型，然后将训练得到的ckpt参数模型转换为opencv可使用的pb文件，并从pb文件中导出其对应的网络模型pbtxt文件，完成训练。所述深度学习网络模型的训练方法有多种，本实施例中仅给出了其中一种训练方法，但对于本领域技术人员而言，其他训练方法亦可以在本发明中使用，以达到本发明想要达到的技术效果。

所述步骤一中的获取包含各种宠物的图片，可以直接调用现有的宠物图片集，或者通过摄像头抓拍各种宠物进入电梯后的照片，并汇总成图片集，或者按照一定比例选取图库中的宠物图片和电梯摄像头抓拍的宠物在电梯内的照片共同汇总成图片集。

优选地，所述步骤六中，发出警报信息的方式为，向特定移动终端发送提示短信，或在监控设备室内，发出声光报警。

有短笛，所述步骤三至步骤五相对步骤一和/或步骤二独立执行，且步骤一和步骤二应在执行步骤六之前完成。

以上所述为本发明的实施方式，应当指出，对于本领域的普通技术人员而言，在不脱离本发明原理前提下，还可以做出多种变形和改进，这也应该视为本发明的保护范围。