首页分享基于机器视觉的宠物狗远程监护系统

基于机器视觉的宠物狗远程监护系统

来源：萌宠菠菠乐园时间：2024-08-14 21:18

基于机器视觉的宠物狗远程监护系统

【摘要】： 随着人均GDP增长,人们的生活、消费水平大大提升,越来越多的家庭选择饲养宠物,宠物在家庭中的角色也由“陪伴”转变为“孩子”,消费模式趋近母婴市场。针对大多上班族面临着不能进行宠物监护以及陪伴的苦恼,本文主要设计一款基于机器视觉的嵌入式远程宠物狗监护系统,具有一定的实用价值。论文设计的宠物狗远程监护系统,系统硬件包含服务端处理器Jetson TX2、外接USB摄像头、USB扩音器和自主设计的客户端APP,其中服务端首先获取视频流并预处理,然后利用深度学习中的目标检测、行为识别分类技术识别宠物狗的行为,并将状态信息发送到客户端APP,当识别到异常狂躁等状态时进行实时震动提醒,主人可通过APP打开视频实时浏览并确认宠物狗当前状态,做出语音提醒、安抚等措施,解决了主人实时了解宠物状态、与宠物交互交流、远程看护家里宠物等现实问题。具体的研究工作为:1、利用Python语言实现双线性插值算法和双三次Ferguson曲面插值算法的图像缩放对比实验,验证了双三次Ferguson曲面插值算法的优良缩放效果,并在宠物狗视频帧图像预处理中得到应用,利于保留宠物狗行为信息的细节,为行为特征提取做铺垫;2、考虑到便于在嵌入式服务端实现实时的视频流处理,在宠物狗检测神经网络中,研究了通道剪枝和层剪枝的模型优化技术,对Pytorch实现的YOLOV3网络进行了轻量化训练,剪枝后模型为3.6MB,模型参数压缩了98%,在保证检测精度的前提下,推理时间减少到原来的一半;3、采用轻量化网络Shuffle Net V2对宠物狗的坐、站、躺、狂躁、吃等五种行为进行识别,结合目标检测网络实现“宠物狗检测+行为识别”的轻量化网络设计,达到89.5%的准确率。识别结果通过Socket机制发送到客户端APP;4、自主设计实现了宠物狗监护APP安卓客户端功能模块,根据系统功能设计要求,完成了整个手机APP客户端的视频实时浏览、语音播放控制、宠物狗行为实时存储以及与宠物狗互动等功能;5、在Jetson TX2平台上实现了嵌入式宠物狗远程监护系统的功能,以嵌入式硬件TX2作为服务端进行宠物狗行为分析处理。其中实时视频流的采集通过TX2外接USB摄像头实现,视频流的传输通过基于IP地址的视频流服务器MJPG-streamer实现。采用花生壳映射的方式使得外网APP与连接内网的服务器进行实时数据通信,从而完成实际测试验证。实验测试结果表明,系统完成了宠物狗监护的预期功能,且提出的轻量化行为识别模型在TX2端能够在保证89.5%的行为识别准确率的同时达到25fps的处理帧率,实现了对宠物狗的远程监护及实时行为识别。

【学位授予单位】：贵州大学
【学位级别】：硕士
【学位授予年份】：2020

1234187246572142592