一种宠物种类识别方法及识别系统与流程

1.本发明属于图像识别技术领域，具体涉及一种宠物种类识别方法及识别系统。

背景技术：

2.随着深度学习技术的快速发展，其在多个方面都有广泛的应用，包括被用于图像的分类。传统的基于深度学习的图像多分类技术是一种粗粒度分类，即每个类之间的差别较大，如：人、花、自行车、猫、狗等。当需要对某个类内的各项子类进行识别时，就需要使用一种细粒度的分类方法。
3.现有的近似技术是一种通过判别关键域和深度学习对植物图像进行细粒度分类(cn201811556747.x)。其主要步骤为：获取图像样本数据；使用deeplab对原始图像进行语义分割，将分割出的待测目标的外接矩形框作为判别关键域；将判别关键域图像与原始图像混合形成分类训练数据集；使用googlenet的cnn分类模型来训练分类模型。
4.现有技术较少关注于宠物种类识别方面的特点，对数据集的扩展较为随机，针对性不强。同时深度学习网络也多采用宠物全身图片进行训练，即使使用了注意力机制，多数也是通过通用的弱监督方法来优化，这样的方法随机性较强，难以达到实际应用中的需求。

技术实现要素：

5.鉴于此，有必要针对现有技术存在的缺陷提供一种可提高宠物种类识别结果的准确率与适用性的宠物种类识别方法。
6.为解决上述问题，本发明采用下述技术方案：
7.本技术提供了一种宠物种类识别方法，包括下述步骤：
8.获取待识别宠物图片的位置信息，并根据所述位置信息对所述待识别宠物各部位的图片进行存储，所述待识别宠物各部位包括主体或头部或左眼或右眼或鼻子或嘴部或左耳或右耳；
9.根据所述位置信息得到关键点坐标，并根据所述关键点坐标构成宠物头部的关键点集合；
10.根据所述关键点坐标，与预设的宠物标准脸部坐标系进行对齐操作，使得宠物的头部头像变换至正面方向；
11.根据所述待识别宠物各部位的图片，按宠物种类分别存放，并进行扩充增广操作，得到数据集；
12.根据所述数据集，构建卷积神经网络模型并加以训练；
13.根据所述卷积神经网络模型训练的深度学习模型，对整张宠物图片进行种类识别。
14.在其中一些实施例中，在获取待识别宠物图片的位置信息，根据所述位置信息对所述待识别宠物各部位的图片进行存储的步骤中，具体包括下述步骤：
15.使用预先标注好的位置信息对目标检测模型加以训练；
16.使用目标检测模型对所述待识别宠物图片的所有图片进行目标检测，并对检测结果进行常规的阈值筛选和非极大值抑制操作，最终得到上述各部位的位置信息bounding boxes；
17.按照所有bounding boxes将原图分别裁切为各个部分，并且分别存储。
18.在其中一些实施例中，所述目标检测模型包括yolo v4模型、faster r
‑
cnn、ssd、yolo。
19.在其中一些实施例中，在针对每张所述待识别宠物各部位的图片的所述位置信息得到关键点坐标，并根据所述关键点坐标构成宠物头部的关键点集合的步骤中，具体包括下述步骤：
20.对于每个bounding box，即为目标框的中心点坐标(x,y)和宽w高h，得到所述目标框左边线中点坐标为((x
‑
w/2),y)，右边线中点坐标为((x+w/2),y)，上边线中点坐标为(x,(y
‑
h/2))，下边线中点坐标为(x,(y+h/2))；
21.根据每个bounding box的位置信息，得到各部位的关键点坐标集合。
22.在其中一些实施例中，在根据所述关键点坐标，与预设的宠物标准脸部坐标系进行对齐操作，使得宠物的头部头像变换至正面方向的步骤中，所述对齐的方法为仿射变换。
23.在其中一些实施例中，在根据所述待识别宠物各部位的图片，按宠物种类分别存放，并进行扩充增广操作，得到数据集的步骤中，具体包括：
24.随机选择若干图像序列，对其依次随机选择一个或多个部位图像进行替换；
25.使用数据增广方法对所述数据集进行进一步增广，所述数据增广方法包括随机明暗度、随机剪裁、随机旋转以及添加hog、lbp、gabor算法提取的特征。
26.在其中一些实施例中，在随机选择若干图像序列，对其依次随机选择一个或多个部位图像进行替换的步骤中，具体包括：
27.随机挑选同种类的图像序列，选取其相同部位图像，进行缩放和裁剪等操作后，并将该图像覆盖于随机挑选出来的某一张图片中的主图像相应部位，并且替换掉该随机挑选出来的图片中该部位图像。
28.在其中一些实施例中，在根据所述数据集，构建卷积神经网络模型并加以训练的步骤中，
29.所述卷积神经网络模型的骨网络选择inception v3，网络输入为统一尺寸后的各图像序列，骨网络通过多通道，分别对图像序列中的主图像以及眼部、鼻部、嘴部和耳部图像进行卷积、池化、dropout操作，最终得到n
×
m个向量的特征，其中n代表图像张数，m代表特征维度。
30.另外，本技术还提供了一种所述的宠物种类识别方法的识别系统，包括：
31.待识别宠物图片检测模块，用于获取待识别宠物图片的位置信息，并根据所述位置信息对所述待识别宠物各部位的图片进行存储，所述待识别宠物各部位包括主体或头部或左眼或右眼或鼻子或嘴部或左耳或右耳；
32.关键点集合构建模块，用于根据所述位置信息得到关键点坐标，并根据所述关键点坐标构成宠物头部的关键点集合；
33.宠物正脸图像获取模块，用于根据所述关键点坐标，与预设的宠物标准脸部坐标系进行对齐操作，使得宠物的头部头像变换至正面方向；
34.数据集构建模块，用于根据所述待识别宠物各部位的图片，按宠物种类分别存放，并进行扩充增广操作，得到数据集；
35.深度学习神经网络模型训练模块，用于根据所述数据集，构建卷积神经网络模型并加以训练；
36.宠物图片种类识别模块，用于根据所述卷积神经网络模型训练的深度学习模型，对整张宠物图片进行种类识别。
37.本技术采用上述技术方案具备下述效果：
38.本技术提供的宠物种类识别方法及系统，可根据宠物种类识别中的实际情况，通过合理增广方法，使得训练所使用的数据集更贴合使用场景时的拍摄方式(稍远距离拍摄全身，稍侧向近距离拍摄，正向近距离拍摄)，提升了识别准确率；同时针对宠物中混血较为常见的特点，在种类间进行关键部位图像替换的数据集扩增，避免了混血可能会导致局部部位的颜色、形状发生改变，进一步提升了识别准确率。
附图说明
39.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明实施例1提供的宠物种类识别方法的步骤流程图。
41.图2为本发明实施例1提供的宠物各部位的关键点坐标集合示意图
42.图3为本发明实施例1提供的识别示意图。
43.图4为本技术实施例2提供的所述的宠物种类识别系统的结构示意图。
具体实施方式
44.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
45.在本发明的描述中，需要理解的是，术语“上”、“下”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
46.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
47.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
48.实施例1
49.请参阅图1，为本技术提供的宠物种类识别方法的步骤流程图，包括下述步骤：
50.步骤s110：获取待识别宠物图片的位置信息，并根据所述位置信息对所述待识别宠物各部位的图片进行存储，所述待识别宠物各部位包括主体或头部或左眼或右眼或鼻子或嘴部或左耳或右耳。
51.可以理解，所述的待识别宠物图片收集可通过互联网搜集、公开数据集、照相机采集、视频逐帧抽取等形式收集整理完成。
52.在其中一些实施例中，在获取待识别宠物图片的位置信息，根据所述位置信息对所述待识别宠物各部位的图片进行存储的步骤中，具体包括下述步骤：
53.步骤s111：使用预先标注好的位置信息对目标检测模型加以训练。
54.具体地，所述目标检测模型可以为任一算法模型，包括yolo v4模型、faster r
‑
cnn、ssd、yolo等。
55.步骤s112：使用目标检测模型对所述待识别宠物图片的所有图片进行目标检测，并对检测结果进行常规的阈值筛选和非极大值抑制操作，最终得到上述各部位的位置信息bounding boxes。
56.步骤s113：按照所有bounding boxes将原图分别裁切为各个部分，并且分别存储。
57.步骤s120：根据所述位置信息得到关键点坐标，并根据所述关键点坐标构成宠物头部的关键点集合。
58.在其中一些实施例中，在根据所述位置信息得到关键点坐标，并根据所述关键点坐标构成宠物头部的关键点集合的步骤中，具体包括下述步骤：
59.步骤s121：对于每个bounding box，即为目标框的中心点坐标(x,y)和宽w高h，得到所述目标框左边线中点坐标为((x
‑
w/2),y)，右边线中点坐标为((x+w/2),y)，上边线中点坐标为(x,(y
‑
h/2))，下边线中点坐标为(x,(y+h/2))；
60.步骤s122：根据每个bounding box的位置信息，得到各部位的关键点坐标集合。
61.请参阅图2，为本实施例得到的各部位的关键点坐标集合示意图，实际中可以根据所需精度效果不同，完全可以增加或减少关键点的数量和位置。
62.步骤s130：根据所述关键点坐标，与预设的宠物标准脸部坐标系进行对齐操作，使得宠物的头部头像变换至正面方向。
63.在其中一些实施例中，在根据所述关键点坐标，与预设的宠物标准脸部坐标系进行对齐操作，使得宠物的头部头像变换至正面方向的步骤中，所述对齐的方法为仿射变换。
64.可以理解，在本实施例中，使用的对齐方法为仿射变换，它是一种二维坐标(x1,y1)到二维坐标(x2,y2)的线性变换：
[0065][0066]
与之对应的齐次坐标矩阵为：
[0067][0068]
以此类推，多组关键点坐标也能列出类似表达式和矩阵，解出相应矩阵值后，就可对原图像进行仿射变换，从而最终得到正脸图像。
[0069]
可以理解，将上述图像组成各组图像序列，每组序列由主图像和关键部位图像组
组成，主图像可以是：原图或宠物主体或头部图像或正脸头像，关键部位图像组由该张主图像中截取的左眼、右眼、鼻子、嘴部、左耳以及右耳部位的图像构成。
[0070]
步骤s140：根据所述待识别宠物各部位的图片，按宠物种类分别存放，并进行扩充增广操作，得到数据集。在其中一些实施例中，在根据所述待识别宠物各部位的图片，按宠物种类分别存放，并进行扩充增广操作，得到数据集的步骤中，具体包括：
[0071]
步骤s141：随机选择若干图像序列，对其依次随机选择一个或多个部位图像进行替换。
[0072]
具体地，替换方式为：随机挑选同种类的图像序列，选取其相同部位图像，进行缩放和裁剪等操作后，并将该图像覆盖于随机挑选出来的某一张图片中的主图像相应部位，并且替换掉该随机挑选出来的图片中该部位图像。
[0073]
步骤s142：使用数据增广方法对所述数据集进行进一步增广。
[0074]
具体地，所述数据增广方法包括随机明暗度、随机剪裁、随机旋转以及添加hog、lbp、gabor算法提取的特征。
[0075]
步骤s150：根据所述数据集，构建卷积神经网络模型并加以训练。
[0076]
具体地，所述卷积神经网络模型的骨网络选择inception v3，网络输入为统一尺寸后的各图像序列，骨网络通过多通道，分别对图像序列中的主图像以及眼部、鼻部、嘴部和耳部图像进行卷积、池化、dropout操作，最终得到n
×
m个向量的特征，其中n代表图像张数，m代表特征维度。
[0077]
进一步地，所述骨网络可为任一深度学习骨网络，如resnet、inception、vgg、mobilenet等。
[0078]
可以理解，特征维度较大不利于后续的实际应用，可以使用特征降维方法减少不重要的特征，如pca或lda等方法。
[0079]
在本实施例中，使用了更为灵活的动态方法来降低维度：即添加一个卷积层动态生成动态核，该动态核类似于带洞卷积，对于不同图片，从中截取得到不同长度的特征，保证最后拼接得到的总数不变，这样能在降低特征数量的情况下尽可能保证模型效果。
[0080]
进一步地，可以根据需要，还可以添加其他需要的模块，如：损失函数，全连接层、注意力机制模块等，完成模型的最后搭建。
[0081]
步骤s160：根据所述卷积神经网络模型训练的深度学习模型，对整张宠物图片进行种类识别。
[0082]
需要注意的是，在实际中选用各种的超参数，完成模型的训练，从多个模型中，通过在测试集上的测试找到最优的一个，作为后续使用的深度学习模型。
[0083]
可以理解，由于深度学习模型的改进，融合了不同尺度的原始图片，使得模型能关注到图片的各个有用信息，同时最后的动态降维步骤使得最后的特征复杂度不会明显增加，保证了深度学习模型的效率。
[0084]
上述宠物种类识别方法，在实际进行宠物种类识别时，先使用述的目标模型，对原始图片进行检测，如果图中没有检测出宠物主体，则停止识别。如果出现1个至多个宠物主体，则生成1个或多个宠物序列。序列如步骤s130描述所示，并可根据需要确定图像序列中的主图像为1张还是多张。将图像序列输入所述深度学习模型中，推理得到最终结果。若之前确定的图像序列中的主图像为多张，则需要运行多次模型推理，并且选取概率最大的一
个作为识别结果。
[0085]
请参阅图3，为本发明上述实施例提供的识别示意图。
[0086]
经过实验模拟，在不同的环境、拍摄角度和距离下，对于不同年龄的各种类犬只均有较好的识别效果，并且不易受到图片拍摄不全的影响。虽然所述识别结果示意图所展示的是犬只，但本发明提出的方法完全可以使用于各类宠物中，如猫、犬、鸟、鱼等。
[0087]
本技术提供的宠物种类识别方法，可根据宠物种类识别中的实际情况，通过合理增广方法，使得训练所使用的数据集更贴合使用场景时的拍摄方式(稍远距离拍摄全身，稍侧向近距离拍摄，正向近距离拍摄)，提升了识别准确率；同时针对宠物中混血较为常见的特点，在种类间进行关键部位图像替换的数据集扩增，避免了混血可能会导致局部部位的颜色、形状发生改变，进一步提升了识别准确率。
[0088]
实施例2
[0089]
请参阅图4，本技术还提供了一种所述的宠物种类识别方法的识别系统，包括：待识别宠物图片检测模块110，获取待识别宠物图片的位置信息，并根据所述位置信息对所述待识别宠物各部位的图片进行存储，所述待识别宠物各部位包括主体或头部或左眼或右眼或鼻子或嘴部或左耳或右耳；关键点集合构建模块120，用于根据所述位置信息得到关键点坐标，并根据所述关键点坐标构成宠物头部的关键点集合；宠物正脸图像获取模块130，用于根据所述关键点坐标，与预设的宠物标准脸部坐标系进行对齐操作，使得宠物的头部头像变换至正面方向；数据集构建模块140，用于根据所述待识别宠物各部位的图片，按宠物种类分别存放，并进行扩充增广操作，得到数据集；深度学习神经网络模型训练模块150，用于根据所述数据集，构建卷积神经网络模型并加以训练；宠物图片种类识别模块160，用于根据所述卷积神经网络模型训练的深度学习模型，对整张宠物图片进行种类识别。
[0090]
本实施例提供的宠物种类识别系统，其每个模块详细的工作方式在实施例1中已有详细描述，这里不再赘述。
[0091]
本技术提供的宠物种类识别系统，可根据宠物种类识别中的实际情况，通过合理增广方法，使得训练所使用的数据集更贴合使用场景时的拍摄方式(稍远距离拍摄全身，稍侧向近距离拍摄，正向近距离拍摄)，提升了识别准确率；同时针对宠物中混血较为常见的特点，在种类间进行关键部位图像替换的数据集扩增，避免了混血可能会导致局部部位的颜色、形状发生改变，进一步提升了识别准确率。
[0092]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

相关知识

一种宠物情绪识别方法及系统与流程
一种电梯内宠物识别方法和系统与流程
一种应用在服务机器人上的宠物叫声识别方法与系统与流程
一种宠物吠叫的识别方法及装置与流程
宠物运动状态的识别方法、系统、介质及电子设备与流程
一种基于神经网络的宠物声音识别方法及系统与流程
一种宠物情绪识别方法及装置与流程
宠物身份识别方法、装置、服务器及计算机可读存储介质与流程
一种宠物识别方法与流程
宠物情绪识别方法及装置与流程

网址: 一种宠物种类识别方法及识别系统与流程 https://www.mcbbbk.com/newsview1164412.html