一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法与流程

[0001]
本发明涉及图像检索、人工智能、深度学习技术领域，特别涉及一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法。

背景技术：

[0002]
目标跟踪是目标检测的后续，目标跟踪技术的主要目的是在多帧连续的图像中对某个特定个体进行识别并跟踪其运动轨迹。目前而言，目标跟踪在多个行业当中应用非常广泛，除了针对行人的跟踪，还包括对车辆等其它物体的跟踪。对于目标跟踪技术，跟踪目标的类别具有一定的普适性，而跟踪的准确程度和效率取决于跟踪过程中所采取的识别以及匹配措施，即如何保证能够在多帧图像中匹配出同一个目标并且刻画其运动轨迹。
[0003]
一般来讲，如果同一个目标能够在多帧图像序列中的每一帧出现，那么目标的识别和跟踪将会变的非常简单，只需将每一帧图像中的目标检测出来并且在各帧之间进行关联即可。但目标的跟踪往往受环境变化的影响，在跟踪的过程中，目标往往会因为光照变化或者受到遮挡而无法进行有效识别，此时跟踪算法所用到的跟踪器就需要通过目标消失前的若干帧图像来推测目标有可能存在的位置。另外，目标的跟踪依赖于对各帧图像中目标的匹配，最简单的匹配方式便是通过对目标的像素纹理特征进行分析并且比较各帧之间所检测到的目标的相似度，但这种匹配方式往往需要建立一定的相似度标准，即匹配结果到达何种程度才能够认为各帧图像中的目标是一样的。而这种匹配方式一旦面向多个目标的多帧匹配，将会产生大量的计算开销。
[0004]
与此同时，跟踪时对目标的特征检测精度也往往影响着跟踪过程的有效性，一个好的跟踪算法应保证目标的部分特征受到遮挡时仍然能够对目标进行一定的跟踪。针对上述有关现有的目标跟踪算法所存在的问题，本发明以社区场景下的宠物跟踪为例，提出了一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法。该方法对局部特征以矩形选区进行切割，使跟踪过程中的逐帧匹配精度更高，且能够在目标部分特征不可见时仍然能够对目标进行持续跟踪。为了克服以目标纹理值相似度计算为主的匹配方法的缺点，在跟踪过程中采用匈牙利指派算法对各帧之间同一目标整体以及对应的局部特征进行匹配，对于因环境变化或遮挡所导致的匹配失效帧(以下称异常帧)，采用卡尔曼滤波器根据异常帧前一帧的图像的位置信息对该异常帧中目标可能存在的位置进行预测并标定，从而对跟踪过程进行补正。另外，针对目标消失的问题，采用异常帧计数的方式来衡量，若目标的异常帧计数达到一定的阈值，则认为该目标以及超出摄像头视野之外。

技术实现要素：

[0005]
为了解决对目前的目标跟踪技术所存在的缺陷进行分析的问题，本发明的目的是提供一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法。该方法的主要应用场景是在社区复杂场景下对部分社区居民身边的宠物进行跟踪以记录其运动轨迹信息，
能够为居民宠物走失问题的解决提供信息帮助。
[0006]
为了解决上述技术问题，本发明的技术方案是：
[0007]
一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法，包括，还包括以下步骤：步骤1：搜集社区监控下的图像，对宠物个体进行标注，并且根据hog特征建立针对宠物个体的adaboost分类器；
[0008]
步骤2：对宠物的四肢、头部、躯干进行标注，分别对这三种部位根据hog特征建立针对局部特征的adaboost分类器；
[0009]
步骤3：将步骤1和步骤2的分类器相整合，组成针对于宠物个体的多层次adaboost分类器(multi-layer adaboost，以下称ml-adaboost)；
[0010]
步骤4：提取搜集自连续帧图像中的部分目标信息，将宠物个体及其局部特征在各帧图像中的位置信息按照前后次序不断地迭代至卡尔曼滤波器以对滤波器预测函数中的参数进行不断修正。建立好的卡尔曼滤波器能够根据当前帧的目标信息预测目标在下一帧有可能出现的位置；
[0011]
步骤5：开始对连续帧中的目标进行跟踪，使用ml-adaboost检测出宠物个体及其局部特征，将首帧出现的新目标加入跟踪列表；
[0012]
步骤6：对连续帧图像按顺序进行迭代，每次迭代选择两个前后相邻的图像，以匈牙利算法建立同一目标及其局部特征之间的跟踪关系。如果中间存在异常帧，则运用异常帧之前距离最近的匹配成功的帧为基准，使用卡尔曼滤波器预测目标有可能在异常帧中出现的位置，并且在异常帧与该帧之间建立联系；
[0013]
步骤7：对于新出现的连续帧，重复采取步骤4～6，不断更新卡尔曼滤波器以及跟踪信息，并且根据匹配失效帧计数判断宠物是否超出监控范围，以更新跟踪列表；
[0014]
进一步的，在所述步骤1中，以hog特征建立adaboost分类器的目的是因为hog特征在图像出现几何或光照变化的情况下仍然能够保证良好的不变性，以此为基础能够在社区复杂环境中有效地检测出宠物个体。
[0015]
优选地，在所述步骤2中，同样以hog特征为基准分别对宠物的头部，四肢，躯干建立adaboost分类器，并且在步骤3中将步骤1中针对于宠物个体的分类器和本步骤中针对宠物局部特征建立的分类器相组合构成ml-adaboost。ml-adaboost分类器首先对宠物个体进行检测，进而在宠物个体检测的结果之上对每个宠物的局部特征进行检测，建立ml-adaboost的目的是对宠物个体的局部特征进行有效识别，并且保证识别出的局部特征属于正确的宠物个体。
[0016]
优选地，在所述步骤4中，根据已有的连续帧图像中的宠物个体位置和局部特征位置的部分信息建立卡尔曼滤波器。卡尔曼滤波器的建立过程如下：针对选取的部分连续帧图像，从首帧开始进行迭代，在每一次迭代过程中通过当前帧的最优值对下一帧的最优值进行预测，并且在下一帧最优值的预测过程中，首先通过误差协方差矩阵计算状态变量的预测值，其次使用当前帧最优观测值及卡尔曼增益对该预测值进行校正，最终获得该变量的最优值。在宠物位置预测的过程中，跟踪对象定义为宠物个体及其局部特征，以宠物个体的检测框和局部特征检测框的中心作为跟踪点，分别建立相应的状态变量。状态变量的定义如下：(px(ki),py(ki),vx(ki),vy(ki))，每一维分别表示坐标和规定方向上的速度值。其中，k表示第k帧图像，而ki表示为该图像中所检测的宠物部位，i的取值为1～4，分别表示
宠物整体、头部、四肢、躯干，其中对于四肢部分，还应该将状态变量再次往下一级分为四个变量值，表示为(px(k3j),py(k3j),vx(k3j),vy(k3j))，以表示宠物的第j个肢体的状态。由于所涉及到的状态变量含有多个，且同属于同一帧下的同一宠物，故卡尔曼滤波器的训练以并行化的方式进行。最后所训练出的卡尔曼滤波器能够根据当前帧信息对宠物整体和局部特征进行位置预测。
[0017]
优选地，在所述步骤5、6中，目标跟踪的第一步是识别，根据所建立的ml-adaboost分类器对宠物个体以及对应局部特征进行识别。然后根据第一帧的识别结果，将识别出的宠物加入跟踪列表，设为d1＝{d1,d2,
…
,dm}，而针对每一个宠物对象d，有d＝{e1,e2,e31,e32,e33,e34,e4}，分别表示宠物的整体、头部、四肢(左前肢、右前肢、左后肢、右后肢)以及躯干的位置。通常来讲，帧与帧之间的宠物个体距离相对较短，因此不同帧之间的宠物匹配问题可以看作在第k帧的跟踪列表dk与第k+1帧的跟踪列表dk+1之间建立一对一的映射关系，并且使所有的成功匹配的映射关系的距离总和最小，每一个映射关系中的距离为其中的两个元素之间的距离。而邻帧跟踪方法将此问题转换成指派问题，对于指派问题，通常采用匈牙利算法求解。而宠物特征之间也存在位置对应关系，当宠物个体的映射关系被建立好之后，同样对每一个宠物个体，使用匈牙利算法令当前帧中的宠物局部特征同下一帧中相同宠物的局部特征相匹配。另外，跟踪过程中可能会存在跟踪失效的对象，针对此类对象则应用卡尔曼滤波器预测该对象在下一帧图像序列中的位置并更新，并对异常帧(即匹配不成功的帧)进行计数，若异常帧的帧数超过规定的阈值，则删除该对象(跟踪对象已经走出视频范围)。而阈值的选择比较重要，如果阈值过大则会造成同一目标的漏检，相反如果阈值过小则会造成暂时被遮挡的对象的复检，通常异常帧阈值需要通过不断地实验以调整。另外匹配不成功的对象也有可能是新出现的跟踪对象，这时会将该对象加入到跟踪列表中。相比于以前后帧识别对象的纹理特征相似度进行匹配的方法，以识别对象的位置为基准进行的匈牙利算法准确度和效率更高，而前者的匹配准确率取决于相似度标准的设置，且两个帧之间所有对象的纹理相似度匹配过程需要付出大量的时间代价，无法满足目标跟踪的实时性要求。
[0018]
采用上述技术方案，本发明提供的一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法，具有以下有益效果：相比于其它以单个特征为基础的跟踪算法，能够在部分特征被遮挡的情况下仍然能够对宠物个体进行大致方向上的跟踪，并且逐帧匹配过程中所使用到的匈牙利指派算法相比于按照纹理特征相似度进行匹配的方法更加迅速和精准。
附图说明
[0019]
图1为本发明所提出的宠物跟踪方法的总体流程图；
[0020]
图2为本发明多帧图像中对目标宠物建立跟踪的过程图；
[0021]
图3为本发明跟踪过程中每一次跨帧匹配的具体流程图。
具体实施方式
[0022]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0023]
如图1-3所示，本发明对宠物整体以及对应的局部特征进行跟踪，即使在部分特征遮挡的情况下仍然能够对宠物对象保持一定程度的跟踪，并且跟踪过程中运用匈牙利指派算法加速宠物对象及其局部特征的逐帧匹配过程：步骤1：搜集社区监控下的图像，对宠物个体进行标注，并且根据hog特征建立针对宠物个体的adaboost分类器。步骤2：对宠物的四肢、头部、躯干进行标注，分别对这三种部位根据hog特征建立针对局部特征的adaboost分类器。步骤3：将步骤1和步骤2的分类器相整合，组成针对于宠物个体的多层次adaboost分类器(multi-layer adaboost，以下称ml-adaboost)。步骤4：提取搜集自连续帧图像中的部分目标信息，将宠物个体及其局部特征在各帧图像中的位置信息按照前后次序不断地迭代至卡尔曼滤波器以对滤波器预测函数中的参数进行不断修正。建立好的卡尔曼滤波器能够根据当前帧的目标信息预测目标在下一帧有可能出现的位置。步骤5：开始对连续帧中的目标进行跟踪，使用ml-adaboost检测出宠物个体及其局部特征，将首帧出现的新目标加入跟踪列表。
[0024]
步骤6：对连续帧图像按顺序进行迭代，每次迭代选择两个前后相邻的图像，以匈牙利算法建立同一目标及其局部特征之间的跟踪关系。如果中间存在异常帧，则运用异常帧之前距离最近的匹配成功的帧为基准，使用卡尔曼滤波器预测目标有可能在异常帧中出现的位置，并且在异常帧与该帧之间建立联系。步骤7：对于新出现的连续帧，重复采取步骤4～6，不断更新卡尔曼滤波器以及跟踪信息，并且根据匹配失效帧计数判断宠物是否超出监控范围，以更新跟踪列表。
[0025]
可以理解的，本发明以宠物个体和hog特征为基础建立adaboost宠物分类器，同时以宠物的局部特征为基础建立adaboost局部特征分类器。hog特征在图像出现几何或光照变化的情况下仍然能够保证良好的不变性，因此在本发明中用于分类器的构造，使分类器能够在社区复杂环境下仍然能够对宠物对象及其局部特征进行识别。并且本发明将针对于宠物个体的分类器和针对宠物局部特征建立的分类器相组合构成ml-adaboost。ml-adaboost分类器首先对宠物个体进行检测，进而在宠物个体检测的结果之上对每个宠物的局部特征进行检测，建立ml-adaboost的目的是对宠物个体的局部特征进行有效识别，并且保证识别出的局部特征属于正确的宠物个体。
[0026]
可以理解的，本发明针对匹配失效的目标，使用卡尔曼滤波器对该对象在下一帧可能处于的位置进行预测。对于因环境变化或遮挡所导致的匹配失效帧(以下称异常帧)，采用卡尔曼滤波器根据异常帧前一帧的图像的位置信息对该异常帧中目标可能存在的位置进行预测并标定，从而对跟踪过程进行补正。卡尔曼滤波器根据已有的连续帧图像中的宠物个体位置和局部特征位置的部分信息进行建立，且建立过程概括如下：针对选取的部分连续帧图像，从首帧开始进行迭代，在每一次迭代过程中通过当前帧的最优值(对象以及局部特征的预测位置或者已经标定的位置)对下一帧的最优值(对象以及局部特征有可能出现的位置)进行预测，并且在下一帧最优值的预测过程中，首先通过误差协方差矩阵计算宠物对象及其局部特征的位置的预测值，其次使用当前帧最优观测值及卡尔曼增益对该预测值进行校正，最终获得该变量的最优值。
[0027]
可以理解的，本发明将跟踪过程中的逐帧匹配问题转化为指派问题，并且利用匈
牙利算法进行求解。通常来讲，帧与帧之间的宠物个体距离相对较短，因此不同帧之间的宠物匹配问题可以看作在第k帧的跟踪列表dk与第k+1帧的跟踪列表dk+1之间建立一对一的映射关系，并且使所有的成功匹配的映射关系的距离总和最小，每一个映射关系中的距离为其中的两个元素之间的距离。而邻帧跟踪方法将此问题转换成指派问题，对于指派问题，通常采用匈牙利算法求解。该方法相比于以纹理特征相似度为基准的逐帧匹配方法，实时性和准确性更高，因为前者的方法依赖于相似度衡量标准的设置，并且需要两两进行比较，计算复杂度相对较高，而后者运用单帧内相同对象相对位移距离较小的特点，以位置为基础进行逐帧匹配，能够规避纹理特征分析的不可靠性所带来的误跟踪的影响。
[0028]
可以理解的，本发明在跟踪的过程中，首先使用ml-adaboost分类器先后对每帧图像中的所有宠物个体及其局部特征进行识别。然后对于相邻两帧之间的对象使用匈牙利算法进行匹配，以提高匹配的实时性和准确率。对于匹配失效的对象，使用卡尔曼滤波器对其可能存在的位置进行补正，以便对暂时处于遮挡或不可视状态的对象进行持续跟踪。另外，针对每一个跟踪对象设置了匹配失效帧计数，该计数在匹配失效的情况下增加，且在对象重新被匹配的情况下减半，若计数超过一定阈值则认为对象已经离开监控范围。另外，阈值的设定需要经过多次实验进行调整，如果阈值过大则会造成同一目标的漏检，相反如果阈值过小则会造成暂时被遮挡的对象的复检。
[0029]
本发明针对社区场景下的宠物跟踪问题，特别提出了基于局部特征识别和邻帧匹配的宠物跟踪方法。该方法与以往的跟踪算法相比，同时针对宠物个体及其局部特征建立跟踪机制，能够在目标的部分特征受到遮挡的情况下仍然能够进行一定的跟踪。另外，为了使逐帧之间的目标匹配实时性和准确度更高，本发明采用匈牙利算法将逐帧之间的匹配问题转化为目标位置的指派问题，相比于以纹理特征相似度进行匹配的方法更加可靠。并且针对匹配失效的问题，使用卡尔曼滤波对目标在异常帧中可能存在的位置进行补正。本发明所提出的宠物跟踪方法，旨在记录宠物的运动轨迹，以对社区居民宠物走失问题提供信息帮助。
[0030]
图1为本发明所提出的宠物跟踪方法的运作原理。首先以宠物个体及其头部、躯干、四肢部分分别建立针对宠物个体和局部特征的adaboost分类器，并且根据整体-局部的顺序组成ml-adaboost分类器。根据建立好的ml-adaboost分类器，跟踪算法能够在每一帧图像中准确地识别出宠物个体及其对应的局部特征。针对已得到识别并标记的连续帧图像，从前之后逐帧建立目标匹配关系，目标匹配关系包括宠物个体的匹配关系以及局部特征之间的匹配关系。两帧之间的匹配方式采用了匈牙利算法，将目标位置对应的问题转化为指派问题并求解。如果存在匹配失效的目标，则使用建立好的卡尔曼滤波预测其在该帧可能出现的位置，并且增加匹配失效计数，如果失效计数超越设定的阈值，则认为该目标已经离开了监控视野。另外，对于新出现的目标，将之重新加入跟踪列表进行实时跟踪。
[0031]
卡尔曼滤波器是一种递归式滤波器，该算法模型的核心思想是通过当前帧的最优值对下一帧的最优值进行预测，并且在下一帧最优值的预测过程中，首先通过误差协方差矩阵计算状态变量的预测值，其次使用当前帧最优观测值及卡尔曼增益对该预测值进行校正，最终获得该变量的最优值。针对本方法的应用场景，对宠物目标的状态变量进行了重新定义。(px(ki),py(ki),vx(ki),vy(ki))，每一维分别表示坐标和规定方向上的速度值。其中，k表示第k帧图像，而ki表示为该图像中所检测的宠物部位，i的取值为1～4，分别表示宠
物整体、头部、四肢、躯干，其中对于四肢部分，还应该将状态变量再次往下一级分为四个变量值，表示为(px(k3j),py(k3j),vx(k3j),vy(k3j))，以表示宠物的第j个肢体的状态。由于所涉及到的状态变量含有多个，且同属于同一帧下的同一宠物，故卡尔曼滤波器的训练以并行化的方式进行。最后所训练出的卡尔曼滤波器能够根据当前帧信息对宠物整体和局部特征进行位置预测。卡尔曼滤波器的训练过程如下：
[0032]
首先对模型进行初始化，设协方差矩阵q和r，以及a、h为单位矩阵，并且假定uk为方差为1的高斯白噪声。状态变量的初始值为宠物检测部分的标定坐标值，且x轴和y轴的速度为0；然后按照卡尔曼滤波器的公式计算状态变量和误差协方差，两个值的计算基于uk、上一帧图像的最优观测值和修正后的误差协方差；根据计算出的新一帧的状态变量和误差协方差计算卡尔曼增益值，卡尔曼增益值的作用主要是调整观测值(图像实际识别位置)与预测值(上一步计算出的状态变量)之间的误差对预测所造成的影响，最优观测值根据卡尔曼增益值和预测值来计算，并且误差协方差也根据卡尔曼增益值和上一步计算的误差协方差进行修正，所得到的两个值即为卡尔曼增益所预测的最终结果(即最优观测值和修正后的误差协方差)，而这两个值将用来计算下一帧图像的预测值与误差。
[0033]
图2为对连续帧图像中的目标宠物建立跟踪的过程。目标跟踪的第一步是识别，根据所建立的ml-adaboost分类器对宠物个体以及对应局部特征进行识别。然后根据第一帧的识别结果，将识别出的宠物加入跟踪列表，设为d1＝{d1,d2,
…
,dm}，而针对每一个宠物对象d，有d＝{e1,e2,e31,e32,e33,e34,e4}，分别表示宠物的整体、头部、四肢(左前肢、右前肢、左后肢、右后肢)以及躯干的位置。假设当前帧的宠物个体集合为dk，而下一个待匹配的帧的宠物个体集合为dk+1，并且将每一个宠物匹配失效的帧数设为fi，那么跟踪算法的过程可概括如下(图3中也给出了跟踪过程的说明)：
[0034]
1、对给定的连续帧图像，对所有图像使用ml-adaboost分类器对宠物进行识别并标注，对每一帧的图像，将所标注的宠物对象及其局部特征分别记录至对应的跟踪集合d中，其中dk表示第k帧图像中有可能存在的对象。然后从首帧图像开始进行迭代匹配
[0035]
2、对于当前帧的图像，若图像并非最后一帧，则取当前帧的宠物对象集合dk和下一帧的宠物对象集合dk+1，并且在两个集合之间使用匈牙利算法建立一对一的映射关系，满足映射关系总距离最小。如果有新加入的帧，则再次使用ml-adaboost分类器对宠物进行识别并标注。另外，若图像为最后一帧，则结束跟踪。
[0036]
3、判断两个集合中的匹配对象剩余情况(即匹配失效的对象)。若dk中存在匹配失效的对象，则该对象的fi加一，如果该对象的fi超过阈值则认为该对象已经超过监控范围，并且删除该对象，否则使用卡尔曼滤波预测该对象在下一帧中有可能存在的位置，并且更新到dk+1中。若dk+1中存在匹配失效的对象，则该对象被认为是新出现的对象，将该对象保留到下一帧，并且设置该对象对应的fi初始值为0。另外，对于匹配成功的对象，如果该对象在dk中为卡尔曼滤波预测的结果，则fi减半，表示匹配失效的对象再次出现在摄像头下并匹配成功。
[0037]
4、转到下一帧，dk+1作为当前帧的对象集合dk，并且回到第二步。
[0038]
综上，本发明所提出的方法完成对连续帧图像中的宠物对象以及局部特征的跟踪。相较于以纹理特征相似度为基础的匹配跟踪方式，本发明提出的社区复杂场景下针对宠物的跟踪方法同时考虑到了对目标整体和局部特征的逐帧匹配，且能够在宠物的部分特
征受到遮挡的情况下持续对其进行相对有效的跟踪。另外，该方法使用匈牙利算法以目标位置为基础进行逐帧匹配，同时提高了效率及准确率。对于在遮挡或者光照异常环境中匹配失效的特征部分，采用卡尔曼滤波对匹配失效的特征所处位置进行预测，卡尔曼滤波的作用主要是对异常帧中的宠物位置进行补全，以便跟踪算法能够将连续帧的图像中的宠物轨迹相关联。
[0039]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

相关知识

一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法与流程
一种宠物行为检测监控系统及方法与流程
基于视觉的宠物撕咬行为识别方法、装置、设备及介质与流程
一种公共场所中的异常宠物行为的检测方法、装置及系统与流程
基于计算机视觉的野生动物识别跟踪与行为检测系统,方法,设备及存储介质
一种野生鸟类生态识别监测方法与流程
一种基于图像的宠物行为检测方法与流程
一种宠物行为识别方法、装置和可读存储介质与流程
一种基于行为分析的宠物高效管控方法及系统与流程
一种基于家居客厅场景下宠物智能监控管理系统及方法

网址: 一种社区监控场景下基于局部特征识别和邻帧匹配的宠物跟踪方法与流程 https://www.mcbbbk.com/newsview1267171.html