一种聚类方法、系统、控制装置及可读存储介质与流程

1.本发明涉及聚类技术领域，具体提供一种聚类方法、系统、控制装置及可读存储介质。


背景技术：

2.聚类是将物理或抽象对象的集合分成由类似的对象组成的多个类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。在安防监控、跨境追踪、辅助标注、同行人检索等场景中通常会采用人脸人体聚类的方法。人脸人体聚类是指对无标注的人脸人体数据进行分类，使得属于同一人的人脸人体数据尽可能在同一类，不同人的数据在不同类。
3.目前，人脸人体聚类大多采用的是根据人脸特征信息和人体特征信息对无标注的人脸人体数据进行分类。然而，受到光线、角度、距离等环境因素影响，相机抓拍的人脸人体数据中往往包含大量低质量的图片，这些低质量的图片难以聚类，且极大的降低了聚类效果。
4.相应地，本领域需要一种新的聚类方案来解决上述问题。


技术实现要素：

5.为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何有效的聚类包含低质量图片的数据的技术问题的一种聚类方法。
6.在第一方面，本发明提供一种聚类方法，所述方法包括：
7.获取待聚类目标的向量特征信息和时空轨迹信息；
8.根据所述向量特征信息和时空轨迹信息，得到待聚类组中两个待聚类目标的相似度；
9.根据所述两个待聚类目标的相似度，得到聚类结果。
10.在一个实施例中，所述向量特征信息包括人脸特征信息和人体特征信息，所述时空轨迹信息包括所述待聚类目标的轨迹中的多个时间信息和与所述时间信息对应的空间位置信息。
11.在一个实施例中，所述方法还包括：
12.通过图像获取装置得到多个待聚类目标的人脸人体数据；
13.根据同一待聚类目标的多个人脸人体数据，得到所述待聚类目标的向量特征信息和时空轨迹信息；
14.根据所述时空轨迹特征信息和向量特征信息，得到时空待聚类组；
15.根据所述向量特征信息，得到特征待聚类组。
16.在一个实施例中，所述方法还包括：：
17.通过特征检索算法，得到所述待聚类目标的人体特征向量的近邻特征向量集，其中，所述近邻特征向量集中的近邻特征向量为其它待聚类目标的人体特征向量；
18.遍历所述人体特征向量，得到每个待聚类目标的人体特征向量对应的近邻特征向量集。
19.在一个实施例中，所述根据所述时空轨迹特征信息和向量特征信息，得到时空待聚类组，包括：
20.根据预设时间间隔对任意两个待聚类目标组成的组合进行筛选，得到第一时空待聚类组；
21.若所述第一时空待聚类组中两个待聚类目标的轨迹时间重叠，则根据预设距离阈值筛选得到第二时空待聚类组；
22.若所述第一时空待聚类组中两个待聚类目标的轨迹时间不重叠，则根据预设速度阈值筛选得到第二时空待聚类组。
23.在一个实施例中，所述根据所述时空轨迹特征信息和向量特征信息，得到时空待聚类组，还包括：
24.根据所述向量特征信息，判断所述第二时空待聚类组中两个待聚类目标是否为互为近邻特征向量；
25.若否，则去除所述第二时空待聚类组；
26.若是，则保留所述两个待聚类目标，得到时空待聚类组。
27.在一个实施例中，所述根据所述向量特征信息，得到特征待聚类组，包括：
28.根据所述人体特征向量和其对应的近邻特征向量集，通过prim算法得到所述特征待聚类组。
29.在一个实施例中，所述根据预设时间间隔阈值对任意两个待聚类目标组成的组合进行筛选，得到第一时空待聚类组，包括：
30.判断所述两个待聚类目标的轨迹时间间隔是否小于预设时间间隔阈值；
31.若小于，则保留所述两个待聚类目标，得到所述第一时空待聚类组；
32.若不小于，则去除所述两个待聚类目标组成的组合。
33.在一个实施例中，所述若所述第一时空待聚类组中两个待聚类目标的轨迹时间重叠，则根据预设距离阈值筛选得到时空待聚类组，包括：
34.判断所述两个待聚类目标的时间重叠部分的轨迹平均距离是否大于预设距离阈值；
35.若大于，则去除所述第一时空待聚类组；
36.若不大于，则保留所述两个待聚类目标，得到第二时空待聚类组。
37.在一个实施例中，所述若所述第一时空待聚类组中两个待聚类目标的轨迹时间不重叠，则根据预设速度阈值筛选得到时空待聚类组，包括：
38.根据时间发生顺序，判断所述第一时空待聚类组中一个待聚类目标由当前轨迹转换为另一个待聚类目标轨迹所需速度是否大于预设速度阈值；
39.若大于，则去除所述第一时空待聚类组；
40.若不大于，则保留所述两个待聚类目标，得到第二时空待聚类组。
41.在一个实施例中，所述根据所述向量特征信息和时空轨迹信息，得到待聚类组中两个待聚类目标的相似度，包括：
42.根据所述人脸特征信息，得到所述两个待聚类目标的人脸特征相似度；
43.根据所述人体特征信息，得到所述两个待聚类目标的人体特征相似度；
44.根据所述时空轨迹信息，得到所述两个待聚类目标的时空轨迹相似度；
45.根据所述人脸特征相似度、人体特征相似度和时空轨迹相似度，得到所述待聚类组中两个待聚类目标的相似度。
46.在一个实施例中，所述根据所述人脸特征信息，得到所述两个待聚类目标的人脸特征相似度，包括：
47.根据所述两个待聚类目标各自所属簇的平均人脸特征信息，得到所述两个待聚类目标的人脸特征相似度。
48.在一个实施例中，根据所述人体特征信息，得到所述两个待聚类目标的人体特征相似度，包括：
49.根据所述两个待聚类目标各自所属簇的人体特征信息，得到所述两个待聚类目标的人脸特征相似度。
50.在一个实施例中，根据所述时空轨迹信息，得到所述两个待聚类目标的时空轨迹相似度，包括：
51.从所述两个待聚类目标各自所属簇中分别任选一个时空轨迹信息进行组合，得到第一信息对；
52.遍历所述两个待聚类目标各自所属簇，得到由多个所述第一信息对组成的第一集合；
53.遍历所述第一集合，根据时空轨迹信息筛选出轨迹时间间隔小于预设时间间隔阈值的第一信息对，得到第二集合；
54.根据所述第二集合中第一信息对的两个轨迹时间是否重叠，得到对应的初始相似度；
55.遍历第二集合，得到第二集合中多个第一信息对的多个初始相似度；
56.根据所述多个初始相似度得到所述第二集合的平均相似度，其中，所述平均相似度为所述两个待聚类目标的时空轨迹相似度。
57.在一个实施例中，所述根据所述第二集合中第一信息对的两个轨迹时间是否重叠，得到对应的初始相似度，包括：
58.判断所述第二集合中第一信息对的两个轨迹时间是否重叠；
59.若重叠，则初始相似度计算公式为
[0060][0061]
其中，表示两个轨迹重叠的平均距离；
[0062]
若不重叠，则初始相似度计算公式为
[0063][0064]
其中，表示两个轨迹相隔的平均距离，d
error
为预设距离阈值，v表示预设速度阈值，itv
ij
为两个待聚类目标的轨迹时间的时间间隔。
[0065]
在一个实施例中，所述根据所述两个待聚类目标的相似度，得到聚类结果，包括：
[0066]
判断所述相似度是否大于预设相似度阈值；
[0067]
若大于，则所述两个待聚类目标为同一个目标，更新所述两个待聚类目标标签；
[0068]
若不大于，则所述两个待聚类目标不是同一个目标。
[0069]
在第二方面，本发明提供一种聚类系统，包括：
[0070]
预处理模块，将所述人脸人体数据转化为所述向量特征信息和所述时空轨迹信息；
[0071]
特征待聚类组生成模块，根据所述向量特征信息，得到特征待聚类组；
[0072]
时空待聚类组生成模块，根据所述时空轨迹特征信息和向量特征信息，得到时空待聚类组；
[0073]
聚类预测模块，计算所述特征待聚类组和所述时空待聚类组中两个待聚类目标的相似度；
[0074]
结果输出模块，根据所述相似度得到聚类结果并输出。
[0075]
在第三方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述聚类方法的技术方案中任一项技术方案所述的方法。
[0076]
在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述聚类方法的技术方案中任一项技术方案所述的方法。
[0077]
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0078]
在实施本发明的技术方案中，通过在聚类判定加入时空轨迹作为判定依据，通过利用低质量的图像内部的时空轨迹信息，使得其能够参与聚类，增加了图像的利用率，并且提高了聚类效果。在判定时根据相似度进行判定。同时改变原有单一图像之间的对比，以轨迹的形式即数据组的形式进行判定，减少了图像一一对比的计算量，能够更加高效快速的完成聚类。
[0079]
进一步的，为了解决盲区不符合时空局部性的问题，根据向量特征信息生成特征待聚类组，补充了处于盲区的数据空白。根据人脸、人体、时空三个维度进一步判定，提高聚类的正确性，多维度考量保证了在后续连接过程中，不符合时空局部性的簇依旧不会被聚到一起，从而保证了聚类效果的提升。
附图说明
[0080]
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
[0081]
图1是根据本发明的一个实施例的聚类方法的主要步骤流程示意图；
[0082]
图2是根据本发明的一个实施例的向量特征信息和时空轨迹信息得到待聚类组方法的主要步骤流程示意图；
[0083]
图3是根据本发明的一个实施例的得到人体特征向量的近邻特征向量集方法的主要步骤流程示意图；
[0084]
图4是根据本发明的一个实施例的根据所述时空轨迹特征信息和向量特征信息得
到时空待聚类组方法的主要步骤流程示意图；
[0085]
图5是根据本发明的一个实施例的根据预设时间间隔阈值进行筛选得到第一时空待聚类组方法的主要步骤流程示意图；
[0086]
图6是根据本发明的一个实施例的根据预设距离阈值筛选得到第二时空待聚类组方法的主要步骤流程示意图
[0087]
图7是根据本发明的一个实施例的根据预设速度阈值筛选得到第二时空待聚类组方法的主要步骤流程示意图；
[0088]
图8是根据本发明的一个实施例的根据向量特征信息和时空轨迹信息得到待聚类组中两个待聚类目标的相似度方法的主要步骤流程示意图；
[0089]
图9是根据本发明的一个实施例的计算时空轨迹相似度方法的主要步骤流程示意图；
[0090]
图10是根据本发明的一个实施例的根据两个待聚类目标的相似度得到聚类结果方法的主要步骤流程示意图；
[0091]
图11是根据本发明的一个实施例的聚类系统的主要结构框图示意图。
具体实施方式
[0092]
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
[0093]
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“a和/或b”表示所有可能的a与b的组合，比如只是a、只是b或者a和b。术语“至少一个a或b”或者“a和b中的至少一个”含义与“a和/或b”类似，可以包括只是a、只是b或者a和b。单数形式的术语“一个”、“这个”也可以包含复数形式。
[0094]
这里先解释本发明涉及到的一些术语。
[0095]
k近邻检索：是指在特征底库中检索出与查询特征最相似的k条特征。
[0096]
最大生成树：是指一颗连通每个结点且边权总和最大的树。
[0097]
连通图：是指一个任意两结点都是连通的图。
[0098]
参阅附图1，图1是根据本发明的一个实施例的一种聚类方法的主要步骤流程示意图。主要包括下列步骤s10-步骤s30：
[0099]
s10，获取待聚类目标的向量特征信息和时空轨迹信息。
[0100]
在本实施例中，对于待聚类目标，除了获取其基本的向量特征信息外，还需要获取待聚类目标的时空轨迹信息。传统的人脸人体聚类多数根据向量特征信息对两个待聚类目标是否为同一类做出判断。对于一些图像质量较差的图像，由此提取的向量特征信息难以实现两个对待聚类目标是否为同一目标的判断，为此在保留原有向量特征信息参考的基础上，增加待聚类目标的时空轨迹信息参考。
[0101]
在一个实施例中，如图2所示，所述方法还包括步骤s01-步骤s04：
[0102]
s01，通过图像获取装置得到多个待聚类目标的人脸人体数据；
[0103]
在本实施例中，图像获取装置大都采用摄像头或相机等。在此以相机抓捕获为例做进一步说明。通过相机捕获的视频，从视频中获取多个待聚类目标的人脸人体数据。
[0104]
s02，根据同一待聚类目标的多个人脸人体数据，得到所述待聚类目标的向量特征信息和时空轨迹信息。
[0105]
在本实施例中，将相机获取的人脸人体数据转化为聚类所需的数据格式。获取视频不同帧的图像，对图像中待聚类目标的人脸和人体分别进行识别框定。通过人体跟踪技术对在同一相机下不同帧图像的连续出现的待聚类目标进行关联，形成图像数据链。即一条图像数据链对应一个待聚类目标。
[0106]
在一个具体实施例中，所述向量特征信息包括人脸特征信息和人体特征信息，所述时空轨迹信息包括所述待聚类目标的轨迹中的多个时间信息和与所述时间信息对应的空间位置信息。
[0107]
在此基础上，对于步骤s02中得到所述待聚类目标的向量特征信息和时空轨迹信息具体包括得到待聚类目标的人脸特征信息、人体特征信息和待聚类目标轨迹中多个时间信息以及时间信息对应的空间位置信息，其中空间信息即为待聚类目标的三维坐标信息。
[0108]
进一步的，由于图像数据链中人脸、人体均属于同一个人，对于同一个人，只需要一个人脸特征信息和一个人体特征信息。从图像数据链中选取一张图像，通过人脸特征提取技术得到待聚类目标的人脸特征信息。同样，从图像数据链中再次选取一张图像，通过人体特征提取技术得到待聚类目标的人体特征信息。其中，图像的选取标准包括但不限于图像清晰度，脸部或身体暴露比例。
[0109]
进一步，将场景三维立体图与场景内的相机位置进行结合标定，同时将相机参数作为数据参考，以实现能够计算得到出现在相机摄像范围内的目标的三维坐标，即相机标定算法。其中，相机参数包括但不限于相机角度、焦距、矫正参数。通过对图像中人体的识别标注得到人体框的坐标，根据人体框坐标，通过相机标定算法得到图像中待聚类目标的三维坐标。具体的，例如在商场中，能够得到待聚类目标处于商场的具体方位以及所处高度即楼层高度。图像数据链中的图像均带有相机获取图像对应的时间信息。为此可以得到图像中待聚类目标的时间信息以及时间信息对应的空间位置信息。
[0110]
在此基础上，为了便于描述，将一个待聚类目标得到的数据信息总和记为track，每个track包含若干稠密数据以及稀疏数据，以下设给定track的第i条稠密数据包含时间戳tsi,人体框(xi,yi,wi,hi)，人体三维坐标(xi,yi)，给定track的稀疏数据包含人脸特征信息即人脸特征向量f以及人体特征信息即人体特征向量b。将获取的所有人脸人体数据转换为聚类所需格式，即得到n个track。
[0111]
在一个实施例中，如图3所示，所述方法还包括步骤s11-步骤s12
[0112]
s11，通过特征检索算法，得到所述待聚类目标的人体特征向量的近邻特征向量集，其中，所述近邻特征向量集中的近邻特征向量为其它待聚类目标的人体特征向量。
[0113]
在本实施例中，通过特征检索算法(即k近邻检索)获取给定数据即待聚类目标的人体特征向量的近邻特征向量，多个近邻特征向量形成近邻特征向量集。在一个图像中人体比人脸的出现比例高出很多，同时人脸相比较而言较为难抓拍，为此，采用人体特征向量
进行特征检索使得能够增加图像的利用率，使得一些人脸出现遮挡，但是人体数据很清晰的图像得到充分利用，进一步提高聚类的效果。
[0114]
具体的，将得到的track放进一个集合，得到由n个track组成的集合。根据track中的人体特征向量，得到由人体特征向量构成的集合b＝{b1,b2,...,bn}。对于任意人体特征向量bi∈b，以bi为查询向量，bi＝b-bi为底库向量，即去除bi的剩余人体特征向量。计算查询向量与底库向量之间的内积，取内积分最大的k个结果即可获得bi的k近邻，即得到人体特征向量bi的近邻特征向量集。其中，特征检索算法包括但不限于暴力检索、ivfpq检索方法、hash检索方法。
[0115]
s12，遍历所有所述人体特征向量，得到每个待聚类目标的人体特征向量对应的近邻特征向量集。
[0116]
在本实施例中，由于得到了多个待聚类目标，即会有多个待聚类目标对应的人体特征向量。为此，遍历所有人体特征向量，得到每个人体特征向量对应的近邻特征向量集。
[0117]
具体的，遍历b中的所有人体特征向量，得到每个人体特征向量对应的近邻特征向量集，对得到的多个集合进行整合，在此采用矩阵的形式，即得到人体特征向量的k近邻矩阵sn×k。
[0118]
进一步的，为了便于理解，将待聚类目标在连通图的基础上进行描述，即将待聚类组中的两个待聚类目标视为待连接节点，两个待连接节点的连接关系则称为边。两个待连接节点关系建立后，需要对边是否能够成立进行判断，即两个待聚类目标是否为可以聚为一类，如果能够成立(两个待聚类目标为一类)，则两个待连接节点能建立连接即边能够生成；如果不能成立(则两个待聚类目标不是同一类)则两个待连接节点不能建立连接边不能生成。
[0119]
s03，根据所述时空轨迹特征信息和向量特征信息，得到时空待聚类组。
[0120]
在一个实施例中，如图4所示，所述根据所述时空轨迹特征信息和向量特征信息，得到时空待聚类组，包括步骤s031-步骤s033：
[0121]
s031，根据预设时间间隔对任意两个待聚类目标组成的组合进行筛选，得到第一时空待聚类组。
[0122]
在本实施例中，首先对于需要两两组队的待聚类目标通过预设时间间隔进行初步筛选。时空轨迹特征信息中包含有待聚类目标的轨迹存续时间，两段轨迹的时间间隔越短越可能是同一个人。
[0123]
在一个具体实施例中，如图5所示，所述根据预设时间间隔阈值对任意两个待聚类目标组成的组合进行筛选，得到第一时空待聚类组，包括步骤s0311-步骤s0313：
[0124]
s0311，判断所述两个待聚类目标的轨迹时间间隔是否小于预设时间间隔阈值；
[0125]
s0312，若小于，则保留所述两个待聚类目标，得到所述第一时空待聚类组；
[0126]
s0313，若不小于，则去除所述两个待聚类目标组成的组合。
[0127]
具体的，对于track集合t＝{t1,t2,...,tn}，记ti的起始时间戳为begi，结束时间戳为endi，选取任意的ti和tj，记时间间隔itv
ij
＝max(begi,begj)-min(endi,endj)。遍历集合t，获取符合itv
ij
＜tw的track对集合tp＝{(ti,tj)|itv
ij
＜tw,ti∈t,tj∈t,i≠j}，其中tw为预设时间间隔阈值即用户给定的时间窗口，用于限制时间范围。
[0128]
s032，若所述第一时空待聚类组中两个待聚类目标的轨迹时间重叠，则根据预设
距离阈值筛选得到第二时空待聚类组。
[0129]
在本实施例中，对于两段轨迹时间间隔小于预设时间间隔阈值，存在两种情况，一种是两段轨迹时间重叠，另一种是两段轨迹时间不重叠。对于存在轨迹时间重叠的两个待聚类目标，根据预设的距离阈值，对第一时空待聚类组进行进一步的筛选。
[0130]
在一个具体实施例中，如图6所示，所述若所述第一时空待聚类组中两个待聚类目标的轨迹时间重叠，则根据预设距离阈值筛选得到第二时空待聚类组，包括步骤s0321-步骤s0323：
[0131]
s0321，判断所述两个待聚类目标的时间重叠部分的轨迹平均距离是否大于预设距离阈值；
[0132]
s0322，若大于，则去除所述第一时空待聚类组；
[0133]
s0323，若不大于，则保留所述两个待聚类目标，得到第二时空待聚类组。
[0134]
具体的，遍历集合tp，对于给定的两个待聚类目标即track对(ti,tj)，若itv
ij
＜0，则该track对的时间范围存在重叠，计算重叠部分的平均距离。在此对于平均距离采用欧式距离在计算，即采用公式其中i
ij
为ti和tj稠密数据在重叠部分的索引(每个数据对应的序号)对构成的集合，若则从tp中删除(ti,tj)，其中d
error
为预设距离阈值即用户给定的误差距离。
[0135]
s033，若所述第一时空待聚类组中两个待聚类目标的轨迹时间不重叠，则根据预设速度阈值筛选得到第二时空待聚类组。
[0136]
在本实施例中，两个待聚类目标的轨迹时间不存在重叠，则意味着两个轨迹时间中间存在时间间隔，即待聚类目标从一个时间轨迹转化为另个时间轨迹需要时间，同时也会有一个限制量为移动速度。
[0137]
在一个具体实施例中，如图7所示，所述若所述第一时空待聚类组中两个待聚类目标的轨迹时间不重叠，则根据预设速度阈值筛选得到第二时空待聚类组，包括步骤s0331-步骤s0333：
[0138]
s0331，根据时间发生顺序，判断所述第一时空待聚类组中一个待聚类目标由当前轨迹转换为另一个待聚类目标轨迹所需速度是否大于预设速度阈值；
[0139]
s0332，若大于，则去除所述第一时空待聚类组；
[0140]
s0333，若不大于，则保留所述两个待聚类目标，得到第二时空待聚类组。
[0141]
具体的，若两个待聚类目标即该track对的时间范围不存在重叠，计算track对结尾部分的距离，即依照时间发生顺序，先发生的轨迹结束位置与后发生的轨迹起始位置，采用公式计算，其中假设begi＜begj且-1表示ti稠密数据的最后一个索引，若则从tp中删除(ti,tj)，其中v为预设速度阈值即用户给定的常规速度。其中速度阈值的具体设定可以根据场景进行灵活的调整，例如在商场逛街时候大多采用常规步行速度；对于地铁站等存在交通工具的场景下，预设速度阈值的设定需要参考交通工具的行驶速度。
[0142]
在一个实施例中，如图4所示，所述根据所述时空轨迹特征信息和向量特征信息，
得到时空待聚类组，所述方法还包括步骤s034-步骤s036：
[0143]
s034，根据所述向量特征信息，判断所述第二时空待聚类组中两个待聚类目标是否为互为近邻特征向量；
[0144]
s035，若否，则去除所述第二时空待聚类组；
[0145]
s036，若是，则保留所述两个待聚类目标，得到时空待聚类组。
[0146]
在本实施例中，通过时空轨迹特征信息对任意两个待聚类目标组合进行筛选后，根据向量特征信息在此进行筛选，此时的两个待聚类目标组合既有时空轨迹数据的限制，同时也有向量特征信息的限制。
[0147]
具体的，若两个待聚类目标即track对未被上述步骤删除，则在k近邻矩阵中查找该track对是否为k近邻，若未找到则在tp中删除(ti,tj)。最后，经过时空轨迹信息和向量特征信息筛选得到的时空待聚类组，其中两个待聚类目标之间建立连接关系为时空边，若判定连接(ti,tj)的时空边通过，则ti和tj属于同一目标。
[0148]
s04，根据所述向量特征信息，得到特征待聚类组。
[0149]
在一个实施例中，所述根据所述向量特征信息，得到特征待聚类组，包括步骤s041：
[0150]
s041，根据所述人体特征向量和其对应的近邻特征向量集，通过prim算法得到所述特征待聚类组。
[0151]
在本实施例中，除了时空待聚类组，还有根据向量特征信息得到特征待聚类组，主要用于处理目标长时间处于盲区导致无法生成时空边的情况。最大生成树可以用kruskal(克鲁斯卡尔)算法或prim(普里姆)算法求出。在此采用prim算法，prim算法是一种以尽量少的搜索在较大空间中找到最优解的算法，按加入的边的权值排序的方法采用贪心的思想，每一步都对当前的权值最大的边做出选择，并把它加入最大生成树中，最后选取到的边构成了一颗最大生成树。
[0152]
具体的，遍历人体特征向量的k近邻矩阵sn×k，构造图g＝(t,s)，其中点集为track构成的集合，边集为k近邻矩阵构成的集合，通过prime算法得到特征待聚类组，特征待聚类组中两个待聚类目标由人体特征向量建立的连接关系成为最大生成树，即图g的最大生成树ep。对特征待聚类组中两个待聚类目标是否能够聚类的判断，即为对最大生成树ep提供的边集是否能够成立的判断。通过人体特征向量得到的特征待聚类组，为此将最大生成树ep提供的边称为特征边。判定特征边通过，则特征边两端的节点(特征待聚类组中两个待聚类目标)属于同一目标。
[0153]
s20，根据所述向量特征信息和时空轨迹信息，得到待聚类组中两个待聚类目标的相似度。
[0154]
在本实施例中，待聚类组包括时空待聚类组和特征待聚类组。即需要进行相似度计算对边进行判定的边包括时空边和特征边，即上述步骤获得的边集为e＝tp∪ep，对边进行判定，判定通过则合并(连接)track。
[0155]
在一个实施例中，如图8所示，所述根据所述向量特征信息和时空轨迹信息，得到待聚类组中两个待聚类目标的相似度，包括步骤s21-步骤s24：
[0156]
s21，根据所述人脸特征信息，得到所述两个待聚类目标的人脸特征相似度。
[0157]
进一步的，根据所述两个待聚类目标各自所属簇的平均人脸特征信息，得到所述
两个待聚类目标的人脸特征相似度。
[0158]
具体的，人脸相似度计算方式为：其中为ti所属簇(连通图)的人脸平均特征，为tj所属簇的人脸平均特征。对于一个未知或者初始的ti，其所述簇只有它自己，在不断的连接节点形成边的过程中，簇逐渐扩大，为此平均特征在每次成功合并节点后进行更新，计算公式为其中设c为ti所属簇的track构成的集合，为更新后的平均特征。
[0159]
s22，根据所述人体特征信息，得到所述两个待聚类目标的人体特征相似度。
[0160]
进一步的，根据所述两个待聚类目标各自所属簇的人体特征信息，得到所述两个待聚类目标的人脸特征相似度。
[0161]
具体的，与人脸相似度计算方式相似，采用的公式为其中，为ti所属簇的人体平均特征，为tj所属簇的人体平均特征。人体平均特征在每次成功合并节点后进行更新，更新公式与人脸更新公式相同，在此不再赘述。
[0162]
s23，根据所述时空轨迹信息，得到所述两个待聚类目标的时空轨迹相似度。
[0163]
在一个具体实施例中，如图9所示，步骤s23包括步骤s231-步骤s236
[0164]
s231，从所述两个待聚类目标各自所属簇中分别任选一个时空轨迹信息进行组合，得到第一信息对；
[0165]
s232，遍历所述两个待聚类目标各自所属簇，得到由多个所述第一信息对组成的第一集合；
[0166]
s233，遍历所述第一集合，根据时空轨迹信息筛选出轨迹时间间隔小于预设时间间隔阈值的第一信息对，得到第二集合；
[0167]
s234，根据所述第二集合中第一信息对的两个轨迹时间是否重叠，得到对应的初始相似度；
[0168]
s235，遍历第二集合，得到第二集合中多个第一信息对的多个初始相似度；
[0169]
s236，根据所述多个初始相似度得到所述第二集合的平均相似度，其中，所述平均相似度为所述两个待聚类目标的时空轨迹相似度。
[0170]
在本实施例中，为了判断两个待聚类目标ti和tj是否属于同一个目标，不能仅仅只计算两个待聚类目标的相似度，还应该增加待聚类目标所属簇的参考。在两个待聚类目标判断还与其所属簇有关，例如在上述人脸特征相似度和人体特征相似度计算中，以其所属簇的平均特征为计依据。同理在时空轨迹相似度计算中，同样要加入所属簇中其它数据作为参考。
[0171]
进一步的，分别从两个待聚类目标所属簇中各自任选一个并组合，形成第一集合。与上述步骤中时间间隔阈值筛选相似，对组合进行初步的筛选得到第二集合。根据第二集合计算得到每组合的相似度即初始相似度，根据初始相似度，计算得到平均相似度作为两个待聚类目标的时空轨迹相似度。
[0172]
具体的，记ti所属簇的track构成集合ti，tj所属簇的track构成集合tj，遍历titj构成的track对集合，从中获取符合条件的集合tp
ij
＝{(tm,tn)|itv
mn
＜tw,tm∈ti,tn∈tj}。
[0173]
在一个实施例中，所述根据所述第二集合中第一信息对的两个轨迹时间是否重叠，得到对应的初始相似度，包括步骤s2341-步骤s2343：
[0174]
s2341，判断所述第二集合中第一信息对的两个轨迹时间是否重叠；
[0175]
s2342，若重叠，则初始相似度计算公式为
[0176][0177]
其中，表示两个轨迹重叠的平均距离；
[0178]
s2343，若不重叠，则初始相似度计算公式为
[0179][0180]
其中，表示两个轨迹相隔的平均距离，d
error
为预设距离阈值，v表示预设速度阈值，itv
ij
为两个待聚类目标的轨迹时间的时间间隔。
[0181]
具体的，遍历集合tp
ij
，判断集合中信息对的时间轨迹是否重叠，若track对时间重叠则记若track对时间非重叠则记平均时空分记为
[0182]
s24，根据所述人脸特征相似度、人体特征相似度和时空轨迹相似度，得到所述待聚类组中两个待聚类目标的相似度。
[0183]
在本实施例中，对于给定的任意(ti,tj)，分别计算人脸相似度、人体相似度以及时空相似度，并根据人脸相似度、人体相似度以及时空相似度计算待聚类组中两个待聚类目标的相似度。即两个待聚类目标边的总和得分为s＝wfsf+wbsb+w
st
st，其中wf,wb,w
st
分别为人脸权重、人体权重以及时空权重。权重的选择设置可以根据不同的场景，以及图像的具体的情况做出灵活的调整。
[0184]
s30，根据所述两个待聚类目标的相似度，得到聚类结果。
[0185]
在一个实施例中，如图10所示，步骤s30包括步骤s31-步骤s33
[0186]
s31，判断所述相似度是否大于预设相似度阈值；
[0187]
s32，若大于，则所述两个待聚类目标为同一个目标，更新所述两个待聚类目标标签；
[0188]
s33，若不大于，则所述两个待聚类目标不是同一个目标。
[0189]
具体的，s与给定的相似度阈值进行比较，若大于给定阈值则判定通过，连接该边。属于同一连通图内的结点为同一类。边连接后更新平均人脸特征和平均人体特征。
[0190]
遍历经过上述后得到的图，获取所有的连通子图，属于同一个连通子图的所有track即为同一目标，该连通子图内所有track的人脸、人体抓拍照拥有相同标签，输出标签结果。
[0191]
在实施本发明的技术方案中，通过在聚类判定加入时空轨迹作为判定依据，通过
利用低质量的图像内部的时空轨迹信息，使得其能够参与聚类，增加了获取的图像的利用率，并且提高了聚类效果。在判定时根据相似度进行判定。同时改变原有单一图像之间的对比，以轨迹的形式即数据组的形式进行判定，减少了图像一一对比的计算量，能够更加高效快速的完成聚类。
[0192]
进一步的，为了解决盲区不符合时空局部性的问题，根据向量特征信息生成特征待聚类组，补充了处于盲区的数据空白。根据人脸、人体、时空三个维度进一步判定，提高聚类的正确性，多维度考量保证了在后续连接过程中，不符合时空局部性的簇依旧不会被聚到一起，从而保证了聚类效果的提升。
[0193]
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
[0194]
进一步，本发明还提供了一种聚类系统。
[0195]
参阅附图11，图11是根据本发明的一个实施例的聚类系统的主要结构框图。主要包括预处理模块111、特征待聚类组生成模块112、时空待聚类组生成模块113、聚类预测模块114和结果输出模块115。预处理模块111将所述人脸人体数据转化为所述向量特征信息和所述时空轨迹信息；特征待聚类组生成模块112根据所述向量特征信息，得到特征待聚类组；时空待聚类组生成模块113根据所述时空轨迹特征信息和向量特征信息，得到时空待聚类组；聚类预测模块114计算所述特征待聚类组和所述时空待聚类组中两个待聚类目标的相似度；结果输出模块115根据所述相似度得到聚类结果并输出。在一些实施例中，预处理模块111、特征待聚类组生成模块112、时空待聚类组生成模块113、聚类预测模块114和结果输出模块115中的一个或多个可以合并在一起成为一个模块。具体实现功能的描述可以参见上述步骤所述。
[0196]
上述聚类系统以用于上述聚类方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，聚类系统的具体工作过程及有关说明，可以参考上述方法的实施例所描述的内容，此处不再赘述。
[0197]
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
[0198]
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的聚类
方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
[0199]
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的聚类方法的程序，该程序可以由处理器加载并运行以实现上述方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
[0200]
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
[0201]
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
[0202]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

技术特征：
1.一种聚类方法，其特征在于，所述方法包括：获取待聚类目标的向量特征信息和时空轨迹信息；根据所述向量特征信息和时空轨迹信息，得到待聚类组中两个待聚类目标的相似度；根据所述两个待聚类目标的相似度，得到聚类结果。2.根据权利要求1所述方法，其特征在于，所述向量特征信息包括人脸特征信息和人体特征信息，所述时空轨迹信息包括所述待聚类目标的轨迹中的多个时间信息和与所述时间信息对应的空间位置信息。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过图像获取装置得到多个待聚类目标的人脸人体数据；根据同一待聚类目标的多个人脸人体数据，得到所述待聚类目标的向量特征信息和时空轨迹信息；根据所述时空轨迹特征信息和向量特征信息，得到时空待聚类组；根据所述向量特征信息，得到特征待聚类组。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：：通过特征检索算法，得到所述待聚类目标的人体特征向量的近邻特征向量集，其中，所述近邻特征向量集中的近邻特征向量为其它待聚类目标的人体特征向量；遍历所述人体特征向量，得到每个待聚类目标的人体特征向量对应的近邻特征向量集。5.根据权利要求3所述的方法，其特征在于，所述根据所述时空轨迹特征信息和向量特征信息，得到时空待聚类组，包括：根据预设时间间隔对任意两个待聚类目标组成的组合进行筛选，得到第一时空待聚类组；若所述第一时空待聚类组中两个待聚类目标的轨迹时间重叠，则根据预设距离阈值筛选得到第二时空待聚类组；若所述第一时空待聚类组中两个待聚类目标的轨迹时间不重叠，则根据预设速度阈值筛选得到第二时空待聚类组。6.根据权利要求5所述的方法，其特征在于，所述根据所述时空轨迹特征信息和向量特征信息，得到时空待聚类组，还包括：根据所述向量特征信息，判断所述第二时空待聚类组中两个待聚类目标是否为互为近邻特征向量；若否，则去除所述第二时空待聚类组；若是，则保留所述两个待聚类目标，得到时空待聚类组。7.根据权利要求2所述的方法，其特征在于，所述根据所述向量特征信息，得到特征待聚类组，包括：根据所述人体特征向量和其对应的近邻特征向量集，通过prim算法得到所述特征待聚类组。8.根据权利要求5所述的方法，其特征在于，所述根据预设时间间隔阈值对任意两个待聚类目标组成的组合进行筛选，得到第一时空待聚类组，包括：判断所述两个待聚类目标的轨迹时间间隔是否小于预设时间间隔阈值；
若小于，则保留所述两个待聚类目标，得到所述第一时空待聚类组；若不小于，则去除所述两个待聚类目标组成的组合。9.根据权利要求5所述的方法，其特征在于，所述若所述第一时空待聚类组中两个待聚类目标的轨迹时间重叠，则根据预设距离阈值筛选得到时空待聚类组，包括：判断所述两个待聚类目标的时间重叠部分的轨迹平均距离是否大于预设距离阈值；若大于，则去除所述第一时空待聚类组；若不大于，则保留所述两个待聚类目标，得到第二时空待聚类组。10.根据权利要求5所述的方法，其特征在于，所述若所述第一时空待聚类组中两个待聚类目标的轨迹时间不重叠，则根据预设速度阈值筛选得到时空待聚类组，包括：根据时间发生顺序，判断所述第一时空待聚类组中一个待聚类目标由当前轨迹转换为另一个待聚类目标轨迹所需速度是否大于预设速度阈值；若大于，则去除所述第一时空待聚类组；若不大于，则保留所述两个待聚类目标，得到第二时空待聚类组。11.根据权利要求2所述方法，其特征在于，所述根据所述向量特征信息和时空轨迹信息，得到待聚类组中两个待聚类目标的相似度，包括：根据所述人脸特征信息，得到所述两个待聚类目标的人脸特征相似度；根据所述人体特征信息，得到所述两个待聚类目标的人体特征相似度；根据所述时空轨迹信息，得到所述两个待聚类目标的时空轨迹相似度；根据所述人脸特征相似度、人体特征相似度和时空轨迹相似度，得到所述待聚类组中两个待聚类目标的相似度。12.根据权利要求11所述的方法，其特征在于，所述根据所述人脸特征信息，得到所述两个待聚类目标的人脸特征相似度，包括：根据所述两个待聚类目标各自所属簇的平均人脸特征信息，得到所述两个待聚类目标的人脸特征相似度。13.根据权利要求11所述的方法，其特征在于，根据所述人体特征信息，得到所述两个待聚类目标的人体特征相似度，包括：根据所述两个待聚类目标各自所属簇的人体特征信息，得到所述两个待聚类目标的人脸特征相似度。14.根据权利要求11所述的方法，其特征在于，根据所述时空轨迹信息，得到所述两个待聚类目标的时空轨迹相似度，包括：从所述两个待聚类目标各自所属簇中分别任选一个时空轨迹信息进行组合，得到第一信息对；遍历所述两个待聚类目标各自所属簇，得到由多个所述第一信息对组成的第一集合；遍历所述第一集合，根据时空轨迹信息筛选出轨迹时间间隔小于预设时间间隔阈值的第一信息对，得到第二集合；根据所述第二集合中第一信息对的两个轨迹时间是否重叠，得到对应的初始相似度；遍历第二集合，得到第二集合中多个第一信息对的多个初始相似度；根据所述多个初始相似度得到所述第二集合的平均相似度，其中，所述平均相似度为所述两个待聚类目标的时空轨迹相似度。
15.根据权利要求14所述的方法，其特征在于，所述根据所述第二集合中第一信息对的两个轨迹时间是否重叠，得到对应的初始相似度，包括：判断所述第二集合中第一信息对的两个轨迹时间是否重叠；若重叠，则初始相似度计算公式为其中，表示两个轨迹重叠的平均距离；若不重叠，则初始相似度计算公式为其中，表示两个轨迹相隔的平均距离，d
error
为预设距离阈值，v表示预设速度阈值，itv
ij
为两个待聚类目标的轨迹时间的时间间隔。16.根据权利要求1所述的方法，其特征在于，所述根据所述两个待聚类目标的相似度，得到聚类结果，包括：判断所述相似度是否大于预设相似度阈值；若大于，则所述两个待聚类目标为同一个目标，更新所述两个待聚类目标标签；若不大于，则所述两个待聚类目标不是同一个目标。17.一种聚类系统，包括：预处理模块，将所述人脸人体数据转化为所述向量特征信息和所述时空轨迹信息；特征待聚类组生成模块，根据所述向量特征信息，得到特征待聚类组；时空待聚类组生成模块，根据所述时空轨迹特征信息和向量特征信息，得到时空待聚类组；聚类预测模块，计算所述特征待聚类组和所述时空待聚类组中两个待聚类目标的相似度；结果输出模块，根据所述相似度得到聚类结果并输出。18.一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至16中任一项所述的聚类方法。19.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至16中任一项所述的聚类方法。

技术总结
本发明涉及聚类技术领域，具体提供一种聚类方法、系统、控制装置及可读存储介质，旨在解决如何有效聚类低质量图片的问题。为此目的，本发明的聚类方法包括：获取待聚类目标的向量特征信息和时空轨迹信息；根据所述向量特征信息和时空轨迹信息，得到待聚类组中两个待聚类目标的相似度；根据所述两个待聚类目标的相似度，得到聚类结果。通过在聚类判定加入时空轨迹作为判定依据，通过利用低质量的图像内部的时空轨迹信息，使得其能够参与聚类，增加了图像的利用率，并且提高了聚类效果。在判定时根据相似度进行判定。同时改变原有图像之间的对比，以轨迹的形式即数据组的形式进行判定，减少了图像一一对比的计算量，能够更加高效快速的完成聚类。的完成聚类。的完成聚类。


技术研发人员：凌英剑 田国栋
受保护的技术使用者：云从科技集团股份有限公司
技术研发日：2023.07.27
技术公布日：2023/10/19