一种基于孪生网络的目标跟踪方法及系统

1.本发明涉及机器视觉领域，具体涉及一种基于孪生网络的目标跟踪方法及系统。


背景技术：

2.随着计算机视觉技术的发展，目标跟踪技术得到广泛应用。现有的目标跟踪方法主要基于视觉特征匹配和运动信息估计实现，但是跟踪过程中由于目标遮挡、姿态变化和场景复杂性等原因，仍然面临跟踪精度不高和跟踪效果不稳定的技术难题。


技术实现要素：

3.本技术通过提供了一种基于孪生网络的目标跟踪方法及系统，旨在解决现有目标跟踪技术跟踪精度差，跟踪效果不稳定的技术问题。
4.鉴于上述问题，本技术提供了一种基于孪生网络的目标跟踪方法及系统。
5.本技术公开的第一个方面，提供了一种基于孪生网络的目标跟踪方法，该方法包括：通过对第一跟踪目标进行数据采集，得到目标特征数据集；根据第一摄像头获取包括第一跟踪目标的第一目标图像；计算第一目标图像与第一摄像头的空间像素距离，当第一摄像头的空间像素距离大于预设像素距离，根据第一摄像头获取包括第一跟踪目标的第二目标图像；基于目标特征数据集，搭建数字孪生网络模型，其中，数字孪生网络模型包括第一孪生网络子模型和第二孪生网络子模型；将第一目标图像和第二目标图像分别输入第一孪生网络子模型和第二孪生网络子模型中，得到第一图像特征集和第二图像特征集；引入第一损失函数对第一图像特征集和第二图像特征集进行图像损失分析，输出第一损失数据；根据第一损失数据，生成第一提醒信息，用于提醒第一跟踪目标产生偏移。
6.本技术公开的另一个方面，提供了一种基于孪生网络的目标跟踪系统，该系统包括：目标数据采集模块，用于通过对第一跟踪目标进行数据采集，得到目标特征数据集；跟踪目标图像模块，用于根据第一摄像头获取包括第一跟踪目标的第一目标图像；空间像素判断模块，用于计算第一目标图像与第一摄像头的空间像素距离，当第一摄像头的空间像素距离大于预设像素距离，根据第一摄像头获取包括第一跟踪目标的第二目标图像；孪生网络搭建模块，基于目标特征数据集，搭建数字孪生网络模型，其中，数字孪生网络模型包括第一孪生网络子模型和第二孪生网络子模型；图像特征获取模块，用于将第一目标图像和第二目标图像分别输入第一孪生网络子模型和第二孪生网络子模型中，得到第一图像特征集和第二图像特征集；图像损失分析模块，用于引入第一损失函数对第一图像特征集和第二图像特征集进行图像损失分析，输出第一损失数据；提醒信息生成模块，用于根据第一损失数据，生成第一提醒信息，用于提醒第一跟踪目标产生偏移。
7.本技术中提供的一个或多个技术方案，至少具有如下技术效果或优点：
8.由于采用了通过对跟踪目标进行数据采集得到目标特征数据集，以获得目标的视觉特征；根据摄像头获取跟踪目标的第一目标图像，若第一目标图像与摄像头的空间像素过大，生成第二目标图像，为目标跟踪判断提供图像比较基础；根据目标特征数据集构建包
括第一孪生网络子模型和第二孪生网络子模型的数字孪生网络模型，构建两个子模型协同工作进行目标跟踪；将第一目标图像和第二目标图像分别输入两个子模型中得到两个图像特征，用于判断图像是否产生偏移；引入损失函数对两个图像特征进行损失分析，生成提示信息，判断两个子模型的跟踪结果是否产生偏差；根据提示信息提醒网络模型及时调整，实现高精度稳定的目标跟踪的技术方案，解决现有目标跟踪技术跟踪精度差，跟踪效果不稳定的技术问题，达到确保长时间高精度跟踪目标和提高跟踪稳定性的技术效果。
9.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
10.图1为本技术实施例提供了一种基于孪生网络的目标跟踪方法可能的流程示意图；
11.图2为本技术实施例提供了一种基于孪生网络的目标跟踪方法中锁定第一跟踪目标可能的流程示意图；
12.图3为本技术实施例提供了一种基于孪生网络的目标跟踪方法中生成第一提醒信息可能的流程示意图；
13.图4为本技术实施例提供了一种基于孪生网络的目标跟踪系统可能的结构示意图。
14.附图标记说明：目标数据采集模块11，跟踪目标图像模块12，空间像素判断模块13，孪生网络搭建模块14，图像特征获取模块15，图像特征获取模块16，提醒信息生成模块17。
具体实施方式
15.本技术提供的技术方案总体思路如下：
16.本技术实施例提供了一种基于孪生网络的目标跟踪方法，通过构建包括两个子模型的孪生网络模型，通过两个子模型分别对两个目标图像进行特征提取，并引入损失函数机制对两个子模型的跟踪结果进行实时监控和修正，实现网络模型的高精度稳定跟踪。
17.首先，通过对目标进行数据采集，获得目标的视觉特征，用于构建网络模型；然后，构建包括两个子模型的孪生网络模型。再然后，获取两个目标图像作为两个子模型的输入；之后，通过两个子模型分别对两个目标图像进行特征提取，得到两组图像特征；接着，引入损失函数对两组图像特征进行分析，判断两个子模型的跟踪结果是否出现偏差。最后，当损失函数判断出跟踪偏差时，生成提示信息，实现对目标的稳定跟踪。
18.在介绍了本技术基本原理后，下面将结合说明书附图来具体介绍本技术的各种非限制性的实施方式。
19.实施例一
20.如图1所示，本技术实施例提供了一种基于孪生网络的目标跟踪方法，该方法包括：
21.步骤s100：通过对第一跟踪目标进行数据采集，得到目标特征数据集；
22.具体而言，第一跟踪目标是指要跟踪的目标对象，该目标对象可以是任意需要跟踪的目标，如机器人、车辆、人员等。对于某一具体的目标跟踪任务，第一跟踪目标即指明确定义需要跟踪的特定目标对象，例如，在智能监控场景下，第一跟踪目标可以是某名可疑人员；在无人驾驶场景下，第一跟踪目标可以是周边的行人或其他车辆等。
23.数据采集是利用各种传感器和采集设备获取目标跟踪所需的数据的过程。如采用摄像头等图像传感器对第一跟踪目标进行连续拍摄，获取包含第一跟踪目标的多帧图像数据，通过对采集到的多帧图像数据进行特征提取，获得第一跟踪目标的一系列特征，这些特征信息的集合即构成第一跟踪目标的目标特征数据集。其中，特征提取技术可以采用的方法包括利用卷积神经网络进行特征编码、使用sift、hog等算法检测图像中的关键点并描述其特征等。
24.通过对第一跟踪目标进行数据采集并利用特征提取技术，获得第一跟踪目标的目标特征数据集，为后续建立数字孪生网络模型和第一跟踪目标的识别过程提供数据基础。
25.步骤s200：根据第一摄像头获取包括所述第一跟踪目标的第一目标图像；
26.具体而言，第一摄像头是指用于获取目标图像的某个摄像设备，该摄像设备可以是数字摄像机、摄像头等，能够实时捕获目标场景并输出电子图像。通过控制第一摄像头对包含第一跟踪目标的目标场景进行拍摄，以获得第一跟踪目标运动过程中的图像，作为第一目标图像。
27.通过控制第一摄像头获取包含第一跟踪目标的第一目标图像，为后续第一跟踪目标的检测、识别和跟踪算法提供输入，有利于提高对目标的跟踪效果。
28.步骤s300：计算所述第一目标图像与所述第一摄像头的空间像素距离，当所述第一摄像头的空间像素距离大于预设像素距离，根据所述第一摄像头获取包括所述第一跟踪目标的第二目标图像；
29.具体而言，空间像素距离指第一跟踪目标在第一目标图像中的像素坐标与图像中心的欧式距离。当第一跟踪目标距离图像中心的空间像素距离较大时，表示第一跟踪目标在图像中的占比小，对第一目标的跟踪可能发生偏移或将会造成目标跟踪丢失。因此设定一个预设像素距离阈值，当空间像素距离超过该阈值时，会触发获取第二目标图像的动作。
30.第二目标图像与第一目标图像相同，是通过第一摄像头获取的包含第一跟踪目标的图像。获取第二目标图像时，控制第一摄像头进行其他角度的拍摄，或进行变焦操作等，以确保第二目标图像中的第一跟踪目标占比更大，或提供不同视角下的信息，以提供比第一目标图像相更丰富的信息。
31.通过计算第一目标图像中第一跟踪目标的空间像素距离，当其超过预设像素距离阈值时，触发获取包含第一跟踪目标的第二目标图像，以弥补第一目标图像中第一跟踪目标信息的不足，为提高目标跟踪精度和稳定性提供基础。
32.步骤s400：基于所述目标特征数据集，搭建数字孪生网络模型，其中，所述数字孪生网络模型包括第一孪生网络子模型和第二孪生网络子模型；
33.具体而言，目标特征数据集包含获得的第一跟踪目标的特征信息。利用目标特征数据集构建数字孪生网络模型，用于检测输入图像中的第一跟踪目标并产生对应特征集，为孪生检测提供基础。
34.数字孪生网络模型是采用深度学习神经网络，通过学习大量目标特征数据集，得
到检测第一跟踪目标的特征表达能力的模型，其输入为目标图像，输出为图像特征集。该模型包括两个完全相同的孪生网络子模型，分别为第一孪生网络子模型和第二孪生网络子模型，两个子模型共享学习到的特征和表达能力，但各自的输入图像不同，以实现将不同的输入图像转化为相应的图像特征。首先，选择模型结构，如目标检测网络或语义分割网络等；其次，设定模型超参数，如学习率、迭代次数、激活函数等；再次，选取优化器，如sgd、adam等；然后，对目标特征数据集进行划分，一部分用于训练，一部分用于验证；接着，输入训练数据，进行迭代优化，不断更新网络权重和阈值，实现对第一跟踪目标特征的学习；之后，当验证集准确率收敛时，模型训练完成。
35.通过基于目标特征数据集训练得到数字孪生网络模型，该模型包括两个相同的孪生网络子模型。两个子模型共享特征学习，但各自用于检测不同的输入图像，实现输入图像的孪生检测，为判断其中的目标相似度和偏移量提供基础，从而实现高精度、稳定地跟踪目标。
36.步骤s500：将所述第一目标图像和所述第二目标图像分别输入所述第一孪生网络子模型和所述第二孪生网络子模型中，得到第一图像特征集和第二图像特征集；
37.具体而言，构建的数字孪生网络模型包含两个相同的子模型，共享特征学习和表达能力，可以分别检测不同的输入图像并产生对应特征集。将通过获得的第一目标图像和第二目标图像作为不同的输入图像，分别输入构建的第一孪生网络子模型和第二孪生网络子模型中。第一孪生网络子模型接受第一目标图像作为输入，输出第一图像特征集，包含对应于目标的空间位置、形状等详细特征信息；第二孪生网络子模型接受第二目标图像作为输入，输出第二图像特征集，包含对应于目标的空间位置、形状等详细特征信息。
38.通过将第一目标图像和第二目标图像分别输入构建的第一孪生网络子模型和第二孪生网络子模型，分别得到第一图像特征集和第二图像特征集，为实现图像损失分析提供数据基础。
39.步骤s600：引入第一损失函数对所述第一图像特征集和第二图像特征集进行图像损失分析，输出第一损失数据；
40.具体而言，对数字网络孪生模型引入第一损失函数，用于分析第一图像特征集和第二图像特征集的差异度，判断第一目标图像和第二目标图像中的第一跟踪目标是否存在较大偏差。其中，第一损失函数可以选择均方损失函数、交叉熵损失函数等。将第一图像特征集和第二图像特征集分别作为损失函数的输入，计算损失值，输出对应于输入的差异度的第一损失数据。
41.获得第一图像特征集和第二图像特征集后，通过选取的损失函数对第一图像特征集和第二图像特征集进行图像损失分析，得到第一损失数据，如果第一图像特征集和第二图像特征集的差异度较小，表明第一目标图像和第二目标图像中的第一跟踪目标位置、形状等特征高度相似，第一损失数据也较小；如果两个特征集的差异度较大，表明目标存在较大偏差，第一损失数据也较大；较小第一损失数据表明两个目标图像相似，较大第一损失数据表明两个目标图像存在较大偏差。
42.通过采用损失函数进行特征集差异度分析，比直接设定差异度阈值具有更强的适应性，同时损失函数可以自动学习输入特征集的差异分布，动态调整差异判断标准，在一定程度上减轻了人工阈值设定的难度，提高了差异判断的准确性，进而实现高精度跟踪目标。
43.步骤s700：根据所述第一损失数据，生成第一提醒信息，用于提醒所述第一跟踪目标产生偏移。
44.具体而言，根据获得的第一损失数据，生成对应第一跟踪目标的第一提醒信息。如果第一损失数据较大，表明第一目标图像和第二目标图像中的第一跟踪目标存在较大偏差，则生成警示较大偏差的第一提醒信息；如果第一损失数据较小，表明目标高度相似，无需生成提醒信息。第一提醒信息可以是视觉、听觉等形式，用于提醒监控人员第一跟踪目标产生较大偏差，需要采取相应措施进行修正或追踪。例如，在监控界面中高亮显示第一跟踪目标，并发出警报声；也可以直接发送警示信息至监控人员的通讯设备上。
45.通过根据第一损失函数输出的第一损失数据，生成用于提醒第一跟踪目标产生较大偏差的第一提醒信息，以及时对跟踪目标进行锁定，提高警示效率和及时性，有利于第一时间采取相应措施，提高跟踪目标监控的准确性，达到确保长时间高精度跟踪目标和提高跟踪稳定性的技术效果。
46.进一步的，本技术实施例还包括：
47.步骤s510：通过对所述第一目标图像和所述第二目标图像进行图像尺度变换，输出第一变换图像和第二变换图像；
48.步骤s520：基于所述目标特征数据集，确定第一边缘特征；
49.步骤s530：按照所述第一边缘特征对所述第一变换图像和所述第二变换图像进行二次变换，输出第一提取图像和第二提取图像；
50.步骤s540：将所述第一提取图像和所述第二提取图像输入所述数字孪生网络模型中进行识别。
51.具体而言，首先，对第一目标图像和第二目标图像进行尺度变换，输出对应变换后图像。图像尺度变换选择图像金字塔、深度可分离卷积网络等方法实现。通过对输入图像进行缩放、旋转、裁剪等操作，获得多尺度、多角度的图像，有利于选择更加合适的图像进行特征提取和识别。其次，从获得的目标特征数据集中确定用于提取第一跟踪目标边缘特征的第一边缘特征，例如，颜色、亮度、纹理等特征，以过滤输入图像中的噪声和无关信息，准确定位目标区域。然后，按照确定的第一边缘特征，对输出的第一变换图像和第二变换图像进行二次变换，过滤非目标区域，保留第一跟踪目标区域，输出第一提取图像和第二提取图像，这两个提取图像，包含目标区域特征，为识别提供必要信息。二次变换可以选择canny边缘检测、图像分割等方法实现。接着，将输出的第一提取图像和第二提取图像分别输入构建的数字孪生网络模型，识别图像中的第一跟踪目标，实现两张图像的孪生检测，以判断第一提取图像和第二提取图像中的目标是否高度相似，用于产生相应的提醒信息。
52.通过对第一目标图像和第二目标图像的预处理和提取，滤除无关区域，准确定位第一跟踪目标，并输入构建的模型进行识别和孪生检测，简化了模型识别过程，减少无关信息，提高了模型效率和判断准确性。
53.进一步的，如图2所示，本技术实施例还包括：
54.步骤s810：连接所述第一摄像头的控制云台，得到所述第一摄像头的水平转动角区间和垂直转动角区间；
55.步骤s820：按照所述水平转动角区间和所述垂直转动角区间，生成跟踪控制模块；
56.步骤s830：当所述跟踪控制模块接收到所述第一提醒信息，对所述第一损失数据
进行分析，输出第一水平转角和第一垂直转角；
57.步骤s840：根据所述第一水平转角和所述第一垂直转角对所述第一摄像头进行控制，锁定所述第一跟踪目标。
58.具体而言，首先，连接设置在监控区域中的第一摄像头的控制云台，可以通过云台对第一摄像头进行水平和垂直方向的转动控制。对云台和第一摄像头进行检测，确定第一摄像头在水平和垂直方向上的最大可转动角度，获得其水平转动角区间和垂直转动角区间。其次，根据获得的第一摄像头的水平转动角区间和垂直转动角区间，生成用于控制第一摄像头跟踪第一跟踪目标的跟踪控制模块。跟踪控制模块配备相应的传感器和执行机构，可以在给定的角度区间内精确转动第一摄像头，实现对目标的跟踪。
59.当跟踪控制模块接收到产生的第一提醒信息时，对获得的第一损失数据进行分析。如果第一损失数据较大，表明第一目标图像和第二目标图像中的第一跟踪目标存在较大偏差，则根据分析结果计算用于修正偏差的第一水平转角和第一垂直转角。然后，根据输出的第一水平转角和第一垂直转角，精确控制生成的跟踪控制模块，转动第一摄像头，对第一跟踪目标进行重新定位和锁定。根据转动角度锁定目标后，第一摄像头继续对第一跟踪目标进行跟踪监控。
60.通过连接第一摄像头与云台，获得其转动控制角度区间，并生成相应的跟踪控制模块。当接收到第一提醒信息时，根据第一损失数据计算调整转动角度，调用跟踪控制模块转动第一摄像头，重新定位和锁定第一跟踪目标，实现目标锁定和跟踪，实现对第一跟踪目标重新定位和提高跟踪的精度与稳定性。
61.进一步的，本技术实施例还包括：
62.步骤s841：判断所述第一水平转角是否处于所述水平转动角区间；
63.步骤s842：当所述第一水平转角不处于所述水平转动角区间，判断所述第一垂直转角是否处于所述垂直转动角区间；
64.步骤s843：若所述第一垂直转角不处于所述垂直转动角区间，生成第二提醒信息，用于提醒所述第一摄像头不满足跟踪控制条件。
65.具体而言，通过检测云台和第一摄像头在水平方向上的最大转动角度获得第一摄像头的水平方向转动角度上限值为α，下限值为β，则水平转动角区间为[α，β]。通过检测云台和第一摄像头在垂直方向上的最大转动角度获得第一摄像头的垂直方向转动角度上限值为γ，下限值为δ，则垂直转动角区间为[γ，δ]。通过对第一损失数据进行分析计算得到第一水平转角θ和第一垂直转角φ。
[0066]
判断第一水平转角θ是否满足α≤θ≤β。如果满足，则第一水平转角θ处于水平转动角区间[α，β]内，第一摄像头可以实现所需的水平转角θ。如果不满足，则第一水平转角θ超出水平转动角区间[α，β]，第一摄像头无法实现所需的水平转角θ。此时，判断第一垂直转角φ是否满足γ≤φ≤δ。如果满足，则第一垂直转角φ处于垂直转动角区间[γ，δ]内，第一摄像头可以实现所需的垂直转角φ。如果不满足，则第一垂直转角φ超出垂直转动角区间[γ，δ]，第一摄像头无法同时实现所需的水平转角θ和垂直转角φ。当第一水平转角和第一垂直转角均超出第一摄像头的转动角区间，则生成第二提醒信息，用于提示第一摄像头无法实现所需的转动控制，不满足跟踪第一跟踪目标的条件。
[0067]
通过判断输出的第一水平转角和第一垂直转角是否超出第一摄像头的转动控制
能力，如果超出，生成第二提醒信息，提示第一摄像头不满足要求，以及时发现跟踪控制过程中可能出现的异常，以避免产生较大偏差而导致目标丢失，提高跟踪稳定性。
[0068]
进一步的，本技术实施例还包括：
[0069]
步骤s844：当所述跟踪控制模块接收到所述第二提醒信息，连接所述第一摄像头的控制云台，判断所述控制云台是否包括第二摄像头；
[0070]
步骤s845：若所述控制云台包括所述第二摄像头，根据所述第二摄像头，得到备用跟踪控制模块，以所述备用跟踪控制模块锁定所述第一跟踪目标。
[0071]
具体而言，当跟踪控制模块接收到产生的第二提醒信息时，再次连接设置第一摄像头的控制云台，判断云台上是否还设置有其他摄像头。如果结果为是，则将其他摄像头作为第二摄像头，根据第二摄像头的参数以及转动角区间等信息，生成用于控制第二摄像头跟踪第一跟踪目标的备用跟踪控制模块。
[0072]
然后，通过调用备用跟踪控制模块，控制第二摄像头转动，重新检测和锁定第一跟踪目标。第二摄像头继续对第一跟踪目标进行监控和跟踪，避免因第一摄像头不满足要求而导致目标丢失。
[0073]
通过在第一摄像头无法满足跟踪要求时，判断是否存在其他可替代的摄像头作为第二摄像头。如果存在，则获取第二摄像头的参数信息，生成备用跟踪控制模块，实现通过第二摄像头重新定位和锁定第一跟踪目标，继续进行目标跟踪，避免了因单一摄像头问题而导致目标丢失，提高了监控系统的稳定性。
[0074]
进一步的，本技术实施例还包括：
[0075]
第一损失函数的表达式为：
[0076][0077]
其中，i为当前图像样本的下标，p为图像样本的总数量；
[0078]
l(x1,x2)为所述第一图像特征集和所述第二图像特征集的损失函数；g(x1,x2)为所述第一图像特征集和所述第二图像特征集的特征相似性；
[0079]
w(x1,x2)为所述第一图像特征集和第二图像特征集的实时相似度；w(x1,x2)
′
为所述第一图像特征集和第二图像特征集的预设相似度。
[0080]
具体而言，从分别获取的第一图像和第二图像中提取出特征，得到第一图像特征集x1和第二图像特征集x2，然后，通过第一损失函数对第一图像特征集和第二图像特征集进行图像损失分析，其中，第一损失函数表达式设置为：其中，i为图像特征集中的特征下标，p为图像特征集中的特征总数量；l(x1,x2)为第一图像特征集和第二图像特征集的损失函数，表示两图像特征集之间的损失度量；g(x1,x2)为第一图像特征集和第二图像特征集的特征相似性，取值为0到1之间，特征相似性越高，说明两图像特征集越相似，g(x1,x2)的值越大；w(x1,x2)为第一图像特征集和第二图像特征集的实时相似度，取值为0到1之间，实时相似度越高，说明两图像特征集当前状态越相似，w(x1,x2)的值越大；w(x1,x2)
′
为第一图像特征集和第二图像特征集的预设相似度，取值为0到1之间，为两图像特征集理想的相似状态。
[0081]
首先，采用相关系数等方法计算两个图像特征集的特征相似性g(x1,x2)和实时相
似性w(x1,x2)；其次，对两个图像特征集中各特征的实时相似度w(x1,x2)和预设相似度w(x1,x2)
′
的差值；然后，并以该差值为底数，特征下标i为指数，得到每个差值的i次方结果，即|w(x1,x2)-w(x1,x2)
′
|i；接着，对获得的每个差值的i次方结果进行加和，得到总差值；最后，将特征相似性g(x1,x2)和总差值相乘，得到第一损失函数l(x1,x2)的值。
[0082]
通过获取两幅图像的特征信息，得到每个特征的特征相似性、实时相似度和预设相似度，对第一图像特征集和第二图像特征集进行图像损失分析，为准确判断目标偏移提供数据支持，从而提升对摄像头的控制精度，以稳定跟踪目标。
[0083]
进一步的，如图3所示，本技术实施例还包括：
[0084]
步骤s710：根据所述第一损失数据，对所述第一目标图像和所述第二目标图像进行孪生检测，输出孪生检测结果，其中，所述孪生检测结果包括检测通过和检测不通过；
[0085]
步骤s720：当所述第一损失数据大于预设损失度时，输出检测不通过的结果，并生成所述第一提醒信息。
[0086]
具体而言，利用计算得到的第一损失数据，对第一目标图像和第二目标图像进行孪生检测，判断两图像是否属于同一对象或场景，得到孪生检测结果，包括检测通过和检测不通过。当第一损失函数值较小，说明两图像特征集之间差异较小，匹配程度较高，此时判定为检测通过；当第一损失函数值较大，说明两图像特征集差异较大，匹配程度较低，此时判定为检测不通过。
[0087]
根据对目标跟踪的精度和稳定性要求预设一个阈值，称为预设损失度，用于判断第一损失函数值是否过大，两图像特征集之间的差异是否过度。当第一损失函数值大于预设损失度时，说明两图像特征集差异较大，匹配程度较低，此时判定检测结果为“不通过”，同时生成第一提醒信息，提示两图像之间存在较大差异，可能造成目标跟踪的丢失，需要进行目标的重新锁定。当第一损失函数值小于或等于预设损失度时，说明两图像特征集差异在可接受范围内，匹配程度可接受，此时判定检测结果为“通过”，不生成第一提醒信息。
[0088]
通过基于第一损失函数值的图像孪生检测，并在检测结果为“不通过”时，生成第一提醒信息，提示检测异常，达到对两图像进行相似性判断和异常检测的目的，为跟踪目标提供判断依据和参考信息，确保长时间高精度跟踪目标并提高跟踪稳定性。
[0089]
综上所述，本技术实施例所提供的一种基于孪生网络的目标跟踪方法具有如下技术效果：
[0090]
通过对第一跟踪目标进行数据采集，得到目标特征数据集，为构建数字孪生网络模型提供数据基础；根据第一摄像头获取包括第一跟踪目标的第一目标图像，计算第一目标图像与第一摄像头的空间像素距离，当第一摄像头的空间像素距离大于预设像素距离，根据第一摄像头获取包括第一跟踪目标的第二目标图像，为数字孪生网络模型提供输入，以判断是否对目标的跟踪发生偏移；基于目标特征数据集，搭建数字孪生网络模型，其中，数字孪生网络模型包括第一孪生网络子模型和第二孪生网络子模型，用于分别提取两个目标图像的视觉特征，协同工作进行目标跟踪；将第一目标图像和第二目标图像分别输入第一孪生网络子模型和第二孪生网络子模型中，得到第一图像特征集和第二图像特征集，为图像损失分析提供数据支持；引入第一损失函数对第一图像特征集和第二图像特征集进行图像损失分析，输出第一损失数据，判断对目标的跟踪结果是否出现偏差；根据第一损失数据，生成第一提醒信息，用于提醒第一跟踪目标产生偏移，用于及时调整网络模型的跟踪，
修正跟踪偏差，达到了确保长时间高精度跟踪目标和提高跟踪稳定性的技术效果。
[0091]
实施例二
[0092]
基于与前述实施例中一种基于孪生网络的目标跟踪方法相同的发明构思，如图4所示，本技术实施例提供了一种基于孪生网络的目标跟踪系统，该系统包括：
[0093]
目标数据采集模块11，用于通过对第一跟踪目标进行数据采集，得到目标特征数据集；
[0094]
跟踪目标图像模块12，用于根据第一摄像头获取包括所述第一跟踪目标的第一目标图像；
[0095]
空间像素判断模块13，用于计算所述第一目标图像与所述第一摄像头的空间像素距离，当所述第一摄像头的空间像素距离大于预设像素距离，根据所述第一摄像头获取包括所述第一跟踪目标的第二目标图像；
[0096]
孪生网络搭建模块14，基于所述目标特征数据集，搭建数字孪生网络模型，其中，所述数字孪生网络模型包括第一孪生网络子模型和第二孪生网络子模型；
[0097]
图像特征获取模块15，用于将所述第一目标图像和所述第二目标图像分别输入所述第一孪生网络子模型和所述第二孪生网络子模型中，得到第一图像特征集和第二图像特征集；
[0098]
图像损失分析模块16，用于引入第一损失函数对所述第一图像特征集和第二图像特征集进行图像损失分析，输出第一损失数据；
[0099]
提醒信息生成模块17，用于根据所述第一损失数据，生成第一提醒信息，用于提醒所述第一跟踪目标产生偏移。
[0100]
进一步的，图像特征获取模块15包括以下执行步骤：
[0101]
通过对所述第一目标图像和所述第二目标图像进行图像尺度变换，输出第一变换图像和第二变换图像；
[0102]
基于所述目标特征数据集，确定第一边缘特征；
[0103]
按照所述第一边缘特征对所述第一变换图像和所述第二变换图像进行二次变换，输出第一提取图像和第二提取图像；
[0104]
将所述第一提取图像和所述第二提取图像输入所述数字孪生网络模型中进行识别。
[0105]
进一步的，本技术实施例还包括跟踪目标锁定模块，该模块，包括以下执行步骤：
[0106]
连接所述第一摄像头的控制云台，得到所述第一摄像头的水平转动角区间和垂直转动角区间；
[0107]
按照所述水平转动角区间和所述垂直转动角区间，生成跟踪控制模块；当所述跟踪控制模块接收到所述第一提醒信息，对所述第一损失数据进行分析，输出第一水平转角和第一垂直转角；
[0108]
根据所述第一水平转角和所述第一垂直转角对所述第一摄像头进行控制，锁定所述第一跟踪目标。
[0109]
进一步的，跟踪目标锁定模块还包括以下执行步骤：
[0110]
判断所述第一水平转角是否处于所述水平转动角区间；
[0111]
当所述第一水平转角不处于所述水平转动角区间，判断所述第一垂直转角是否处
于所述垂直转动角区间；
[0112]
若所述第一垂直转角不处于所述垂直转动角区间，生成第二提醒信息，用于提醒所述第一摄像头不满足跟踪控制条件。
[0113]
进一步的，跟踪目标锁定模块还包括以下执行步骤：
[0114]
当所述跟踪控制模块接收到所述第二提醒信息，连接所述第一摄像头的控制云台，判断所述控制云台是否包括第二摄像头；
[0115]
若所述控制云台包括所述第二摄像头，根据所述第二摄像头，得到备用跟踪控制模块，以所述备用跟踪控制模块锁定所述一跟踪目标。
[0116]
进一步的，图像损失分析模块16包括以下步骤：
[0117][0118]
其中，i为当前图像样本的下标，p为图像样本的总数量；
[0119]
l(x1,x2)为所述第一图像特征集和所述第二图像特征集的损失函数；g(x1,x2)为所述第一图像特征集和所述第二图像特征集的特征相似性；
[0120]
w(x1,x2)为所述第一图像特征集和第二图像特征集的实时相似度；w(x1,x2)
′
为所述第一图像特征集和第二图像特征集的预设相似度。
[0121]
进一步的，提醒信息生成模块17包括以下执行步骤：
[0122]
根据所述第一损失数据，对所述第一目标图像和所述第二目标图像进行孪生检测，输出孪生检测结果，其中，所述孪生检测结果包括检测通过和检测不通过；
[0123]
当所述第一损失数据大于预设损失度时，输出检测不通过的结果，并生成所述第一提醒信息。
[0124]
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中，并可以被不设限制的计算机处理器调用识别用以实现本技术实施例中的任一项方法，在此不做多余限制。
[0125]
进一步的，综上所述的第一或第二可能不止代表次序关系，也可能代表某项特指概念，和/或指的是多个元素之间可单独或全部选择。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的范围。这样，倘若本技术的这些修改和变型属于本技术及其等同技术的范围之内，则本技术意图包括这些改动和变型在内。

技术特征：
1.一种基于孪生网络的目标跟踪方法，其特征在于，所述方法包括：通过对第一跟踪目标进行数据采集，得到目标特征数据集；根据第一摄像头获取包括所述第一跟踪目标的第一目标图像；计算所述第一目标图像与所述第一摄像头的空间像素距离，当所述第一摄像头的空间像素距离大于预设像素距离，根据所述第一摄像头获取包括所述第一跟踪目标的第二目标图像；基于所述目标特征数据集，搭建数字孪生网络模型，其中，所述数字孪生网络模型包括第一孪生网络子模型和第二孪生网络子模型；将所述第一目标图像和所述第二目标图像分别输入所述第一孪生网络子模型和所述第二孪生网络子模型中，得到第一图像特征集和第二图像特征集；引入第一损失函数对所述第一图像特征集和第二图像特征集进行图像损失分析，输出第一损失数据；根据所述第一损失数据，生成第一提醒信息，用于提醒所述第一跟踪目标产生偏移。2.如权利要求1所述的方法，其特征在于，所述方法还包括：通过对所述第一目标图像和所述第二目标图像进行图像尺度变换，输出第一变换图像和第二变换图像；基于所述目标特征数据集，确定第一边缘特征；按照所述第一边缘特征对所述第一变换图像和所述第二变换图像进行二次变换，输出第一提取图像和第二提取图像；将所述第一提取图像和所述第二提取图像输入所述数字孪生网络模型中进行识别。3.如权利要求1所述的方法，其特征在于，所述方法还包括：连接所述第一摄像头的控制云台，得到所述第一摄像头的水平转动角区间和垂直转动角区间；按照所述水平转动角区间和所述垂直转动角区间，生成跟踪控制模块；当所述跟踪控制模块接收到所述第一提醒信息，对所述第一损失数据进行分析，输出第一水平转角和第一垂直转角；根据所述第一水平转角和所述第一垂直转角对所述第一摄像头进行控制，锁定所述第一跟踪目标。4.如权利要求3所述的方法，其特征在于，所述方法还包括：判断所述第一水平转角是否处于所述水平转动角区间；当所述第一水平转角不处于所述水平转动角区间，判断所述第一垂直转角是否处于所述垂直转动角区间；若所述第一垂直转角不处于所述垂直转动角区间，生成第二提醒信息，用于提醒所述第一摄像头不满足跟踪控制条件。5.如权利要求4所述的方法，其特征在于，所述方法还包括：当所述跟踪控制模块接收到所述第二提醒信息，连接所述第一摄像头的控制云台，判断所述控制云台是否包括第二摄像头；若所述控制云台包括所述第二摄像头，根据所述第二摄像头，得到备用跟踪控制模块，以所述备用跟踪控制模块锁定所述一跟踪目标。
6.如权利要求1所述的方法，其特征在于，引入第一损失函数对所述第一图像特征集和第二图像特征集进行图像损失分析，所述第一损失函数的表达式为：其中，i为当前图像样本的下标，p为图像样本的总数量；l(x1,x2)为所述第一图像特征集和所述第二图像特征集的损失函数；g(x1,x2)为所述第一图像特征集和所述第二图像特征集的特征相似性；w(x1,x2)为所述第一图像特征集和第二图像特征集的实时相似度；w(x1,x2)
′
为所述第一图像特征集和第二图像特征集的预设相似度。7.如权利要求6所述的方法，其特征在于，所述方法还包括：根据所述第一损失数据，对所述第一目标图像和所述第二目标图像进行孪生检测，输出孪生检测结果，其中，所述孪生检测结果包括检测通过和检测不通过；当所述第一损失数据大于预设损失度时，输出检测不通过的结果，并生成所述第一提醒信息。8.一种基于孪生网络的目标跟踪系统，其特征在于，所述系统包括：目标数据采集模块，所述目标数据采集模块用于通过对第一跟踪目标进行数据采集，得到目标特征数据集；跟踪目标图像模块，所述跟踪目标图像模块用于根据第一摄像头获取包括所述第一跟踪目标的第一目标图像；空间像素判断模块，所述空间像素判断模块用于计算所述第一目标图像与所述第一摄像头的空间像素距离，当所述第一摄像头的空间像素距离大于预设像素距离，根据所述第一摄像头获取包括所述第一跟踪目标的第二目标图像；孪生网络搭建模块，所述孪生网络搭建模块基于所述目标特征数据集，搭建数字孪生网络模型，其中，所述数字孪生网络模型包括第一孪生网络子模型和第二孪生网络子模型；图像特征获取模块，所述图像特征获取模块用于将所述第一目标图像和所述第二目标图像分别输入所述第一孪生网络子模型和所述第二孪生网络子模型中，得到第一图像特征集和第二图像特征集；图像损失分析模块，所述图像特征获取模块用于引入第一损失函数对所述第一图像特征集和第二图像特征集进行图像损失分析，输出第一损失数据；提醒信息生成模块，所述提醒信息生成模块用于根据所述第一损失数据，生成第一提醒信息，用于提醒所述第一跟踪目标产生偏移。

技术总结
本发明公开了一种基于孪生网络的目标跟踪方法及系统，属于机器视觉领域，其中方法包括：采集跟踪目标的数据，得到目标特征数据集；获取第一目标图像；计算目标图像与摄像头的空间像素距离，若大于预设像素距离，则获取第二目标图像；基于目标特征数据集，搭建孪生网络子模型；将所得目标图像分别输入孪生网络子模型，得到图像特征集；引入损失函数对图像特征集进行图像损失分析，输出损失数据；根据损失数据，生成提醒信息，提醒跟踪目标产生偏移。本申请解决了现有目标跟踪技术跟踪精度差，跟踪效果不稳定的技术问题，达到了确保长时间高精度跟踪目标和提高跟踪稳定性的技术效果。度跟踪目标和提高跟踪稳定性的技术效果。度跟踪目标和提高跟踪稳定性的技术效果。


技术研发人员：郭宏 范红铭 甘仿 许凤华 乐宁建 陈海龙 吴泽丰
受保护的技术使用者：江西软件职业技术大学
技术研发日：2023.06.15
技术公布日：2023/10/5