低光照环境下的对象检测方法、装置及相关设备与流程

1.本发明实施例涉及图像识别领域，尤其涉及一种低光照环境下的对象检测方法、装置及相关设备。


背景技术：

2.目前行人检测技术通常被广泛应用于布防体系中(如区域、越界布防等场景)，因此，行人检测技术是安防中的一个重要基础功能。现有技术中对于行人检测的算法通常是基于深度学习方法或者传统图像处理方法，在低光照的环境下通过特征融合的方式来实现行人检测，而通过特征融合的方式提供特征的能力有限，从而导致行人检测效果较差的问题。


技术实现要素：

3.本发明实施例提供一种低光照环境下的对象检测方法、装置及相关设备，以解决现有技术中行人检测方法效果较差的问题。
4.为解决上述问题，本发明是这样实现的：
5.第一方面，本发明实施例提供了一种低光照环境下的对象检测方法，所述方法包括：
6.获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；
7.根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；
8.根据所述第一图层与所述第二图层，获取帧差图层；
9.根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。
10.可选的，所述根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层，包括：
11.将所述当前帧和所述参考帧输入至预处理模型中，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；
12.所述预处理模型的获取过程包括：
13.获取第一训练样本，所述第一训练样本根据第一图像和第二图像生成，其中，所述第一图像为在低光照环境下获得的图像，所述第二图像为在正常光照环境下的图像；
14.利用所述第一训练样本对第一基础模型进行训练，获得所述预处理模型。
15.可选的，所述第一训练样本的获取过程，包括：
16.获取样本区域的第一图像和第二图像；
17.对所述第一图像进行数据增强处理，获得第三图像；
18.基于所述第一图像、所述第二图像、和所述第三图像生成的第三图层；
19.将所述第三图层确定为第一训练样本，所述第三图层与所述帧差图层分辨率相同。
20.可选的，所述利用所述第一训练样本对第一基础模型进行训练，获得所述预处理模型，包括：
21.根据所述第一训练样本的图像亮度和对比度信息生成损失函数；
22.根据所述第一训练样本和所述损失函数对所述第一基础模型进行训练，获得所述预处理模型。
23.可选的，所述根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象，包括：
24.将所述帧差图层和所述参考帧输入至检测模型中，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象；
25.所述检测模型的获取过程包括：
26.获取第二训练样本，所述第二训练样本基于低光照环境下获得的图像生成；
27.利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型。
28.可选的，所述获取第二训练样本，所述第二训练样本基于低光照环境下获得的图像生成，包括：
29.在低光照环境下获取样本当前帧和样本参考帧；
30.将所述样本当前帧和样本参考帧输入到预训练的预处理模型中，获得所述样本当前帧对应的第一样本图层和样本参考帧对应的第二样本图层；
31.根据所述第一样本图层与第二样本图层，获取样本帧差图层；
32.将所述样本帧差图层和所述样本参考帧确定为第二训练样本。
33.可选的，所述利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型，包括：
34.获取第二基础模型，所述第二基础模型中的特征层用于输入所述样本帧差图层；
35.基于预设损失函数和所述第二训练样本对所述第二基础模型进行训练，获得所述检测模型。
36.第二方面，本发明实施例提供了一种低光照环境下的对象检测装置所述装置包括：
37.第一获取模块，用于获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；
38.第二获取模块，用于根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；
39.第三获取模块，用于根据所述第一图层与所述第二图层，获取帧差图层；
40.结果获得模块，用于根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。
41.第三方面，本发明实施例还提供一种通信设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器，用于读取存储器中的程序实现如前述第一方面所述方法中的步骤。
42.第四方面，本发明实施例还提供一种可读存储介质，用于存储程序，所述程序被处
理器执行时实现如前述第一方面所述方法中的步骤。
43.在本发明实施例中，公开了一种低光照环境下的对象检测方法、装置及相关设备，该方法包括：获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；根据所述第一图层与所述第二图层，获取帧差图层；根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。本发明实施例通过帧差图层补充对象检测方法，充分利用了有效信息，并通过提高低光照环境下帧差信息的可靠性使对象检测更加准确和可靠。
附图说明
44.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
45.图1是本发明实施例提供的低光照环境下的对象检测方法的方法流程图；
46.图2是本发明实施例提供的预处理模型的结构示意图；
47.图3是本发明实施例提供的检测模型的结构示意图；
48.图4是本发明实施提供的低光照环境下的对象检测装置的结构示意图；
49.图5是本发明实施提供的通信设备的结构示意图。
具体实施方式
50.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.本发明实施例中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，本技术中使用“和/或”表示所连接对象的至少其中之一，例如a和/或b和/或c，表示包含单独a，单独b，单独c，以及a和b都存在，b和c都存在，a和c都存在，以及a、b和c都存在的7种情况。
52.参见图1，图1是本发明实施例提供的低光照环境下的对象检测方法的流程示意图。如图1所示，低光照环境下的对象检测方法可以包括以下步骤：
53.步骤101、获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧。
54.在本实施例中，低光照环境为光照强度不高的情况，例如阴天、清晨或傍晚等时间，此时通过布防体系中的摄像头采集图像会出现图像效果较差的情况。目标区域为摄像
头拍摄的区域，一般地，在布防体系中摄像头固定拍摄某个区域而获取到目标视频，从而对目标区域内是否包含目标对象进行检测，其中，在目标视频中包含了目标区域一段时间内的拍摄图像。具体地，目标视频中包括了当前帧和参考帧，其中，参考帧为所述目标视频中位于所述当前帧之前的帧，一般地，参考帧和当前帧之前相差五帧以内，保证参考帧和当前帧的图像差异较小。
55.步骤102、根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层。
56.在本实施例中，根据获取到的当前帧和参考帧进行处理之后，获得对应当前帧的第一图层和对应参考帧的第二图层，示例性的，可以将当前帧和参考帧输入到例如预处理模型中进行特征提取，其中预处理模型可以为神经网络模型或者其他具有图像特征提取功能的深度学习模型。
57.步骤103、根据所述第一图层与所述第二图层，获取帧差图层。
58.在本实施例中，需要保证第一图层和第二图层的分辨率相同，通过分辨率相同可以使用做差的方法获取帧差图层，即第一图层与第二图层进行做差。
59.步骤104、根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。
60.在本实施例中，根据获取到的帧差图层和参考帧进行处理之后，获得检测结果，该监测结果表征了在目标视频中目标区域是否存在目标对象，其中，目标对象可以为人或者动物等具有运动轨迹的检测对象。具体地，人或者动物在目标视频中一般处于运动过程，因此会产生帧差信息，通过帧差信息辅助识别可以大幅度提高模型检测的准确度。示例性的，可以将帧差图层和参考帧输入到检测模型中进行识别，其中检测模型也可以为神经网络模型或者其他具有识别功能的深度学习模型。
61.本实施例提供了一种低光照环境下的对象检测方法，该方法包括：获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；根据所述第一图层与所述第二图层，获取帧差图层；根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。本发明实施例通过帧差图层补充对象检测方法，充分利用了有效信息，并通过提高低光照环境下帧差信息的可靠性使对象检测更加准确和可靠。
62.在另一个实施例中，可选的，所述根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层，包括：
63.将所述当前帧和所述参考帧输入至预处理模型中，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；
64.所述预处理模型的获取过程包括：
65.获取第一训练样本，所述第一训练样本根据第一图像和第二图像生成，其中，所述第一图像为在低光照环境下获得的图像，所述第二图像为在正常光照环境下的图像；
66.利用所述第一训练样本对第一基础模型进行训练，获得所述预处理模型。
67.在本实施例中，将获取到的当前帧和参考帧输入到预先训练的预处理模型中，从而获取到第一图层和第二图层。具体地，对于预处理模型的训练过程包括：通过获取第一训
练样本对第一基础模型进行训练，从而获取到训练好的预处理模型。由于当前图像采集设备的硬件能力限制，一般布防的监控设备在低照度情况下采集的图像一般存在亮度、噪声等问题。为了提高低照度的布防场景下采集到的图像iq用于后续图层及网络使用，同时为了减少图像数据在cpu和gpu之间频繁切换，保证高效的图像处理进程，因此通过预处理模型对图像进行预处理。其中，第一训练样本根据第一图像和第二图像生成，具体地，场景数据为采集到的布防场景中的图像，第一图像i
low
为低光照环境下的图像，第二图像i
norm
为正常光照环境下的图像。
68.进一步的，所述第一训练样本的获取过程，包括：
69.获取样本区域的第一图像和第二图像；
70.对所述第一图像进行数据增强处理，获得第三图像；
71.基于所述第一图像、所述第二图像、和所述第三图像生成的第三图层；
72.将所述第三图层确定为第一训练样本，所述第三图层与所述帧差图层分辨率相同。
73.在本实施例中，将获取到的第一图像i
norm
通过数据增强方法来模拟图像对，具体地，将第一图像i
norm
采用降低噪度、gamma调整、增加随机噪声、图像模糊等数据增强方式进行处理，获取模拟低照度图像i
l
'
ow
，即第三图像。获取场景图像对(i
low-i
norm
)和增强图像对(i
l
'
ow-i
norm
)后，通过金字塔图层算法对i
norm
进行处理，获取和检测网络模型输出层对应分辨率的第三图层imgs，将第三图层imgs作为数据集进行样本训练。
74.可选的，所述利用所述第一训练样本对第一基础模型进行训练，获得所述预处理模型，包括：
75.根据所述第一训练样本的图像亮度和对比度信息生成损失函数；
76.根据所述第一训练样本和所述损失函数对所述第一基础模型进行训练，获得所述预处理模型。
77.在本实施例中，如图2所示，图2为本实施例中预处理模型的结构示意图，预处理模型使用单个4阶hourglass网络结构作为主干组成网络结构，在输入模块中使用两次stride＝2的卷积进行特征层分辨率降低，在输出层使用卷积核和pool层直接输出帧差图层(输出图层分辨率对应检测网络预测层的3个输出维度)。
78.在本实施例中，由于预处理后的图像主要用于提取帧差图层，更多的关注于亮度和对比度信息，同时为了保证低频细节，将通过双边滤波后的图像亮度、对比度信息也设计加入到损失函数中。
79.损失函数详细说明如下：
[0080][0081][0082]
其中，l
bo
为图像块的亮度相似度，l
co
为图像块的对比度相似度，u
out
为推理输出的图像块的均值，u
gt
为真实图像块的均值，δ
out
为推理输出的图像块的方差，δ
gt
为真实图像块的方差，ε为防止分母为0的偏置系数。
[0083]
按照以上的计算方法，将图中所有取出的图像块(m
×
n)计算对应的相似度，然后计算均值作为全图的计算值。
[0084][0085][0086]
将以上计算方法应用于输出图层、对应的低频图，最终组合形成损失函数。
[0087][0088]
其中，l
b1
、l
b2
、l
b3
为对应输出图层和真实图层之间的计算损失值(l
b1
对应高分辨率图层、l
b3
对应低分辨率图层)，l
blp1
、l
blp2
、l
blp3
为对应输出图层和真实图层间进行低频滤波后的计算损失值，λ1、λ2为图层全信息和图层低频信息损失值调整权重(实现中λ1取0.66,λ2取0.34)，为图层间损失值调整权重(实现中取0.6，取0.3，取0.1)，为图层间损失值调整权重(实现中取0.6，取0.3，取0.1)。通过将第一训练样本拆分为训练集、验证集和测试集三个部分，其中使用以上设计的损失函数对预处理模型进行训练，通过模型的迭代训练，选择最优结果作为训练好的预处理模型。
[0089]
在另一个实施例中，所述根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象，包括：
[0090]
将所述帧差图层和所述参考帧输入至检测模型中，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象；
[0091]
所述检测模型的获取过程包括：
[0092]
获取第二训练样本，所述第二训练样本基于低光照环境下获得的图像生成；
[0093]
利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型。
[0094]
在本实施例中，检测模型主要用于检测图像中的对象，例如行人、动物等等，示例性的，在本实施例中以yolov3为基础结构进行改进。由于低光照环境下噪声、亮度等干扰因素存在，直接使用原始检测网络进行检测准确度受到很大影响，该方法中将帧差信息融入输出模块中，利用帧差中的有效信息，大幅提高了预测的准确度。其中，第二训练样本通过低光照环境下获得的图像进行生成，例如截取低光照环境下视频的某些帧作为图像。
[0095]
进一步的，所述获取第二训练样本，所述第二训练样本基于低光照环境下获得的图像生成，包括：
[0096]
在低光照环境下获取样本当前帧和样本参考帧；
[0097]
将所述样本当前帧和样本参考帧输入到预训练的预处理模型中，获得所述样本当前帧对应的第一样本图层和样本参考帧对应的第二样本图层；
[0098]
根据所述第一样本图层与第二样本图层，获取样本帧差图层；
[0099]
将所述样本帧差图层和所述样本参考帧确定为第二训练样本。
[0100]
在本实施例中，通过在低光照场景下有目标对象通过的目标视频中，获取样本当前帧i
cur
，并基于样本当前帧i
cur
获取到样本参考帧i
pre
，其中样本参考帧i
pre
与样本当前帧i
cur
之间间隔一般为五帧。将样本当前帧i
cur
、样本参考帧i
pre
通过预处理模型中进行推理，获取预处理后的第一样本图层和第二样本图层，然后将第一样本图层和第二样本图层做
差，生成帧差图i
dif
。将样本当前帧i
cur
作为目标检测标注对象，标注的方法一般采用通用目标检测标注方法获取目标标注信息obj
anno
。通过样本帧差图层和所述样本参考帧确定第二训练样本的数据集。
[0101]
可选的，所述利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型，包括：
[0102]
获取第二基础模型，所述第二基础模型中的特征层用于输入所述样本帧差图层；
[0103]
基于预设损失函数和所述第二训练样本对所述第二基础模型进行训练，获得所述检测模型。
[0104]
在本实施例中，如图3所示，图3为本实施例中检测网络的结构示意图，为了提升在低照度场景下的检测能力，本方法中的检测网络以yolov3为基础结构，在输出模块前将获取的帧差图层和原特征层进行连接，以此将帧差信息融进预测模块中。通过如此的网络结构改进，使预测的结果可获得经过预处理的帧差图层的指导，获取到更优的检测结果。在检测模型的训练过程中，通过yolov3本身的损失函数计算损失。将第二训练样本分为训练集、验证集和测试集。
[0105]
本实施例提供了一种低光照环境下的对象检测方法，该方法包括：获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；根据所述第一图层与所述第二图层，获取帧差图层；根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。本发明实施例通过帧差图层补充对象检测方法，充分利用了有效信息，并通过提高低光照环境下帧差信息的可靠性使对象检测更加准确和可靠。
[0106]
本发明实施例中介绍的多种可选的实施方式，在彼此不冲突的情况下可以相互结合实现，也可以单独实现，对此本发明实施例不作限定。
[0107]
参见图4，图4是本发明实施例提供的低光照环境下的对象检测装置的结构图。如图4所示，低光照环境下的对象检测装置400包括：
[0108]
第一获取模块410，用于获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；
[0109]
第二获取模块420，用于根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；
[0110]
第三获取模块430，用于根据所述第一图层与所述第二图层，获取帧差图层；
[0111]
结果获得模块440，用于根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。
[0112]
可选的，第二获取模块，包括：
[0113]
第二获取子模块，用于将所述当前帧和所述参考帧输入至预处理模型中，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；
[0114]
所述预处理模型的获取过程包括：
[0115]
获取第一训练样本，所述第一训练样本根据第一图像和第二图像生成，其中，所述第一图像为在低光照环境下获得的图像，所述第二图像为在正常光照环境下的图像；
[0116]
利用所述第一训练样本对第一基础模型进行训练，获得所述预处理模型。
[0117]
可选的，所述第一训练样本的获取过程，包括：
[0118]
获取样本区域的第一图像和第二图像；
[0119]
对所述第一图像进行数据增强处理，获得第三图像；
[0120]
基于所述第一图像、所述第二图像、和所述第三图像生成的第三图层；
[0121]
将所述第三图层确定为第一训练样本，所述第三图层与所述帧差图层分辨率相同。
[0122]
可选的，所述利用所述第一训练样本对第一基础模型进行训练，获得所述预处理模型，包括：
[0123]
根据所述第一训练样本的图像亮度和对比度信息生成损失函数；
[0124]
根据所述第一训练样本和所述损失函数对所述第一基础模型进行训练，获得所述预处理模型。
[0125]
可选的，结果获得模块包括：所述根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象，包括：
[0126]
将所述帧差图层和所述参考帧输入至检测模型中，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象；
[0127]
所述检测模型的获取过程包括：
[0128]
获取第二训练样本，所述第二训练样本基于低光照环境下获得的图像生成；
[0129]
利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型。
[0130]
可选的，所述获取第二训练样本，所述第二训练样本基于低光照环境下获得的图像生成，包括：
[0131]
在低光照环境下获取样本当前帧和样本参考帧；
[0132]
将所述样本当前帧和样本参考帧输入到预训练的预处理模型中，获得所述样本当前帧对应的第一样本图层和样本参考帧对应的第二样本图层；
[0133]
根据所述第一样本图层与第二样本图层，获取样本帧差图层；
[0134]
将所述样本帧差图层和所述样本参考帧确定为第二训练样本。
[0135]
可选的，所述利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型，包括：
[0136]
获取第二基础模型，所述第二基础模型中的特征层用于输入所述样本帧差图层；
[0137]
基于预设损失函数和所述第二训练样本对所述第二基础模型进行训练，获得所述检测模型。
[0138]
本实施例提供了一种低光照环境下的对象检测装置，该装置包括第一获取模块，用于获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；第二获取模块，用于根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；第三获取模块，用于根据所述第一图层与所述第二图层，获取帧差图层；结果获得模块，用于根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。本发明实施例通过帧差图层补充对象检测方法，充分利用了有效信息，并通过提高低光照环境下帧差信息的可靠性使对象检测更加准确和可靠。
[0139]
本发明实施例还提供一种通信设备。请参见图5，通信设备可以包括处理器501、存
储器502及存储在存储器502上并可在处理器501上运行的程序5021。
[0140]
在通信设备为终端的情况下，程序5021被处理器501执行时可实现图1对应的方法实施例中的任意步骤及达到相同的有益效果，此处不再赘述。
[0141]
在通信设备为网络侧设备的情况下，程序5021被处理器501执行时可实现图1对应的方法实施例中的步骤：
[0142]
获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；
[0143]
根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；
[0144]
根据所述第一图层与所述第二图层，获取帧差图层；
[0145]
根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。
[0146]
可选的，所述根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层，包括：
[0147]
将所述当前帧和所述参考帧输入至预处理模型中，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；
[0148]
所述预处理模型的获取过程包括：
[0149]
获取第一训练样本，所述第一训练样本根据第一图像和第二图像生成，其中，所述第一图像为在低光照环境下获得的图像，所述第二图像为在正常光照环境下的图像；
[0150]
利用所述第一训练样本对第一基础模型进行训练，获得所述预处理模型。
[0151]
可选的，所述第一训练样本的获取过程，包括：
[0152]
获取样本区域的第一图像和第二图像；
[0153]
对所述第一图像进行数据增强处理，获得第三图像；
[0154]
基于所述第一图像、所述第二图像、和所述第三图像生成的第三图层；
[0155]
将所述第三图层确定为第一训练样本，所述第三图层与所述帧差图层分辨率相同。
[0156]
可选的，所述利用所述第一训练样本对第一基础模型进行训练，获得所述预处理模型，包括：
[0157]
根据所述第一训练样本的图像亮度和对比度信息生成损失函数；
[0158]
根据所述第一训练样本和所述损失函数对所述第一基础模型进行训练，获得所述预处理模型。
[0159]
可选的，所述根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象，包括：
[0160]
将所述帧差图层和所述参考帧输入至检测模型中，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象；
[0161]
所述检测模型的获取过程包括：
[0162]
获取第二训练样本，所述第二训练样本基于低光照环境下获得的图像生成；
[0163]
利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型。
[0164]
可选的，所述获取第二训练样本，所述第二训练样本基于低光照环境下获得的图
像生成，包括：
[0165]
在低光照环境下获取样本当前帧和样本参考帧；
[0166]
将所述样本当前帧和样本参考帧输入到预训练的预处理模型中，获得所述样本当前帧对应的第一样本图层和样本参考帧对应的第二样本图层；
[0167]
根据所述第一样本图层与第二样本图层，获取样本帧差图层；
[0168]
将所述样本帧差图层和所述样本参考帧确定为第二训练样本。
[0169]
可选的，所述利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型，包括：
[0170]
获取第二基础模型，所述第二基础模型中的特征层用于输入所述样本帧差图层；
[0171]
基于预设损失函数和所述第二训练样本对所述第二基础模型进行训练，获得所述检测模型。
[0172]
本发明实施例通过帧差图层补充对象检测方法，充分利用了有效信息，并通过提高低光照环境下帧差信息的可靠性使对象检测更加准确和可靠。
[0173]
本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成，所述的程序可以存储于一可读取介质中。本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时可实现上述图1对应的方法实施例中的步骤：
[0174]
获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；
[0175]
根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；
[0176]
根据所述第一图层与所述第二图层，获取帧差图层；
[0177]
根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。
[0178]
可选的，所述根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层，包括：
[0179]
将所述当前帧和所述参考帧输入至预处理模型中，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；
[0180]
所述预处理模型的获取过程包括：
[0181]
获取第一训练样本，所述第一训练样本根据第一图像和第二图像生成，其中，所述第一图像为在低光照环境下获得的图像，所述第二图像为在正常光照环境下的图像；
[0182]
利用所述第一训练样本对第一基础模型进行训练，获得所述预处理模型。
[0183]
可选的，所述第一训练样本的获取过程，包括：
[0184]
获取样本区域的第一图像和第二图像；
[0185]
对所述第一图像进行数据增强处理，获得第三图像；
[0186]
基于所述第一图像、所述第二图像、和所述第三图像生成的第三图层；
[0187]
将所述第三图层确定为第一训练样本，所述第三图层与所述帧差图层分辨率相同。
[0188]
可选的，所述利用所述第一训练样本对第一基础模型进行训练，获得所述预处理
模型，包括：
[0189]
根据所述第一训练样本的图像亮度和对比度信息生成损失函数；
[0190]
根据所述第一训练样本和所述损失函数对所述第一基础模型进行训练，获得所述预处理模型。
[0191]
可选的，所述根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象，包括：
[0192]
将所述帧差图层和所述参考帧输入至检测模型中，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象；
[0193]
所述检测模型的获取过程包括：
[0194]
获取第二训练样本，所述第二训练样本基于低光照环境下获得的图像生成；
[0195]
利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型。
[0196]
可选的，所述获取第二训练样本，所述第二训练样本基于低光照环境下获得的图像生成，包括：
[0197]
在低光照环境下获取样本当前帧和样本参考帧；
[0198]
将所述样本当前帧和样本参考帧输入到预训练的预处理模型中，获得所述样本当前帧对应的第一样本图层和样本参考帧对应的第二样本图层；
[0199]
根据所述第一样本图层与第二样本图层，获取样本帧差图层；
[0200]
将所述样本帧差图层和所述样本参考帧确定为第二训练样本。
[0201]
可选的，所述利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型，包括：
[0202]
获取第二基础模型，所述第二基础模型中的特征层用于输入所述样本帧差图层；
[0203]
基于预设损失函数和所述第二训练样本对所述第二基础模型进行训练，获得所述检测模型。
[0204]
本发明实施例通过帧差图层补充对象检测方法，充分利用了有效信息，并通过提高低光照环境下帧差信息的可靠性使对象检测更加准确和可靠。
[0205]
本技术实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0206]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0207]
存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0208]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如java、smalltalk、c++，还包括常规的过程式程序设计语言诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0209]
以上所述是本发明实施例的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种低光照环境下的对象检测方法，其特征在于，所述方法包括：获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；根据所述第一图层与所述第二图层，获取帧差图层；根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。2.根据权利要求1中所述的方法，其特征在于，所述根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层，包括：将所述当前帧和所述参考帧输入至预处理模型中，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；所述预处理模型的获取过程包括：获取第一训练样本，所述第一训练样本根据第一图像和第二图像生成，其中，所述第一图像为在低光照环境下获得的图像，所述第二图像为在正常光照环境下的图像；利用所述第一训练样本对第一基础模型进行训练，获得所述预处理模型。3.根据权利要求2中所述的方法，其特征在于，所述第一训练样本的获取过程，包括：获取样本区域的第一图像和第二图像；对所述第一图像进行数据增强处理，获得第三图像；基于所述第一图像、所述第二图像、和所述第三图像生成的第三图层；将所述第三图层确定为第一训练样本，所述第三图层与所述帧差图层分辨率相同。4.根据权利要求2中所述的方法，其特征在于，所述利用所述第一训练样本对第一基础模型进行训练，获得所述预处理模型，包括：根据所述第一训练样本的图像亮度和对比度信息生成损失函数；根据所述第一训练样本和所述损失函数对所述第一基础模型进行训练，获得所述预处理模型。5.根据权利要求1中所述的方法，其特征在于，所述根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象，包括：将所述帧差图层和所述参考帧输入至检测模型中，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象；所述检测模型的获取过程包括：获取第二训练样本，所述第二训练样本基于低光照环境下获得的图像生成；利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型。6.根据权利要求5中所述的方法，其特征在于，所述获取第二训练样本，所述第二训练样本基于低光照环境下获得的图像生成，包括：在低光照环境下获取样本当前帧和样本参考帧；将所述样本当前帧和样本参考帧输入到预训练的预处理模型中，获得所述样本当前帧对应的第一样本图层和样本参考帧对应的第二样本图层；根据所述第一样本图层与第二样本图层，获取样本帧差图层；
将所述样本帧差图层和所述样本参考帧确定为第二训练样本。7.根据权利要求5中所述的方法，其特征在于，所述利用所述第二训练样本对第二基础模型进行训练，获得所述检测模型，包括：获取第二基础模型，所述第二基础模型中的特征层用于输入所述样本帧差图层；基于预设损失函数和所述第二训练样本对所述第二基础模型进行训练，获得所述检测模型。8.一种低光照环境下的对象检测装置，其特征在于，包括：第一获取模块，用于获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；第二获取模块，用于根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；第三获取模块，用于根据所述第一图层与所述第二图层，获取帧差图层；结果获得模块，用于根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。9.一种通信设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至7中任一项所述的低光照环境下的对象检测方法中的步骤。10.一种可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的低光照环境下的对象检测方法中的步骤。

技术总结
本发明提供一种低光照环境下的对象检测方法、装置及相关设备，该方法包括：获取低光照环境下目标区域的目标视频，所述目标视频包括当前帧和参考帧，所述参考帧为所述目标视频中位于所述当前帧之前的帧；根据所述当前帧和参考帧，获取所述当前帧对应的第一图层和所述参考帧对应的第二图层；根据所述第一图层与所述第二图层，获取帧差图层；根据所述帧差图层和所述参考帧，获得检测结果，所述检测结果用于指示所述目标区域是否存在目标对象。本发明实施例通过帧差图层补充对象检测方法，充分利用了有效信息，并通过提高低光照环境下帧差信息的可靠性使对象检测更加准确和可靠。的可靠性使对象检测更加准确和可靠。的可靠性使对象检测更加准确和可靠。


技术研发人员：樊辉 叶涵 黄欢欢 曾桃
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2022.03.17
技术公布日：2023/9/22