一种图像检测方法、装置及存储介质与流程
未命名
10-08
阅读:85
评论:0

1.本技术涉及计算机技术领域,尤其涉及一种图像检测方法、装置及存储介质。
背景技术:
2.营业厅营业人员的规范化管理对于运营商来说十分重要,除了对服务内容、服务态度、服务质量的规范化管理,更需要强化的是对营业人员着装的规范化管理,例如营业人员进入营业厅时需要按照规范穿工作服,这样可以有效提升品牌形象,提升客户满意度。
3.然而目前营业人员的着装检查主要是依靠营业人员的自觉和相关负责人的监督来满足管理要求,这种人工监督的方式费时费力,效率较低。
技术实现要素:
4.本技术提供一种图像检测方法、装置及存储介质,用于解决现有的人员着装管理方法费时费力,效率较低的技术问题。
5.为达到上述目的,本技术采用如下技术方案:
6.第一方面,提供一种图像检测方法,包括:
7.获取待检测图像;
8.将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果;检测结果用于表示待检测图像中的待检测对象的着装是否规范;图像检测模型包括:第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块;第一特征提取模块包括:标准卷积层、批标准化层和tanhexp激活函数;第二特征提取模块包括:可变形卷积层、批标准化层和tanhexp激活函数;第三特征提取模块包括:卷积核大小为3
×
3的标准卷积层、卷积核大小为1
×
1的标准卷积层、卷积核大小为3
×
3的可变形卷积层、特征拼接子模块、用于非线性变换的silu激活函数和卷积核大小为3
×
3的第二特征提取模块;第四特征提取模块包括:3个卷积核大小为1
×
1的第一特征提取模块、2个卷积核大小为3
×
3的第二特征提取模块、1个特征相加子模块和1个特征拼接子模块;第五特征提取模块包括:2个最大池化层、4个卷积核大小为3
×
3的第一特征提取模块、2个平均池化层、4个特征拼接子模块和1个卷积核大小为3
×
3的第二特征提取模块。
9.可选的,第一特征提取模块用于通过标准卷积层对第一输入特征进行处理,以得到a1子特征,通过批标准化层对a1子特征进行处理,以得到a2子特征,通过tanhexp激活函数对a2子特征进行处理,以得到第一输出特征;
10.第二特征提取模块用于通过可变形卷积层对第二输入特征进行处理,以得到b1子特征,通过批标准化层对b1子特征进行处理,以得到b2子特征,通过tanhexp激活函数对b2子特征进行处理,以得到第二输出特征;
11.第三特征提取模块用于通过卷积核大小为3
×
3的标准卷积层对第三输入特征进行处理,以得到c1子特征,通过卷积核大小为1
×
1的标准卷积层对第三输入特征进行处理,以得到c2子特征,通过卷积核大小为3
×
3的可变形卷积层对第三输入特征进行处理,以得
到c3子特征,通过特征拼接子模块对c1子特征、c2子特征和c3子特征进行拼接,以得到c4子特征,通过silu激活函数对c4子特征进行处理,以得到c5子特征,通过卷积核大小为3
×
3的第二特征提取模块对c5子特征进行处理,以得到第三输出特征;
12.第四特征提取模块用于通过1
×
1的第一特征提取模块对第四输入特征进行处理,以得到d1子特征,通过卷积核大小为3
×
3的第二特征提取模块对d1子特征进行处理,以得到d2子特征,通过卷积核大小为3
×
3的第二特征提取模块对第四输入特征进行处理,以得到d3子特征,通过1
×
1的第二特征提取模块对d2子特征进行处理,以得到d4子特征,通过特征相加子模块通d2子特征和d4子特征进行相加,得到d5子特征;通过特征拼接子模块对第四输入特征和d5子特征进行拼接,得到d6子特征,通过1
×
1的第一特征提取模块对d6子特征进行处理,以得到第四输出特征;
13.第五特征提取模块用于通过最大池化层对第五输入特征进行处理,以得到e1子特征,通过卷积核大小为3
×
3的第一特征提取模块对e1子特征进行处理,以得到e2子特征,通过平均池化层对第五输入特征进行处理,以得到e3子特征,通过特征拼接子模块对e2子特征和e3子特征进行拼接,以得到e4子特征,通过卷积核大小为3
×
3的第一特征提取模块对e4子特征进行处理,以得到e5子特征,通过最大池化层对第五输入特征进行处理,以得到e6子特征,通过特征拼接子模块对e5子特征和e6子特征进行拼接,以得到e7子特征,通过卷积核大小为3
×
3的第一特征提取模块对e7子特征进行处理,以得到e8子特征,通过平均池化层对第五输入特征进行处理,以得到e9子特征,通过特征拼接子模块对e8子特征和e9子特征进行拼接,以得到e10子特征,通过卷积核大小为3
×
3的第一特征提取模块对e10子特征进行处理,以得到e11子特征,通过特征拼接子模块对第五输入特征、e2子特征、e5子特征、e8子特征和e11子特征进行拼接,以得到e12子特征,通过卷积核大小为3
×
3的第二特征提取模块对e12子特征进行处理,以得到第五输出特征。
14.可选的,将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果,包括:
15.将待检测图像输入到卷积核大小为3
×
3的第一特征提取模块中,以得到第一特征;
16.将第一特征输入到第三特征提取模块中,以得到第二特征;
17.将第二特征输入到卷积核大小为3
×
3的第一特征提取模块中,以得到第三特征;
18.将第三特征输入到第四特征提取模块中,以得到第四特征;
19.将第四特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第五特征;
20.将第五特征输入到第四特征提取模块中,以得到第六特征;
21.将第六特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第七特征;
22.将第七特征输入到第四特征提取模块中,以得到第八特征;
23.将第八特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第九特征;
24.将第九特征输入到第四特征提取模块中,以得到第十特征;
25.将第十特征输入到第五特征提取模块中,以得到第十一特征;
26.将第十一特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第十二特征;
27.将第十二特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第十三特
征。
28.将第十三特征输入到第四特征提取模块中,以得到第十四特征;
29.将第十四特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第十五特征;
30.将第十五特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
31.可选的,将第十三特征输入到第四特征提取模块中,以得到第十四特征之后,还包括:
32.将第十四特征进行二倍上采样,并将二倍上采样的结果与第八特征进行特征拼接,以得到第十七特征;
33.将第十七特征输入到第四特征提取模块中,以得到第十八特征;
34.将第十八特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第十九特征;
35.将第十九特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
36.可选的,将第十七特征输入到第四特征提取模块中,以得到第十八特征之后,还包括:
37.或者,将第十八特征进行二倍上采样,并将二倍上采样的结果与第五特征进行特征拼接,以得到第二十一特征;
38.将第二十一特征输入到第四特征提取模块中,以得到第二十二特征;
39.将第二十二特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第二十三特征;
40.将第二十三特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
41.可选的,该图像检测方法还包括:
42.获取训练数据和测试数据;
43.将训练数据依次输入到待训练模型中,以得到预测结果;待训练模型包括第一特征提取模块对应的待训练模块、第二特征提取模块对应的待训练模块、第三特征提取模块对应的待训练模块、第四特征提取模块对应的待训练模块和第五特征提取模块对应的待训练模块;
44.根据预测结果与测试数据的比对结果,调整待训练模型中,各个待训练模块的模型参数,以得到图像检测模型。
45.可选的,获取训练数据和测试数据,包括:
46.获取待训练图像;
47.基于标准工具,对待训练图像进行标注,以得到标注后的图像;
48.基于过采样技术,对标注后的图像进行过采样,以得到过采样后的图像;
49.按照预设比例对过采样后的图像进行划分,以得到训练数据和测试数据。
50.第二方面,提供一种图像检测装置,包括:获取单元和处理单元;
51.获取单元,用于获取待检测图像;
52.处理单元,用于将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果;检测结果用于表示待检测图像中的待检测对象的着装是否规范;图像检测模型包括:第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块;第一特征提取模块包括:标准卷积层、批标准化层和tanhexp激活函数;第二特征提取模块包括:可变形卷积层、批标准化层和tanhexp激活函数;第三特征提取模块包括:卷积核大小为3
×
3的标准卷积层、卷积核大小为1
×
1的标准卷积层、卷积核大小为3
×
3的可变形卷积层、特征拼接子模块、用于非线性变换的silu激活函数和卷积核大小为3
×
3的第二特征提取模块;第四特征提取模块包括:3个卷积核大小为1
×
1的第一特征提取模块、2个卷积核大小为3
×
3的第二特征提取模块、1个特征相加子模块和1个特征拼接子模块;第五特征提取模块包括:2个最大池化层、4个卷积核大小为3
×
3的第一特征提取模块、2个平均池化层、4个特征拼接子模块和1个卷积核大小为3
×
3的第二特征提取模块。
53.可选的,第一特征提取模块用于通过标准卷积层对第一输入特征进行处理,以得到a1子特征,通过批标准化层对a1子特征进行处理,以得到a2子特征,通过tanhexp激活函数对a2子特征进行处理,以得到第一输出特征;
54.第二特征提取模块用于通过可变形卷积层对第二输入特征进行处理,以得到b1子特征,通过批标准化层对b1子特征进行处理,以得到b2子特征,通过tanhexp激活函数对b2子特征进行处理,以得到第二输出特征;
55.第三特征提取模块用于通过卷积核大小为3
×
3的标准卷积层对第三输入特征进行处理,以得到c1子特征,通过卷积核大小为1
×
1的标准卷积层对第三输入特征进行处理,以得到c2子特征,通过卷积核大小为3
×
3的可变形卷积层对第三输入特征进行处理,以得到c3子特征,通过特征拼接子模块对c1子特征、c2子特征和c3子特征进行拼接,以得到c4子特征,通过silu激活函数对c4子特征进行处理,以得到c5子特征,通过卷积核大小为3
×
3的第二特征提取模块对c5子特征进行处理,以得到第三输出特征;
56.第四特征提取模块用于通过1
×
1的第一特征提取模块对第四输入特征进行处理,以得到d1子特征,通过卷积核大小为3
×
3的第二特征提取模块对d1子特征进行处理,以得到d2子特征,通过卷积核大小为3
×
3的第二特征提取模块对第四输入特征进行处理,以得到d3子特征,通过1
×
1的第二特征提取模块对d2子特征进行处理,以得到d4子特征,通过特征相加子模块通d2子特征和d4子特征进行相加,得到d5子特征;通过特征拼接子模块对第四输入特征和d5子特征进行拼接,得到d6子特征,通过1
×
1的第一特征提取模块对d6子特征进行处理,以得到第四输出特征;
57.第五特征提取模块用于通过最大池化层对第五输入特征进行处理,以得到e1子特征,通过卷积核大小为3
×
3的第一特征提取模块对e1子特征进行处理,以得到e2子特征,通过平均池化层对第五输入特征进行处理,以得到e3子特征,通过特征拼接子模块对e2子特征和e3子特征进行拼接,以得到e4子特征,通过卷积核大小为3
×
3的第一特征提取模块对e4子特征进行处理,以得到e5子特征,通过最大池化层对第五输入特征进行处理,以得到e6子特征,通过特征拼接子模块对e5子特征和e6子特征进行拼接,以得到e7子特征,通过卷积核大小为3
×
3的第一特征提取模块对e7子特征进行处理,以得到e8子特征,通过平均池化层对第五输入特征进行处理,以得到e9子特征,通过特征拼接子模块对e8子特征和e9子特征进行拼接,以得到e10子特征,通过卷积核大小为3
×
3的第一特征提取模块对e10子特征
进行处理,以得到e11子特征,通过特征拼接子模块对第五输入特征、e2子特征、e5子特征、e8子特征和e11子特征进行拼接,以得到e12子特征,通过卷积核大小为3
×
3的第二特征提取模块对e12子特征进行处理,以得到第五输出特征。
58.可选的,处理单元,具体用于:
59.将待检测图像输入到卷积核大小为3
×
3的第一特征提取模块中,以得到第一特征;
60.将第一特征输入到第三特征提取模块中,以得到第二特征;
61.将第二特征输入到卷积核大小为3
×
3的第一特征提取模块中,以得到第三特征;
62.将第三特征输入到第四特征提取模块中,以得到第四特征;
63.将第四特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第五特征;
64.将第五特征输入到第四特征提取模块中,以得到第六特征;
65.将第六特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第七特征;
66.将第七特征输入到第四特征提取模块中,以得到第八特征;
67.将第八特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第九特征;
68.将第九特征输入到第四特征提取模块中,以得到第十特征;
69.将第十特征输入到第五特征提取模块中,以得到第十一特征;
70.将第十一特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第十二特征;
71.将第十二特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第十三特征。
72.将第十三特征输入到第四特征提取模块中,以得到第十四特征;
73.将第十四特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第十五特征;
74.将第十五特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
75.可选的,处理单元,还用于:
76.将第十四特征进行二倍上采样,并将二倍上采样的结果与第八特征进行特征拼接,以得到第十七特征;
77.将第十七特征输入到第四特征提取模块中,以得到第十八特征;
78.将第十八特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第十九特征;
79.将第十九特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
80.可选的,处理单元,还用于:
81.将第十八特征进行二倍上采样,并将二倍上采样的结果与第五特征进行特征拼接,以得到第二十一特征;
82.将第二十一特征输入到第四特征提取模块中,以得到第二十二特征;
83.将第二十二特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第二十三特征;
84.将第二十三特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
85.可选的,获取单元,还用于获取训练数据和测试数据;
86.可选的,处理单元,还用于将训练数据依次输入到待训练模型中,以得到预测结果;待训练模型包括第一特征提取模块对应的待训练模块、第二特征提取模块对应的待训练模块、第三特征提取模块对应的待训练模块、第四特征提取模块对应的待训练模块和第五特征提取模块对应的待训练模块;
87.可选的,处理单元,还用于根据预测结果与测试数据的比对结果,调整待训练模型中,各个待训练模块的模型参数,以得到图像检测模型。
88.可选的,获取单元,具体用于:
89.获取待训练图像;
90.基于标准工具,对待训练图像进行标注,以得到标注后的图像;
91.基于过采样技术,对标注后的图像进行过采样,以得到过采样后的图像;
92.按照预设比例对过采样后的图像进行划分,以得到训练数据和测试数据。
93.第三方面,提供一种图像检测装置,包括存储器和处理器;存储器用于存储计算机执行指令,处理器与存储器通过总线连接;当图像检测装置运行时,处理器执行存储器存储的计算机执行指令,以使图像检测装置执行第一方面所述的图像检测方法。
94.该图像检测装置可以是网络设备,也可以是网络设备中的一部分装置,例如网络设备中的芯片系统。该芯片系统用于支持网络设备实现第一方面及其任意一种可能的实现方式中所涉及的功能,例如,获取、确定、发送上述图像检测方法中所涉及的数据和/或信息。该芯片系统包括芯片,也可以包括其他分立器件或电路结构。
95.第四方面,提供一种计算机可读存储介质,计算机可读存储介质包括计算机执行指令,当计算机执行指令在计算机上运行时,使得该计算机执行第一方面所述的图像检测方法。
96.第五方面,还提供一种计算机程序产品,该计算机程序产品包括计算机指令,当计算机指令在图像检测装置上运行时,使得图像检测装置执行如上述第一方面所述的图像检测方法。
97.需要说明的是,上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中,计算机可读存储介质可以与图像检测装置的处理器封装在一起的,也可以与图像检测装置的处理器单独封装,本技术实施例对此不作限定。
98.本技术中第二方面、第三方面、第四方面以及第五方面的描述,可以参考第一方面的详细描述。
99.在本技术实施例中,上述图像检测装置的名字对设备或功能模块本身不构成限定,在实际实现中,这些设备或功能模块可以以其他名称出现。例如,接收单元还可以称为接收模块、接收器等。只要各个设备或功能模块的功能和本技术类似,属于本技术权利要求及其等同技术的范围之内。
100.本技术提供的技术方案至少带来以下有益效果:
101.基于上述任一方面,本技术提供一种图像检测方法,可以获取待检测图像,并将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果。该检测结果用于表示待
检测图像中的待检测对象的着装是否规范。
102.上述图像检测模型包括:第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块;第一特征提取模块包括:标准卷积层、批标准化层和tanhexp激活函数;第二特征提取模块包括:可变形卷积层、批标准化层和tanhexp激活函数;第三特征提取模块包括:卷积核大小为3
×
3的标准卷积层、卷积核大小为1
×
1的标准卷积层、卷积核大小为3
×
3的可变形卷积层、特征拼接子模块、用于非线性变换的silu激活函数和卷积核大小为3
×
3的第二特征提取模块;第四特征提取模块包括:3个卷积核大小为1
×
1的第一特征提取模块、2个卷积核大小为3
×
3的第二特征提取模块、1个特征相加子模块和1个特征拼接子模块;第五特征提取模块包括:2个最大池化层、4个卷积核大小为3
×
3的第一特征提取模块、2个平均池化层、4个特征拼接子模块和1个卷积核大小为3
×
3的第二特征提取模块。
103.由上可知,本技术通过包括第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块构建的图像检测模型,可以准确的检测营业人员的着装是否符合规范,推动了营业厅的智能化管理,大大提高了管理效率,进一步提升了服务水平和品牌形象。
104.本技术中的第一方面、第二方面、第三方面、第四方面以及第五方面的有益效果,均可以参考上述有益效果的分析,此处不再赘述。
附图说明
105.图1为本技术实施例提供的一种图像检测系统的结构示意图;
106.图2为本技术实施例提供的一种图像检测装置的硬件结构示意图一;
107.图3为本技术实施例提供的一种图像检测装置的硬件结构示意图二;
108.图4为本技术实施例提供的一种图像检测方法的流程示意图一;
109.图5为本技术实施例提供的一种cbt模块的结构示意图;
110.图6为本技术实施例提供的一种dbt模块的结构示意图;
111.图7为本技术实施例提供的一种ccsd模块的结构示意图;
112.图8为本技术实施例提供的一种res_unit模块的结构示意图;
113.图9为本技术实施例提供的一种sppc模块的结构示意图;
114.图10为本技术实施例提供的一种图像检测方法的流程示意图二;
115.图11为本技术实施例提供的一种图像检测方法的流程示意图三;
116.图12为本技术实施例提供的一种图像检测装置的结构示意图。
具体实施方式
117.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
118.需要说明的是,本技术实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应
被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
119.为了便于清楚描述本技术实施例的技术方案,在本技术实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
120.如背景技术所述,目前营业人员的着装检查主要是依靠营业人员的自觉和相关负责人的监督来满足管理要求,这种人工监督的方式费时费力,效率较低,不能够满足营业人员管理智能化的要求,因此通过智能化方案对进入营业人员的着装进行检测迫在眉睫。
121.针对上述问题,本技术提供一种图像检测方法,可以获取待检测图像,并将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果。该检测结果用于表示待检测图像中的待检测对象的着装是否规范。
122.上述图像检测模型包括:第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块;第一特征提取模块包括:标准卷积层、批标准化层和tanhexp激活函数;第二特征提取模块包括:可变形卷积层、批标准化层和tanhexp激活函数;第三特征提取模块包括:卷积核大小为3
×
3的标准卷积层、卷积核大小为1
×
1的标准卷积层、卷积核大小为3
×
3的可变形卷积层、特征拼接子模块、用于非线性变换的silu激活函数和卷积核大小为3
×
3的第二特征提取模块;第四特征提取模块包括:3个卷积核大小为1
×
1的第一特征提取模块、2个卷积核大小为3
×
3的第二特征提取模块、1个特征相加子模块和1个特征拼接子模块;第五特征提取模块包括:2个最大池化层、4个卷积核大小为3
×
3的第一特征提取模块、2个平均池化层、4个特征拼接子模块和1个卷积核大小为3
×
3的第二特征提取模块。
123.由上可知,本技术通过包括第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块构建的图像检测模型,可以准确的检测营业人员的着装是否符合规范,推动了营业厅的智能化管理,大大提高了管理效率,进一步提升了服务水平和品牌形象。
124.该图像检测方法适用于图像检测系统。图1示出了该图像检测系统的一种结构。如图1所示,该图像检测系统包括:电子设备101和存储设备102。
125.其中,电子设备101与存储设备102之间通信连接。
126.在实际应用中,电子设备101可以连接任意数量的存储设备102。为了便于理解,图1以一个电子设备101连接一个存储设备102为例进行说明。
127.本技术实施例中,存储设备102用于向电子设备101提供用于图像检测的数据(例如待检测图像、待训练图像等),以使得电子设备101根据存储设备102发送的数据实现图像检测。
128.可选的,电子设备101和存储设备102的实体设备可以是服务器,也可以是终端,还可以是其他类型的电子设备,本技术实施例对此不作限定。
129.可选的,上述终端可以是指向用户提供语音和/或数据连通性的设备,具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(radio access network,ran)与一个或多个核心网进行通信。无线终端可以是移动终端,如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机,也可以是便携式、袖珍式、
手持式、计算机内置的或者车载的移动装置,它们与无线接入网交换语言和/或数据,例如,手机、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant,pda)。
130.可选的,上述服务器可以是服务器集群(由多个服务器组成)中的一个服务器,也可以是该服务器中的芯片,还可以是该服务器中的片上系统,还可以通过部署在物理机上的虚拟机(virtual machine,vm)实现,本技术实施例对此不作限定。
131.可选的,电子设备101和存储设备102可以是相互独立设置的两个设备,也可以集成在同一设备中。当电子设备101和存储设备102集成在同一设备时,存储设备102可以是电子设备101的存储模块(例如数据库等)。
132.容易理解的是,当电子设备101和存储设备102集成在同一设备时,电子设备101和存储设备102之间的通信方式为该设备内部模块之间的通信。这种情况下,二者之间的通信流程与“电子设备101和存储设备102相互独立的情况下,二者之间的通信流程”相同。
133.为了便于理解,本技术以电子设备101和存储设备102相互独立为例进行说明。
134.电子设备101和存储设备102基本硬件结构包括图2或图3所示图像检测装置所包括的元件。下面以图2和图3所示的图像检测装置为例,介绍电子设备101和存储设备102的硬件结构。
135.如图2所示,为本技术实施例提供的图像检测装置的一种硬件结构示意图。该图像检测装置包括处理器21,存储器22、通信接口23、总线24。处理器21,存储器22以及通信接口23之间可以通过总线24连接。
136.处理器21是图像检测装置的控制中心,可以是一个处理器,也可以是多个处理元件的统称。例如,处理器21可以是一个通用中央处理单元(central processing unit,cpu),也可以是其他通用处理器等。其中,通用处理器可以是微处理器或者是任何常规的处理器等。
137.作为一种实施例,处理器21可以包括一个或多个cpu,例如图2中所示的cpu 0和cpu 1。
138.存储器22可以是只读存储器(read-only memory,rom)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,ram)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,eeprom)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
139.一种可能的实现方式中,存储器22可以独立于处理器21存在,存储器22可以通过总线24与处理器21相连接,用于存储指令或者程序代码。处理器21调用并执行存储器22中存储的指令或程序代码时,能够实现本技术下述实施例提供的图像检测方法。
140.在本技术实施例中,对于电子设备101和存储设备102而言,存储器22中存储的软件程序不同,所以电子设备101和存储设备102实现的功能不同。关于各设备所执行的功能将结合下面的流程图进行描述。
141.另一种可能的实现方式中,存储器22也可以和处理器21集成在一起。
142.通信接口23,用于图像检测装置与其他设备通过通信网络连接,所述通信网络可以是以太网,无线接入网,无线局域网(wireless local area networks,wlan)等。通信接
口23可以包括用于接收数据的接收单元,以及用于发送数据的发送单元。
143.总线24,可以是工业标准体系结构(industry standard architecture,isa)总线、外部设备互连(peripheral component interconnect,pci)总线或扩展工业标准体系结构(extended industry standard architecture,eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图2中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
144.图3示出了本技术实施例中图像检测装置的另一种硬件结构。如图3所示,图像检测装置可以包括处理器31以及通信接口32。处理器31与通信接口32耦合。
145.处理器31的功能可以参考上述处理器21的描述。此外,处理器31还具备存储功能,可以起上述存储器22的功能。
146.通信接口32用于为处理器31提供数据。该通信接口32可以是图像检测装置的内部接口,也可以是图像检测装置对外的接口(相当于通信接口23)。
147.需要指出的是,图2(或图3)中示出的结构并不构成对图像检测装置的限定,除图2(或图3)所示部件之外,该图像检测装置可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
148.下面结合附图对本技术实施例提供的图像检测方法进行详细介绍。
149.本技术实施例提供的图像检测方法应用于图1所示的图像检测系统中的电子设备101,如图4所示,本技术实施例提供的图像检测方法包括:
150.s401、电子设备获取待检测图像。
151.可选的,在营业人员的着装检查的场景下,营业人员所处环境可以部署有图像采集设备(例如摄像头)。图像采集设备可以采集待检测图像,并向电子设备发送待检测图像。
152.s402、电子设备将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果。
153.其中,检测结果用于表示待检测图像中的待检测对象的着装是否规范。
154.图像检测模型包括:第一特征提取模块(也可以称为cbt模块)、第二特征提取模块(也可以称为dbt模块)、第三特征提取模块(也可以称为ccsd模块)、第四特征提取模块(也可以称为res_unit模块)和第五特征提取模块(也可以称为sppc模块)。
155.具体的,电子设备可以先定义五个利用卷积进行特征提取的基本模块:cbt模块、dbt模块、ccsd模块、res_unit模块和sppc模块(即本技术实施例中的第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块),然后使用这五个基本模块构建特征提取网络和特征融合网络,共同构成基于卷积神经网络的图像检测模型。
156.第一特征提取模块包括:标准卷积层、批标准化层和tanhexp激活函数。
157.cbt模块中的tanhexp激活函数,可以加快收敛速度,缩短训练时间。
158.可选的,第一特征提取模块用于通过标准卷积层对第一输入特征进行处理,以得到a1子特征,通过批标准化层对a1子特征进行处理,以得到a2子特征,通过tanhexp激活函数对a2子特征进行处理,以得到第一输出特征。
159.示例性的,cbt模块的结构如图5所示,利用标准卷积层对输入特征图进行特征提取,利用batch normalization层进行批量标准化,利用tanhexp激活函数进行非线性化变
换,得到输出特征图,如公式(1)所示。
[0160][0161]
其中,g
cbto
表示cbt模块的输出特征图,g
cbti
表示cbt模块的输入特征图,表示卷积层,b()表示batch normalization层,t()表示tanhexp激活函数。
[0162]
第二特征提取模块包括:可变形卷积层、批标准化层和tanhexp激活函数。
[0163]
dbt模块中的可变形卷积可以自动调整卷积核形状和尺寸,更加聚焦所检测的内容,提供检测精准度。
[0164]
可选的,第二特征提取模块用于通过可变形卷积层对第二输入特征进行处理,以得到b1子特征,通过批标准化层对b1子特征进行处理,以得到b2子特征,通过tanhexp激活函数对b2子特征进行处理,以得到第二输出特征。
[0165]
示例性的,dbt模块的结构如图6所示,利用可变形卷积对输入特征图进行特征提取,利用batch normalization层进行批量标准化,利用tanhexp激活函数进行非线性化变换,得到输出特征图,如公式(2)所示。
[0166]gdbto
=t(b(ρ(g
dbti
)))
ꢀꢀ
(2)
[0167]
其中,g
dbto
为dbt模块的输出特征图,g
dbti
为dbt模块的输入特征图,ρ()为可变形卷积层。
[0168]
第三特征提取模块包括:卷积核大小为3
×
3的标准卷积层、卷积核大小为1
×
1的标准卷积层、卷积核大小为3
×
3的可变形卷积层、特征拼接子模块、用于非线性变换的silu激活函数和卷积核大小为3
×
3的第二特征提取模块。
[0169]
res_unit模块实现了浅层卷积层和深层卷积层的连接,增强了反向传播效果,优化模型收敛。
[0170]
可选的,第三特征提取模块用于通过卷积核大小为3
×
3的标准卷积层对第三输入特征进行处理,以得到c1子特征,通过卷积核大小为1
×
1的标准卷积层对第三输入特征进行处理,以得到c2子特征,通过卷积核大小为3
×
3的可变形卷积层对第三输入特征进行处理,以得到c3子特征,通过特征拼接子模块对c1子特征、c2子特征和c3子特征进行拼接,以得到c4子特征,通过silu激活函数对c4子特征进行处理,以得到c5子特征,通过卷积核大小为3
×
3的第二特征提取模块对c5子特征进行处理,以得到第三输出特征。
[0171]
示例性的,ccsd模块的结构如图7所示,对于输入特征图,首先使用卷积核大小为3
×
3的卷积层进行特征提取,记为g
ccsd1
,使用卷积核大小为1
×
1的卷积层进行特征提取,记为g
ccsd2
,使用卷积核大小为3
×
3的可变形卷积层进行特征提取,记为g
ccsd3
,然后使用concat特征拼接,将这三个特征进行特征拼接,使用silu激活函数进行非线性变换,利用卷积核大小为3
×
3的dbt模块提取特征,得到输出特征图,如公式(3)所示。
[0172]gccsd4
=d3(s(concat(g
ccsd1
, g
ccsd2
, g
ccsd3
)))
ꢀꢀ
(3)
[0173]
其中,concat()为通道拼接,s()为silu激活函数,d3()为卷积核大小为3
×
3的dbt模块。
[0174]
第四特征提取模块包括:3个卷积核大小为1
×
1的第一特征提取模块、2个卷积核大小为3
×
3的第二特征提取模块、1个特征相加子模块和1个特征拼接子模块。
[0175]
ccsd模块利用不同感受野大小的卷积核和可变卷积提取特征,用于增强所提取特征的丰富程度,为后面的特征提取提供丰富的特征支持。
[0176]
可选的,第四特征提取模块用于通过1
×
1的第一特征提取模块对第四输入特征进行处理,以得到d1子特征,通过卷积核大小为3
×
3的第二特征提取模块对d1子特征进行处理,以得到d2子特征,通过卷积核大小为3
×
3的第二特征提取模块对第四输入特征进行处理,以得到d3子特征,通过1
×
1的第二特征提取模块对d2子特征进行处理,以得到d4子特征,通过特征相加子模块通d2子特征和d4子特征进行相加,得到d5子特征。通过特征拼接子模块对第四输入特征和d5子特征进行拼接,得到d6子特征,通过1
×
1的第一特征提取模块对d6子特征进行处理,以得到第四输出特征。
[0177]
示例性的,res_unit模块的结构如图8所示,对于输入特征图,首先使用卷积核大小为1
×
1的cbt模块提取特征g
r1
,如公式(4)所示。
[0178]gr1
=c1(g
ri
)
ꢀꢀ
(4)
[0179]
其中,g
ri
为输入特征图,c1()为卷积核大小为1
×
1的cbt模块。
[0180]
然后利用卷积核大小为3
×
3的dbt模块提取特征g
r2
,如公式(5)所示。
[0181]gr2
=d3(g
r1
)
ꢀꢀ
(5)
[0182]
然后利用卷积核大小为3
×
3的dbt模块再次处理输入特征图,如公式(6)所示。
[0183]gr3
=d3(g
ri
)
ꢀꢀ
(6)
[0184]
然后利用卷积核大小为1
×
1的cbt模块提取特征g
r4
,如公式(7)所示。
[0185]gr4
=c1(g
r3
)
ꢀꢀ
(7)
[0186]
然后将g
r4
和g
r2
进行特征相加,然后和输入特征图一起进行concat特征拼接(即通道拼接),利用卷积核大小为1
×
1的cbt模块进行特征提取,得到输出特征图,如公式(8)所示。
[0187]gr7
=c1(concat(g
ri
, (g
r2
+g
r4
)))
ꢀꢀ
(8)
[0188]
其中,将g
r7
作为res_unit模块的输出特征。
[0189]
第五特征提取模块包括:2个最大池化层、4个卷积核大小为3
×
3的第一特征提取模块、2个平均池化层、4个特征拼接子模块和1个卷积核大小为3
×
3的第二特征提取模块。
[0190]
通过两次最大池化层对输入特征图进行反向传递优化,优化效果更好,平均池化层同理。
[0191]
sppc模块利用池化层提取主要特征,并且利用通道拼接将深层特征和浅层特征融合在一起,深层特征包含语义信息,浅层网络包含细节信息,这样能够将语义和细节信息融合,提高检测效果。
[0192]
可选的,第五特征提取模块用于通过最大池化层对第五输入特征进行处理,以得到e1子特征,通过卷积核大小为3
×
3的第一特征提取模块对e1子特征进行处理,以得到e2子特征,通过平均池化层对第五输入特征进行处理,以得到e3子特征,通过特征拼接子模块对e2子特征和e3子特征进行拼接,以得到e4子特征,通过卷积核大小为3
×
3的第一特征提取模块对e4子特征进行处理,以得到e5子特征,通过最大池化层对第五输入特征进行处理,以得到e6子特征,通过特征拼接子模块对e5子特征和e6子特征进行拼接,以得到e7子特征,通过卷积核大小为3
×
3的第一特征提取模块对e7子特征进行处理,以得到e8子特征,通过平均池化层对第五输入特征进行处理,以得到e9子特征,通过特征拼接子模块对e8子特征和e9子特征进行拼接,以得到e10子特征,通过卷积核大小为3
×
3的第一特征提取模块对e10子特征进行处理,以得到e11子特征,通过特征拼接子模块对第五输入特征、e2子特征、
e5子特征、e8子特征和e11子特征进行拼接,以得到e12子特征,通过卷积核大小为3
×
3的第二特征提取模块对e12子特征进行处理,以得到第五输出特征。
[0193]
示例性的,sppc模块的结构如图9所示,对于输入特征图,首先利用最大池化层提取特征g
s1
,然后利用卷积核大小为3
×
3的cbt模块提取特征g
s2
,如公式(9)所示。
[0194]gs2
=c3(m(g
si
))
ꢀꢀ
(9)
[0195]
其中,g
si
表示输入特征图,m()表示最大池化层。
[0196]
然后对输入特征图利用平均池化层提取特征g
s3
,与特征g
s2
进行通道拼接,然后利用卷积核大小为3
×
3的cbt模块提取特征g
s5
,如公式(10)所示。
[0197]gs5
=c3(concat(g
s2
,a(g
si
)))
ꢀꢀ
(10)
[0198]
其中,a()表示平均池化层。
[0199]
然后对输入特征图利用最大池化层提取特征g
s6
,与特征g
s5
进行通道拼接,然后利用卷积核大小为3
×
3的cbt模块提取特征g
s8
,如公式(11)所示。
[0200]gs8
=c3(concat(g
s5
,m(g
si
)))
ꢀꢀ
(11)
[0201]
然后对输入特征图利用平均池化层提取特征g
s9
,与特征g
s8
进行通道拼接,然后利用卷积核大小为3
×
3的cbt模块提取特征g
s11
,如公式(12)所示。
[0202]gs11
=c3(concat(g
s8
,m(g
si
)))
ꢀꢀ
(12)
[0203]
然后将输入特征图、特征g
s2
、特征g
s5
、特征g
s8
和特征g
s11
进行特征拼接,利用卷积核大小为3
×
3的dbt模块提取特征g
s13
,得到输入特征图,如公式(13)所示。
[0204]gs13
=d3(concat(g
si
,g
s2
,g
s5
,g
s8
,g
s11
)
ꢀꢀ
(13)
[0205]
在一些实施例中,电子设备将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果的方法具体包括:
[0206]
将待检测图像输入到卷积核大小为3
×
3的第一特征提取模块中,以得到第一特征。
[0207]
将第一特征输入到第三特征提取模块中,以得到第二特征。
[0208]
将第二特征输入到卷积核大小为3
×
3的第一特征提取模块中,以得到第三特征。
[0209]
将第三特征输入到第四特征提取模块中,以得到第四特征。
[0210]
将第四特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第五特征。
[0211]
将第五特征输入到第四特征提取模块中,以得到第六特征。
[0212]
将第六特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第七特征。
[0213]
将第七特征输入到第四特征提取模块中,以得到第八特征。
[0214]
将第八特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第九特征。
[0215]
将第九特征输入到第四特征提取模块中,以得到第十特征。
[0216]
将第十特征输入到第五特征提取模块中,以得到第十一特征。
[0217]
将第十一特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第十二特征。
[0218]
将第十二特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第十三特征。
[0219]
将第十三特征输入到第四特征提取模块中,以得到第十四特征。
[0220]
将第十四特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第十五特
征。
[0221]
将第十五特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
[0222]
可选的,待检测图像的图像大小可能不同,当待检测图像较大时,为了提高待检测图像的检测精准度,电子设备可以对待检测图像的图像特征进行上采样。在这种情况下,将第十三特征输入到第四特征提取模块中,以得到第十四特征之后,还包括:
[0223]
将第十四特征进行二倍上采样,并将二倍上采样的结果与第八特征进行特征拼接,以得到第十七特征。
[0224]
将第十七特征输入到第四特征提取模块中,以得到第十八特征。
[0225]
将第十八特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第十九特征。
[0226]
将第十九特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
[0227]
可选的,待检测图像的图像大小可能不同,当待检测图像非常大时,为了提高待检测图像的检测精准度,电子设备可以对待检测图像的图像特征进行上采样。在这种情况下,将第十七特征输入到第四特征提取模块中,以得到第十八特征之后,还包括:
[0228]
将第十八特征进行二倍上采样,并将二倍上采样的结果与第五特征进行特征拼接,以得到第二十一特征。
[0229]
将第二十一特征输入到第四特征提取模块中,以得到第二十二特征。
[0230]
将第二十二特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第二十三特征。
[0231]
将第二十三特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
[0232]
示例性的,图像检测模型由cbt模块、dbt模块、res_unit模块、ccsd模块和sppc模块构成。如图10所示,电子设备将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果的方法包括:
[0233]
对于输入图像,首先利用卷积核大小为3
×
3的cbt模块提取特征g1,如公式(14)所示。
[0234]
g1=c3(f)
ꢀꢀ
(14)
[0235]
其中,f表示输入图像。然后使用ccsd模块提取特征g2。如公式(15)所示。
[0236]
g2=ccsd(g1)
ꢀꢀ
(15)
[0237]
其中,ccsd()表示ccsd模块。然后使用卷积核大小为3
×
3的cbt模块提取特征g3,利用res_unit模块提取特征g4,如公式(16)所示。
[0238]
g4=r(c3(g2))
ꢀꢀ
(16)
[0239]
其中,r()表示res_unit模块。然后利用卷积核大小为3
×
3的dbt模块提取特征g5,利用res_unit模块提取特征g6,如公式(17)所示。
[0240]
g6=r(d3(g4))
ꢀꢀ
(17)
[0241]
然后利用卷积核大小为3
×
3的dbt模块提取特征g7,利用res_unit模块提取特征g8,如公式(18)所示。
[0242]
g8=r(d3(g6))
ꢀꢀ
(18)
[0243]
然后使用卷积核大小为1
×
1的cbt模块提取特征g9,利用res_unit模块提取特征g
10
,如公式(19)所示。
[0244]g10
=r(c1(g8))
ꢀꢀ
(19)
[0245]
最后利用sppc模块提取特征g
11
,利用卷积核大小为3
×
3的dbt模块提取特征g
12
,如公式(20)所示。
[0246]g12
=d3(sppc(g
10
))
ꢀꢀ
(20)
[0247]
其中,sppc()为sppc模块。g
12
即特征提取网络的输出特征。
[0248]
特征融合网络用于将特征提取网络的中间特征进行融合,由cbt模块、dbt模块和res_unit模块构成,结构如图7所示。对于特征提取网络的输出特征g
12
,首先利用卷积核大小为3
×
3的dbt模块提取特征g
13
,然后利用res_unit模块提取特征g
14
,利用卷积核大小为1
×
1的cbt模块提取特征g
15
,利用卷积核大小为3
×
3的dbt模块提取特征g
16
,将特征值作为预测值。
[0249]
将特征g
14
做二倍上采样,与特征提取网络的中间特征g8进行cancat特征拼接,得到特征g
17
,如公式(21)所示。
[0250]g17
=concat(e(g
14
), g8)
ꢀꢀ
(21)
[0251]
其中,e()为二倍上采样。然后利用res_unit模块提取特征g
18
,利用卷积核大小为1
×
1的cbt模块提取特征g
19
,利用卷积核大小为3
×
3的dbt模块提取特征g
20
,将特征值作为预测值。
[0252]
将特征g
18
做二倍上采样,与特征提取网络的中间特征g5进行cancat特征拼接,得到特征g
21
,如公式(22)所示。
[0253]g21
=concat(e(g
18
), g5)
ꢀꢀ
(22)
[0254]
然后利用res_unit模块提取特征g
22
,利用卷积核大小为1
×
1的cbt模块提取特征g
23
,利用卷积核大小为3
×
3的dbt模块提取特征g
24
,将特征值作为预测值。
[0255]
在一些实施例中,如图11所示,该图像检测方法还包括:
[0256]
s1101、电子设备获取训练数据和测试数据。
[0257]
在一些实施例中,电子设备获取训练数据和测试数据的方法具体包括:
[0258]
电子设备获取待训练图像。
[0259]
具体的,电子设备可以从存储设备获取营业厅营业人员着装数据集。该数据集可以包括拍摄不同人员不同着装在营业厅的照片。为了能够获得全方位的拍摄角度,数据采集设备可以分别从拍摄人员的正面、背面和侧面进行拍摄。
[0260]
电子设备基于标准工具,对待训练图像进行标注,以得到标注后的图像。
[0261]
可选的,电子设备可以采用labeling工具对待训练图像中的人员进行标注,标注时将人员从头部标注到脚部,要包含工作服。标注的目的是形成训练数据和测试数据。
[0262]
电子设备基于过采样技术,对标注后的图像进行过采样,以得到过采样后的图像。
[0263]
可选的,为了扩充数据集,电子设备可以采用左右翻转、调整亮度、调整对比度、图片失真等增加图片数量。
[0264]
电子设备按照预设比例对过采样后的图像进行划分,以得到训练数据和测试数据。
[0265]
可选的,电子设备可以将所有图片按照7:3的比例划分为训练数据和测试数据。
[0266]
s1102、电子设备将训练数据依次输入到待训练模型中,以得到预测结果。
[0267]
其中,待训练模型包括第一特征提取模块对应的待训练模块、第二特征提取模块对应的待训练模块、第三特征提取模块对应的待训练模块、第四特征提取模块对应的待训练模块和第五特征提取模块对应的待训练模块。
[0268]
s1103、电子设备根据预测结果与测试数据的比对结果,调整待训练模型中,各个待训练模块的模型参数,以得到图像检测模型。
[0269]
示例性的,电子设备可以使用标注好的训练集和测试集训练模型,挑选效果最好的模型部署至服务器,通过安装在营业厅的摄像头获取营业人员工位的视频,上传至服务器后进行检测,如果检测结果不符合着装要求,则提示营业人员穿好工作服。
[0270]
由上可知,本技术首先建立营业厅营业人员着装数据集,拍摄不同人员不同着装在营业厅的照片,分别从拍摄人员的正面、背面和侧面进行拍摄。采用labeling工具对人员进行标注,标注框要包含工作服,采用左右翻转、调整亮度、调整对比度、图片失真等增加图片数量。然后提出基于卷积神经网络的营业厅营业人员规范着装检测方法,包括cbt模块、dbt模块、ccsd模块、res_unit模块和sppc模块,然后使用这五个基本模块构建特征提取网络和特征融合网络。将基于卷积神经网络的营业厅营业人员规范着装检测方法部署至服务器,检测着装的摄像头将视频发送到服务器进行检测,如果检测结果不符合着装要求,则提示人员需要穿好工作服。这样将神经网络和着装检测结合起来,进一步推动了营业厅的智能化管理,大大提高了管理效率,进一步提升了服务水平和品牌形象。
[0271]
上述主要从方法的角度对本技术实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
[0272]
本技术实施例可以根据上述方法示例对图像检测装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。可选的,本技术实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0273]
如图12所示,为本技术实施例提供的一种图像检测装置的结构示意图。图12所示图像检测装置包括:获取单元1201和处理单元1202;
[0274]
获取单元1201,用于获取待检测图像;
[0275]
处理单元1202,用于将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果;检测结果用于表示待检测图像中的待检测对象的着装是否规范;图像检测模型包括:第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块;第一特征提取模块包括:标准卷积层、批标准化层和tanhexp激活函数;第二特征提取模块包括:可变形卷积层、批标准化层和tanhexp激活函数;第三特征提取模块包括:卷积核大小为3
×
3的标准卷积层、卷积核大小为1
×
1的标准卷积层、卷积核大小为3
×
3的可变形卷积层、特征拼接子模块、用于非线性变换的silu激活函数和卷积核大小为3
×
3的第二特征提取模块;第四特征提取模块包括:3个卷积核大小为1
×
1的第一特征提取模块、2个卷积核大小为3
×
3的第二特征提取模块、1个特征相加子模块和1个特征拼接子模块;第五特征提取模块包括:2个最大池化层、4个卷积核大小为3
×
3的第一特征提取模块、2个平均池化层、4个特征拼接子模块和1个卷积核大小为3
×
3的第二特征提取模块。
[0276]
可选的,第一特征提取模块用于通过标准卷积层对第一输入特征进行处理,以得到a1子特征,通过批标准化层对a1子特征进行处理,以得到a2子特征,通过tanhexp激活函数对a2子特征进行处理,以得到第一输出特征;
[0277]
第二特征提取模块用于通过可变形卷积层对第二输入特征进行处理,以得到b1子特征,通过批标准化层对b1子特征进行处理,以得到b2子特征,通过tanhexp激活函数对b2子特征进行处理,以得到第二输出特征;
[0278]
第三特征提取模块用于通过卷积核大小为3
×
3的标准卷积层对第三输入特征进行处理,以得到c1子特征,通过卷积核大小为1
×
1的标准卷积层对第三输入特征进行处理,以得到c2子特征,通过卷积核大小为3
×
3的可变形卷积层对第三输入特征进行处理,以得到c3子特征,通过特征拼接子模块对c1子特征、c2子特征和c3子特征进行拼接,以得到c4子特征,通过silu激活函数对c4子特征进行处理,以得到c5子特征,通过卷积核大小为3
×
3的第二特征提取模块对c5子特征进行处理,以得到第三输出特征;
[0279]
第四特征提取模块用于通过1
×
1的第一特征提取模块对第四输入特征进行处理,以得到d1子特征,通过卷积核大小为3
×
3的第二特征提取模块对d1子特征进行处理,以得到d2子特征,通过卷积核大小为3
×
3的第二特征提取模块对第四输入特征进行处理,以得到d3子特征,通过1
×
1的第二特征提取模块对d2子特征进行处理,以得到d4子特征,通过特征相加子模块通d2子特征和d4子特征进行相加,得到d5子特征;通过特征拼接子模块对第四输入特征和d5子特征进行拼接,得到d6子特征,通过1
×
1的第一特征提取模块对d6子特征进行处理,以得到第四输出特征;
[0280]
第五特征提取模块用于通过最大池化层对第五输入特征进行处理,以得到e1子特征,通过卷积核大小为3
×
3的第一特征提取模块对e1子特征进行处理,以得到e2子特征,通过平均池化层对第五输入特征进行处理,以得到e3子特征,通过特征拼接子模块对e2子特征和e3子特征进行拼接,以得到e4子特征,通过卷积核大小为3
×
3的第一特征提取模块对e4子特征进行处理,以得到e5子特征,通过最大池化层对第五输入特征进行处理,以得到e6子特征,通过特征拼接子模块对e5子特征和e6子特征进行拼接,以得到e7子特征,通过卷积核大小为3
×
3的第一特征提取模块对e7子特征进行处理,以得到e8子特征,通过平均池化层对第五输入特征进行处理,以得到e9子特征,通过特征拼接子模块对e8子特征和e9子特征进行拼接,以得到e10子特征,通过卷积核大小为3
×
3的第一特征提取模块对e10子特征进行处理,以得到e11子特征,通过特征拼接子模块对第五输入特征、e2子特征、e5子特征、e8子特征和e11子特征进行拼接,以得到e12子特征,通过卷积核大小为3
×
3的第二特征提取模块对e12子特征进行处理,以得到第五输出特征。
[0281]
可选的,处理单元1202,具体用于:
[0282]
将待检测图像输入到卷积核大小为3
×
3的第一特征提取模块中,以得到第一特征;
[0283]
将第一特征输入到第三特征提取模块中,以得到第二特征;
[0284]
将第二特征输入到卷积核大小为3
×
3的第一特征提取模块中,以得到第三特征;
[0285]
将第三特征输入到第四特征提取模块中,以得到第四特征;
[0286]
将第四特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第五特征;
[0287]
将第五特征输入到第四特征提取模块中,以得到第六特征;
[0288]
将第六特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第七特征;
[0289]
将第七特征输入到第四特征提取模块中,以得到第八特征;
[0290]
将第八特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第九特征;
[0291]
将第九特征输入到第四特征提取模块中,以得到第十特征;
[0292]
将第十特征输入到第五特征提取模块中,以得到第十一特征;
[0293]
将第十一特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第十二特征;
[0294]
将第十二特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到第十三特征。
[0295]
将第十三特征输入到第四特征提取模块中,以得到第十四特征;
[0296]
将第十四特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第十五特征;
[0297]
将第十五特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
[0298]
可选的,处理单元1202,还用于:
[0299]
将第十四特征进行二倍上采样,并将二倍上采样的结果与第八特征进行特征拼接,以得到第十七特征;
[0300]
将第十七特征输入到第四特征提取模块中,以得到第十八特征;
[0301]
将第十八特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第十九特征;
[0302]
将第十九特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
[0303]
可选的,处理单元1202,还用于:
[0304]
将第十八特征进行二倍上采样,并将二倍上采样的结果与第五特征进行特征拼接,以得到第二十一特征;
[0305]
将第二十一特征输入到第四特征提取模块中,以得到第二十二特征;
[0306]
将第二十二特征输入到卷积核大小为1
×
1的第一特征提取模块中,以得到第二十三特征;
[0307]
将第二十三特征输入到卷积核大小为3
×
3的第二特征提取模块中,以得到检测结果。
[0308]
可选的,获取单元1201,还用于获取训练数据和测试数据;
[0309]
可选的,处理单元1202,还用于将训练数据依次输入到待训练模型中,以得到预测结果;待训练模型包括第一特征提取模块对应的待训练模块、第二特征提取模块对应的待训练模块、第三特征提取模块对应的待训练模块、第四特征提取模块对应的待训练模块和
第五特征提取模块对应的待训练模块;
[0310]
可选的,处理单元1202,还用于根据预测结果与测试数据的比对结果,调整待训练模型中,各个待训练模块的模型参数,以得到图像检测模型。
[0311]
可选的,获取单元1201,具体用于:
[0312]
获取待训练图像;
[0313]
基于标准工具,对待训练图像进行标注,以得到标注后的图像;
[0314]
基于过采样技术,对标注后的图像进行过采样,以得到过采样后的图像;
[0315]
按照预设比例对过采样后的图像进行划分,以得到训练数据和测试数据。
[0316]
本技术实施例还提供一种计算机可读存储介质,计算机可读存储介质包括计算机执行指令,当计算机执行指令在计算机上运行时,使得计算机执行如上述实施例提供的图像检测方法。
[0317]
本技术实施例还提供一种计算机程序,该计算机程序可直接加载到存储器中,并含有软件代码,该计算机程序经由计算机载入并执行后能够实现上述实施例提供的图像检测方法。
[0318]
本领域技术人员应该可以意识到,在上述一个或多个示例中,本技术所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0319]
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
[0320]
在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0321]
另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个
存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0322]
以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。
技术特征:
1.一种图像检测方法,其特征在于,包括:获取待检测图像;将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果;所述检测结果用于表示所述待检测图像中的待检测对象的着装是否规范;所述图像检测模型包括:第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块;所述第一特征提取模块包括:标准卷积层、批标准化层和tanhexp激活函数;所述第二特征提取模块包括:可变形卷积层、所述批标准化层和所述tanhexp激活函数;所述第三特征提取模块包括:卷积核大小为3
×
3的标准卷积层、卷积核大小为1
×
1的标准卷积层、卷积核大小为3
×
3的可变形卷积层、特征拼接子模块、用于非线性变换的silu激活函数和卷积核大小为3
×
3的第二特征提取模块;所述第四特征提取模块包括:3个卷积核大小为1
×
1的第一特征提取模块、2个所述卷积核大小为3
×
3的第二特征提取模块、1个特征相加子模块和1个特征拼接子模块;所述第五特征提取模块包括:2个最大池化层、4个卷积核大小为3
×
3的第一特征提取模块、2个平均池化层、4个特征拼接子模块和1个所述卷积核大小为3
×
3的第二特征提取模块。2.根据权利要求1所述的图像检测方法,其特征在于,所述第一特征提取模块用于通过所述标准卷积层对第一输入特征进行处理,以得到a1子特征,通过所述批标准化层对所述a1子特征进行处理,以得到a2子特征,通过所述tanhexp激活函数对所述a2子特征进行处理,以得到第一输出特征;所述第二特征提取模块用于通过所述可变形卷积层对第二输入特征进行处理,以得到b1子特征,通过所述批标准化层对所述b1子特征进行处理,以得到b2子特征,通过所述tanhexp激活函数对所述b2子特征进行处理,以得到第二输出特征;所述第三特征提取模块用于通过所述卷积核大小为3
×
3的标准卷积层对第三输入特征进行处理,以得到c1子特征,通过所述卷积核大小为1
×
1的标准卷积层对所述第三输入特征进行处理,以得到c2子特征,通过所述卷积核大小为3
×
3的可变形卷积层对所述第三输入特征进行处理,以得到c3子特征,通过所述特征拼接子模块对所述c1子特征、所述c2子特征和所述c3子特征进行拼接,以得到c4子特征,通过所述silu激活函数对所述c4子特征进行处理,以得到c5子特征,通过所述卷积核大小为3
×
3的第二特征提取模块对所述c5子特征进行处理,以得到第三输出特征;所述第四特征提取模块用于通过所述1
×
1的第一特征提取模块对第四输入特征进行处理,以得到d1子特征,通过所述卷积核大小为3
×
3的第二特征提取模块对所述d1子特征进行处理,以得到d2子特征,通过所述卷积核大小为3
×
3的第二特征提取模块对所述第四输入特征进行处理,以得到d3子特征,通过所述1
×
1的第二特征提取模块对所述d2子特征进行处理,以得到d4子特征,通过所述特征相加子模块通所述d2子特征和所述d4子特征进行相加,得到d5子特征;通过所述特征拼接子模块对所述第四输入特征和所述d5子特征进行拼接,得到d6子特征,通过所述1
×
1的第一特征提取模块对所述d6子特征进行处理,以得到第四输出特征;所述第五特征提取模块用于通过所述最大池化层对第五输入特征进行处理,以得到e1子特征,通过所述卷积核大小为3
×
3的第一特征提取模块对所述e1子特征进行处理,以得到e2子特征,通过所述平均池化层对所述第五输入特征进行处理,以得到e3子特征,通过所
述特征拼接子模块对所述e2子特征和所述e3子特征进行拼接,以得到e4子特征,通过所述卷积核大小为3
×
3的第一特征提取模块对所述e4子特征进行处理,以得到e5子特征,通过所述最大池化层对所述第五输入特征进行处理,以得到e6子特征,通过所述特征拼接子模块对所述e5子特征和所述e6子特征进行拼接,以得到e7子特征,通过所述卷积核大小为3
×
3的第一特征提取模块对所述e7子特征进行处理,以得到e8子特征,通过所述平均池化层对所述第五输入特征进行处理,以得到e9子特征,通过所述特征拼接子模块对所述e8子特征和所述e9子特征进行拼接,以得到e10子特征,通过所述卷积核大小为3
×
3的第一特征提取模块对所述e10子特征进行处理,以得到e11子特征,通过所述特征拼接子模块对所述第五输入特征、所述e2子特征、所述e5子特征、所述e8子特征和所述e11子特征进行拼接,以得到e12子特征,通过所述卷积核大小为3
×
3的第二特征提取模块对所述e12子特征进行处理,以得到第五输出特征。3.根据权利要求1所述的图像检测方法,其特征在于,所述将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果,包括:将所述待检测图像输入到所述卷积核大小为3
×
3的第一特征提取模块中,以得到第一特征;将所述第一特征输入到所述第三特征提取模块中,以得到第二特征;将所述第二特征输入到所述卷积核大小为3
×
3的第一特征提取模块中,以得到第三特征;将所述第三特征输入到所述第四特征提取模块中,以得到第四特征;将所述第四特征输入到所述卷积核大小为3
×
3的第二特征提取模块中,以得到第五特征;将所述第五特征输入到所述第四特征提取模块中,以得到第六特征;将所述第六特征输入到所述卷积核大小为3
×
3的第二特征提取模块中,以得到第七特征;将所述第七特征输入到所述第四特征提取模块中,以得到第八特征;将所述第八特征输入到所述卷积核大小为1
×
1的第一特征提取模块中,以得到第九特征;将所述第九特征输入到所述第四特征提取模块中,以得到第十特征;将所述第十特征输入到所述第五特征提取模块中,以得到第十一特征;将所述第十一特征输入到所述卷积核大小为3
×
3的第二特征提取模块中,以得到第十二特征;将所述第十二特征输入到所述卷积核大小为3
×
3的第二特征提取模块中,以得到第十三特征;将所述第十三特征输入到所述第四特征提取模块中,以得到第十四特征;将所述第十四特征输入到所述卷积核大小为1
×
1的第一特征提取模块中,以得到第十五特征;将所述第十五特征输入到所述卷积核大小为3
×
3的第二特征提取模块中,以得到所述检测结果。4.根据权利要求3所述的图像检测方法,其特征在于,所述将所述第十三特征输入到所
述第四特征提取模块中,以得到第十四特征之后,还包括:将所述第十四特征进行二倍上采样,并将二倍上采样的结果与所述第八特征进行特征拼接,以得到第十七特征;将所述第十七特征输入到所述第四特征提取模块中,以得到第十八特征;将所述第十八特征输入到所述卷积核大小为1
×
1的第一特征提取模块中,以得到第十九特征;将所述第十九特征输入到所述卷积核大小为3
×
3的第二特征提取模块中,以得到所述检测结果。5.根据权利要求4所述的图像检测方法,其特征在于,所述将所述第十七特征输入到所述第四特征提取模块中,以得到第十八特征之后,还包括:将所述第十八特征进行二倍上采样,并将二倍上采样的结果与所述第五特征进行特征拼接,以得到第二十一特征;将所述第二十一特征输入到所述第四特征提取模块中,以得到第二十二特征;将所述第二十二特征输入到所述卷积核大小为1
×
1的第一特征提取模块中,以得到第二十三特征;将所述第二十三特征输入到所述卷积核大小为3
×
3的第二特征提取模块中,以得到所述检测结果。6.根据权利要求1-5任一项所述的图像检测方法,其特征在于,还包括:获取训练数据和测试数据;将所述训练数据依次输入到待训练模型中,以得到预测结果;所述待训练模型包括所述第一特征提取模块对应的待训练模块、所述第二特征提取模块对应的待训练模块、所述第三特征提取模块对应的待训练模块、所述第四特征提取模块对应的待训练模块和所述第五特征提取模块对应的待训练模块;根据所述预测结果与所述测试数据的比对结果,调整所述待训练模型中,各个待训练模块的模型参数,以得到所述图像检测模型。7.根据权利要求6所述的图像检测方法,其特征在于,所述获取训练数据和测试数据,包括:获取待训练图像;基于标准工具,对所述待训练图像进行标注,以得到标注后的图像;基于过采样技术,对所述标注后的图像进行过采样,以得到过采样后的图像;按照预设比例对所述过采样后的图像进行划分,以得到所述训练数据和所述测试数据。8.一种图像检测装置,其特征在于,包括:获取单元和处理单元;所述获取单元,用于获取待检测图像;所述处理单元,用于将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果;所述检测结果用于表示所述待检测图像中的待检测对象的着装是否规范;所述图像检测模型包括:第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块;所述第一特征提取模块包括:标准卷积层、批标准化层和tanhexp激活函数;所述第二特征提取模块包括:可变形卷积层、所述批标准化层和所述
tanhexp激活函数;所述第三特征提取模块包括:卷积核大小为3
×
3的标准卷积层、卷积核大小为1
×
1的标准卷积层、卷积核大小为3
×
3的可变形卷积层、特征拼接子模块、用于非线性变换的silu激活函数和卷积核大小为3
×
3的第二特征提取模块;所述第四特征提取模块包括:3个卷积核大小为1
×
1的第一特征提取模块、2个所述卷积核大小为3
×
3的第二特征提取模块、1个特征相加子模块和1个特征拼接子模块;所述第五特征提取模块包括:2个最大池化层、4个卷积核大小为3
×
3的第一特征提取模块、2个平均池化层、4个特征拼接子模块和1个所述卷积核大小为3
×
3的第二特征提取模块。9.一种图像检测装置,其特征在于,包括存储器和处理器;所述存储器用于存储计算机执行指令,所述处理器与所述存储器通过总线连接;当所述图像检测装置运行时,所述处理器执行所述存储器存储的所述计算机执行指令,以使所述图像检测装置执行如权利要求1-7任一项所述的图像检测方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机执行指令,当所述计算机执行指令在计算机上运行时,使得所述计算机执行如权利要求1-7任一项所述的图像检测方法。
技术总结
本申请提供一种图像检测方法、装置及存储介质,涉及计算机技术领域,用于解决现有的人员着装管理方法费时费力,效率较低的技术问题。该图像检测方法包括:获取待检测图像;将待检测图像输入到预先训练好的图像检测模型中,以得到检测结果;检测结果用于表示待检测图像中的待检测对象的着装是否规范;图像检测模型包括:第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块。提取模块。提取模块。
技术研发人员:孟庆鲁 杜福之 雷中锋 秦长征 曲凡波 翟锐 吴雨林
受保护的技术使用者:中国联合网络通信集团有限公司
技术研发日:2023.06.28
技术公布日:2023/10/5
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/