一种基于深度学习和颜色空间的工装识别方法和装置与流程

1.本发明涉及信息处理领域，特别是一种基于深度学习和颜色空间的工装识别方法和装置。


背景技术：

2.目前，随着人工智能技术的不断发展，催生了越来越多新的业务需求，人工智能在安防行业的应用也越来越来普及，以往单纯靠人工和视频监控来提供安防的形式也带来了变革。如工厂、商场、工作园区等场景的工作人员都有要求穿着统一着装以方便管理，单靠安装摄像头，人为监视监控视频，在场景复杂人员较多的园区实现时刻监控人员着装，需要更多的监控，投入更多的人力等资源，耗费时间、耗费人力、耗费钱财。对于普通商家而言，大幅度的放置摄像头需要大量的布线和能源消耗，这已经成为工厂、园区、商店等场所令人头疼的问题。如何提高识别准确度，提升图像处理的效能，成为安防领域中需要关注的问题。


技术实现要素：

3.为解决上述问题之一，本发明提供了一种基于深度学习和颜色空间的识别方法及装置，应用于工装识别。所述方法包括：
4.步骤101:获取工装监控图像数据集；
5.步骤102:对工装图像数据集中图像进行数据预处理，将工装图像数据集中图像筛选之后，进行分辨率统一化处理；
6.步骤103:对数据预处理后的工装图像数据集中工装图像进行数据增强，对数据中的色彩空间做增强包括：当光照不同造成的视觉感知不同的场景下，采用value这个通道进行计算，通过计算梯度，提取物体边缘；当处于前景饱和度高时，背景采用饱和度低的颜色来衬托前景，提取saturation通道的信息；当处于在室内场景下且风格较为单一时，增大hue通道权重值；将亮度v的值由静态转为动态；
7.步骤104:构建工装识别网络，基于工装之间除颜色外差距小的特征，使用残差网络来避免过拟合；将采用数据增强后的工装图像数据集送入目标检测人形网络模型进行检测，提取到工装图像人形数据集；
8.步骤105:采用数据增强后的工装图像数据集训练工装分类网络，获得工装识别模型；
9.步骤106:采用工装识别模型对待检测工装监控图像进行工装分类检测。
10.优选的，所述步骤102中的数据预处理还包括：对数据集做整理，将总数据集分为测试集和训练集；训练集用于训练工装分类网络的模型参数。
11.优选的，所述步骤103中将亮度v的值由静态转为动态包括：选择sigmoid函数作为v值的动态变化轨迹的描述；sigmoid函数
[0012][0013]
sigmoid函数取值范围为(0，1)，将实数v值映射到(0，1)的区间。
[0014]
优选的，所述步骤105具体包括：
[0015]
采用所述数据增强后的工装图像数据集，以在工装图像中人形位置信息训练人形检测模型，使用所述人形检测模型提取图像中的人形数据制作成数据集，设置数据增强图片最大限度numbers＝50000。
[0016]
优选的，步骤104中使用残差网络来避免过拟合具体包括：设置工装识别网络包括resnet50。
[0017]
优选的，其中工装图像数据集中的图像为通过监控摄像头拍摄视频图像。
[0018]
优选的，步骤105中具体还包括：采用所述人形数据集训练所述工装图像分类网络，获得工装图像分类模型；使用训练集训练工装图像分类网络，学习率采用余弦算法，初始学习率r＝0.00001，梯度模型使用小批量梯度下降；训练300个epochs时会进行一次评判，判断误差和精度是否能够达到要求；达到要求则终止训练，否则继续训练至达到要求。
[0019]
优选的，步骤104中的采用数据增强后的工装图像数据集送入目标检测人形网络模型进行检测，提取到工装图像人形数据集，其中目标检测算法为yolov 3或yolov 5-s算法。
[0020]
优选的，所述方法应用于加油站的员工的工装识别。
[0021]
本发明还提供一种基于深度学习和颜色空间的工装识别装置，所述装置用于实现上述方法，所述装置包括：数据集获取模块，用于获取工装图像数据集；
[0022]
数据预处理模块，用于对工装图像数据集中图像进行数据预处理；数据增强模块，用于对数据预处理后的工装图像数据集中工装图像进行数据增强；
[0023]
工装图像分类网络构建模块，用于构建工装识别网络，工装识别网络包括resnet50网络；
[0024]
工装图像分类网络训练模块，用于采用数据增强后的工装图像数据集训练工装识别网络，获得工装识别模型；
[0025]
工装识别模块，用于采用工装识别模型对待检测工装图像工装识别。
[0026]
本发明改变了以往单纯靠人工进行工装识别的模式，使用人工智能算法代替人工进行工装识别，减少了人工的投入，节省了资金。同时，本发明使用改进hsv色彩空间数据增强方法，解决了以往工装识别中算法过拟合，识别精度低的问题。优选的还提供一种装置，所述装置包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器用于执行存储器上的计算机程序用于实现上述方法。
[0027]
本发明通过使用resnet50网络，避免了算法过拟合，更加有利于工程落地；改进的hsv色彩空间，针对室外工装独有的光照特点，调整了明度v值的轨迹，将其由固定值变为动态取值，更能表达数据原有特征，保证了特征提取的准确性；结合了深度学习目标检测人形检测，保证了工装识别的精确性。
附图说明
[0028]
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理
解为对本发明进行任何限制。
[0029]
图1是本发明提供识别方法的流程示意图。
[0030]
图2是本发明提供识别方法优化的流程示意图。
[0031]
图3是本发明中v值的动态变化轨迹示意图。
[0032]
图4是本发明的装置的结构示意图。
具体实施方式
[0033]
参看下面的说明以及附图，本发明的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本发明的保护范围。可以理解的是，附图并非按比例绘制。本发明中使用了多种结构图用来说明根据本发明的实施例的各种变形。
[0034]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]
需要说明的是，本文中的“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
[0036]
需要说明的是，为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能或作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。例如，第一信息和第二信息是用于区别不同的信息，而不是用于描述信息的特定顺序。
[0037]
需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
[0038]
实施例1
[0039]
本发明提供一种基于深度学习和颜色空间的工装识别方法所述识别方法包括如下步骤：获取工装识别图像数据集；对所述工装识别图像数据集进行数据预处理；对数据预处理后的图像数据进行数据增强，所述数据增强包括但不限于翻转、旋转、裁剪、噪声、模糊、掩码、cutout、random、erasing、mixup、颜色变换等方法。所述颜色变换为改进后的hsv色彩空间变换，所述改进后的hsv色彩空间变换采用变化的v值来确定rgb的最大值；构建工装图像分类网络，所述图像分类网络包括人形检测网络工装分类网络。
[0040]
人形检测网络抓取到人形数据送入工装分类网络，所述工装分类网络包括改进后的resnet50为主干网络，接收所述人形检测网络提取到的人形数据进行训练，得到工装图像分类模型；使用所述工装图像分类模型对待检测图像进行图像分类。
[0041]
优选的：在获取工装识别图像数据集的步骤中，将所述工装视频制作成图像数据集并进行数据筛选，图像尺寸分辨率统一化处理。
[0042]
优选的：在对数据预处理后的图像数据进行数据增强步骤中，采用mosaic、mixup、randomerasing、hideandseek和gridmask、翻转，旋转，裁剪，添加噪声，模糊，掩码，cutout，random，erasing，mixup，颜色变换等方法的数据增强方式对数据预处理后的工装图像数据集进行数据增强。
[0043]
优选的：在构建工装图像分类网络的步骤中，所述图像分类网络包括人形检测网络工装分类网络。人形检测网络抓取到人形数据送入工装分类网络，所述工装分类网络包括改进后的resnet50为主干网络，接收所述人形检测网络提取到的人形数据进行训练，得到工装图像分类模型。
[0044]
优先的：在工装识别的步骤中，采用所述工装图像分类模型对待检测工装图像进行检测识别。
[0045]
本发明提供的方案能够实现以下有益技术效果:对收集到的数据进行数据预处理，而后对数据预处理后的数据进行数据增强；数据增强包括但不限于翻转，旋转，裁剪，添加噪声，模糊，掩码，cutout，random，erasing，mixup，颜色变换等方法，颜色变换采用改进的hsv色空间空间方法，对数据进行增强；构建工装图像分类网络；采用数据增强后的工装图像数据集训练工装分类网络获得工装分类模型；采用工装分类模型对待检测工装图像进行工装识别。
[0046]
具体的实施方式中，如图1-2所示，提供一种基于深度学习和颜色空间的工装识别方法及装置，所述方法包括:
[0047]
步骤101:获取工装监控图像数据集。
[0048]
步骤102:对工装图像数据集中图像进行数据预处理。工装图像数据集中图像为通过监控摄像头拍摄视频图像。
[0049]
其中，步骤102具体包括:
[0050]
将工装图像数据集中图像筛选之后，进行分辨率统一化处理。由于智能监控设备种类较多，监控摄像头拍摄的视频图像分辨率大小不一，会影响网络回归的效果，则进行分辨率统一，将视频图像的分辨率统一为同一固定大小。
[0051]
数据预处理还包括进行数据集整理，将总数据集分为测试集和训练集。训练集主要用于训练工装分类网络模型的参数，对应的基于深度学习和颜色空间的工装识别方法及参数。
[0052]
测试集主要用于验证工装分类网络模型的准确率，确保能够用于实际工程。
[0053]
步骤103:对数据预处理后的工装图像数据集中工装图像进行数据增强，其中，步骤103具体包括:采用mosaic、mixup、randomerasing、hideandseek和gridmask、翻转，旋转，裁剪，添加噪声，模糊，掩码，cutout，random，erasing，mixup，颜色变换等方法的数据增强方式对数据预处理后的工装图像数据集进行数据增强。
[0054]
其中，数据增强在深度学习网络训练中起到至关重要的作用。由于网络的参数是根据数据本身特征的变化而发生变化，所以数据质量的好坏直接决定了模型训练的好坏。显然，更加明显的特征和更易于提取的色彩变化，更能够被卷积网络提取特征，训练出来的模型表达力也更加精确。
[0055]
根据实验发现，由于监控视频是连续的，所得到的视频图像也是连续的，大多数情况下，图像数据上下帧之间的变化极小。
[0056]
实验表明图像之间的特征无论次序怎样，最终网络提取的特征都会趋于一个共同的特征，以神经网络回归为基本原理。基于此原理，配置给与神经网络更加明显的特征。实验中发现，颜色特征是工装分类极其重要的一点，基于实验发现，在现实场景中工装形状之间的差距几乎可以忽略，唯一能够区分工装的特点就只有颜色这一特征。基于此，本发明着重对数据增强的色彩空间进行的改进增强。
[0057]
在图像处理中，通常不会直接对rgb图像做处理，主要是因为rgb与人类的视觉感知相差较远，而hsv就是常用的色彩空间。hsv分别指的是色相(hue)，饱和度(saturation)，明度(value)，对于不同的问题我们通常采用不同的通道来处理。现有技术中最为通用的方法是使图像变为灰度图，实验中发现，某些由于光照不同造成的视觉感知不同的场景下，采用value这个通道进行计算，通过计算梯度，便于提取物体边缘。同时实验发现，当处于前景饱和度较高时，背景采用饱和度较低的颜色来衬托前景，这时候saturation这个通道的信息就非常有用。当处于在某些室内场景下，风格较为单一时，即通常而言，物体只有一种颜色，此时hue这个通道权重值增大。依据不同情形下设置hsv色彩空间，选择采用合适的通道完成大多数图像预处理工作。
[0058]
根据我们的大量观察和实验得知，工装涉及场景涉及室外，室内，尤其室外工装由于光照影响，不同光照情况下，差别较大，导致数据特征提取困难，从而造成模型训练不准。而控制关照的为明度(v)
[0059]
原有hsv公式
[0060][0061]
其中r表示红色，g表示绿色。g表示蓝色rgb取值为0到255，h的值是从0:000到5:255，s和v的值则从0到255。当s和v都取满值时，对应的红色为255，蓝色为0，而b绿色0～255变动，在黄色和绿色之间，对应的红色为0～255变动，蓝色为0，而g绿色255，其他可以类比。
[0062]
rgb转v公式：v＝max把s设为255，调整v，调整h色调值，会直接影响rgb的最大值和v的值。表明v的值决定了rgb的最大值
[0063]
饱和度s
[0064][0065]
当max固定时，s的作用就是用来表示min的值的。当v和s确定时。滑动色调h，rgb色彩中会有两种颜色分别为min和max，另一种则在min～max变动。
[0066]
通常关于亮度v的处理是提前设置好固定的值，从而控制rgb的最大值，来实现对色彩的变换，显然，这种方法不能及时跟进数据的实时变化，不能够更好的体现图像数据真
实颜色特征。因此我们将亮度(v)的值由静态转为动态。使得亮度更能还原图像数据的真实色彩。
[0067]
根据实验观察，视频图像的连续使得图像数据连续，使得图像特征具有连续性，并且这种连续的特征不能一直增加，当所有图片数据都趋于一种特征，这就会使得网络预测效果过拟合。因此我们选择sigmoid函数作为v值的动态变化轨迹的描述。
[0068]
轨迹如图3所示，
[0069]
sigmoid函数
[0070][0071]
sigmoid函数取值范围为(0，1)，可以将实数v值映射到(0，1)的区间，在特征相差比较复杂或是相差不是特别大时效果比较好。
[0072]
由图3可以看出当控制因变量v值向两端不断扩大时，表示rgb色彩值不断增大，表示图像数据的某一特征随着数据量的增大不断增加，当增长到一定值时不再增加，避免模型表达力单一，从而导致模型过拟合，降低模型的识别精确性。由此我们通过sgmoid函数来控制亮度v值，从而控制rgb值，使得hsv色彩空间数据增强更加好的体现图像数据颜色特征。使得工装分类网络提取更加精确的数据特征。
[0073]
步骤104:构建工装识别网络，工装识别网络包括resnet50，由于工装之间除颜色外差距不大，需要使用残差网络来避免过拟合，而restnet50刚好满足这一特性。其中，步骤104具体包括:
[0074]
采用数据增强后的工装图像数据集送入目标检测人形网络模型进行检测，提取到工装图像人形数据集，由于人形数据集是从工装数据集提取而来，故也称为工装数据集。所述目标检测算法为yolov 3算法或yolov5-s算法。
[0075]
步骤105:采用数据增强后的工装图像数据集训练工装分类网络，获得工装分类模型。其中，步骤105具体包括:
[0076]
采用所述数据增强后的工装图像数据集，以在工装图像中人形位置信息训练人形检测模型，使用所述人形检测模型提取图像中的人形数据制作成数据集，设置数据增强图片最大限度numbers＝50000，r如果数据量较多可以设置number＝100000，采用所述人形数据集训练所述工装图像分类网络，获得工装图像分类模型。
[0077]
使用训练集训练网络模型，学习率采用余弦算法，初始学习率r＝0.00001，梯度模型使用小批量梯度下降。训练300个epochs时会进行一次评判，判断误差和精度是否能够达到要求。达到要求则终止训练，否则继续训练至达到要求。测试集中验证改进后工装识别算法精度，达到要求后，选取既定的算法模型的参数作为最终模型的参数。使用该参数的工装识别算法用于实际工程中。
[0078]
步骤106:采用工装识别模型对待检测工装监控图像进行工装分类检测。
[0079]
图4为一种基于深度学习和颜色空间的工装识别装置结构示意图，如图4所示，一种基于深度学习和颜色空间的工装识别方法及装置装置，包括:
[0080]
数据集获取模块201，用于获取工装图像数据集。
[0081]
数据预处理模块202，用于对工装图像数据集中图像进行数据预处理。
[0082]
数据增强模块203，用于对数据预处理后的工装图像数据集中工装图像进行数据
增强。
[0083]
工装图像分类网络构建模块204，用于构建工装识别网络，工装识别网络包括resnet50网络，由于工装之间除颜色外差距不大，需要使用残差网络来避免过拟合，而restnet50刚好满足这一特性。
[0084]
工装图像分类网络训练模块205，用于采用数据增强后的工装图像数据集训练工装识别网络，获得工装识别模型。
[0085]
工装识别模块206，用于采用工装识别模型对待检测工装图像工装识别。
[0086]
数据预处理模块202，具体包括:数据预处理单元，用于将工装图像数据集中图像进行分辨率统一化处理。
[0087]
数据增强模块203，具体包括:数据增强单元，采用mosaic、mixup、randomerasing、hideandseek和gridmask、翻转，旋转，裁剪，添加噪声，模糊，掩码，cutout，random，erasing，mixup，颜色变换等方法的数据增强方式对数据预处理后的工装图像数据集进行数据增强。
[0088]
工装图像分类网络训练模块205，具体包括:工装图像分类网络训练单元，用于采用数据增强后的工装图像数据集，送入人形检测网络抓取到人形数据，而后将人形送入工装分类网络，所述工装分类网络包括改进后的resnet50为主干网络，接收所述人形检测网络提取到的人形数据进行训练，得到工装图像分类模型；
[0089]
本发明解决了单纯靠人力监控模式中，人力监控成本大，人员工作疏忽监控不到位的问题，提供了一种更加实用的hsv色彩空间数据增强方法，提高了工装识别的准确性和效率。
[0090]
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
[0091]
如在本技术所使用的，术语“组件”、“模块”、“装置”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地装置、分布式装置中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它装置进行交互)的信号，以本地和/或远程过程的方式进行通信。
[0092]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发
明的权利要求范围当中。

技术特征：
1.一种基于深度学习和颜色空间的工装识别方法，其特征在于，所述方法包括：步骤101:获取工装监控图像数据集；步骤102:对工装图像数据集中图像进行数据预处理，将工装图像数据集中图像筛选之后，进行分辨率统一化处理；步骤103:对数据预处理后的工装图像数据集中工装图像进行数据增强，对数据中的hsv色彩空间做增强包括：当光照不同造成的视觉感知不同的场景下，采用value这个通道进行计算，通过计算梯度，提取物体边缘；当处于前景饱和度高时，背景采用饱和度低的颜色来衬托前景，提取saturation通道的信息；当处于在室内场景下且风格较为单一时，增大hue通道权重值；将亮度v的值由静态转为动态；步骤104:构建工装识别网络，基于工装之间除颜色外差距小的特征，使用残差网络来避免过拟合；将采用数据增强后的工装图像数据集送入目标检测人形网络模型进行检测，提取到工装图像人形数据集；步骤105:采用数据增强后的工装图像数据集训练工装分类网络，获得工装识别模型；步骤106:采用工装识别模型对待检测工装监控图像进行工装分类检测。2.如权利要求1所述方法，所述步骤102中的数据预处理还包括：对数据集做整理，将总数据集分为测试集和训练集；训练集用于训练工装分类网络的模型参数。3.如权利要求2所述的方法，所述步骤103中将亮度v的值由静态转为动态包括：选择sigmoid函数作为v值的动态变化轨迹的描述；sigmoid函数sigmoid函数取值范围为(0，1)，将实数v值映射到(0，1)的区间。4.如权利要求3所述的方法，其特征在于：所述步骤105具体包括：采用所述数据增强后的工装图像数据集，以在工装图像中人形位置信息训练人形检测模型，使用所述人形检测模型提取图像中的人形数据制作成数据集，设置数据增强图片最大限度numbers＝50000。5.如权利要求4所述的方法，其特征在于：步骤104中使用残差网络来避免过拟合具体包括：设置工装识别网络包括resnet50。6.如权利要求5所述的方法，其特征在于：其中工装图像数据集中的图像为通过监控摄像头拍摄视频图像。7.如权利要求6所述的方法，其特征在于：步骤105中具体还包括：采用所述人形数据集训练所述工装图像分类网络，获得工装图像分类模型；使用训练集训练工装图像分类网络，学习率采用余弦算法，初始学习率r＝0.00001，梯度模型使用小批量梯度下降；训练300个epochs时会进行一次评判，判断误差和精度是否能够达到要求；达到要求则终止训练，否则继续训练至达到要求。8.如权利要求7所述的方法，其特征在于：步骤104中的采用数据增强后的工装图像数据集送入目标检测人形网络模型进行检测，提取到工装图像人形数据集，其中目标检测算法为yolov 5-s算法。9.如权利要求8所述的方法，其特征在于：所述方法应用于加油站员工的工装识别。10.一种基于深度学习和颜色空间的工装识别装置，所述装置用于实现权利要求1-9中
的任一方法；其特征在于，所述装置包括：数据集获取模块，用于获取工装图像数据集；数据预处理模块，用于对工装图像数据集中图像进行数据预处理；数据增强模块，用于对数据预处理后的工装图像数据集中工装图像进行数据增强；工装图像分类网络构建模块，用于构建工装识别网络，工装识别网络包括resnet50网络；工装图像分类网络训练模块，用于采用数据增强后的工装图像数据集训练工装识别网络，获得工装识别模型；工装识别模块，用于采用工装识别模型对待检测工装图像工装识别。

技术总结
本发明涉及信息处理领域，公开了一种基于深度学习和颜色空间的工装识别方法及装置，通过改进的HSV色彩空间，针对室外工装独有的光照特点，调整了亮度V值的轨迹，将其由固定值变为动态取值，更能表达数据原有特征，保证了特征提取的准确性；同时通过使用resnet50网络，避免了算法过拟合，结合深度学习目标检测人形检测，保证了工装识别的精确性。保证了工装识别的精确性。保证了工装识别的精确性。


技术研发人员：陆彬 孟思宏 李琳 姜德田 范以云 龙如兵
受保护的技术使用者：行为科技（北京）有限公司
技术研发日：2023.08.03
技术公布日：2023/10/5