一种驾驶状态图像数据集的增广方法、增广装置与流程

1.本发明涉及机器视觉技术领域，具体涉及一种驾驶状态图像数据集的增广方法、一种驾驶状态图像数据集的增广装置和一种非临时性计算机可读存储介质。


背景技术：

2.随着智能驾驶功能的发展，越来越多的技术应用到智能驾驶功能上，例如，驾驶过程中驾驶员驾驶状态的监督功能，以在驾驶员出现错误驾驶行为时对驾驶员进行提醒，例如，驾驶员手持手机打电话、侧头与乘客交谈等。驾驶过程中驾驶员驾驶状态的监督功能一般通过训练后的机器学习网络实现。可以知道，机器学习网络在训练时需要采集大量的相应的真实图像形成数据集。
3.目前，驾驶员驾驶状态图像数据集通常在驾驶员动作这一维度上多样性较为丰富，而由于参与数据采集的被试者和被试车辆有限，在其他维度(如驾驶员外貌、衣着、车内背景等)上多样性有限，为提高机器学习网络的准确性，需要对驾驶员驾驶状态图像数据集进行增广。
4.相关技术中，对驾驶员驾驶状态图像数据集做增广的方法大体包括以下三种思路：图像变换、生成式数据增广以及基于3d(三维)渲染的数据增广。
5.其中，图像变换或多种图像变换的组合主要包括：几何变换(旋转、翻转、仿射变换、透视变换、裁剪、填充等)和颜色变换(调节亮度、对比度、饱和度、色调、锐度等，以及加噪、模糊)。然而，由于驾驶员驾驶状态图像内容较为复杂，涉及驾驶员姿态、表情、车内背景等多个关键部分，图像变换无法真正生成数据集中原本没有的样本，也不能使数据集的多样性有效增加。
6.生成式数据增广通常基于小样本图像生成领域思路，常见的对规模不足的小数据集做生成式数据增广的范式包括模型迁移和可导增广两类，上述两种范式或者需要多样性充足的源数据集，或者需要目标小数据集本身具有一定的多样性。对于现有的驾驶员驾驶状态数据集而言，通常既不满足可导增广范式需要的多样性水平，又无法找到与之高度相关、域差异足够小的源数据集。所以，生成式数据增广通常也无法产生足够真实且多样的驾驶员驾驶状态图像样本。
7.基于3d渲染的数据增广采用3d建模的方法，由于3d建模本身属于对现实世界的低维模拟，其人物外观、表情、动作、位置、车内背景等部分的真实性取决于建模的精细程度。以当前通常的建模水平而言，采取3d渲染得到的驾驶员驾驶状态图像仍与真实采集的数据集图像存在较大的域差异，可能会在使用增广图像的下游任务中对效果产生明显的负面影响。
8.也就是说，上述的对驾驶员驾驶状态数据集做增广的三种方式均不能产生既真实又多样的驾驶状态图像样本。


技术实现要素：

9.为解决上述技术问题，本发明的第一个目的在于提出一种驾驶状态图像数据集的增广方法，能够生成真实性、多样性均较好的驾驶员驾驶状态图像，从而实现驾驶状态图像数据集的有效增广。
10.本发明的第二个目的在于提出一种驾驶状态图像数据集的增广装置。
11.本发明的第三个目的在于提出一种计算机设备。
12.本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
13.本发明采用的技术方案如下：
14.本发明的第一方面实施例提出了一种驾驶状态图像数据集的增广方法，包括以下步骤：获取中性表情的人脸图像，并获取描述特定表情的关键词，以及采用预训练的第一语言-视觉模型的图像编辑算法生成保持所述人脸图像的特征且表情符合所述关键词的描述的面部图像；从待增广的驾驶状态图像数据集中获取同一驾驶员的多张实际驾驶状态图像，并获取描述目标服饰的短语，以及采用预训练的第二语言-视觉模型的图像编辑算法生成包含该驾驶员且衣着符合所述短语的描述的第一合成驾驶状态图像；将所述面部图像的面部区域更换到所述第一合成驾驶状态图像的面部区域上，以生成驾驶员状态图像前景；获取车内背景图像，将所述驾驶员状态图像前景粘贴到所述车内背景图像上，以生成第二合成驾驶状态图像；根据所述第二合成驾驶状态图像对所述待增广的驾驶状态图像数据集进行增广。
15.本发明上述提出的驾驶状态图像数据集的增广方法还可以具有如下附加技术特征：
16.根据本发明的一个实施例，在生成所述第二合成驾驶状态图像之后，上述的驾驶状态图像数据集的增广方法还包括：对所述第二合成驾驶状态图像进行和谐化处理，以便根据和谐化后的第二合成驾驶状态图像对所述待增广的驾驶状态图像数据集进行增广。
17.根据本发明的一个实施例，对所述第二合成驾驶状态图像进行和谐化处理，具体包括：根据所述第二合成驾驶状态图像的背景区域中图像像素间的梯度信息对前景区域中的像素进行编辑修改，和/或，采用深度学习网络自动对所述第二合成驾驶状态图像在光照、对比度以及语义上的和谐度进行调整。
18.根据本发明的一个实施例，采用预训练的第一语言-视觉模型的图像编辑算法生成保持所述人脸图像的特征且表情符合所述关键词的描述的面部图像，具体包括：根据所述关键词的监督在生成式模型内部解耦良好的隐特征空间上学得符合所述关键词描述的修改特征向量；利用在生成式模型，在对应隐特征向量上叠加所述修改特征向量，生成保持所述人脸图像的特征且表情符合所述关键词描述的面部图像。
19.根据本发明的一个实施例，采用预训练的第二语言-视觉模型的图像编辑算法生成包含该驾驶员且衣着符合所述短语的描述的第一合成驾驶状态图像，具体包括：根据多张实际驾驶状态图像微调预训练的第二语言-视觉模型，使所述预训练的第二语言-视觉模型在给定特殊占位词时能够生成实际驾驶状态图像中所包含的驾驶员的图像；将所述描述服饰的短语与所述占位词拼接组成短句，并依据所述短句生成包含所述驾驶员且衣着符合所述目标服饰的短语描述的第一合成驾驶状态图像。
20.根据本发明的一个实施例，具体采用以下步骤生成所述第二合成驾驶状态图像：
选取关键点并分别标注在驾驶员状态图像前景和车内背景图像中；将去掉背景的驾驶员状态图像前景根据所述关键点做透视变换后，粘贴到所述车内背景图像上；将粘贴后的图像进行裁剪，生成所述第二合成驾驶状态图像。
21.本发明第二方面的实施例提出了一种驾驶状态图像数据集的增广装置，包括：第一生成模块，所述第一生成模块用于获取中性表情的人脸图像，并获取描述特定表情的关键词，以及采用预训练的第一语言-视觉模型的图像编辑算法生成保持所述人脸图像的特征且表情符合所述关键词的描述的面部图像；第二生成模块，所述第二生成模块用于从待增广的驾驶状态图像数据集中获取同一驾驶员的多张实际驾驶状态图像，并获取描述目标服饰的短语，以及采用预训练的第二语言-视觉模型的图像编辑算法生成包含该驾驶员且衣着符合所述短语的描述的第一合成驾驶状态图像；第三生成模块，所述第三生成模块用于将所述面部图像的面部区域更换到所述第一合成驾驶状态图像的面部区域上，以生成驾驶员状态图像前景；第四生成模块，所述第四生成模块用于获取车内背景图像，将所述驾驶员状态图像前景粘贴到所述车内背景图像上，以生成第二合成驾驶状态图像；增广模块，所述增广模块用于根据所述第二合成驾驶状态图像对所述待增广的驾驶状态图像数据集进行增广。
22.本发明上述提出的驾驶状态图像数据集的增广装置还可以具有如下附加技术特征：
23.根据本发明的一个实施例，上述的驾驶状态图像数据集的增广装置还包括：和谐模块，所述和谐模块用于对所述第二合成驾驶状态图像进行和谐化处理，以便所述增广模块根据和谐化后的第二合成驾驶状态图像对所述待增广的驾驶状态图像数据集进行增广。
24.根据本发明的一个实施例，所述和谐模块具体用于：根据所述第二合成驾驶状态图像的背景区域中图像像素间的梯度信息对前景区域中的像素进行编辑修改，和/或，采用深度学习网络自动对所述第二合成驾驶状态图像在光照、对比度以及语义上的和谐度进行调整
25.根据本发明的一个实施例，所述第一生成模块具体用于：根据所述关键词的监督在生成式模型内部解耦良好的隐特征空间上学得符合所述关键词描述的修改特征向量；利用在生成式模型，在对应隐特征向量上叠加所述修改特征向量，生成保持所述人脸图像的特征且表情符合所述关键词描述的面部图像。
26.根据本发明的一个实施例，所述第二生成模块具体用于：根据多张实际驾驶状态图像微调预训练的第二语言-视觉模型，使所述预训练的第二语言-视觉模型在给定特殊占位词时能够生成实际驾驶状态图像中所包含的驾驶员的图像；将所述描述服饰的短语与所述占位词拼接组成短句，并依据所述短句生成包含所述驾驶员且衣着符合所述目标服饰的短语描述的第一合成驾驶状态图像。
27.根据本发明的一个实施例，所述第四生成模块具体用于：选取关键点并分别标注在驾驶员状态图像前景和车内背景图像中；将去掉背景的驾驶员状态图像前景根据所述关键点做透视变换后，粘贴到所述车内背景图像上；将粘贴后的图像进行裁剪，生成所述第二合成驾驶状态图像。
28.本发明的第三方面实施例提出了一种计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据本发明
第一方面实施例所述的驾驶状态图像数据集的增广方法。
29.本发明的第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本发明的第一方面实施例所述的驾驶状态图像数据集的增广方法。
30.本发明的有益效果：
31.本发明应对驾驶状态这一复杂应用情形，可以生成现有数据集以外的驾驶员面部、服饰、车内背景等各部分图像，使图像数据的多样性得到大幅提升，且本发明基于已有的真实图像进行增广，生成的图像更贴近真实的驾驶状态，域差异更小，即本发明能够生成真实性、多样性均较好的驾驶员驾驶状态图像，从而实现驾驶状态图像数据集的有效增广；
32.本发明采用了基于文字提示或参考图像的条件生成方法，例如通过文字提示指定驾驶员的表情，或通过文字提示或参考服装图像指定驾驶员的衣着等等，可以一定程度上实现可控生成；
33.由于采用分步对图像的不同部分做增广的总体构思，能够降低数据增广的难度。
附图说明
34.图1是根据本发明一个实施例的驾驶状态图像数据集的增广方法的流程图；
35.图2是根据本发明一个实施例的驾驶状态图像数据集的增广方法的流程示意图；
36.图3是根据本发明一个实施例的驾驶状态图像数据集的增广装置的方框示意图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.图1是根据本发明一个实施例的驾驶状态图像数据集的增广方法的流程图，如图1所示，该方法包括以下步骤：
39.s1，获取中性表情的人脸图像和描述特定表情的关键词，采用预训练的第一语言-视觉模型的图像编辑算法生成保持人脸图像的特征且表情符合关键词描述的面部图像。
40.其中，中性表情的人脸图像是指没有明显面部表情的人脸图像，例如面部肌肉放松、嘴巴闭合的人脸图像，中性表情的人脸图像可以从原始的驾驶状态图像数据集，即待增广的驾驶状态图像数据集中获取，也可以从互联网上公开的数据集中获取，例如ffhq(flickr-faces-hq，一种高质量的人脸图像数据集)数据集，ffhq数据集由公共域授权，可在任何目的下自由使用、修改、分发，该数据集包含了对17838名男女不同肤色和年龄不等的人脸图像，属于自然样本。描述特定表情的关键词根据需求指定即可。
41.步骤s1中的第一语言-视觉模型可以采用生成式模型，在获取到中性表情的人脸图像和描述特定表情的关键词后，可根据关键词的监督在生成式模型内部解耦良好的隐特征空间上学得符合关键词描述的修改特征向量δw，然后利用在生成式模型g，在中性表情人脸图像对应的隐特征向量w
source
上叠加修改特征向量δw，生成保持人脸图像的特征且表情符合关键词描述的面部图像i
target
。其中，生成式模型可以为生成对抗网络，针对隐特征
向量w
source
，如不需要对人脸图像的表情进行修改，可从生成式模型的隐特征空间中随机选取w
source
；如需要修改人脸图像的表情，则需要采用生成式模型的逆转方法，根据给定的人脸图像获取其对应的w
source
。
42.应当理解的是，一些驾驶员的驾驶状态与特定表情高度相关，例如驾驶员疲劳时可能打哈欠、闭眼、头部低垂，驾驶员分心与乘客交谈时可能张嘴说话、头部侧向一旁等等。因此，可以基于大量已有的中性表情的人脸图像，通过表情修改生成大量指定表情的面部图像，为后续驾驶员的驾驶状态图像数据集增广提供面部数据。具体地，给定一张中性表情的人脸图像i
source
(可采取真实图像或生成式模型生成的图像)以及一个描述特定表情的关键词(例如“sleepy”、“yawn”等)，将根据关键词的监督在生成式模型内部解耦良好的隐特征空间上学得符合关键词描述的修改特征向量δw。在对应隐特征向量w
source
上叠加该修改特征向量即可用生成式模型g获得保持原人脸图像外貌、头部角度等特征，且又符合关键词描述表情的面部图像i
target
，即i
target
＝g(w
source
+δw)。此外，通过调节叠加修改特征的强度λ，也可以实现调节体现目标表情的程度，有助于获取更真实的面部图像，即i
target
＝g(w
source
+λ
·
δw)。
43.s2，从待增广的驾驶状态图像数据集中获取同一驾驶员的多张实际驾驶状态图像，并获取描述目标服饰的短语，以及采用预训练的第二语言-视觉模型的图像编辑算法生成包含该驾驶员且衣着符合短语的描述的第一合成驾驶状态图像。
44.其中，驾驶状态图像为驾驶员驾车时的状态图像，描述目标服饰的短语根据需求指定即可。
45.在获取到同一驾驶员的多张实际驾驶状态图像描述目标服饰的短语之后，可根据多张实际驾驶状态图像微调预训练的第二语言-视觉模型，使预训练的第二语言-视觉模型在给定特殊占位词时能够生成实际驾驶状态图像中所包含的驾驶员的图像，然后，可将描述服饰的短语与占位词拼接组成短句，并依据短句生成包含驾驶员且衣着符合目标服饰的短语描述的第一合成驾驶状态图像。
46.可以理解的是，驾驶员在驾驶车辆时的衣着通常没有特定要求，基于已有的驾驶员的驾驶状态图像，通过服饰修改生成身穿各种各样服饰的驾驶员的驾驶状态图像，为后续驾驶员驾驶状态图像增广提供身体部分数据。具体而言，采用基于大规模预训练的第二语言-视觉模型的图像编辑算法，给定一组(例如三到五张)同一驾驶员的实际驾驶状态图像以及一个描述目标服饰的短语(可包括类别、颜色、款式等描述，例如“a blue shirt”、“sunglasses”、“a white hoodie”等)，根据给定的一组实际驾驶状态图像微调大规模预训练的第二语言-视觉模型，使其在给定某特殊占位词(placeholder)时能够生成给定图像中所包含的驾驶员的更多图像。然后，将描述服饰的短语与占位词拼接组成短句，并依此生成包含该驾驶员、且衣着符合服饰短语描述的第一合成驾驶状态图像。
47.步骤s2中的第二语言-视觉模型可以由图像编码器、文本编码器以及融合两个编码器的信息的策略组成。可以采用transformer架构的图像编码器和文本编码器来单独或联合学习图像和文本特征，再采用融合策略(例如交叉注意力机制)进行图像和文本特征的融合，从而实现语言和视觉融合。通过迭代优化来训练视觉-语言模型，即可使第二语言-视觉模型根据驾驶状态图像和描述目标服饰的短语，自动生成包含驾驶员且衣着符合目标服饰的短语的描述的第一合成驾驶状态图像。
48.可以理解的是，步骤s1可以与步骤s2同步进行，互不存在依赖关系。
49.s3，将面部图像的面部区域更换到第一合成驾驶状态图像的面部区域上，以生成驾驶员状态图像前景。
50.在步骤s1和步骤s2已经分别生成了多样性很高的(带有特定表情的)面部图像和(身穿各种各样服饰的)身体部分图像的前提下，可基于上述两部分图像，采用换脸技术将面部图像的面部更换到身体部分图像的面部区域上，以生成整个驾驶员部分均与待增广的驾驶状态图像数据集中图像不同的驾驶员状态图像前景。具体地，可以采用以替换区域标注(mask)和替换图像为条件的条件图像生成算法(例如fast face-swap、deepfacelab等)，该算法以身体部分图像(第一合成驾驶状态图像)为基础，以身体部分图像中的面部区域(可能包含头发区域以及颈部区域)为替换区域标注，以面部图像(面部图像)为替换图像进行生成，可以将面部图像提供的面部外貌、表情等信息贴合到身体部分图像的指定区域，且能在面部与身体部分(如颈部、手部、整体色调等方面)之间达到较好的和谐度。
51.s4，获取车内背景图像，将驾驶员状态图像前景粘贴到车内背景图像上，以生成第二合成驾驶状态图像。
52.在本发明的一个实施例中，获取车内背景图像后，首先可选取关键点并分别标注在驾驶员状态图像前景和车内背景图像中，再将去掉背景的驾驶员状态图像前景根据关键点做透视变换后，粘贴到车内背景图像上，然后将粘贴后的图像进行裁剪，生成第二合成驾驶状态图像。
53.具体地，根据任务特性选取关键点(例如涵盖驾驶员头部和肩部的正方形的四个顶点)分别标注在上述步骤生成的驾驶员状态图像前景和另外采集的车内背景图像中，并将去掉了背景的驾驶员前景图像根据关键点做透视变换，粘贴到车内背景图像上，使变换后的前景关键点与背景关键点位置重合。根据前景粘贴到车内背景图像上的位置，可以相对地对生成的图像进行裁剪，最终生成包含驾驶员前景、车内背景，且两者相对位置关系正确的驾驶员驾驶状态图像(第二合成驾驶状态图像)。
54.s5，根据第二合成驾驶状态图像对待增广的驾驶状态图像数据集进行增广。
55.此外，直接根据步骤s4生成的第二合成驾驶状态图像进行增广可能存在前景与背景之间光照、色调等不同导致和谐程度较低的问题，为此，本发明上述的驾驶状态图像数据集的增广方法，在生成第二合成驾驶状态图像之后，还可以包括：对第二合成驾驶状态图像进行和谐化处理，以便根据和谐化后的第二合成驾驶状态图像对待增广的驾驶状态图像数据集进行增广。
56.具体地，可采用以下三种方式中的任意一种、任意两种或全部三种，对第二合成驾驶状态图像进行和谐化处理：方式1、提取第二合成驾驶状态图像的背景的统计信息应用到前景区域；方式2、根据第二合成驾驶状态图像的背景区域中图像像素间的梯度信息对前景区域中的像素进行编辑修改；方式3、采用深度学习网络自动对第二合成驾驶状态图像的区域进行光照、对比度以及语义上的和谐度进行调整。
57.通过提取背景的统计信息应用到前景区域，使得前背景区域统计信息一致，可以完成和谐化工作；根据背景中图像像素间的梯度信息对前景区域像素进行编辑修改，使得前背景清晰度一致，能够获取清晰的和谐化结果；对于复杂的语义和谐化问题，可引入基于深度学习网络的和谐化方案，深度学习网络是在大量的真实图片训练而成，能够将自动对
合成图区域进行光照、对比度以及语义上的和谐化，进一步提升图像的和谐度。由此，通过调整前景(和/或背景)的色彩信息对生成的图像进行和谐化以提升图像的真实度。
58.如图2所示，总体而言，本发明一个具体实施例的驾驶状态图像数据集的增广方法的基本流程主要包括：表情修改(对应步骤s1)、服饰修改(对应步骤s2)、更换面部(对应步骤s3)、更换背景(对应步骤s4)以及和谐化五个步骤。对于一张现有的驾驶员驾驶状态图像，分别对其驾驶员面部(包括外貌、表情两部分)、衣着，以及背景进行更换，实现对原有数据集的增广。其中，和谐化处理生成的图像可以进一步提升图像的真实性。
59.综上所述，根据本发明实施的驾驶状态图像数据集的增广方法，应对驾驶状态这一复杂应用情形，可以生成现有数据集以外的驾驶员面部、服饰、车内背景等各部分图像，使图像数据的多样性得到大幅提升，且基于已有的真实图像进行增广，生成的图像更贴近现有真实驾驶状态，域差异更小，即本发明能够生成真实性、多样性均较好的驾驶员驾驶状态图像，从而实现驾驶状态图像数据集的有效增广；采用了基于文字提示或参考图像的条件生成方法，例如通过文字提示指定驾驶员的表情，或通过文字提示或参考服装图像指定驾驶员的衣着等等，可以一定程度上实现可控生成；且由于采用分步对图像的不同部分做增广的总体构思，致力于分步在现有数据集多样性不足的维度上做增广，主要关注驾驶员面部外貌、表情、服装、车内背景等部分，从而避免难度较高的图像整体数据增广，能够降低数据增广的难度。
60.与上述的驾驶状态图像数据集的增广方法相对应，本发明还提出一种驾驶状态图像数据集的增广装置。
61.图3是根据本发明一个实施例的驾驶状态图像数据集的增广装置的方框示意图，如图3所示，该装置包括：第一生成模块1、第二生成模块2、第三生成模块3、第四生成模块4和增广模块5。
62.其中，第一生成模块1用于获取中性表情的人脸图像，并获取描述特定表情的关键词，以及采用预训练的第一语言-视觉模型的图像编辑算法生成保持人脸图像的特征且表情符合关键词的描述的面部图像；第二生成模块2用于从待增广的驾驶状态图像数据集中获取同一驾驶员的多张实际驾驶状态图像，并获取描述目标服饰的短语，以及采用预训练的第二语言-视觉模型的图像编辑算法生成包含该驾驶员且衣着符合短语的描述的第一合成驾驶状态图像；第三生成模块3用于将面部图像的面部区域更换到第一合成驾驶状态图像的面部区域上，以生成驾驶员状态图像前景；第四生成模块4用于获取车内背景图像，将驾驶员状态图像前景粘贴到车内背景图像上，以生成第二合成驾驶状态图像；增广模块5用于根据第二合成驾驶状态图像对待增广的驾驶状态图像数据集进行增广。
63.其中，中性表情的人脸图像是指没有明显面部表情的人脸图像，例如面部肌肉放松、嘴巴闭合的人脸图像，中性表情的人脸图像可以从原始的驾驶状态图像数据集，即待增广的驾驶状态图像数据集中获取，也可以从互联网上公开的数据集中获取，例如ffhq数据集，ffhq数据集由公共域授权，可在任何目的下自由使用、修改、分发，该数据集包含了对17838名男女不同肤色和年龄不等的人脸图像，属于自然样本。描述特定表情的关键词根据需求指定即可。
64.此外，增广模块5直接根据第四生成模块4生成的第二合成驾驶状态图像进行增广可能存在前景与背景之间光照、色调等不同导致和谐程度较低的问题，为此，在第四生成模
块4生成第二合成驾驶状态图像之后，还可以通过和谐模块对第二合成驾驶状态图像进行和谐化处理，以便增广模块5根据和谐化后的第二合成驾驶状态图像对待增广的驾驶状态图像数据集进行增广。
65.具体地，和谐模块可采用以下三种方式中的任意一种、任意两种或全部三种，对第二合成驾驶状态图像进行和谐化处理：方式1、提取第二合成驾驶状态图像的背景的统计信息应用到前景区域；方式2、根据第二合成驾驶状态图像的背景区域中图像像素间的梯度信息对前景区域中的像素进行编辑修改；方式3、采用深度学习网络自动对第二合成驾驶状态图像的区域进行光照、对比度以及语义上的和谐度进行调整。
66.通过提取背景的统计信息应用到前景区域，使得前背景区域统计信息一致，可以完成和谐化工作；根据背景中图像像素间的梯度信息对前景区域像素进行编辑修改，使得前背景清晰度一致，能够获取清晰的和谐化结果；对于复杂的语义和谐化问题，可引入基于深度学习网络的和谐化方案，深度学习网络是在大量的真实图片训练而成，能够将自动对合成图区域进行光照、对比度以及语义上的和谐化，进一步提升图像的和谐度。由此，通过调整前景(和/或背景)的色彩信息对生成的图像进行和谐化以提升图像的真实度。
67.根据本发明的一个实施例，第一语言-视觉模型可以采用生成式模型，第一生成模块1在获取到中性表情的人脸图像和描述特定表情的关键词后，具体可以用于根据关键词的监督在生成式模型内部解耦良好的隐特征空间上学得符合关键词描述的修改特征向量δw；利用在生成式模型g，在中性表情人脸图像对应的隐特征向量w
source
上叠加修改特征向量δw，生成保持人脸图像的特征且表情符合关键词描述的面部图像i
target
。其中，生成式模型可以为生成对抗网络，针对隐特征向量w
source
，如不需要对人脸图像的表情进行修改，可从生成式模型的隐特征空间中随机选取w
source
；如需要修改人脸图像的表情，则需要采用生成式模型的逆转方法，根据给定的人脸图像获取其对应的w
source
。
68.应当理解的是，一些驾驶员的驾驶状态与特定表情高度相关，例如驾驶员疲劳时可能打哈欠、闭眼、头部低垂，驾驶员分心与乘客交谈时可能张嘴说话、头部侧向一旁等等。因此，第一生成模块1可以基于大量已有的中性表情的人脸图像，通过表情修改生成大量指定表情的面部图像，为后续驾驶员的驾驶状态图像数据集增广提供面部数据。具体地，给定一张中性表情的人脸图像i
source
(可采取真实图像或生成式模型生成的图像)以及一个描述特定表情的关键词(例如“sleepy”、“yawn”等)，将根据关键词的监督在生成式模型内部解耦良好的隐特征空间上学得符合关键词描述的修改特征向量δw。在对应隐特征向量w
source
上叠加该修改特征向量即可用生成式模型g获得保持原人脸图像外貌、头部角度等特征，且又符合关键词描述表情的面部图像i
target
，即i
target
＝g(w
source
+δω)。此外，第一生成模块1可以通过调节叠加修改特征的强度λ，也可以实现调节体现目标表情的程度，有助于获取更真实的面部图像，即i
target
＝g(w
source
+λ
·
δw)。
69.根据本发明的一个实施例，第二生成模块2具体用于：根据多张实际驾驶状态图像微调预训练的第二语言-视觉模型，使预训练的第二语言-视觉模型在给定特殊占位词时能够生成实际驾驶状态图像中所包含的驾驶员的图像；将描述服饰的短语与占位词拼接组成短句，并依据短句生成包含驾驶员且衣着符合目标服饰的短语描述的第一合成驾驶状态图像。
70.其中，驾驶状态图像为驾驶员驾车时的状态图像，描述目标服饰的短语根据需求
指定即可。在获取到同一驾驶员的多张实际驾驶状态图像描述目标服饰的短语之后，第二生成模块2可根据多张实际驾驶状态图像微调预训练的第二语言-视觉模型，使预训练的第二语言-视觉模型在给定特殊占位词时能够生成实际驾驶状态图像中所包含的驾驶员的图像，然后，可将描述服饰的短语与占位词拼接组成短句，并依据短句生成包含驾驶员且衣着符合目标服饰的短语描述的第一合成驾驶状态图像。
71.可以理解的是，驾驶员在驾驶车辆时的衣着通常没有特定要求，基于已有的驾驶员的驾驶状态图像，通过服饰修改生成身穿各种各样服饰的驾驶员的驾驶状态图像，为后续驾驶员驾驶状态图像增广提供身体部分数据。具体而言，第二生成模块2采用基于大规模预训练的第二语言-视觉模型的图像编辑算法，给定一组(例如三到五张)同一驾驶员的实际驾驶状态图像以及一个描述目标服饰的短语(可包括类别、颜色、款式等描述，例如“a blue shirt”、“sunglasses”、“a white hoodie”等)，根据给定的一组实际驾驶状态图像微调大规模预训练的第二语言-视觉模型，使其在给定某特殊占位词(placeholder)时能够生成给定图像中所包含的驾驶员的更多图像。然后，将描述服饰的短语与占位词拼接组成短句，并依此生成包含该驾驶员、且衣着符合服饰短语描述的第一合成驾驶状态图像。
72.第二语言-视觉模型可以由图像编码器、文本编码器以及融合两个编码器的信息的策略组成。可以采用transformer架构的图像编码器和文本编码器来单独或联合学习图像和文本特征，再采用融合策略(例如交叉注意力机制)进行图像和文本特征的融合，从而实现语言和视觉融合。通过迭代优化来训练视觉-语言模型，即可使第二语言-视觉模型根据驾驶状态图像和描述目标服饰的短语，自动生成包含驾驶员且衣着符合目标服饰的短语的描述的第一合成驾驶状态图像。
73.在第一生成模块1和第二生成模块2已经分别生成了多样性很高的(带有特定表情的)面部图像和(身穿各种各样服饰的)身体部分图像的前提下，第三生成模块3可基于上述两部分图像，采用换脸技术将面部图像的面部更换到身体部分图像的面部区域上，以生成整个驾驶员部分均与待增广的驾驶状态图像数据集中图像不同的驾驶员状态图像前景。具体地，可以采用以替换区域标注(mask)和替换图像为条件的条件图像生成算法(例如fast face-swap、deepfacelab等)，该算法以身体部分图像(第一合成驾驶状态图像)为基础，以身体部分图像中的面部区域(可能包含头发区域以及颈部区域)为替换区域标注，以面部图像(面部图像)为替换图像进行生成，可以将面部图像提供的面部外貌、表情等信息贴合到身体部分图像的指定区域，且能在面部与身体部分(如颈部、手部、整体色调等方面)之间达到较好的和谐度。
74.根据本发明的一个实施例，第四生成模块4具体用于：选取关键点并分别标注在驾驶员状态图像前景和车内背景图像中；将去掉背景的驾驶员状态图像前景根据关键点做透视变换后，粘贴到车内背景图像上；将粘贴后的图像进行裁剪，生成第二合成驾驶状态图像。
75.具体地，第四生成模块4可以根据任务特性选取关键点(例如涵盖驾驶员头部和肩部的正方形的四个顶点)分别标注在上述步骤生成的驾驶员状态图像前景和另外采集的车内背景图像中，并将去掉了背景的驾驶员前景图像根据关键点做透视变换，粘贴到车内背景图像上，使变换后的前景关键点与背景关键点位置重合。然后根据前景粘贴到车内背景图像上的位置，可以相对地对生成的图像进行裁剪，最终第四生成模块4生成包含驾驶员前
景、车内背景，且两者相对位置关系正确的驾驶员驾驶状态图像(第二合成驾驶状态图像)。
76.综上所述，根据本发明实施例的驾驶状态图像数据集的增广装置，应对驾驶状态这一复杂应用情形，可以生成现有数据集以外的驾驶员面部、服饰、车内背景等各部分图像，使图像数据的多样性得到大幅提升，且基于已有的真实图像进行增广，生成的图像更贴近现有真实驾驶状态，域差异更小，即本发明能够生成真实性、多样性均较好的驾驶员驾驶状态图像，从而实现驾驶状态图像数据集的有效增广；采用了基于文字提示或参考图像的条件生成方法，例如通过文字提示指定驾驶员的表情，或通过文字提示或参考服装图像指定驾驶员的衣着等等，可以一定程度上实现可控生成；且由于采用分步对图像的不同部分做增广的总体构思，致力于分步在现有数据集多样性不足的维度上做增广，主要关注驾驶员面部外貌、表情、服装、车内背景等部分，从而避免难度较高的图像整体数据增广，能够降低数据增广的难度。
77.为实现上述实施例的驾驶状态图像数据集的增广方法，本发明还提出一种计算机设备。
78.本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明上述的驾驶状态图像数据集的增广方法。
79.根据本发明实施例的计算机设备，处理器执行存储在储器上的计算机程序时，应对驾驶状态这一复杂应用情形，可以生成现有数据集以外的驾驶员面部、服饰、车内背景等各部分图像，使图像数据的多样性得到大幅提升，且基于已有的真实图像进行增广，生成的图像更贴近现有真实驾驶状态，域差异更小，即本发明能够生成真实性、多样性均较好的驾驶员驾驶状态图像，从而实现驾驶状态图像数据集的有效增广；采用了基于文字提示或参考图像的条件生成方法，例如通过文字提示指定驾驶员的表情，或通过文字提示或参考服装图像指定驾驶员的衣着等等，可以一定程度上实现可控生成；且由于采用分步对图像的不同部分做增广的总体构思，致力于分步在现有数据集多样性不足的维度上做增广，主要关注驾驶员面部外貌、表情、服装、车内背景等部分，从而避免难度较高的图像整体数据增广，能够降低数据增广的难度。
80.为实现上述实施例的驾驶状态图像数据集的增广方法，本发明还提出一种非临时性计算机可读存储介质。
81.本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的驾驶状态图像数据集的增广方法。
82.根据本发明实施例的非临时性计算机可读存储介质，存储在其上的计算机程序被处理器执行时，应对驾驶状态这一复杂应用情形，可以生成现有数据集以外的驾驶员面部、服饰、车内背景等各部分图像，使图像数据的多样性得到大幅提升，且基于已有的真实图像进行增广，生成的图像更贴近现有真实驾驶状态，域差异更小，即本发明能够生成真实性、多样性均较好的驾驶员驾驶状态图像，从而实现驾驶状态图像数据集的有效增广；采用了基于文字提示或参考图像的条件生成方法，例如通过文字提示指定驾驶员的表情，或通过文字提示或参考服装图像指定驾驶员的衣着等等，可以一定程度上实现可控生成；且由于采用分步对图像的不同部分做增广的总体构思，致力于分步在现有数据集多样性不足的维度上做增广，主要关注驾驶员面部外貌、表情、服装、车内背景等部分，从而避免难度较高的
图像整体数据增广，能够降低数据增广的难度。
83.在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
84.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
85.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
86.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
87.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离
散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
88.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
89.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
90.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
91.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种驾驶状态图像数据集的增广方法，其特征在于，包括以下步骤：获取中性表情的人脸图像，并获取描述特定表情的关键词，以及采用预训练的第一语言-视觉模型的图像编辑算法生成保持所述人脸图像的特征且表情符合所述关键词的描述的面部图像；从待增广的驾驶状态图像数据集中获取同一驾驶员的多张实际驾驶状态图像，并获取描述目标服饰的短语，以及采用预训练的第二语言-视觉模型的图像编辑算法生成包含该驾驶员且衣着符合所述短语的描述的第一合成驾驶状态图像；将所述面部图像的面部区域更换到所述第一合成驾驶状态图像的面部区域上，以生成驾驶员状态图像前景；获取车内背景图像，将所述驾驶员状态图像前景粘贴到所述车内背景图像上，以生成第二合成驾驶状态图像；根据所述第二合成驾驶状态图像对所述待增广的驾驶状态图像数据集进行增广。2.根据权利要求1所述的驾驶状态图像数据集的增广方法，其特征在于，在生成所述第二合成驾驶状态图像之后，还包括：对所述第二合成驾驶状态图像进行和谐化处理，以便根据和谐化后的第二合成驾驶状态图像对所述待增广的驾驶状态图像数据集进行增广。3.根据权利要求2所述的驾驶状态图像数据集的增广方法，其特征在于，对所述第二合成驾驶状态图像进行和谐化处理，具体包括：根据所述第二合成驾驶状态图像的背景区域中图像像素间的梯度信息对前景区域中的像素进行编辑修改，和/或，采用深度学习网络自动对所述第二合成驾驶状态图像在光照、对比度以及语义上的和谐度进行调整。4.根据权利要求1所述的驾驶状态图像数据集的增广方法，其特征在于，采用预训练的第一语言-视觉模型的图像编辑算法生成保持所述人脸图像的特征且表情符合所述关键词的描述的面部图像，具体包括：根据所述关键词的监督在生成式模型内部解耦良好的隐特征空间上学得符合所述关键词描述的修改特征向量；利用在生成式模型，在对应隐特征向量上叠加所述修改特征向量，生成保持所述人脸图像的特征且表情符合所述关键词描述的面部图像。5.根据权利要求1所述的驾驶状态图像数据集的增广方法，其特征在于，采用预训练的第二语言-视觉模型的图像编辑算法生成包含该驾驶员且衣着符合所述短语的描述的第一合成驾驶状态图像，具体包括：根据多张实际驾驶状态图像微调预训练的第二语言-视觉模型，使所述预训练的第二语言-视觉模型在给定特殊占位词时能够生成实际驾驶状态图像中所包含的驾驶员的图像；将所述描述服饰的短语与所述占位词拼接组成短句，并依据所述短句生成包含所述驾驶员且衣着符合所述目标服饰的短语描述的第一合成驾驶状态图像。6.根据权利要求1所述的驾驶状态图像数据集的增广方法，其特征在于，具体采用以下步骤生成所述第二合成驾驶状态图像：
选取关键点并分别标注在驾驶员状态图像前景和车内背景图像中；将去掉背景的驾驶员状态图像前景根据所述关键点做透视变换后，粘贴到所述车内背景图像上；将粘贴后的图像进行裁剪，生成所述第二合成驾驶状态图像。7.一种驾驶状态图像数据集的增广装置，其特征在于，包括：第一生成模块，所述第一生成模块用于获取中性表情的人脸图像，并获取描述特定表情的关键词，以及采用预训练的第一语言-视觉模型的图像编辑算法生成保持所述人脸图像的特征且表情符合所述关键词的描述的面部图像；第二生成模块，所述第二生成模块用于从待增广的驾驶状态图像数据集中获取同一驾驶员的多张实际驾驶状态图像，并获取描述目标服饰的短语，以及采用预训练的第二语言-视觉模型的图像编辑算法生成包含该驾驶员且衣着符合所述短语的描述的第一合成驾驶状态图像；第三生成模块，所述第三生成模块用于将所述面部图像的面部区域更换到所述第一合成驾驶状态图像的面部区域上，以生成驾驶员状态图像前景；第四生成模块，所述第四生成模块用于获取车内背景图像，将所述驾驶员状态图像前景粘贴到所述车内背景图像上，以生成第二合成驾驶状态图像；增广模块，所述增广模块用于根据所述第二合成驾驶状态图像对所述待增广的驾驶状态图像数据集进行增广。8.根据权利要求7所述的驾驶状态图像数据集的增广装置，其特征在于，还包括：和谐模块，所述和谐模块用于对所述第二合成驾驶状态图像进行和谐化处理，以便所述增广模块根据和谐化后的第二合成驾驶状态图像对所述待增广的驾驶状态图像数据集进行增广。9.根据权利要求8所述的驾驶状态图像数据集的增广装置，其特征在于，所述和谐模块具体用于：根据所述第二合成驾驶状态图像的背景区域中图像像素间的梯度信息对前景区域中的像素进行编辑修改，和/或，采用深度学习网络自动对所述第二合成驾驶状态图像在光照、对比度以及语义上的和谐度进行调整。10.根据权利要求7所述的驾驶状态图像数据集的增广装置，其特征在于，所述第一生成模块具体用于：根据所述关键词的监督在生成式模型内部解耦良好的隐特征空间上学得符合所述关键词描述的修改特征向量；利用在生成式模型，在对应隐特征向量上叠加所述修改特征向量，生成保持所述人脸图像的特征且表情符合所述关键词描述的面部图像。11.根据权利要求7所述的驾驶状态图像数据集的增广装置，其特征在于，所述第二生成模块具体用于：根据多张实际驾驶状态图像微调预训练的第二语言-视觉模型，使所述预训练的第二语言-视觉模型在给定特殊占位词时能够生成实际驾驶状态图像中所包含的驾驶员的图像；
将所述描述服饰的短语与所述占位词拼接组成短句，并依据所述短句生成包含所述驾驶员且衣着符合所述目标服饰的短语描述的第一合成驾驶状态图像。12.根据权利要求7所述的驾驶状态图像数据集的增广装置，其特征在于，所述第四生成模块具体用于：选取关键点并分别标注在驾驶员状态图像前景和车内背景图像中；将去掉背景的驾驶员状态图像前景根据所述关键点做透视变换后，粘贴到所述车内背景图像上；将粘贴后的图像进行裁剪，生成所述第二合成驾驶状态图像。13.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据权利要求1-6中任一项所述的驾驶状态图像数据集的增广方法。14.一种非临时性计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现根据权利要求1-6中任一项所述的驾驶状态图像数据集的增广方法。

技术总结
本发明涉及机器视觉技术领域，提供了一种驾驶状态图像数据集的增广方法、增广装置，所述方法包括：采用图像编辑算法生成保持人脸图像的特征且表情符合关键词描述的面部图像，以及生成包含驾驶员且衣着符合目标服饰的短语描述的第一合成驾驶状态图像；将面部图像的面部更换到第一合成驾驶状态图像的面部上，以生成驾驶员状态图像前景；将驾驶员状态图像前景粘贴到车内背景图像上，以生成第二合成驾驶状态图像；根据第二合成驾驶状态图像对驾驶状态图像数据集进行增广。本发明能够生成真实性、多样性均较好的驾驶员驾驶状态图像，从而实现驾驶状态图像数据集的有效增广，且由于采用分步对图像的不同部分做增广的总体构思，能够降低数据增广的难度。低数据增广的难度。低数据增广的难度。


技术研发人员：邹捷 牛力 段宇轩 洪燕 马千里 王云龙 邹永宁
受保护的技术使用者：南通嘉骏信息科技有限公司
技术研发日：2023.07.14
技术公布日：2023/10/5