一种多感官驾驶员情绪识别方法、系统、装置及存储介质与流程

1.本发明涉及人工智能技术领域，尤其是一种多感官驾驶员情绪识别方法、系统、装置及存储介质。


背景技术：

2.在汽车驾驶中，行驶安全最为重要，但大多数的交通事故都是人为因素导致的，而车内人员尤其是驾驶员的情绪则是导致人为交通事故的重要原因。在行车过程中，由于长途的驾驶容易导致驾驶员疲劳困倦，而堵车、糟糕的路况以及其它的车辆的不规范行为也会导致驾驶员产生愤怒、不满等不良情绪，从而影响车辆行驶的安全性。因此有必要对驾驶员的情绪进行识别，以便于及时进行情绪引导，防止可能出现的交通事故。
3.现有技术中，驾驶员的情绪识别一般是通过驾驶员面部表情变化来进行识别，但这种单一维度的情绪识别方式容易受到外界环境的干扰，影响了驾驶员情绪识别的准确性。


技术实现要素：

4.本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
5.为此，本发明实施例的一个目的在于提供一种多感官驾驶员情绪识别方法，该方法提高了驾驶员情绪识别的准确性以及车辆行驶的安全性。
6.本发明实施例的另一个目的在于提供一种多感官驾驶员情绪识别系统。
7.为了达到上述技术目的，本发明实施例所采取的技术方案包括：
8.第一方面，本发明实施例提供了一种多感官驾驶员情绪识别方法，包括以下步骤：
9.获取驾驶员的人脸图像信息、语音信息、生理参数信息以及人体动作信息；
10.根据所述人脸图像信息提取所述驾驶员的人脸表情特征，根据所述语音信息提取所述驾驶员的语音情感特征，根据所述生理参数信息提取所述驾驶员的人体生理特征，并根据所述人体动作信息提取所述驾驶员的人体动作特征；
11.根据所述人脸表情特征、所述语音情感特征、所述人体生理特征以及所述人体动作特征进行特征融合，得到多维特征信息；
12.将所述多维特征信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果。
13.进一步地，在本发明的一个实施例中，所述获取驾驶员的人脸图像信息、语音信息、生理参数信息以及人体动作信息这一步骤，其具体包括：
14.通过设置在目标车辆内的摄像装置获取所述驾驶员的人脸图像信息；
15.通过设置在所述目标车辆内的语音采集装置获取所述驾驶员的语音信息；
16.通过所述驾驶员穿戴的生理探测装置获取所述驾驶员的生理参数信息；
17.通过所述驾驶员穿戴的姿态传感器获取所述驾驶员的人体动作信息。
18.进一步地，在本发明的一个实施例中，所述根据所述人脸图像信息提取所述驾驶
员的人脸表情特征，根据所述语音信息提取所述驾驶员的语音情感特征，根据所述生理参数信息提取所述驾驶员的人体生理特征，并根据所述人体动作信息提取所述驾驶员的人体动作特征这一步骤，其具体包括：
19.根据所述人脸图像信息确定多个关键特征区域，并根据所述关键特征区域生成所述人脸表情特征；
20.对所述语音信息依次进行预加重、分帧、加窗、快速傅里叶变换、三角窗滤波、对数运算以及离散余弦变换，得到所述语音信息的梅尔频率倒谱系数，进而根据所述梅尔频率倒谱系数确定所述语音情感特征；
21.根据所述生理参数信息和预设的生理参数阈值确定生理参数增量信息，并根据所述生理参数增量信息生成所述人体生理特征；
22.根据所述人体动作信息确定所述驾驶员的人体动作姿态，并根据所述人体动作姿态生成所述人体动作特征。
23.进一步地，在本发明的一个实施例中，所述根据所述人脸表情特征、所述语音情感特征、所述人体生理特征以及所述人体动作特征进行特征融合，得到多维特征信息这一步骤，其具体包括：
24.根据所述人脸表情特征生成第一特征向量，根据所述语音情感特征生成第二特征向量，根据所述人体生理特征生成第三特征向量，并根据所述人体动作特征生成第四特征向量；
25.对所述第一特征向量、所述第二特征向量、所述第三特征向量以及所述第四特征向量进行向量拼接，得到所述多维特征信息。
26.进一步地，在本发明的一个实施例中，所述多感官驾驶员情绪识别方法还包括预先训练所述情绪识别模型的步骤，其具体包括：
27.获取预设的多个多维特征样本数据，并确定各所述多维特征样本数据的标签信息；
28.根据所述多维特征样本数据和对应的所述标签信息构建训练数据集；
29.将所述训练数据集输入到预先构建的卷积神经网络进行训练，得到训练好的所述情绪识别模型；
30.其中，所述多维特征样本数据根据测试人员的人脸图像样本数据、语音样本数据、生理参数样本数据以及人体动作样本数据生成。
31.进一步地，在本发明的一个实施例中，所述将所述训练数据集输入到预先构建的卷积神经网络进行训练，得到训练好的所述情绪识别模型这一步骤，其具体包括：
32.将所述训练数据集输入到所述卷积神经网络，得到情绪预测结果；
33.根据所述情绪预测结果和所述标签信息确定所述卷积神经网络的损失值；
34.根据所述损失值通过反向传播算法更新所述卷积神经网络的模型参数，并返回将所述训练数据集输入到所述卷积神经网络这一步骤；
35.当所述损失值达到预设的第一阈值或迭代次数达到预设的第二阈值，停止训练，得到训练好的所述情绪识别模型。
36.进一步地，在本发明的一个实施例中，所述多感官驾驶员情绪识别方法还包括以下步骤：
37.根据所述情绪识别结果预测所述驾驶员是否存在驾驶风险，当存在驾驶风险，通过语音提醒装置播放预设的情绪引导内容对所述驾驶员进行情绪引导。
38.第二方面，本发明实施例提供了一种多感官驾驶员情绪识别系统，包括：
39.信息获取模块，用于获取驾驶员的人脸图像信息、语音信息、生理参数信息以及人体动作信息；
40.特征提取模块，用于根据所述人脸图像信息提取所述驾驶员的人脸表情特征，根据所述语音信息提取所述驾驶员的语音情感特征，根据所述生理参数信息提取所述驾驶员的人体生理特征，并根据所述人体动作信息提取所述驾驶员的人体动作特征；
41.特征融合模块，用于根据所述人脸表情特征、所述语音情感特征、所述人体生理特征以及所述人体动作特征进行特征融合，得到多维特征信息；
42.情绪识别模块，用于将所述多维特征信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果。
43.第三方面，本发明实施例提供了一种多感官驾驶员情绪识别装置，包括：
44.至少一个处理器；
45.至少一个存储器，用于存储至少一个程序；
46.当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种多感官驾驶员情绪识别方法。
47.第四方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种多感官驾驶员情绪识别方法。
48.本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：
49.本发明实施例获取驾驶员的人脸图像信息、语音信息、生理参数信息以及人体动作信息，根据人脸图像信息提取驾驶员的人脸表情特征，根据语音信息提取驾驶员的语音情感特征，根据生理参数信息提取驾驶员的人体生理特征，并根据人体动作信息提取驾驶员的人体动作特征，然后根据人脸表情特征、语音情感特征、人体生理特征以及人体动作特征进行特征融合，得到多维特征信息，再将多维特征信息输入到预先训练好的情绪识别模型，得到驾驶员的情绪识别结果。本发明实施例基于人脸图像信息、语音信息、生理参数信息以及人体动作信息这四个维度进行特征提取和特征融合，得到多维特征信息并通过情绪识别模型对驾驶员情绪进行识别，克服了单一维度的特征容易受到外界环境影响的缺陷，提高了驾驶员情绪识别的准确性，从而提高了车辆行驶的安全性。
附图说明
50.为了更清楚地说明本发明实施例中的技术方案，下面对本发明实施例中所需要使用的附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
51.图1为本发明实施例提供的一种多感官驾驶员情绪识别方法的步骤流程图；
52.图2为本发明实施例提供的一种多感官驾驶员情绪识别系统的结构框图；
53.图3为本发明实施例提供的一种多感官驾驶员情绪识别装置的结构框图。
具体实施方式
54.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
55.在本发明的描述中，多个的含义是两个或两个以上，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。
56.参照图1，本发明实施例提供了一种多感官驾驶员情绪识别方法，具体包括以下步骤：
57.s101、获取驾驶员的人脸图像信息、语音信息、生理参数信息以及人体动作信息。
58.具体地，本发明实施例基于人脸图像信息、语音信息、生理参数信息以及人体动作信息这四个维度进行驾驶员情绪的识别，其中，人脸图像信息可以反映驾驶员面部表情的变化，语音信息可以反映驾驶员说话的语气情感，生理参数信息可以反映驾驶员生理状态的变化，人体动作信息可以反映驾驶员的驾驶动作以及人体姿态。
59.进一步作为可选的实施方式，获取驾驶员的人脸图像信息、语音信息、生理参数信息以及人体动作信息这一步骤，其具体包括：
60.s1011、通过设置在目标车辆内的摄像装置获取驾驶员的人脸图像信息；
61.s1012、通过设置在目标车辆内的语音采集装置获取驾驶员的语音信息；
62.s1013、通过驾驶员穿戴的生理探测装置获取驾驶员的生理参数信息；
63.s1014、通过驾驶员穿戴的姿态传感器获取驾驶员的人体动作信息。
64.具体地，人脸图像信息可通过设置在驾驶座前方的摄像装置获取；语音信息可通过设置在驾驶舱的语音采集装置获取；生理参数信息包括心率、心率变异性、心率间隔(rri)、脑电波、脉搏波、脉率变异性、血压、体温以及出汗率中的一种或多种，可通过驾驶员穿戴的生理探测装置如智能手环、智能手表、智能头环等进行探测采集；人体动作信息可通过采集人体各个部位的姿态数据得到，对于驾驶员来说，采集其手臂、肩膀、头部、颈部等关键部位的姿态数据即可得到反映其驾驶行为的人体动作信息，具体可通过在人体各个关键部位设置姿态传感器来采集对应部位的姿态数据，整合得到人体动作信息。
65.s102、根据人脸图像信息提取驾驶员的人脸表情特征，根据语音信息提取驾驶员的语音情感特征，根据生理参数信息提取驾驶员的人体生理特征，并根据人体动作信息提取驾驶员的人体动作特征。
66.具体地，本发明实施例分别对人脸图像信息、语音信息、生理参数信息以及人体动作信息进行特征提取，提取得到的特征可以是图像行驶，也可以是数组形式，便于后续的特征融合。
67.进一步作为可选的实施方式，根据人脸图像信息提取驾驶员的人脸表情特征，根
据语音信息提取驾驶员的语音情感特征，根据生理参数信息提取驾驶员的人体生理特征，并根据人体动作信息提取驾驶员的人体动作特征这一步骤，其具体包括：
68.s1021、根据人脸图像信息确定多个关键特征区域，并根据关键特征区域生成人脸表情特征；
69.s1022、对语音信息依次进行预加重、分帧、加窗、快速傅里叶变换、三角窗滤波、对数运算以及离散余弦变换，得到语音信息的梅尔频率倒谱系数，进而根据梅尔频率倒谱系数确定语音情感特征；
70.s1023、根据生理参数信息和预设的生理参数阈值确定生理参数增量信息，并根据生理参数增量信息生成人体生理特征；
71.s1024、根据人体动作信息确定驾驶员的人体动作姿态，并根据人体动作姿态生成人体动作特征。
72.具体地，对人脸图像信息进行识别，得到多个关键特征区域，如眼睛、眉毛、鼻子、嘴巴等能反映人脸表情的区域，然后对这些关键特征区域的图像进行下采样，得到人脸表情特征。
73.将生理参数信息与预设的正常生理状态下的生理参数阈值进行比对，得到生理参数增量信息，然后根据生理参数增量信息中的各个数据(如心率增量、血压增量、体温增量)形成数组，即可得到人体生理特征。
74.将人体动作信息分解为人体各个部位的姿态数据，即可得到人体各个部位的人体动作姿态，将人体各个部位的人体动作姿态按照特定部位顺序进行排列形成数组，即可得到人体动作特征。
75.预加重处理其实是将语音信号通过一个高通滤波器，目的是提升高频部分，使信号的频谱变得平坦，保持在低频到高频的整个频带中，能用同样的信噪比求频谱。同时，也是为了消除发生过程中声带和嘴唇的效应，来补偿语音信号受到发音系统所抑制的高频部分，也为了突出高频的共振峰。
76.分帧时先将n个采样点集合成一个观测单位，称为帧。通常情况下n的值为256或512，涵盖的时间约为20～30ms左右。为了避免相邻两帧的变化过大，因此会让两相邻帧之间有一段重叠区域，此重叠区域包含了m个取样点，通常m的值约为n的1/2或1/3。通常语音识别所采用语音信号的采样频率为8khz或16khz，以8khz来说，若帧长度为256个采样点，则对应的时间长度是32ms。
77.加窗(hamming window)是将每一帧乘以汉明窗，以增加帧左端和右端的连续性。假设分帧后的信号为s(n)，n＝0,1,
…
,n-1，n为帧的大小，那么乘上汉明窗后s'(n)＝s(n)xw(n)，w(n)为汉明窗。
78.由于信号在时域上的变换通常很难看出信号的特性，所以通常将它转换为频域上的能量分布来观察，不同的能量分布，就能代表不同语音的特性。所以在乘上汉明窗后，每帧还必须再经过快速傅里叶变换以得到在频谱上的能量分布。对分帧加窗后的各帧信号进行快速傅里叶变换得到各帧的频谱。并对语音信号的频谱取模平方得到语音信号的功率谱。
79.三角窗滤波是将能量谱通过一组mel尺度的三角形滤波器组，三角窗滤波有两个主要目的：对频谱进行平滑化，并消除谐波的作用，突显原先语音的共振峰，因此一段语音
的音调或音高，是不会呈现在mfcc系数内，换句话说，以mfcc系数为特征的语音辨识系统，并不会受到输入语音的音调不同而有所影响；此外，还可以降低运算量。
80.计算每个滤波器组输出的对数能量，然后经离散余弦变换(dct)得到mfcc系数。
81.根据mfcc系数即可确定语音信息的多个语音情感特征。
82.在一些可选的实施例中，语音情感特征包括梅尔频率倒谱系数的均值、标准差、方差、中值、最大值、最小值、四分位数、极差、陡峭度、偏斜度。
83.具体地，本发明实施例采用mfcc系数的均值、标准差、方差、中值、最大值、最小值、四分位数、极差、陡峭度、偏斜度共10种特征生成240维列向量作为语音特征向量，然后用matplotlib工具将语音特征向量生成48*48大小的曲线图像作为语音情感特征。
84.s103、根据人脸表情特征、语音情感特征、人体生理特征以及人体动作特征进行特征融合，得到多维特征信息。
85.进一步作为可选的实施方式，根据人脸表情特征、语音情感特征、人体生理特征以及人体动作特征进行特征融合，得到多维特征信息这一步骤，其具体包括：
86.s1031、根据人脸表情特征生成第一特征向量，根据语音情感特征生成第二特征向量，根据人体生理特征生成第三特征向量，并根据人体动作特征生成第四特征向量；
87.s1032、对第一特征向量、第二特征向量、第三特征向量以及第四特征向量进行向量拼接，得到多维特征信息。
88.具体地，本发明实施例中，得到的人脸表情特征和语音情感特征为图像特征，可通过卷积操作得到第一特征向量和第二特征向量；得到的人体生理特征和人体动作特征为数组特征，可对数组进行向量化处理得到第三特征向量和第四特征向量。
89.特征向量的融合有多种方式，本发明实施例将第一特征向量、第二特征向量、第三特征向量以及第四特征向量进行拼接，得到一个维度数为前者维度数总和的多维特征信息，基于该多维特征信息即可进行驾驶员的情绪识别。
90.s104、将多维特征信息输入到预先训练好的情绪识别模型，得到驾驶员的情绪识别结果。
91.具体地，本发明实施例的情绪识别模型通过卷积神经网络训练得到，将多维特征信息输入到该情绪识别模型，即可得到对应的情绪识别结果。
92.进一步作为可选的实施方式，多感官驾驶员情绪识别方法还包括预先训练情绪识别模型的步骤，其具体包括：
93.s201、获取预设的多个多维特征样本数据，并确定各多维特征样本数据的标签信息；
94.s202、根据多维特征样本数据和对应的标签信息构建训练数据集；
95.s203、将训练数据集输入到预先构建的卷积神经网络进行训练，得到训练好的情绪识别模型；
96.其中，多维特征样本数据根据测试人员的人脸图像样本数据、语音样本数据、生理参数样本数据以及人体动作样本数据生成。
97.具体地，在构建训练数据集时，获取测试人员的人脸图像样本数据、语音样本数据、生理参数样本数据以及人体动作样本数据，然后基于前述介绍的特征提取及特征融合技术生成多维特征样本数据，同时基于人工标注确定各个多维特征样本数据对应的标签信
息，该标签信息用于指示多维特征样本数据对应的情绪类型，包括但不限于开心、乐观、自信、欣赏、放松等正面情绪，焦虑、紧张、愤怒、沮丧、悲伤、痛苦等负性情绪。根据多维特征样本数据和对应的标签信息即可生成训练数据集。
98.进一步作为可选的实施方式，将训练数据集输入到预先构建的卷积神经网络进行训练，得到训练好的情绪识别模型这一步骤，其具体包括：
99.s2031、将训练数据集输入到卷积神经网络，得到情绪预测结果；
100.s2032、根据情绪预测结果和标签信息确定卷积神经网络的损失值；
101.s2033、根据损失值通过反向传播算法更新卷积神经网络的模型参数，并返回将训练数据集输入到卷积神经网络这一步骤；
102.s2034、当损失值达到预设的第一阈值或迭代次数达到预设的第二阈值，停止训练，得到训练好的情绪识别模型。
103.具体地，将训练数据集中的数据输入到初始化后的卷积神经网络模型后，可以得到模型输出的识别结果，即情绪预测结果，可以根据情绪预测结果和前述的标签信息来评估模型预测的准确性，从而对模型的参数进行更新。对于情绪识别模型来说，模型预测结果的准确性可以通过损失函数(loss function)来衡量，损失函数是定义在单个训练数据上的，用于衡量一个训练数据的预测误差，具体是通过单个训练数据的标签和模型对该训练数据的预测结果确定该训练数据的损失值。而实际训练时，一个训练数据集有很多训练数据，因此一般采用代价函数(cost function)来衡量训练数据集的整体误差，代价函数是定义在整个训练数据集上的，用于计算所有训练数据的预测误差的平均值，能够更好地衡量出模型的预测效果。对于一般的机器学习模型来说，基于前述的代价函数，再加上衡量模型复杂度的正则项即可作为训练的目标函数，基于该目标函数便能求出整个训练数据集的损失值。常用的损失函数种类有很多，例如0-1损失函数、平方损失函数、绝对损失函数、对数损失函数、交叉熵损失函数等均可以作为机器学习模型的损失函数，在此不再一一阐述。本发明实施例中，可以从中任选一种损失函数来确定训练的损失值。基于训练的损失值，采用反向传播算法对模型的参数进行更新，迭代几轮即可得到训练好的情绪识别模型。具体地迭代轮数可以预先设定，或者在测试集达到精度要求时认为训练完成。
104.进一步作为可选的实施方式，多感官驾驶员情绪识别方法还包括以下步骤：
105.s105、根据情绪识别结果预测驾驶员是否存在驾驶风险，当存在驾驶风险，通过语音提醒装置播放预设的情绪引导内容对驾驶员进行情绪引导。
106.具体地，当情绪识别结果为焦虑、紧张、愤怒、沮丧、悲伤、痛苦等负面情绪时，可以预测到驾驶员存在驾驶风险，并且通过语音提醒装置播放预设情绪引导内容对驾驶员进行情绪引导。
107.在一些可选的实施例中，可预先标定不同负面情绪的情绪类型对应的驾驶风险等级，然后根据情绪识别结果确定驾驶员当前的驾驶风险等级，根据驾驶风险等级的不同采取不同的情绪引导策略。
108.在一些可选的实施例中，可预先针对不同负面情绪的情绪类型直接设定对应的情绪引导内容，当检测到驾驶员存在某类负面情绪时，播放对应的情绪引导内容对驾驶员进行情绪引导。
109.本发明实施例根据驾驶员的情绪识别结果判断驾驶员是否存在驾驶风险，并且在
存在驾驶风险时通过预设的情绪引导内容对驾驶员进行情绪引导，从而可以一定程度上避免发生安全事故，进一步提高了车辆行驶的安全性。
110.以上对本发明实施例的方法步骤进行了说明。可以理解的是，本发明实施例基于人脸图像信息、语音信息、生理参数信息以及人体动作信息这四个维度进行特征提取和特征融合，得到多维特征信息并通过情绪识别模型对驾驶员情绪进行识别，克服了单一维度的特征容易受到外界环境影响的缺陷，提高了驾驶员情绪识别的准确性，从而提高了车辆行驶的安全性。
111.参照图2，本发明实施例提供了一种多感官驾驶员情绪识别系统，包括：
112.信息获取模块，用于获取驾驶员的人脸图像信息、语音信息、生理参数信息以及人体动作信息；
113.特征提取模块，用于根据人脸图像信息提取驾驶员的人脸表情特征，根据语音信息提取驾驶员的语音情感特征，根据生理参数信息提取驾驶员的人体生理特征，并根据人体动作信息提取驾驶员的人体动作特征；
114.特征融合模块，用于根据人脸表情特征、语音情感特征、人体生理特征以及人体动作特征进行特征融合，得到多维特征信息；
115.情绪识别模块，用于将多维特征信息输入到预先训练好的情绪识别模型，得到驾驶员的情绪识别结果。
116.上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
117.参照图3，本发明实施例提供了一种多感官驾驶员情绪识别装置，包括：
118.至少一个处理器；
119.至少一个存储器，用于存储至少一个程序；
120.当上述至少一个程序被上述至少一个处理器执行时，使得上述至少一个处理器实现上述的一种多感官驾驶员情绪识别方法。
121.上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
122.本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，该处理器可执行的程序在由处理器执行时用于执行上述一种多感官驾驶员情绪识别方法。
123.本发明实施例的一种计算机可读存储介质，可执行本发明方法实施例所提供的一种多感官驾驶员情绪识别方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
124.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
125.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提
到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或上述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
126.此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
127.上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
128.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
129.计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印上述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得上述程序，然后将其存储在计算机存储器中。
130.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场
可编程门阵列(fpga)等。
131.在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
132.尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
133.以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种多感官驾驶员情绪识别方法，其特征在于，包括以下步骤：获取驾驶员的人脸图像信息、语音信息、生理参数信息以及人体动作信息；根据所述人脸图像信息提取所述驾驶员的人脸表情特征，根据所述语音信息提取所述驾驶员的语音情感特征，根据所述生理参数信息提取所述驾驶员的人体生理特征，并根据所述人体动作信息提取所述驾驶员的人体动作特征；根据所述人脸表情特征、所述语音情感特征、所述人体生理特征以及所述人体动作特征进行特征融合，得到多维特征信息；将所述多维特征信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果。2.根据权利要求1所述的一种多感官驾驶员情绪识别方法，其特征在于，所述获取驾驶员的人脸图像信息、语音信息、生理参数信息以及人体动作信息这一步骤，其具体包括：通过设置在目标车辆内的摄像装置获取所述驾驶员的人脸图像信息；通过设置在所述目标车辆内的语音采集装置获取所述驾驶员的语音信息；通过所述驾驶员穿戴的生理探测装置获取所述驾驶员的生理参数信息；通过所述驾驶员穿戴的姿态传感器获取所述驾驶员的人体动作信息。3.根据权利要求1所述的一种多感官驾驶员情绪识别方法，其特征在于，所述根据所述人脸图像信息提取所述驾驶员的人脸表情特征，根据所述语音信息提取所述驾驶员的语音情感特征，根据所述生理参数信息提取所述驾驶员的人体生理特征，并根据所述人体动作信息提取所述驾驶员的人体动作特征这一步骤，其具体包括：根据所述人脸图像信息确定多个关键特征区域，并根据所述关键特征区域生成所述人脸表情特征；对所述语音信息依次进行预加重、分帧、加窗、快速傅里叶变换、三角窗滤波、对数运算以及离散余弦变换，得到所述语音信息的梅尔频率倒谱系数，进而根据所述梅尔频率倒谱系数确定所述语音情感特征；根据所述生理参数信息和预设的生理参数阈值确定生理参数增量信息，并根据所述生理参数增量信息生成所述人体生理特征；根据所述人体动作信息确定所述驾驶员的人体动作姿态，并根据所述人体动作姿态生成所述人体动作特征。4.根据权利要求1所述的一种多感官驾驶员情绪识别方法，其特征在于，所述根据所述人脸表情特征、所述语音情感特征、所述人体生理特征以及所述人体动作特征进行特征融合，得到多维特征信息这一步骤，其具体包括：根据所述人脸表情特征生成第一特征向量，根据所述语音情感特征生成第二特征向量，根据所述人体生理特征生成第三特征向量，并根据所述人体动作特征生成第四特征向量；对所述第一特征向量、所述第二特征向量、所述第三特征向量以及所述第四特征向量进行向量拼接，得到所述多维特征信息。5.根据权利要求1所述的一种多感官驾驶员情绪识别方法，其特征在于，所述多感官驾驶员情绪识别方法还包括预先训练所述情绪识别模型的步骤，其具体包括：获取预设的多个多维特征样本数据，并确定各所述多维特征样本数据的标签信息；
根据所述多维特征样本数据和对应的所述标签信息构建训练数据集；将所述训练数据集输入到预先构建的卷积神经网络进行训练，得到训练好的所述情绪识别模型；其中，所述多维特征样本数据根据测试人员的人脸图像样本数据、语音样本数据、生理参数样本数据以及人体动作样本数据生成。6.根据权利要求5所述的一种多感官驾驶员情绪识别方法，其特征在于，所述将所述训练数据集输入到预先构建的卷积神经网络进行训练，得到训练好的所述情绪识别模型这一步骤，其具体包括：将所述训练数据集输入到所述卷积神经网络，得到情绪预测结果；根据所述情绪预测结果和所述标签信息确定所述卷积神经网络的损失值；根据所述损失值通过反向传播算法更新所述卷积神经网络的模型参数，并返回将所述训练数据集输入到所述卷积神经网络这一步骤；当所述损失值达到预设的第一阈值或迭代次数达到预设的第二阈值，停止训练，得到训练好的所述情绪识别模型。7.根据权利要求1至6中任一项所述的一种多感官驾驶员情绪识别方法，其特征在于，所述多感官驾驶员情绪识别方法还包括以下步骤：根据所述情绪识别结果预测所述驾驶员是否存在驾驶风险，当存在驾驶风险，通过语音提醒装置播放预设的情绪引导内容对所述驾驶员进行情绪引导。8.一种多感官驾驶员情绪识别系统，其特征在于，包括：信息获取模块，用于获取驾驶员的人脸图像信息、语音信息、生理参数信息以及人体动作信息；特征提取模块，用于根据所述人脸图像信息提取所述驾驶员的人脸表情特征，根据所述语音信息提取所述驾驶员的语音情感特征，根据所述生理参数信息提取所述驾驶员的人体生理特征，并根据所述人体动作信息提取所述驾驶员的人体动作特征；特征融合模块，用于根据所述人脸表情特征、所述语音情感特征、所述人体生理特征以及所述人体动作特征进行特征融合，得到多维特征信息；情绪识别模块，用于将所述多维特征信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果。9.一种多感官驾驶员情绪识别装置，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至7中任一项所述的一种多感官驾驶员情绪识别方法。10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1至7中任一项所述的一种多感官驾驶员情绪识别方法。

技术总结
本发明公开了多感官驾驶员情绪识别方法、系统、装置及存储介质，包括：获取驾驶员的人脸图像信息、语音信息、生理参数信息以及人体动作信息；根据人脸图像信息提取驾驶员的人脸表情特征，根据语音信息提取驾驶员的语音情感特征，根据生理参数信息提取驾驶员的人体生理特征，并根据人体动作信息提取驾驶员的人体动作特征；根据人脸表情特征、语音情感特征、人体生理特征以及人体动作特征进行特征融合，得到多维特征信息；将多维特征信息输入到预先训练好的情绪识别模型，得到驾驶员的情绪识别结果。本发明提高了驾驶员情绪识别的准确性，从而提高了车辆行驶的安全性，可广泛应用于人工智能技术领域。技术领域。技术领域。


技术研发人员：张荣培
受保护的技术使用者：广汽本田汽车研究开发有限公司
技术研发日：2023.07.26
技术公布日：2023/9/20