基于面部组织氧饱和度数据进行情感识别的方法及装置

1.本技术涉及情感测量技术领域，具体而言，涉及一种基于面部组织氧饱和度数据进行情感识别的方法及装置。


背景技术：

2.在情感识别方面，可以通过多种方式对人物的情感进行识别，例如，可以根据人物的外在表象，如面部表情、语音语调以及肢体动作来推测人物此时所处的情感状态。然而，由于外在表现可以通过个体主观控制，因此，这种情感识别方式无法准确地确定人物的真实情感，无法满足目前的情感识别需求。


技术实现要素：

3.有鉴于此，本技术实施例的目的在于提供一种基于面部组织氧饱和度数据进行情感识别的方法及装置，以改善现有技术中存在的情感识别准确性较低的问题。
4.为了解决上述问题，第一方面，本技术实施例提供了一种基于面部组织氧饱和度数据进行情感识别的方法，所述方法包括：
5.对采集的初始数据进行预处理，得到标准生理信号数据；其中，所述标准生理信号数据为标准面部组织氧饱和度数据；
6.对每个所述标准生理信号数据进行特征提取，得到目标编码特征；
7.将所述目标编码特征输入深度学习模型中进行情感识别，得到情感结果。
8.在上述实现过程中，能够采集具有被测人物的真实反应的生理信号，即面部组织氧饱和度数据作为进行情感识别的数据基础，并对采集的初始数据进行预处理，得到能够进行情感识别的人物产生情感的标准生理信号数据，再对标准生理信号数据进行特征提取，以得到输入深度学习模型中进行识别的目标编码特征，能够对被测人物的多种情感进行识别，获取准确且真实的情感结果。本技术以人物的生理信号进行情感识别，相比于以面部表情、语音语调、肢体动作等外部特征进行情感识别，能够有效地减小人物主观控制等因素对情感识别带来的不利影响，提高了情感识别的准确性和真实性。
9.可选地，所述对每个所述标准生理信号数据进行特征提取，得到目标编码特征，包括：
10.获取包含产生情感前的基线数据和产生情感后的情感数据的所述标准生理信号数据；
11.基于所述标准生理信号数据进行聚类分析，得到所述目标编码特征。
12.在上述实现过程中，针对标准生理信号数据的特性设计了相应的方式以提取其中的目标编码特征。可以获取包含的基线数据和情感数据的标准生理信号数据，对标准生理信号数据进行聚类分析，以对其进行量化，得到相应的目标编码特征。能够对多种情感状态的生理信号进行相应地处理，有效地提高了目标编码特征的有效性。
13.可选地，其中，所述目标编码特征包括：强度差异编码特征；
14.所述基于所述标准生理信号数据进行聚类分析，得到所述目标编码特征，包括：
15.基于所述基线数据和所述情感数据进行聚类分析和相减处理，得到所述强度差异编码特征。
16.在上述实现过程，可以设计强度差异编码特征作为输入深度学习模型中进行情感识别的目标编码特征。根据标准生理信号数据中产生情感前的基线数据和产生情感后的情感数据这两个时间节点的数据分别进行聚类分析，再将聚类后的情感数据减去聚类后的基线数据，以得到对标准生理信号数据进行量化后的强度差异编码特征。
17.可选地，其中，所述目标编码特征包括：直方差异编码特征；
18.所述基于所述标准生理信号数据进行聚类分析，得到所述目标编码特征，还包括：
19.基于所述强度差异编码特征进行直方图处理，得到所述直方差异编码特征。
20.在上述实现过程，还可以在强度差异编码特征的基础上，设计直方差异编码特征作为输入机器学习模型中进行情感识别的目标编码特征。通过对强度差异编码特征进行直方图处理，以获取相应的直方差异编码特征，以从直方的柱状图角度对情感进行识别，进一步地提高了目标编码特征的有效性。
21.可选地，其中，所述目标编码特征包括：掩膜差异编码特征；
22.所述基于所述标准生理信号数据进行聚类分析，得到所述目标编码特征，还包括：
23.基于所述基线数据和所述情感数据，计算面部差异值数据；
24.根据所述强度差异编码特征进行缩放处理，得到掩膜数据；
25.基于所述掩膜数据与所述面部差异值数据进行计算，得到所述掩膜差异编码特征。
26.在上述实现过程，还可以在强度差异编码特征的基础上，设计掩膜差异编码特征作为输入深度学习模型中进行情感识别的目标编码特征。以初始的基线数据和所述情感数据计算面部差异值数据，并将强度差异编码特征进行缩放处理，得到相应的掩膜数据，从而结合掩膜数据和面部差异值数据进行计算，得到掩膜处理后的掩膜差异编码特征，进一步地提高了目标编码特征的有效性。
27.可选地，所述对采集的初始数据进行预处理，得到标准生理信号数据，包括：
28.获取基于光谱成像技术采集的被测人物观看情感材料前后的原始面部图像；其中，所述原始面部图像包括观看所述情感材料前的第一面部数据和观看所述情感材料后的第二面部数据；
29.获取所述被测人物基于所述情感材料确定的评分数据；
30.基于预设的筛选规则和所述评分数据对所述原始面部图像进行筛选，得到有效的所述初始数据；
31.对所述初始数据进行提取，得到初始生理信号数据；
32.对所述初始生理信号数据进行配准，得到所述标准生理信号数据。
33.在上述实现过程中，为了提取生理信号，可以先基于光谱成像技术采集被测人物基于情感材料进行测试前后的原始面部图像，并获取被测人物基于情感材料确定的评分数据，从而根据筛选规则和评分数据对原始面部图像进行筛选，筛选得到被测人物认为有效的初始数据。能够在初始数据中对生理信号进行提取并进行面部配准，得到有效且统一尺寸的标准生理信号数据以供后续处理。能够在数据的预处理阶段对数据的有效性和尺寸进
行筛选和调整，提高了标准生理信号数据的有效性和适应性。
34.可选地，所述方法还包括：
35.确定所述标准生理信号数据对应的情感标签；
36.根据所述情感标签对所述情感结果进行验证。
37.在上述实现过程中，在获取标准生理信号数据时，还可以对标准生理信号数据的情感状态进行分类，以获取相应的类型的情感标签，从而根据情感标签验证模型中最终的情感结果，以对模型的识别效果进行优化，有效地提高了后续模型基于生理信号进行情感识别时的准确性。
38.第二方面，本技术实施例还提供了一种基于面部组织氧饱和度数据进行情感识别的装置，所述装置包括：预处理模块、特征提取模块和识别模块；
39.所述预处理模块用于对采集的初始数据进行预处理，得到标准生理信号数据；其中，所述标准生理信号数据为标准面部组织氧饱和度数据；
40.所述特征提取模块用于对每个所述标准生理信号数据进行特征提取，得到目标编码特征；
41.所述识别模块用于将所述目标编码特征输入深度学习模型中进行情感识别，得到情感结果。
42.在上述实现方式中，通过预处理模块对采集的初始数据进行预处理，得到能够进行情感识别的人物产生情感的标准生理信号数据，通过特征提取模块对标准生理信号数据进行特征提取，以得到目标编码特征，通过识别模块将目标编码特征输入深度学习模型中进行情感识别，能够对被测人物的多种情感进行识别，获取准确且真实的情感结果。
43.第三方面，本技术实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述基于面部组织氧饱和度数据进行情感识别的方法中任一实现方式中的步骤。
44.第四方面，本技术实施例还提供了一种计算机可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述基于面部组织氧饱和度数据进行情感识别的方法中任一实现方式中的步骤。
45.综上所述，本技术实施例提供了一种基于面部组织氧饱和度数据进行情感识别的方法及装置，能够采集被测人物的真实反应的生理信号作为进行情感识别的数据基础，并对采集的数据进行预处理后进行特征提取，以得到输入深度学习模型中进行识别的编码特征，能够对被测人物的多种情感进行识别，获取准确且真实的情感结果，有效地减小人物主观控制等因素对情感识别带来的不利影响，提高了情感识别的准确性和真实性。
附图说明
46.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
47.图1为本技术实施例提供的一种电子设备的方框示意图；
48.图2为本技术实施例提供的一种基于面部组织氧饱和度数据进行情感识别的方法
的流程示意图；
49.图3为本技术实施例提供的一种步骤s300的详细流程示意图；
50.图4为本技术实施例提供的一种步骤s320的详细流程示意图；
51.图5为本技术实施例提供的一种步骤s200的详细流程示意图；
52.图6为本技术实施例提供的一种基于面部组织氧饱和度数据进行情感识别的装置的结构示意图。
53.图标：100-电子设备；111-存储器；112-存储控制器；113-处理器；114-外设接口；115-输入输出单元；116-显示单元；500-基于面部组织氧饱和度数据进行情感识别的装置；510-预处理模块；520-特征提取模块；530-识别模块。
具体实施方式
54.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术实施例的一部分实施例，而不是全部的实施例。基于本技术实施例的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术实施例保护的范围。
55.六种基本情感是人类普遍共有的情感，包括生气(anger)、厌恶(disgust)、恐惧(fear)、开心(happiness)、伤心(sadness)、惊讶(surprise)。在情感识别方面，可以通过多种方式对人物的情感进行识别，例如，可以根据人物的外在表象，如面部表情、语音语调以及肢体动作来推测人物此时所处的情感状态。然而，由于外在表现可以通过个体主观控制，因此，这种情感识别方式无法准确地确定人物的真实情感，无法满足目前的情感识别需求。
56.为了解决上述问题，本技术实施例提供了一种基于面部组织氧饱和度数据进行情感识别的方法，应用于电子设备，电子设备可以包括服务器、个人电脑(personal computer，pc)、平板电脑、智能手机、个人数字助理(personal digital assistant，pda)等具有逻辑计算功能的电子设备，能够基于人物的生理信号对人物情感进行识别，获取准确且真实的情感结果。
57.可选地，请参阅图1，图1为本技术实施例提供的一种电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对电子设备100的结构造成限定。例如，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
58.上述的存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。
59.其中，存储器111可以是，但不限于，随机存取存储器(random access memory，简称ram)，只读存储器(read only memory，简称rom)，可编程只读存储器(programmable read-only memory，简称prom)，可擦除只读存储器(erasable programmable read-only memory，简称eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，简称eeprom)等。其中，存储器111用于存储程序，处理器113在接收到执行指令后，
执行程序，本技术实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中，或者由处理器113实现。
60.上述的处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器，也可以是任何常规的处理器等。
61.上述的外设接口114将各种输入/输出装置耦合至处理器113以及存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
62.上述的输入输出单元115用于提供给用户输入数据。输入输出单元115可以是，但不限于，鼠标和键盘等。
63.上述的显示单元116在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。在本技术实施例中，显示单元116可以显示处理得到的分析图数据、目标编码特征以及识别得到的情感结果等数据。
64.本实施例中的电子设备可以用于执行本技术实施例提供的各个基于面部组织氧饱和度数据进行情感识别的方法中的各个步骤。下面通过几个实施例详细描述基于面部组织氧饱和度数据进行情感识别的方法的实现过程。
65.请参阅图2，图2为本技术实施例提供的一种基于面部组织氧饱和度数据进行情感识别的方法的流程示意图，该方法可以包括步骤s200-s400。
66.步骤s200，对采集的初始数据进行预处理，得到标准生理信号数据。
67.其中，采集具有被测人物的真实反应的生理信号的初始数据作为进行情感识别的数据基础，并对初始数据进行预处理，提取其中的标准生理信号数据。
68.可选地，标准生理信号数据可以包括标准面部组织氧饱和度数据。面部组织氧饱和度(tissue oxygen saturation)数据，即sto2是一种与血液相关的二维生理信号，反映各个像素点位置血红蛋白与氧分子结合的程度，氧合程度越高，sto2数值越大。因此，sto2属于一种生理指标，它会随着激素水平变化而波动。sto2可以通过光谱成像技术，例如高光谱成像技术hsi(hyperspectral imaging)等多种满足波段范围要求的光谱成像技术，示例地，实际运用中为了提高精确性，使用的是516～580nm之间的33个窄波段数据，以基于不同波段进行非接触提取，同时具备非接触式采集便捷性和生理信号真实性的优点，例如，可以通过mbl3c模型从高光谱立方体中516到580nm波段范围内提取，能够通过图形分析直观呈现多种基本情感状态下面部sto2的不同变化情况，因此，sto2具备区分情感状态的能力。
69.步骤s300，对每个标准生理信号数据进行特征提取，得到目标编码特征。
70.其中，由于处于不同的情感状态时，生理信号变化具有明显的差异，因此，可以对标准生理信号数据进行特征提取，以得到相应的目标编码特征，目标编码特征可以为面部图像的像素图像数据等多种类型的数据。
71.步骤s400，将目标编码特征输入深度学习模型中进行情感识别，得到情感结果。
72.其中，将提取的目标编码特征作为输入数据输入深度学习模型中进行情感识别，能够得到相应的情感结果。情感结果可以为相应的情感状态，例如生气、厌恶、恐惧、开心、伤心、惊讶或更多种的情感状态等。
73.可选地，深度学习模型可以包括多种深度学习的网络模型，例如神经网络、随机森林等，能够将目标编码特征作为深度学习框架，如卷积神经网络cnn、残差网络resnet等的输入，通过网络学习自动提取深度特征进行状态分类。
74.需要说明的是，也可以使用其他方式针对目标编码特征进行情感识别，例如，基于目标编码特征关注面部特定区域，如前额、鼻子、脸颊等，以提取该区域情感状态sto2均值与对应未产生情感时区域的sto2均值的差异值，即sto2均值差特征，从而基于sto2均值差特征确定对应的情感结果。
75.可选地，为了对最终的情感结果进行验证，该方法还可以包括：确定标准生理信号数据对应的情感标签；根据情感标签对情感结果进行验证。在获取标准生理信号数据时，还可以对标准生理信号数据的情感状态进行分类，以获取相应类型的情感标签，从而根据情感标签验证模型中最终的情感结果，例如，在情感标签为生气，且情感结果也为生气时，则验证成功，能够对模型的识别效果进行优化，有效地提高了后续模型基于生理信号进行情感识别时的准确性。
76.在图2所示的实施例中，以人物的生理信号进行情感识别，相比于以面部表情、语音语调、肢体动作等外部特征进行情感识别，能够有效地减小人物主观控制等因素对情感识别带来的不利影响，提高了情感识别的准确性和真实性。
77.可选地，请参阅图3，图3为本技术实施例提供的一种步骤s300的详细流程示意图，步骤s300可以包括步骤s310-s320。
78.步骤s310，获取包含产生情感前的基线数据和产生情感后的情感数据的标准生理信号数据。
79.其中，数据库中可以存储多个进行预处理后得到的标准生理信号数据，在进行特征提取时，可以根据需求，从数据库中获取包含产生情感前的基线数据和产生情感后的情感数据的标准生理信号数据。
80.步骤s320，基于标准生理信号数据进行聚类分析，得到目标编码特征。
81.其中，由于深度模型直接对标准生理信号数据进行处理时，无法很好地关注到情感刺激前后重点区域的sto2变化情况。因此，需要对标准生理信号数据进行聚类分析，以对sto2变化情况进行量化，以情感刺激前后的标准生理信号数据为编码的数据基础，使用聚类分析方法把标准生理信号数据划分为一定数量的等级，使用划分等级后的标准生理信号数据计算得到相应的目标编码特征，目标编码特征具有数值简单且相同sto2变化等级区域明确等优点，可以直接作为输入送入深度学习模型进行处理的数据，提高了不同任务中编码特征的鲁棒性。
82.可选地，标准生理信号数据中，情感刺激前，即产生情感前的基线数据可以记为b，
情感刺激后，即产生情感后的情感数据可以记为d，可以先根据预设的分析算法，证明面部sto2能够用于进行情感识别的可行性。其中，预设的分析算法可以为差异均值图算法或t值图分析算法等多种算法。差异均值图算法和t值图分析算法能够针对每个情感状态的基线数据和情感数据进行计算分析，得到相应的分析图数据。
83.可选地，差异均值图算法的计算方式可以包括，使用某情感状态下的所有d数据减去对应的b数据，得到的差异值数据逐像素点求均值，即可得到该情感状态下的差异均值图，作为相应的分析图数据。t值图分析算法的计算方式可以包括：逐像素点对某情感状态下d数据和b数据进行配对样本t检验，得到该情感状态下的t图，作为相应的分析图数据。其中，差异均值图和t图的具体计算方式分别如下：
[0084][0085]
t_(i,j)＝ttest[s(i,j),bs(,j)]
[0086]
其中，s表示某个标准生理信号数据，n表示各个情感类别下的有效数据总数，(i，j)表示面部sto2像素点。能够根据样本数量和情况，采用配对样本t检验进行t图计算，并使用fdr校正p值。
[0087]
由于差异均值图和t图的结合可以有效、准确地分析情感刺激引起的面部sto2变化，因此，可以对分析图的显著性进行分析，以在分析图数据中观察到不同情感状态下的生理信号变化情况的不同。
[0088]
示例地，由于计算得到的差异均值图展示的是某个情感刺激下被测人物的总体变化情况，需要结合统计分析方法对分析图的显著性进行分析。差异均值图表征现有数据组的平均变化情况。生气情感时全脸上升最明显，伴随着暖色调在所有情感下最浓，但小部分区域如嘴唇区域有下降。相比于其余情感下鼻子区域有变化，厌恶鼻子区域变化较小，然而鼻周及前额变化较大。恐惧情感下的面部sto2以鼻子区域为中心明显下降，包括前额区域，但脸颊及下巴区域有些许上升。开心时全脸上升分布较为均匀，嘴唇也有少量下降。伤心时眼周分布均匀，嘴周上升明显。惊讶时嘴周及下巴区域上升明显，该区域的色调暖于其余区域。
[0089]
而计算得到的t图展示的是经过配对样本检验的t值，包含了显著性水平的信息。因此，t图中像素点数值的正负分别表示d高于或者低于b，p值为表征显著性的数值。统计分析中两个样本的均值不一样就会出现统计值的正负，而这种正负代表着原始两组数据的差异。p值能够在差异模式图中呈现显著性(差异模式图显示的是t值，t值和p值成对出现，如果差异模式中某个像素点t的p》0.05，那么这个像素点置为0，表示该位置的正负变化不显著)，因此，对应p值若小于0.05则表示这种数值高低在该位置是显著的，表征不同情感状态下面部sto2变化是不同的，反之则不显著，没有统计学意义，则表征进行计算的数据无效，对其进行删除。经过等级量化的t图还能够直观展示不同情感状态的sto2变化差异。
[0090]
可选地，为了更直接地表征不同情感状态的sto2变化模式，还可以对t图中的显著t值进行5个等级的量化显示，例如，统计显著性表示p值《0.05，对应的临界t值通过查表可得。临界值与显著性水平以及数据样本量有关，即样本量越少，达到显著性水平的临界t值越大。在对某个情感数据库进行处理时，anger数据量最少，此时p《0.05对应的临界|t|值为2.020，为了便于表示，可以对所有情感类别的取值均为2.1，即|t|《2.1不显著，显示为白
色。5个量化等级分别命名为level1至leve5，等级划分规则为：-8～-5为level1，显示为深蓝色；-5～-2.1为level2，显示为浅蓝色；-2.1～2.1为不显著区域，显示为白色；2.1～5为level3，显示为黄色；5～8为level4，显示为红色；8～10为level5，显示为深红色。其中，level1～2表示显著低，且level等级越低表明越显著；level3～5表示显著高，且level等级越高表明越显著；中间的白色区域表示变化不显著。
[0091]
相应的，在所有情感状态的状态下，面部sto2的上升大部分为level3和level4的上升，level5的上升较少。而恐惧时，面部sto2的下降基本为level2等级的下降。需要注意的是，脸部的左右侧存在镜像情况。各情感类别的具体描述如下：
[0092]
(1)anger：眼周无显著变化；除嘴唇有少量下降外，全脸大部分区域上升；其中左脸颊区域上升的显著程度高于右脸颊。
[0093]
(2)disgust：鼻尖无显著变化，前额以及鼻周的上升程度更为显著；鼻子和嘴巴的左侧上升程度高于右侧。
[0094]
(3)fear：与其余情感的变化模式最容易区分；鼻子区域显著下降；前额存在少量、离散的下降；左脸颊下方存在少量、离散的上升。
[0095]
(4)happiness：面部sto2上升的情况分布最广且最为显著，尤其是前额；说明经过快乐的情感刺激，被测人物面部sto2变化最明显。
[0096]
(5)sadness：面部sto2上升等级大部分为level3，少部分level4的上升分布不集中，但与其与情感下的模式不同在于眼周具有较为显著的sto2上升。实验过程中，观看sadness刺激材料时，存在一部分被测人物无法克制，流出眼泪的情况。虽然这部分表情控制失败的数据已被剔除，但在sadness情感下眼周的sto2上升可能为被测人物经过刺激材料刺激想流眼泪的一种体现。
[0097]
(6)surprise：嘴周，尤其是人中区域面部sto2上升显著，level4的上升全集中在该区域。
[0098]
在图3所示的实施例中，能够对多种情感状态的生理信号进行相应地处理，有效地提高了目标编码特征的有效性。
[0099]
可选地，目标编码特征可以包括多种不同类型的手工编码特征，例如：强度差异编码特征、直方差异编码特征以及掩膜差异编码特征等一种或多种特征。
[0100]
请参阅图4，图4为本技术实施例提供的一种步骤s320的详细流程示意图，步骤s320可以包括步骤s321-s325。
[0101]
步骤s321，基于基线数据和情感数据进行聚类分析和相减处理，得到强度差异编码特征。
[0102]
其中，可以设计强度差异编码特征，即idp(intensity difference pattern)作为输入深度学习模型中进行情感识别的目标编码特征。根据标准生理信号数据中产生情感前的基线数据b和产生情感后的情感数据d这两个时间节点的数据分别进行聚类分析，再将聚类后的情感数据减去聚类后的基线数据，以得到对标准生理信号数据进行量化后的强度差异编码特征。
[0103]
需要说明的是，强度模式ip(intensity pattern)是ipk的统称，代表经过等级量化后的sto2数据，其中k代表sto2的等级数量。进行聚类分析时，可以使用基础的聚类算法k-means、均值漂移聚类、基于密度的聚类以及手工等级划分等方式对sto2进行等级划分。
能够充分考虑整体数据的情况，对原始的成对b和d数据进行k簇聚类(k≥2)，保留背景区域不进行操作。
[0104]
可选地，聚类分析处理可以包括拼接、重排序、分离等操作。由于sto2数据具有统一的尺寸，可以将成对的b和d数据的数值区域转化为维度相同的向量形式vb和vd。k-means的对象是vb和vd拼接得到的向量v。为了确保原始sto2数值高低与聚类后的编号大小对应，在使用k-means对向量v进行聚类时，需要进行重排序操作。重排序具体操作可以包括：sto2数值经过k-means聚类后的等级量化为{1,2,
…
c,
…
,k}，对应的聚类簇质心点为{μ1,μ2,
…
,μc,
…
,μk}。把质心μ升序排列，并根据排序的位置重新分配类别编号1～k。例如，μc的原始表情是c，但是μc是所有质心中的最小值，经过重排序操作后，原始表情为c的等级会被更改为1。因此，重排序操作可以表示为：r＝index(rank(μ))。其中μ表示k-means的质心；rank(*)表示从小到大排序(升序)，index(*)表示排序中μ出现的位置索引；r表示经过重排序操作后能够表示sto2强度的新的聚类表情。获取聚类后的sto2强度向量vk，通过分离操作分解出v
kb
和v
kd
。最后，结合未进行处理的背景区域(数值为0)，重新生成sto2矩ip。idp的计算是d和b成对的ip相减，考虑到后续需要送入神经网络中，ip相减后整体数据加上聚类数k即可调整为正值，即：idp＝ip
d-ipb+。由于idp能够与原始sto2数据具有相同的尺寸，背景为0，不考虑背景区域，ipk数值范围为[1,k],(k≥2,k∈n
+
)，共计k个等级。对应idpk的数值范围为[1,2k-1],(k≥2,k∈n
+
)，均为正整数。idp中背景区域全为0，数值小于k表明该点d的强度低于b的强度，反之则表明该点d的强度大于b的强度。
[0105]
可选地，k-means的聚类数的选择方面，可以设置多个聚类数分别进行计算和比较，从而确定acc(准确率)、uf1(f1分数，f1 score)、uar(未加权平均召回)等最高的优选聚类数，例如，以6作为最优聚类数，相应得到的强度差异编码特征记为idp6。
[0106]
或，步骤s322，基于强度差异编码特征进行直方图处理，得到直方差异编码特征。
[0107]
其中，还可以在强度差异编码特征的基础上，设计直方差异编码特征，即强度差异直方图模式hidp(histogram of intensity difference pattern)作为输入机器学习模型中进行情感识别的目标编码特征。通过对强度差异编码特征进行直方图处理，以获取相应的直方差异编码特征，以从直方的柱状图角度对情感进行识别，进一步地提高了目标编码特征的有效性。
[0108]
可选地，可以在idp6的基础上提取得到相应的hidp6特征。
[0109]
或，步骤s323，基于基线数据和情感数据，计算面部差异值数据。
[0110]
其中，以初始的基线数据和情感数据计算面部差异值数据，记为od，计算方式可以为od＝d-b+100，100为原始sto2的数值变化范围，也可以采用其他数值。
[0111]
步骤s324，根据强度差异编码特征进行缩放处理，得到掩膜数据。
[0112]
其中，并将强度差异编码特征进行缩放处理，得到相应的掩膜数据，使用的具体缩放处理可以包括：
[0113][0114]
其中，mask(,j)为计算的到的掩膜数据，n为大于等于1的正数，表示缩放比例，缩放操作包括放大和缩小。idp等于k时表示刺激后的d与刺激前的b的sto2等级相同，没有变化，因此对应的mask数值点为1；小于k的idp表示经过刺激后sto2等级下降，对应mask的数值也小于1；大于k的idp表示经过刺激后sto2等级上升，对应mask的数值大于1。
[0115]
步骤s325，基于掩膜数据与面部差异值数据进行计算，得到掩膜差异编码特征。
[0116]
其中，还可以在强度差异编码特征的基础上，设计掩膜差异编码特征，即imf(idp-masked feature)作为输入深度学习模型中进行情感识别的目标编码特征。从而结合掩膜数据和面部差异值数据进行计算，将掩膜数据与面部差异值数据进行相乘，能够拉大od中数值的高低分布中数值的高低分布，得到掩膜处理后的掩膜差异编码特征，进一步地提高了目标编码特征的有效性。
[0117]
可选地，还可以选择不同的缩放比例与缩放方式对强度差异编码特征进行缩放处理，还可以选择相加的方式对强度差异编码特征与面部差异值数据进行计算。
[0118]
在图4所示的实施例中，提供了多种不同的目标编码特征的提取方式，能够应用于多种不同的使用场景。
[0119]
可选地，请参阅图5，图5为本技术实施例提供的一种步骤s200的详细流程示意图，步骤s200可以包括步骤s210-s250。
[0120]
步骤s210，获取基于光谱成像技术采集的被测人物观看情感材料前后的原始面部图像。
[0121]
其中，为了提取生理信号，可以先基于光谱成像技术，采集被测人物基于情感材料进行测试前后的原始面部图像，情感材料可以包括多种类型的情感刺激视频、图片等，原始面部图像包括观看情感材料前的第一面部数据和观看情感材料后的第二面部数据。
[0122]
可选地，情感材料可以为情感视频材料，可以通过观看情感视频的方式触发情感，为了消除表情产生时的面部肌肉运动对sto2的影响，在观看视频过程中可以要求被测人物严格控制面部表情，在观看视频前后分别使用高光谱成像技术hsi采集多张原始面部图像。可以在被测人物观看情感材料前和观看情感材料后分别对其面部进行采集，以获取表征基线状态的第一面部数据和表征情感状态的第二面部数据。
[0123]
步骤s220，获取被测人物基于情感材料确定的评分数据。
[0124]
其中，为了确定图像是否产生情感，可以在视频观看完成后由被测人物基于情感材料进行自评。评分数据可以包括情感状态以及唤醒度得分，通过对视频的情感状态、唤醒程度进行自主评分，以确定原始面部图像中的多种情况，例如：从是否产生表情、表情类型以及唤醒度评分三个方面确定评分数据。
[0125]
步骤s230，基于预设的筛选规则和评分数据对原始面部图像进行筛选，得到有效的初始数据。
[0126]
其中，可以根据预设的筛选规则和评分数据对多张原始面部图像进行筛选，筛选规则可以为：观看视频时控制表情、情感状态与视频目标情感对应、唤醒评分(总分5分)大于3分等，以筛选得到有效的初始数据。
[0127]
步骤s240，对初始数据进行提取，得到初始生理信号数据。
[0128]
其中，初始生理信号数据可以为面部组织氧饱和度数据，即sto2数据。对判定有效的初始数据，可以使用mbl3c模型，从516～580nm之间以2nm为步长的33个波段数据中提取原始sto2数据，作为初始生理信号数据。
[0129]
步骤s250，对初始生理信号数据进行配准，得到标准生理信号数据。
[0130]
其中，还可以对初始生理信号数据进行面部配准，得到统一尺寸的标准生理信号数据。
[0131]
可选地，由于原始面部图像包括观看情感材料前的第一面部数据和观看情感材料后的第二面部数据，因此，对原始面部图像进行筛选、提取、配准之后得到的标准生理信号数据中包括产生情感前的基线数据和产生情感后的情感数据，标准生理信号数据的尺寸可以为481*411的二维矩阵，数值范围为0～100，可以通过伪彩色展示为图片形式。
[0132]
需要说明的是，为了便于进行后续处理，可以将标准生理信号数据与情感表情进行整合，得到情感数据库。
[0133]
在图5所示的实施例中，能够在数据的预处理阶段对数据的有效性和尺寸进行筛选和调整，提高了标准生理信号数据的有效性和适应性。
[0134]
请参阅图6，图6为本技术实施例提供的一种基于面部组织氧饱和度数据进行情感识别的装置的结构示意图，基于面部组织氧饱和度数据进行情感识别的装置500中可以包括：预处理模块510、特征提取模块520和识别模块530；
[0135]
预处理模块510用于对采集的初始数据进行预处理，得到标准生理信号数据；其中，标准生理信号数据为标准面部组织氧饱和度数据；
[0136]
特征提取模块520用于对每个标准生理信号数据进行特征提取，得到目标编码特征；
[0137]
识别模块530用于将目标编码特征输入深度学习模型中进行情感识别，得到情感结果。
[0138]
在一可选的实施方式中，预处理模块510还可以包括获取子模块和聚类子模块；
[0139]
获取子模块，用于获取包含产生情感前的基线数据和产生情感后的情感数据的标准生理信号数据；
[0140]
聚类子模块，用于基于标准生理信号数据进行聚类分析，得到目标编码特征。
[0141]
在一可选的实施方式中，其中，目标编码特征包括：强度差异编码特征；聚类子模块具体用于：基于基线数据和情感数据进行聚类分析和相减处理，得到强度差异编码特征。
[0142]
在一可选的实施方式中，其中，目标编码特征包括：直方差异编码特征；聚类子模块还具体用于：基于强度差异编码特征进行直方图处理，得到直方差异编码特征。
[0143]
在一可选的实施方式中，其中，目标编码特征包括：掩膜差异编码特征；聚类子模块还具体用于：基于基线数据和情感数据，计算面部差异值数据；根据强度差异编码特征进行缩放处理，得到掩膜数据；基于掩膜数据与面部差异值数据进行计算，得到掩膜差异编码特征。
[0144]
在一可选的实施方式中，预处理模块510具体用于：获取基于光谱成像技术采集的被测人物观看情感材料前后的原始面部图像；其中，原始面部图像包括观看情感材料前的第一面部数据和观看情感材料后的第二面部数据；获取被测人物基于情感材料确定的评分数据；基于预设的筛选规则和评分数据对原始面部图像进行筛选，得到有效的初始数据；对初始数据进行提取，得到初始生理信号数据；对初始生理信号数据进行配准，得到标准生理信号数据。
[0145]
在一可选的实施方式中，基于面部组织氧饱和度数据进行情感识别的装置500中还可以包括验证模块，用于确定标准生理信号数据对应的情感标签；根据情感标签对情感结果进行验证。
[0146]
由于本技术实施例中的基于面部组织氧饱和度数据进行情感识别的装置500解决问题的原理与前述的基于面部组织氧饱和度数据进行情感识别的方法的实施例相似，因此本实施例中的基于面部组织氧饱和度数据进行情感识别的装置500的实施可以参见上述基于面部组织氧饱和度数据进行情感识别的方法的实施例中的描述，重复之处不再赘述。
[0147]
本技术实施例还提供了一种计算机可读取存储介质，可读取存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本实施例提供的基于面部组织氧饱和度数据进行情感识别的方法中任一项方法中的步骤。
[0148]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本技术的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0149]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0150]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0151]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0152]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。
[0153]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

技术特征：
1.一种基于面部组织氧饱和度数据进行情感识别的方法，其特征在于，所述方法包括：对采集的初始数据进行预处理，得到标准生理信号数据；其中，所述标准生理信号数据为标准面部组织氧饱和度数据；对每个所述标准生理信号数据进行特征提取，得到目标编码特征；将所述目标编码特征输入深度学习模型中进行情感识别，得到情感结果。2.根据权利要求1所述的方法，其特征在于，所述对每个所述标准生理信号数据进行特征提取，得到目标编码特征，包括：获取包含产生情感前的基线数据和产生情感后的情感数据的所述标准生理信号数据；基于所述标准生理信号数据进行聚类分析，得到所述目标编码特征。3.根据权利要求2所述的方法，其特征在于，其中，所述目标编码特征包括：强度差异编码特征；所述基于所述标准生理信号数据进行聚类分析，得到所述目标编码特征，包括：基于所述基线数据和所述情感数据进行聚类分析和相减处理，得到所述强度差异编码特征。4.根据权利要求3所述的方法，其特征在于，其中，所述目标编码特征包括：直方差异编码特征；所述基于所述标准生理信号数据进行聚类分析，得到所述目标编码特征，还包括：基于所述强度差异编码特征进行直方图处理，得到所述直方差异编码特征。5.根据权利要求3所述的方法，其特征在于，其中，所述目标编码特征包括：掩膜差异编码特征；所述基于所述标准生理信号数据进行聚类分析，得到所述目标编码特征，还包括：基于所述基线数据和所述情感数据，计算面部差异值数据；根据所述强度差异编码特征进行缩放处理，得到掩膜数据；基于所述掩膜数据与所述面部差异值数据进行计算，得到所述掩膜差异编码特征。6.根据权利要求1所述的方法，其特征在于，所述对采集的初始数据进行预处理，得到标准生理信号数据，包括：获取基于光谱成像技术采集的被测人物观看情感材料前后的原始面部图像；其中，所述原始面部图像包括观看所述情感材料前的第一面部数据和观看所述情感材料后的第二面部数据；获取所述被测人物基于所述情感材料确定的评分数据；基于预设的筛选规则和所述评分数据对所述原始面部图像进行筛选，得到有效的所述初始数据；对所述初始数据进行提取，得到初始生理信号数据；对所述初始生理信号数据进行配准，得到所述标准生理信号数据。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述标准生理信号数据对应的情感标签；根据所述情感标签对所述情感结果进行验证。8.一种基于面部组织氧饱和度数据进行情感识别的装置，其特征在于，所述装置包括：预处理模块、特征提取模块和识别模块；
所述预处理模块用于对采集的初始数据进行预处理，得到标准生理信号数据；其中，所述标准生理信号数据为标准面部组织氧饱和度数据；所述特征提取模块用于对每个所述标准生理信号数据进行特征提取，得到目标编码特征；所述识别模块用于将所述目标编码特征输入深度学习模型中进行情感识别，得到情感结果。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-7中任一项所述方法中的步骤。10.一种计算机可读取存储介质，其特征在于，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-7任一项所述方法中的步骤。

技术总结
本申请提供一种基于面部组织氧饱和度数据进行情感识别的方法及装置，涉及情感测量技术领域。该方法包括：对采集的初始数据进行预处理，得到标准生理信号数据；其中，标准生理信号数据为标准面部组织氧饱和度数据；对每个标准生理信号数据进行特征提取，得到目标编码特征；将目标编码特征输入深度学习模型中进行情感识别，得到情感结果。能够采集被测人物的真实反应的生理信号作为进行情感识别的数据基础，对采集的数据进行预处理后进行特征提取，得到输入深度学习模型中进行识别的编码特征，能够对被测人物的多种情感进行识别，获取准确且真实的情感结果，有效减小人物主观控制等因素对情感识别带来的不利影响，提高情感识别的准确性和真实性。准确性和真实性。准确性和真实性。


技术研发人员：陈通 刘欣雨
受保护的技术使用者：西南大学
技术研发日：2023.06.27
技术公布日：2023/9/23