一种虚拟人的行为生成方法、装置、设备及介质与流程

1.本发明涉及人工智能技术领域，具体涉及一种虚拟人的行为生成方法、装置、设备及介质。


背景技术：

2.虚拟人指由cg技术构建，以代码形式运行的拟人化形象，被赋予鲜明的的人物设定，以代码与数据的形式在计算设备上运行。现有的虚拟人行为打造方案中将虚拟人下一时刻的情感状态建模为当前时刻的关键特征的一个非线性映射，通过机器学习技术从历史数据中学习非线性映射，然后根据预设规则以及计算的情感状态决定执行什么样的行为。
3.上述现有技术中输出虚拟人行为的方法未考虑虚拟人的性格，在同样的条件下，不同性格的人在同一情绪下表现出的行为可能是不一样的，目前的技术方案未考虑性格这一因素，因此输出的行为表现比较单一，可能只有动作、表情、话术的一种特定组合。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种虚拟人的行为生成方法、装置、设备及介质，以解决虚拟人输出的行为比较单一的问题。
5.根据第一方面，本发明实施例提供了一种虚拟人的行为生成方法，包括：
6.获取关于当前对话环境的多模态事件，并从所述多模态事件中提取情感表征，所述情感表征包括影响虚拟人的情绪的因素组合；
7.基于所述虚拟人的人物设定、当前情绪状态以及情感表征，对下一时刻的虚拟人的情绪状态进行推理，确定下一时刻的情绪状态；
8.基于所述下一时刻的情绪状态，从预设行为库中确定人设行为以及人设行为的表现程度，输出人设行为组合指令，以确定所述虚拟人下一时刻的行为。
9.本发明实施例提供的虚拟人的行为生成方法，首先获取当前对话环境的多模态事件，提取出情感表征，结合虚拟人的人物设定、情感表征以及当前情绪状态，推理出下一时刻的情绪状态。结合下一时刻的情绪状态以及预设行为库，输出虚拟人下一刻的行为指令，从而指导虚拟人执行该指令，完成行为的输出。本方法结合了虚拟人的人物设定，对情绪进行量化，自主决策应生成什么样的行为，实现千人千面的情绪表达和人设打造，灵活性高。
10.在一些实施方式中，所述从所述多模态事件中提取情感表征，包括：
11.预先设定对所述虚拟人的情绪造成影响的因素，确定影响因素库；
12.从所述多模态事件中提取所述影响因素库中的目标因素，对所述目标因素进行组合，以确定情感表征。
13.在一些实施方式中，所述基于所述虚拟人的人物设定、当前情绪状态以及情感表征，对下一时刻的虚拟人的情绪状态进行推理，确定下一时刻的情绪状态，包括：
14.基于人物设定确定情绪状态的概率分布；
15.根据预设规则以及情感表征对情绪状态的概率分布进行调整，得到调整后的概率
分布；
16.基于调整后的概率分布对当前情绪状态进行调整，确定下一时刻的情绪状态。
17.在一些实施方式中，所述基于调整后的概率分布对当前情绪状态进行调整，确定下一时刻的情绪状态，包括：
18.对当前情绪状态进行量化处理，确定当前情绪状态，所述当前情绪状态包括各情绪的取值；
19.从所述调整后的概率分布中进行采样，确定情绪变化量；
20.基于所述情绪变化量对所述当前情绪状态进行调整，以确定下一时刻的情绪状态。
21.在一些实施方式中，所述预设行为库包括行为以及情绪效用，所述基于所述下一时刻的情绪状态，从预设行为库中确定人设行为以及人设行为的表现程度，输出人设行为组合指令，以确定所述虚拟人下一时刻的行为，包括：
22.根据预设行为库中的情绪效用定义关于情绪效用的矩阵；
23.基于所述矩阵计算关于行为的决策变量；
24.基于所述决策变量确定人设行为以及人设行为的表现程度，输出人设行为组合指令，以确定所述虚拟人下一时刻的行为。
25.在一些实施方式中，所述方法还包括：
26.将所述人设行为组合与初始行为进行融合，以确定虚拟人下一时刻输出的融合行为。
27.在一些实施方式中，所述将所述人设行为组合与预设行为进行融合，包括：
28.预先设置初始行为指令；
29.将所述人设行为组合添加至所述初始行为指令，确定下一时刻输出的融合行为。
30.根据第二方面，本发明实施例提供了一种虚拟人的行为生成装置，包括：
31.事件获取模块，用于获取关于当前对话环境的多模态事件，并从所述多模态事件中提取情感表征，所述情感表征包括影响虚拟人的情绪的因素组合；
32.情绪确定模块，用于基于所述虚拟人的人物设定、当前情绪状态以及情感表征，对下一时刻的虚拟人的情绪状态进行推理，确定下一时刻的情绪状态；
33.行为输出模块，用于基于所述下一时刻的情绪状态，从预设行为库中确定人设行为以及人设行为的表现程度，输出人设行为组合，以确定所述虚拟人下一时刻的行为。
34.根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的虚拟人的行为生成方法。
35.根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的虚拟人的行为生成方法。
附图说明
36.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体
实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1是根据本发明实施例的虚拟人的行为生成方法的流程图；
38.图2是根据本发明实施例的虚拟人的行为生成方法的流程图；
39.图3是根据本发明实施例的多模态交互虚拟人的示意图；
40.图4是根据本发明实施例的虚拟人的行为生成置的结构框图；
41.图5是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
42.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.根据本发明实施例，提供了一种虚拟人的行为生成方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
44.在本实施例中提供了一种虚拟人的行为生成方法，图1是根据本发明实施例的虚拟人的行为生成方法的流程图，如图1所示，该流程包括如下步骤：
45.s11，获取关于当前对话环境的多模态事件，并从多模态事件中提取情感表征，所述情感表征包括影响虚拟人的情绪的因素组合。
46.当前对话环境的多模态事件包括但不限于空间大小、照明度、现场物品的种类以及摆放位置等关于客观环境的事件描述；对话参与方相关的多模态事件包括但不限于对话人的数量、当前关注的对话人身份、话术、语气、表情、动作等关于对话方的事件描述；还可以包括虚拟人上一次执行人设行为的数量、程度以及执行完成度、业务满意度等关于虚拟人自身事件的描述或者反馈信息。可以从多模态传感器数据中获取当前对话环境和对话参与方的多模态事件，其中多模态传感器数据包括但不限于图像、音频、视频、温度、烟雾感知等多种类型的传感器数据。
47.情感表征包括影响虚拟人的情绪的因素组合，是从多模态事件中提取可能会对虚拟人的情绪造成影响的因素，因素之间可以进行组合。影响情绪的因素非常多，例如可以对现场物品的种类、摆放位置与物品间的关系进行组合，获得“现场物品整齐程度”的一个量化描述作为一个环境相关的情感表征。可以结合对话者的面部朝向、肢体动作、对话者语气等，获得“对方关注度”的量化描述作为跟对话者相关的情感表征。
48.在本实施例中可以根据业务需求从多模态事件中提取因素，并进行组合，得到情感表征，尽可能多地组合出可能会影响虚拟人情绪的情感表征。
49.s12，基于虚拟人的人物设定、当前情绪状态以及情感表征，对下一时刻的虚拟人的情绪状态进行推理，确定下一时刻的情绪状态。
50.虚拟人的人物设定是对虚拟人情绪表达特点的一种量化描述，该量化描述在本实
施例中设定为虚拟人情绪状态的先验概率分布，具体地，可以设定性格胆小的虚拟人的人物设定具体可表现为“恐惧、惊讶与厌恶等情绪的发生概率高于其他维度情绪的发生概率”，性格阳光外向的虚拟人的人物设定具体可表现为“期待、快乐与信任等情绪的发生概率高于其他维度情绪的发生概率”，诸如此类的先验概率分布均可以用参数化的概率模型去进行量化描述。人物设定越复杂，描述概率分布所需要的参数就越多。
51.当前的情绪状态是对虚拟人的瞬时情绪状态的量化描述，虚拟人的情绪状态在本实施例中定义为在各个基本情绪维度上的取值。根据不同的心理学研究学派，情绪的维度可以分为“好、恶、喜、怒、哀、乐”等六类，也可以分为“惊奇、憎恶、爱悦、欲望、悲哀、欢乐”等六种，或者“幸福、悲伤、厌恶、恐惧、惊讶、愤怒”等六种。在各个情绪维度上的取值，可以是0到1之间的一个浮点数，也可以是0到100之间的一个整数等等。
52.结合虚拟人的人物设定、当前时刻的情绪状态以及得到情感表征，基于情绪状态推理模块推理出虚拟人下一时刻的情绪状态，情绪状态推理模块会综合考虑虚拟人的人物设定以及当前时刻的情绪状态，根据心理学研究得到的情绪状态变化规律与因果关系，推导出虚拟人下一时刻应该具备的情绪状态。
53.s13，基于下一时刻的情绪状态，从预设行为库中确定人设行为以及人设行为的表现程度，输出人设行为组合指令，以确定虚拟人下一时刻的行为。
54.预设行为库中包括人设行为和情绪效用，情绪效用是用数值大小表达某种人设行为对应情绪表达的贡献程度。人设行为可以包括表情、动作、话术等用于表达情绪的行为，人设行为可以只包含表情、动作或话术中的一种，也可以是组合形式，例如可以只包含话术“呵呵”，也可以是既包含话术“呵呵”又包含表情“张嘴笑”，人设行为中的具体数量可以根据实际需求以及预设的虚拟人的行动边界增减。情绪效用可以包括快乐、生气、恐惧等以及各情绪对应的具体数值，数值用于表达某种人设行为对应情绪的贡献程度。例如话术“哈哈”对于表达快乐的贡献程度是0.5。在预设行为库中，可以以表格形式展现人设行为以及情绪效用，表格中的行与列可以根据实际需求进行扩展。情绪效用中各情绪的数值在每一次决策时不是固定值，可以根据实际业务的需求进行调整。
55.根据下一时刻的情绪状态，从预设行为库中选取人设行为以及各人设行为的表现程度，人设行为的表现程度以量化的形势也就是各情绪效用的数值，输出人设行为和人设行为的表现程度组合的人设行为组合指令，指导虚拟人执行下一时刻的行为。具体可以通过建立关于决策变量的优化模型，输入人设行为、人设行为的表现程度以及下一时刻的情绪状态，输出下一时刻的行为。
56.本发明实施例提供的虚拟人的行为生成方法，首先获取当前对话环境的多模态事件，提取出情感表征，结合虚拟人的人物设定、情感表征以及当前情绪状态，推理出下一时刻的情绪状态。结合下一时刻的情绪状态以及预设行为库，输出虚拟人下一刻的行为指令，从而指导虚拟人执行该指令，完成行为的输出。本方法结合了虚拟人的人物设定，对情绪进行量化，自主决策应生成什么样的行为，实现千人千面的情绪表达和人设打造，灵活性高。
57.在一些实施方式中，图1的s11中的从所述多模态事件中提取情感表征，包括如下步骤：
58.s21，预先设定对所述虚拟人的情绪造成影响的因素，确定影响因素库。
59.对情绪造成影响的因素有很多，可能对于不同性格的虚拟人来说会对情绪造成影
响的因素不同，因此，可以针对不同性格的虚拟人设定关于影响因素库。
60.s22，从所述多模态事件中提取所述影响因素库中的目标因素，对所述目标因素进行组合，以确定情感表征。
61.可通过多模态传感器数据获取多模态事件，根据影响因素库，从多模态事件中提取出影响因素库中的目标因素，目标因素以及目标因素的组合构成情感表征。
62.在一些实施方式中，图1中的s12包括如下步骤：
63.s31，基于人物设定确定情绪状态的概率分布。
64.以人物设定为“多愁善感”为例，该性格比较敏感，容易因为外界因素的变化而造成情绪波动，对应情绪状态的先验概率分布可设定为“生气、快乐、悲伤三种情绪发生的概率相等”，具体地，先验概率分布函数p(生气)＝
65.(快乐)＝p(悲伤)＝|n(μ,1)|，其中n表示正态分布，加绝对值表示情绪状态的取值只能是非负数，为了让情绪表达更明显，可以定义均值的初始值μ
生气
＝
悲伤
＝
快乐
＝2。
66.s32，根据预设规则以及情感表征对情绪状态的概率分布进行调整，得到调整后的概率分布。
67.预设规则定义不同情感表征中各因素对“生气、快乐、悲伤”三种情绪可能会造成的变化，例如：如果当前天气类型为下雨，则μ
悲伤
增加1；如果对话者连续2次积极回复虚拟人，则μ
快乐
增加0.5。增加的数值表示情绪效用，主要用于描述情绪的波动程度。
68.s33，基于调整后的概率分布对当前情绪状态进行调整，确定下一时刻的情绪状态。
69.更新情绪状态的方差，再从更新后的情绪状态概率分布中进行采样。
70.具体地，s33包括如下步骤：
71.s331，对当前情绪状态进行量化处理，确定当前情绪状态，所述当前情绪状态包括各情绪的取值。
72.s332，从调整后的概率分布中进行采样，确定情绪变化量。
73.s333，基于所述情绪变化量对所述当前情绪状态进行调整，以确定下一时刻的情绪状态。
74.可设定虚拟人的情绪状态包括“生气、快乐、悲伤”三个情绪维度，每个情绪维度的取值范围是[0,10]之间的一个浮点数，用一个3x1维的向量s进行描述。
[0075]
例如：
[0076]
预设规则如下
[0077]
(1)如果当前天气类型为下雨，则μ
悲伤
增加1(每天只变化1次)；
[0078]
(2)如果当前气温小于10摄氏度，则μ
悲伤
增加1(每天只变化1次)；
[0079]
(3)对话人的朝向如果与摄像机的夹角大于45度且持续时间大于5秒，则μ
快乐
减少0.5；
[0080]
(4)如果对话人连续2次没有回复虚拟人，则μ
快乐
减少0.5，μ
生气
增加1；
[0081]
(5)如果对话人连续2次积极回复虚拟人，则μ
快乐
增加0.5；
[0082]
假设今天是晴天，气温》10摄氏度，对话人一直朝向摄像机，且连续2次积极回复虚拟人，若初始的μ
快乐
＝2，根据预设规则和情感表征确定μ
快乐
＝2.5，原本概率分布n(2，1)，调整后的概率分布为n(2.5，1)，表示从概率分布n中随机采样一个数。
[0083]
当前情绪状态为s＝{生气、快乐、悲伤}＝[0,2,2]，a1,a2，a3为情绪变化量，令a1,a2为从概率分布n(2,1)中随机采样的2个数，a3为从概率分布n(2.5,1)中随机采样的1个数，考虑到情绪状态是初始值为＝{生气、快乐、悲伤}＝[0,2,2]，则在该例中，下一时刻的情绪状态为＝{生气、快乐、悲伤}＝[a1,2+a3,2+a2]。
[0084]
在一些实施方式中，预设行为库包括行为以及情绪效用，s13包括如下步骤：
[0085]
s41，根据预设行为库中的情绪效用定义关于情绪效用的矩阵；
[0086]
s42，基于所述矩阵计算关于行为的决策变量；
[0087]
s43，基于所述决策变量确定人设行为以及人设行为的表现程度，输出人设行为组合指令，以确定所述虚拟人下一时刻的行为。
[0088]
在本实施例中，结合具体例子进行说明，仅作示意。
[0089]
例如：在本实施例中，仅定义6个人设行为，其中行为种类只包括表情和动作，预设行为库如下：
[0090]
编号表情动作快乐表达生气表达悲伤表达1张嘴笑/1.5002眯眼/0.5003瞪眼握拳0204哀伤低头0025嘟嘴/0106皱眉头/011
[0091]
基于该预设行为库，定义关于情绪效用的矩阵a：
[0092][0093]
定义决策向量x∈rm，其中m是预设行为库中所有行为的数量，m维向量x的第i个值xi(i＝1,2,
…
,)描述了第i个行为的表达程度。如果为xi＝0，表示不选择该行为；如果xi非零，则代表选择了第i个行为来表达，且表达的程度由xi描述。由此，本步骤输出的人设行为组合就可以根据决策向量x来确定。
[0094]
决策变量x∈r1×6可以通过求解以下优化模型获得：
[0095][0096]
其中，a表示情绪效用的矩阵，x表示决策变量，s
t
表示下一时刻的情绪状态。
[0097]
假设x＝[1.40,3.78,3.65]，则输出决策变量为[0.0710,0.0237,0.2557,0.2469,0.1278,0.2513]≈[0,0,0.26,0.25,0.13,0.25]。
[0098]
对应输出的人设行为组合指令为：{26％的瞪眼+握拳，25％的哀伤+低头，13％的
嘟嘴，25％的皱眉头}。
[0099]
在一些实施方式中，图1中的虚拟人的行为生成方法还包括：将所述人设行为组合与初始行为进行融合，以确定虚拟人下一时刻输出的融合行为。
[0100]
初始行为指虚拟人原本要发起的行为，将下一时刻的行为与原本要发起的行为进行融合，获得虚拟人下一时刻要执行的行为。
[0101]
在一些实施方式中，具体包括如下步骤：
[0102]
s51，预先设置初始行为指令。
[0103]
s52，将所述人设行为组合添加至所述初始行为指令，确定下一时刻输出的融合行为。
[0104]
可定义虚拟人的行为指令格式为{话术＝
“…”
,动作＝
“…”
,表情＝
“…”
}，则可以对指令中的内容进行补充，得到融合之后的行为指令。
[0105]
例如，假设虚拟人的行为指令为{话术＝“早上好，欢迎来到我们的展厅”,动作＝“无”,表情＝“微笑”}，预设行为库见s43表格，若决策变量为x＝[0.5,0,0,0,0,0]，那么下一时刻输出的指令应为{话术＝“早上好，欢迎来到我们的展厅”,动作＝“无”,表情＝“50％的张嘴笑”}。
[0106]
本方法既可以直接输出下一时刻的融合行为，也可以与初始行为进行融合，输出下一时刻的融合行为。
[0107]
下面结合具体场景进行说明，方法步骤如图2所示。
[0108]
以图3所示的展厅迎宾多模态交互虚拟人为例，该虚拟人在硬件上配备摄像头、麦克风等传感器，可以与访客开展多模态交互。在环境事件感知模块中，基于摄像头采集到的视频图像，通过与用户数据库中的人脸特征相互比对获取对话方的身份id，并且使用人脸检测算法获取当前对话环境中的人数、对话人的朝向，使用表情识别算法实现微笑表情识别；上述视觉识别算法基于dlib、opencv等开源代码库实现。
[0109]
基于麦克风获得的语音信号，采用asr技术获得当前对话人说的文本，并且使用nlu技术从文本中获取感兴趣的意图(包括表达肯定、否定等等)与命名实体(例如姓名)，意图与命名实体的数量根据业务确定；
[0110]
通过公开的天气查询接口，可以获得当日的天气信息(包括晴天、多云、下雨等天气类型，也包括气温、风力等具体参数信息)。
[0111]
在情感表征解译模块中，从多模态事件中确定情感表征，定义2个影响虚拟人心情的环境因素如下：
[0112]
(1)当前天气类型是否为下雨，记为v1∈{0,1}；
[0113]
(2)当前气温是否小于10摄氏度，记为v2∈{0,1}；
[0114]
定义2个影响虚拟人心情的对话情感因素如下：
[0115]
(1)对话人的朝向与摄像机的夹角θ∈[0,π/2]，及持续时间τ≥0；
[0116]
(2)对话人在连续2次虚拟人的提问中是否有响应，以变量r＝{00,01,10,11}2＝{0,1,2,3}
10
表示，其中下标2表示2进制，下标10表示10进制；
[0117]
因此，本实施方式的情感表征可以描述为变量集合{v1,v2,θ,τ,r}。
[0118]
在情绪状态推理模块中，基于虚拟人的人物设定、当前情绪状态以及情感表征，对下一时刻的虚拟人的情绪状态进行推理，确定下一时刻的情绪状态。具体见s31-s33以及
s331-s333，在此不再赘述。
[0119]
通过人设行为决策模块输出人设行为组合指令，此时虚拟人可直接执行输出的人设行为组合指令，也可以通过行为融合模块，结合虚拟人原本要发起的行为，确定下一时刻输出的融合行为。
[0120]
在本实施例中还提供了一种虚拟人的行为生成装置，该装置用于实现上述实施例及实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0121]
本实施例提供一种虚拟人的行为生成装置，如图4所示，包括：
[0122]
事件获取模块，用于获取关于当前对话环境的多模态事件，并从所述多模态事件中提取情感表征，所述情感表征包括影响虚拟人的情绪的因素组合；
[0123]
情绪确定模块，用于基于所述虚拟人的人物设定、当前情绪状态以及情感表征，对下一时刻的虚拟人的情绪状态进行推理，确定下一时刻的情绪状态；
[0124]
行为输出模块，用于基于所述下一时刻的情绪状态，从预设行为库中确定人设行为以及人设行为的表现程度，输出人设行为组合，以确定所述虚拟人下一时刻的行为。
[0125]
在一些实施方式中，事件获取模块包括：
[0126]
因素库确定单元，用于预先设定对所述虚拟人的情绪造成影响的因素，确定影响因素库；
[0127]
因素提取单元，用于从所述多模态事件中提取所述影响因素库中的目标因素，对所述目标因素进行组合，以确定情感表征。
[0128]
在一些实施方式中，情绪确定模块包括：
[0129]
概率分布确定单元，用于基于人物设定确定情绪状态的概率分布；
[0130]
概率分布调整单元，用于根据预设规则以及情感表征对情绪状态的概率分布进行调整，得到调整后的概率分布；
[0131]
情绪状态调整单元，用于基于调整后的概率分布对当前情绪状态进行调整，确定下一时刻的情绪状态。
[0132]
在一些实施方式中，情绪状态调整单元包括：
[0133]
状态确定子单元，用于对当前情绪状态进行量化处理，确定当前情绪状态，所述当前情绪状态包括各情绪的取值；
[0134]
采样子单元，用于从所述调整后的概率分布中进行采样，确定情绪变化量；
[0135]
状态调整子单元，用于基于所述情绪变化量对所述当前情绪状态进行调整，以确定下一时刻的情绪状态。
[0136]
在一些实施方式中，所述预设行为库包括行为以及情绪效用，行为输出模块包括：
[0137]
矩阵定义单元，用于根据预设行为库中的情绪效用定义关于情绪效用的矩阵；
[0138]
决策变量计算单元，用于基于所述矩阵计算关于行为的决策变量；
[0139]
指令输出单元，用于基于所述决策变量确定人设行为以及人设行为的表现程度，输出人设行为组合指令，以确定所述虚拟人下一时刻的行为。
[0140]
在一些实施方式中，装置还包括：
[0141]
行为融合模块，用于将所述人设行为组合与初始行为进行融合，以确定虚拟人下
一时刻输出的融合行为。
[0142]
在一些实施方式中，行为融合模块包括：
[0143]
指令设置单元，用于预先设置初始行为指令；
[0144]
融合行为确定单元，用于将所述人设行为组合添加至所述初始行为指令，确定下一时刻输出的融合行为。
[0145]
本实施例中的虚拟人的行为生成装置是以功能单元的形式来呈现，这里的单元是指asic电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
[0146]
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
[0147]
本发明实施例还提供一种电子设备，具有上述图4所示的虚拟人的行为生成装置。
[0148]
请参阅图5，图5是本发明可选实施例提供的一种电子设备的结构示意图，如图5所示，该电子设备可以包括：至少一个处理器601，例如cpu(central processing unit，中央处理器)，至少一个通信接口603，存储器604，至少一个通信总线602。其中，通信总线602用于实现这些组件之间的连接通信。其中，通信接口603可以包括显示屏(display)、键盘(keyboard)，可选通信接口603还可以包括标准的有线接口、无线接口。存储器604可以是高速ram存储器(random access memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器604可选的还可以是至少一个位于远离前述处理器601的存储装置。其中处理器601可以结合图4所描述的装置，存储器604中存储应用程序，且处理器601调用存储器604中存储的程序代码，以用于执行上述任一方法步骤。
[0149]
其中，通信总线602可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。通信总线602可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0150]
其中，存储器604可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：hdd)或固态硬盘(英文：solid-state drive，缩写：ssd)；存储器604还可以包括上述种类的存储器的组合。
[0151]
其中，处理器601可以是中央处理器(英文：central processing unit，缩写：cpu)，网络处理器(英文：network processor，缩写：np)或者cpu和np的组合。
[0152]
其中，处理器601还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：asic)，可编程逻辑器件(英文：programmable logic device，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：cpld)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：fpga)，通用阵列逻辑(英文：generic array logic,缩写：gal)或其任意组合。
[0153]
可选地，存储器604还用于存储程序指令。处理器601可以调用程序指令，实现如本技术实施例中所示的虚拟人的行为生成方法。
[0154]
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的虚拟人的行为生成方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
[0155]
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

技术特征：
1.一种虚拟人的行为生成方法，其特征在于，包括：获取关于当前对话环境的多模态事件，并从所述多模态事件中提取情感表征，所述情感表征包括影响虚拟人的情绪的因素组合；基于所述虚拟人的人物设定、当前情绪状态以及情感表征，对下一时刻的虚拟人的情绪状态进行推理，确定下一时刻的情绪状态；基于所述下一时刻的情绪状态，从预设行为库中确定人设行为以及人设行为的表现程度，输出人设行为组合指令，以确定所述虚拟人下一时刻的行为。2.根据权利要求1所述的方法，其特征在于，所述从所述多模态事件中提取情感表征，包括：预先设定对所述虚拟人的情绪造成影响的因素，确定影响因素库；从所述多模态事件中提取所述影响因素库中的目标因素，对所述目标因素进行组合，以确定情感表征。3.根据权利要求1所述的方法，其特征在于，所述基于所述虚拟人的人物设定、当前情绪状态以及情感表征，对下一时刻的虚拟人的情绪状态进行推理，确定下一时刻的情绪状态，包括：基于人物设定确定情绪状态的概率分布；根据预设规则以及情感表征对情绪状态的概率分布进行调整，得到调整后的概率分布；基于调整后的概率分布对当前情绪状态进行调整，确定下一时刻的情绪状态。4.根据权利要求3所述的方法，其特征在于，所述基于调整后的概率分布对当前情绪状态进行调整，确定下一时刻的情绪状态，包括：对当前情绪状态进行量化处理，确定当前情绪状态，所述当前情绪状态包括各情绪的取值；从所述调整后的概率分布中进行采样，确定情绪变化量；基于所述情绪变化量对所述当前情绪状态进行调整，以确定下一时刻的情绪状态。5.根据权利要求1所述的方法，其特征在于，所述预设行为库包括行为以及情绪效用，所述基于所述下一时刻的情绪状态，从预设行为库中确定人设行为以及人设行为的表现程度，输出人设行为组合指令，以确定所述虚拟人下一时刻的行为，包括：根据预设行为库中的情绪效用定义关于情绪效用的矩阵；基于所述矩阵计算关于行为的决策变量；基于所述决策变量确定人设行为以及人设行为的表现程度，输出人设行为组合指令，以确定所述虚拟人下一时刻的行为。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述人设行为组合与初始行为进行融合，以确定虚拟人下一时刻输出的融合行为。7.根据权利要求6所述的方法，其特征在于，所述将所述人设行为组合与预设行为进行融合，包括：预先设置初始行为指令；将所述人设行为组合添加至所述初始行为指令，确定下一时刻输出的融合行为。8.一种虚拟人的行为生成装置，其特征在于，包括：
事件获取模块，用于获取关于当前对话环境的多模态事件，并从所述多模态事件中提取情感表征，所述情感表征包括影响虚拟人的情绪的因素组合；情绪确定模块，用于基于所述虚拟人的人物设定、当前情绪状态以及情感表征，对下一时刻的虚拟人的情绪状态进行推理，确定下一时刻的情绪状态；行为输出模块，用于基于所述下一时刻的情绪状态，从预设行为库中确定人设行为以及人设行为的表现程度，输出人设行为组合，以确定所述虚拟人下一时刻的行为。9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的虚拟人的行为生成方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的虚拟人的行为生成方法。

技术总结
本发明公开了一种虚拟人的行为生成方法、装置、设备及介质，包括：获取关于当前对话环境的多模态事件，并从所述多模态事件中提取情感表征，所述情感表征包括影响虚拟人的情绪的因素组合；基于所述虚拟人的人物设定、当前情绪状态以及情感表征，对下一时刻的虚拟人的情绪状态进行推理，确定下一时刻的情绪状态；基于所述下一时刻的情绪状态，从预设行为库中确定人设行为以及人设行为的表现程度，输出人设行为组合指令，以确定所述虚拟人下一时刻的行为。本方法结合了虚拟人的人物设定，对情绪进行量化，自主决策应生成什么样的行为，实现千人千面的情绪表达和人设打造，灵活性高。灵活性高。灵活性高。


技术研发人员：陈崇雨 杨杰
受保护的技术使用者：暗物智能科技（广州）有限公司
技术研发日：2023.04.20
技术公布日：2023/8/1