基于虚拟认知的虚拟现实谈判技能训练方法及系统

1.本发明属于社交技能训练领域，尤其涉及一种基于虚拟认知的虚拟现实谈判技能训练方法及系统。


背景技术：

2.谈判在人的日常生活中是一项重要的技能，谈判围绕着我们的日常生活。做好这方面的工作，会给个人及社会带来巨大的效益。对个人来说，拥有良好的谈判技能，能给其工作乃至生活带来极大的益处。研究表明，人们很难进行良好的谈判，虽然市场上的培训方法种类繁多，但是大多数系统的目标集中于为用户提供实践的机会或是仅仅传授知识。然而，这些方法及系统并不支持将理论概念和原则应用到实际谈判中，这使得现有的培训系统无法给用户带来明显的技能提升。并且，现有的培训系统对于个人参与谈判的信心、动机和意愿的训练并不尽如人意，但是，个人对自我能力的信念，即自我效能感，不仅影响他们的谈判训练中行为，还影响着他们在谈判训练后的表现。
3.虚拟现实技术，包括了计算机科学，电子信息，仿真技术，是一种可以创建和体验虚拟世界的计算机仿真系统，其主要侧重点在于实现用户与计算机之间的交互性与沉浸感，沉浸式虚拟现实是一种旨在让用户完全沉浸在计算机生成的世界中的技术，让用户感觉他们已经完全进入合成世界。这是通过使用头戴式显示器或多重投影技术来实现的，头戴式显示器能够将虚拟现实直接投射在眼前，并允许用户专注于它而不会分心。
4.虚拟环境将深刻改变我们对人类行为进行科学研究的方式。可能的应用范围从以更自然的方式解决道德困境的空间导航到情感障碍的治疗应用。这种广泛应用的决定性因素是虚拟现实能够将控制良好的实验环境与测试对象沉浸的生态有效性结合起来。从而，沉浸式虚拟现实技术能更真实的模拟人与人之间的社交场景，更适合于社会心理方面的应用，并开始用于社交技能的训练。
5.目前，市场上已经有许多基于虚拟现实开发的谈判技能培训系统，然而，这些系统的目的要么是给人们提供实践的机会，要么是传授知识。前者侧重于创建模拟的谈判场景，而后者侧重于教用户做什么和如何行动。然而，这些系统不支持人们将理论概念和原则运用到实际的谈判情境中。通常，它会导致两种情况。1)这些系统只是增加了人们的知识，而没有明显的绩效改善或社会行为的改变；2)当用户已经具备基本知识或谈判经验时，仅仅给他们一个体验谈判的机会或教给他们谈判原则不可能导致明显的技能提高。有研究表明，目前市场上的谈判技能培训系统往往会忽视用户参与谈判的信心、动机和意愿，然而，人们对自己能力的信念，即自我效能感不仅影响他们的谈判行为和表现，还影响他们在谈判培训后的表现。
6.虚拟认知,指虚拟环境中一系列模拟的思想流，该思想流可以为用户所感知。从而让用户在虚拟环境中获得思维方面的体验。虚拟认知可以通过画外音的方式表现，向用户传达与虚拟系统主题相近的信息，对用户的行为进行激励或提醒。通过虚拟认知的方式，在一定程度上能够提升用户在虚拟环境中的沉浸感，研究表明，在谈判训练中利用虚拟认知
作为一种内心的声音或个性化的画外音，将有意识的想法结合模拟语音呈现给用户，是一种提高自我效能的新的干预方法。


技术实现要素：

7.本发明公开了一种基于虚拟认知的虚拟现实谈判技能训练方法及系统，以便解决现有技术中存在的上述问题。
8.为了达到上述目的，本发明一方面提供基于虚拟认知的虚拟现实谈判技能训练方法，包括以下步骤：
9.步骤(1)训练前系统将预先制定的谈判对话和虚拟认知以随机的顺序向用户播放，用户将朗读所听到的句子，并通过一对骨传导耳机进行录音；
10.步骤(2)录音后用户将被要求听他们的一部分语音录音，并在系统的指导下调节录音的音频参数，包括速度，音调，回声等。使录音的声音特征更加符合用户自己的外在声音/内在声音。
11.步骤(3)训练中用户通过佩带头戴式虚拟现实设备，进入沉浸式谈判培训和自我效能训练虚拟现实环境，培训系统内预设有三种不同主题的培训课程，每个课程都包括三个场景，在三个场景中，用户将听到不同类型和功能的虚拟认知。
12.进一步的，所述培训课程包括三种主题：
13.(1)员工连续迟到的情况下，用户作为雇主与员工进行谈判；
14.(2)员工要求立即休假，用户作为雇主与员工进行谈判；
15.(3)员工就辞职问题与用户扮演的雇主进行谈判；
16.进一步的，所述三种课程主题分别对应以下三种谈判原则：
17.(1)谈判的主要阶段；
18.(2)谈判协议的最佳替代方案；
19.(3)将人与问题分开；
20.进一步的，所述训练过程包括三个虚拟场景：
21.(1)第一个场景对应的是谈判的准备阶段。在此期间，用户独自坐在虚拟会议室中，他们被允许随意运动，观察周围环境，适应虚拟环境以及基于动作捕捉实现的虚拟人物动作姿态同步体验。同时，用户将听到虚拟认知，回忆从虚构的谈判课程中学到的知识，或者反思以前的谈判。该阶段，虚拟认知包括自我激励的语句。场景在对即将到来的与雇员的会议的虚拟反思中结束，在此阶段，虚拟认知预先将谈判知识和原则应用于可能即将发生的情况。
22.(2)第二个场景是用户和一个性别匹配的虚拟雇员之间谈判的正式开始。用户并不主动参与谈判，而是以第一视角被动地体验谈判。为了加强身临其境的沉浸感，当用户听到自己的外部声音时，他们可以在虚拟镜子中看到自己虚拟嘴巴的动作。当他们听到虚拟认知时，他们的虚拟嘴巴并没有移动。当然，当雇员说话时，用户也看到雇员的嘴在动。此外，为了在对话中创造一个自然的停顿，当用户听到一个虚拟认知时，虚拟雇员用他或她的虚拟杯子喝水。谈判的主动对话来自于训练前的录音，谈判过程中同样将听到虚拟认知，对谈判流程及情况进行实时解释，对用户进行鼓励和引导
23.(3)在最后一个场景中，用户又像第一个场景一样独自在虚拟会议室里。他们听到
的虚拟认知回顾了过去的谈判过程，在谈判过程中用户的表现，并从虚拟认知中获得对此前谈判中自我表现的反馈与评价，也对他们进行了积极的激励。
24.进一步的，所述虚拟认知，为训练前预先录制的用户的声音，在训练中以画外音的方式向用户播放，包括三种类型：
25.(1)谈判的知识和原则，该虚拟认知主要介绍用户在本谈判课程中能够学到的有关谈判的原则。
26.(2)对过程的反思，该虚拟认知向用户描述目前的情况，分析对方可能的想法、感受和行为，并解释应该做什么，为什么要以某种方式行事。
27.(3)自我激励陈述，该虚拟认知对用户进行激励，使用户相信自己有能力进行社会行为并鼓励自己参与社会互动。
28.另一方面，本发明还提供了一种基于虚拟认知的虚拟现实谈判技能训练系统，包括：模拟语音系统、交互系统和虚拟场景。
29.进一步的，所述模拟语音系统包括：录音装置，参数调节模块。训练开始之前系统向用户播放预设的训练课程，并对用户所朗诵的谈判训练课程中的所有句子进行录音，包括将会在训练过程中所使用的对话和虚拟认知。录音结束之后，系统会向用户播放一部分录音，工作人员通过参数调节模块帮助用户调节录音的音频参数，包括速度，音调，回声等。使录音的声音特征更加符合用户自己的外在声音/内在声音。
30.进一步的，交互系统包括：音频控制模块，用以提供训练过程中的语音提示，播放虚拟认知，控制声音的输入输出；动作捕捉模块，通过外部的动作捕捉设备，从而获取用户的动作指令，并将动作指令赋予虚拟场景中的化身，提供与虚拟现实场景中的人机交互，提升整个训练过程的沉浸感。
31.进一步的，虚拟场景模型包括三种不同的谈判情景，分别为训练前训练后用户所处的虚拟会议室，训练过程中用户所处的谈判室；雇主模型、用来代表用户本人的虚拟雇员模型、用于提高用户带入感的虚拟镜面和在谈判过程中雇主模型中预设的手部、头部动画。
32.与现有技术相比，本发明的有益效果在于：
33.本发明在用户与虚拟角色谈判的过程中向用户展示虚拟认知。虚拟认知作为一种个性化的画外音，为用户提供了思考谈判进程和他们表现的思路，也提供了自我激励的陈述。
34.本发明的主要科学贡献是将虚拟认知作为社交技能训练的一部分，为用户提供新的社交技能知识、对社交互动的思考和激励。现有的其他社交技能培训系统很少提供这种解释、反思和实时指导。在常规的视觉体验之外，本发明所提出的训练系统还给予人们思想体验。在一项基于48个用户的试点实验中，用户体验的结果显示，本发明提到的虚拟社交培训系统能显著提高用户的社交技能，提高了自我效能感；虚拟认知中包含的自我激励陈述进一步提高了自我效能感。此外，这些影响在数周后仍然存在。
附图说明
35.图1为本发明实例的流程图；
36.图2为本发明实例的的结构图。
具体实施方式
37.下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
38.一种基于虚拟认知的虚拟现实谈判技能训练方法，如图1所示，包括以下步骤：
39.s1，将预先制定的谈判对话和虚拟认知以随机的顺序向用户播放，用户将朗读所听到的句子，并通过一对骨传导耳机进行录音。
40.具体的，所述培训课程内容的制定来源于前人文献中涉及的谈判策略。
41.s2,通过模拟语音系统采集用户的声音信息，并通过参数调节模块使录制的声音与用户的内外部感知相匹配,录制内容为培训时的外部谈判对话与内部虚拟认知。
42.在一个实施例中，模拟语音系统包括录音装置和参数调节模块，其中，录音模块用于采集用户发出的基于课程内容和自我激励陈述的语音数据，参数调节模块用户修改所采集语音数据，主要由用户本人操作，使得所录制语音数据与用户本人声音更加匹配。
43.需要说明的是本实施例中的录音装置由骨传导麦克风实现，播放装置为虚拟现实设备，对于录音装置和播放装置的具体选用，本发明不做具体限定。
44.在一个实施例中，自我激励陈述文本制定的方法主要为：通过头脑风暴会议，确定候选陈述文本，文本的内容为人们对谈判所持态度的描述，文本形式为相对简短的口语化短句。随后，一个由裁判组成的小组将对第一步所得文本进行评分，通过打分情况设以等出现间隔原则设计一张瑟斯通量表，并在培训前要求用户填写所得量表，最后将所获得分最高项目作为训练过程中将会播放的自我激励文本。
45.s3，训练前用户单独坐在虚拟会议室中，他们将听到预先录制的虚拟认知，回忆在虚拟课程中学到的知识以及之前进行过的谈判。该过程中，用户听到的虚拟认知将伴随自我激励。
46.具体的，在本实施例中，虚拟场景被设计为一间虚拟办公室，其场景要素包括虚拟的办公桌和椅子。
47.s4,训练中用户扮演雇主，与雇员进行被动的谈判，在此期间用户将听到外部的谈判对话，以及内部的虚拟认知，这些对话和虚拟认知均来自事先的录音。
48.在一个实施例中，所预设的情景为雇员上班连续迟到；要求立即休假；要求辞职。
49.在一个实施例中，本发明为用户设计的训练方式，具体为：
50.用户作为雇主，以第一人称的视角与计算机控制的雇员进行谈判，在谈判过程中，用户将会以被动的形式体验谈判的过程，看到并听到虚拟的自我与虚拟员工的对话，对话内容具体为s2中所录制的语音数据。
51.在一个实施例中，本发明所述虚拟认知具体为知识与原则；对谈判过程的反思；自我激励的陈述。知识与原则包括有针对性的知识与原则，对谈判过程的反思包括对当前情况的描述，对其他各方可能想法和感受的分析和对正确行为的解释，部分虚拟认知的具体内容如下：
52.[0053][0054]
s5,训练后用户将回到虚拟会议室，并听到虚拟认知，该阶段虚拟认知将帮助用户回顾之前的谈判过程，并激励用户。
[0055]
在一个实施例中，开展了一项48人次的人因实验来评估本发明的训练效果，在该实验中，将48人分为24人次的实验组和24人次的对照组，其中对照组并未接受培训，而实验组中，有12人接受了伴随自我激励虚拟认知语音的训练，而另外12人的训练中并未伴随自我激励的虚拟认知语音，该实验从自我效能感、谈判知识、谈判频率、谈判满意度、谈判结果五个方面评估实验结果。实验结果如下所示：
[0056]
[0057][0058]
表格1未接受培训vs接受培训
[0059][0060]
表格2培训不伴随自我激励vs培训伴随自我激励
[0061]
实验结果显示，经过该系统的训练，用户的谈判技能得到了明显的提高，并且，与没有自我激励的培训方式相比，有自我激励的培训方式使得用户的谈判技能得到了更明显的提高，
[0062]
图2为本发明实施例的一种基于虚拟认知的虚拟现实谈判技能训练方法及系统的框架图。如图2所示，本发明的一种基于虚拟认知的虚拟现实谈判技能训练方法及系统，包括：模拟语音系统1，交互系统2和场景模型3。
[0063]
模拟语音系统1，用以录制用户的声音，并在训练过程中播放。
[0064]
具体的，模拟语音系统1包括：
[0065]
录音装置11，用以采集用户的声音数据，内容为培训课程内容和虚拟认知，主要设备为骨传导耳机。
[0066]
参数调节模块12，用以调节所录入的声音参数，使所录制的声音与用户内外部感知相匹配。
[0067]
交互系统2，用于捕捉用户的动作，实现虚拟场景中的人机交互。
[0068]
具体的，交互系统2包括：
[0069]
音频模块21，用以提供训练过程中的语音提示，声音的输入输出；
[0070]
动作捕捉模块22，包括外部的动作捕捉硬件ki nect,通过该硬件，能够实时获取用户的行为动作，并呈现在虚拟环境中，增强沉浸感。
[0071]
虚拟场景3，为用户在培训过程中所处的虚拟环境，可以为用户视觉/听觉所感知。
[0072]
具体的，虚拟场景3包括：
[0073]
场景模型31，包括三种不同的谈判场景、用户扮演的雇主模型、计算机扮演的雇员模型和用于提高用户带入感的虚拟镜面。
[0074]
人物动画32，包括虚拟人物的嘴唇，手部动作。
[0075]
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

技术特征：
1.一种基于虚拟认知的虚拟现实谈判技能训练方法，其特征在于：包括以下步骤：步骤(1)训练前系统将预先制定的谈判对话和虚拟认知以随机的顺序向用户播放，用户将朗读所听到的句子，并通过一对骨传导耳机进行录音；步骤(2)录音后用户将被要求回听他们的一部分语音录音，并在系统的指导下调节录音的音频参数，包括速度，音调，回声；使录音的声音特征更加符合用户自己的外在声音/内在声音；步骤(3)训练中用户通过佩带头戴式虚拟现实设备，进入沉浸式谈判培训和自我效能训练虚拟现实环境，培训系统内预设有三种不同主题的培训课程，每个课程都包括三个场景，在三个场景中，用户将听到不同类型和功能的虚拟认知录音。2.如权利要求1所述的一种基于虚拟认知的虚拟现实谈判技能训练方法，其特征在于：所述训练方法包括三种类型的虚拟认知，所述虚拟认知包括：(1)谈判的知识和原则；(2)对过程的反思和(3)自我激励陈述。3.如权利要求1所述的一种基于虚拟认知的虚拟现实谈判技能训练方法；其特征在于：虚拟场景包括：(1)第一个场景对应的是谈判的准备阶段；在此期间，用户独自坐在虚拟会议室中，适应虚拟环境的同时他们将听到虚拟认知，回忆从虚构的谈判课程中学到的知识，或者反思以前的谈判；该阶段的虚拟认知同时也伴随着自我激励的语句；(2)第二个场景是用户和一个性别匹配的虚拟雇员之间谈判的正式开始；用户以第一视角被动地体验谈判；谈判的主动对话来自于训练前的录音，谈判过程中用户同样将听到虚拟认知，虚拟认知将对谈判流程及情况进行实时解释，并对用户进行鼓励和引导；(3)在最后一个场景中，用户又像第一个场景一样独自在虚拟会议室里。他们听到的虚拟认知回顾了过去的谈判过程，在谈判过程中用户的表现，并从虚拟认知中获得对此前谈判中自我表现的反馈与评价，也对他们进行了积极的激励。4.如权利要求1所述的一种基于虚拟认知的虚拟现实谈判技能训练方法，其特征在于：所述训练方法根据训练课程搭建了以虚拟现实为基础的训练场景，所述场景包括三种不同的谈判情景、用户扮演的雇主、计算机扮演的雇员和用于提高用户带入感的虚拟镜面。5.一种基于虚拟认知的虚拟现实谈判技能训练系统，其特征在于，包括：模拟语音系统，用以录制用户的声音，并在训练过程中播放；交互系统，用于捕捉用户的动作，实现虚拟场景中的人机交互；虚拟场景，用以提供虚拟现实训练场景。6.如权利要求5所述的一种基于虚拟认知的虚拟现实谈判技能训练系统，其特征在于，所述模拟语音系统包括录音装置，参数调节模块。7.如权利要求5所述的一种基于虚拟认知的虚拟现实谈判技能训练系统，其特征在于，所述交互系统包括：音频控制模块，用以提供训练过程中的语音提示，声音的输入输出；动作捕捉模块，包括外部的动作捕捉硬件kinect,通过该硬件，能够实时获取用户的行为动作，并呈现在虚拟环境中，增强沉浸感。8.如权利要求5所述的一种基于虚拟认知的虚拟现实谈判技能训练系统，其特征在于，所述虚拟场景包括：场景模型，包括三种不同的谈判场景、用户扮演的雇主模型、计算机扮演的雇员模型和用于提高用户带入感的虚拟镜面；人物动画，包括虚拟人物的嘴唇，手部动作。

技术总结
本发明提供了一种基于虚拟认知的虚拟现实谈判技能训练方法及系统，训练前向用户播放预设的谈判对话和虚拟认知，要求用户朗读、录音并根据自身内外部声音感知进行调参。训练过程包括三个阶段，第一阶段用户单独处于虚拟会议室中，用户首先需适应虚拟环境，然后将听到虚拟认知；第二个阶段是用户作为雇主与虚拟员工正式开始谈判；第三个阶段用户将再次独处于虚拟会议室中，并从虚拟认知中获得对此前谈判中自我表现的反馈与评价，并再次受到自我激励。训练结束后，将测试用户的谈判技能和自我效能。测试结果表明，基于该系统的训练方法可以显著提高两项表现用户谈判能力的重要指标。以显著提高两项表现用户谈判能力的重要指标。以显著提高两项表现用户谈判能力的重要指标。


技术研发人员：丁玎 姜羽丰 王准
受保护的技术使用者：东南大学
技术研发日：2023.06.21
技术公布日：2023/9/20