一种多维度话务数据监控方法、装置及存储介质与流程

1.本发明涉及话务监控技术领域，尤其涉及一种多维度话务数据监控方法、装置及存储介质。


背景技术：

2.随着市场竞争越来越激烈，为保证和掌握话务人员的服务质量、维护企业形象，企业通常需要对话务人员的服务过程进行监督和管控。传统的监控方法是通过录音质检系统对话务人员和客户的通话进行全程录音，之后再由质检员定期随机抽取录音文件进行试听，或者是采用人工监听的方法，由质检员监听通话的全过程。
3.但是，上述质检员定期随机抽取录音文件进行试听的质检方法属于事后质检，无法实时感知客户诉求，从而不能第一时间为客户解疑答惑，无法确保话务人员的服务质量，而采用人工监听的方法需要投入大量的人力且监控系统配置复杂，致使监控成本高，无法满足现代化企业的使用需求。


技术实现要素：

4.针对现有技术的不足，本发明提供了一种多维度话务数据监控方法、装置及存储介质，解决了现有的监控方法需要投入大量的人力且监控系统配置复杂，致使监控成本高的技术问题，达到了提高监控精准度和减小监控成本的目的。
5.为解决上述技术问题，本发明提供了如下技术方案：一种多维度话务数据监控方法，包括以下步骤：
6.s1、获取呼叫中心座席人员与客户进行通话过程中的多维监控数据，多维监控数据包括客户语音数据、座席语音数据和座席面部数据；
7.s2、根据预置时长将客户语音数据按时间顺序分割为若干段连续的非重叠的客户语音片段；
8.s3、计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z；
9.s4、判断正差值z是否小于预设的韵律阈值wt，如果正差值z＜韵律阈值wt，则视为通话正常并返回步骤s2对下一个客户语音片段进行监测；
10.如果正差值z≥韵律阈值wt，则将该客户语音片段标记为疑似异常并执行下一步；
11.s5、分别从座席语音数据和座席面部数据中提取与标记为疑似异常的客户语音片段对应的时间段的座席语音情感特征和座席面部表情特征，并将座席语音情感特征和座席面部表情特征进行加权融合得到座席情绪值q；
12.s6、判断座席情绪值q是否小于预设的座席情绪阈值xt，如果座席情绪值q＜座席情绪阈值xt，则视为通话正常并返回步骤s2对下一个客户语音片段进行监测；
13.如果座席情绪值q≥座席情绪阈值xt，则视为通话异常并将该通话标记为异常；
14.s7、根据异常处理规则针对标记为异常的通话进行异常处理。
15.进一步地，在步骤s3中，计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z，具体包括：
16.s31、对每一段客户语音片段进行过滤去噪处理，得到处理后的客户语音片段；
17.s32、从各个处理后的客户语音片段内提取客户韵律特征并量化为客户韵律值y1,y2,
…
,yi,
…
；
18.s33、计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z。
19.进一步地，在步骤s5中，分别从座席语音数据和座席面部数据中提取与标记为疑似异常的客户语音片段对应的时间段的座席语音情感特征和座席面部表情特征，并将座席语音情感特征和座席面部表情特征进行加权融合得到座席情绪值q，具体包括：
20.s51、获取标记为疑似异常的客户语音片段所对应的时间段t；
21.s52、分别从座席语音数据和座席面部数据中提取时间段t及前后相邻时间段t
±
1内的座席语音情感特征和座席面部表情特征；
22.s53、将座席语音情感特征和座席面部表情特征进行加权融合，得到座席情绪值q。
23.进一步地，在步骤s7之前还包括：
24.s8、从标记为异常通话的客户语音数据中提取客户语义信息并识别出客户诉求；
25.s9、根据客户诉求从问题库中提取解答话术并发送至座席人员使用的终端设备。
26.进一步地，在步骤s6中，所述座席情绪阈值xt是指将双通道录制的座席人员的各种情感状态下的语音数据和面部情感数据作为样本集并输入多维度情感判断模型进行训练学习而得到的临界值。
27.进一步地，在步骤s7中，所述异常处理规则是指根据座席情绪值q标记异常等级，且不同异常等级具有不同的处理机制。
28.本发明还提供了一种技术方案：一种用于实现上述多维度话务数据监控方法的装置，包括：
29.监控数据获取模块，所述监控数据获取模块用于获取呼叫中心座席人员与客户进行通话过程中的多维监控数据，多维监控数据包括客户语音数据、座席语音数据和座席面部数据；
30.语音分割模块，所述语音分割模块用于根据预置时长将客户语音数据按时间顺序分割为若干段连续的非重叠的客户语音片段；
31.第一计算模块，所述第一计算模块用于计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z；
32.第一判断模块，所述第一判断模块用于判断正差值z是否小于预设的韵律阈值wt；
33.第二计算模块，所述第二计算模块用于分别从座席语音数据和座席面部数据中提取与标记为疑似异常的客户语音片段对应的时间段的座席语音情感特征和座席面部表情特征，并将座席语音情感特征和座席面部表情特征进行加权融合得到座席情绪值q；
34.第二判断模块，所述第二判断模块用于判断座席情绪值q是否小于预设的座席情绪阈值xt；
35.异常处理模块，所述异常处理模块用于根据异常处理规则针对标记为异常的通话进行异常处理。
36.进一步地，还包括：
37.语义信息识别模块，所述语音信息识别模块用于从标记为异常通话的客户语音数据中提取客户语义信息并识别出客户诉求；
38.话术生成模块，所述话术生成模块用于根据客户诉求从问题库中提取解答话术并发送至座席人员使用的终端设备。
39.本发明还提供了一种技术方案，一种计算机可读存储介质，所述计算机可读储存介质存储有计算机程序，该计算机程序被处理器执行时实现上述多维度话务数据监控方法的步骤。
40.借由上述技术方案，本发明提供了一种多维度话务数据监控方法、装置及存储介质，至少具备以下有益效果：
41.1、本发明首先通过根据客户语音韵律的突变，初步筛选出疑似异常通话的座席id以及发生疑似异常的时间段，再从发生疑似异常的时间段前后相邻的两个时间段的座席人员的语音数据和面部数据中，提取座席语音情感特征和面部表情特征并对座席语音情感特征和面部表情特征进行加权融合，并结合预先设置的座席情绪阈值对座席情绪进行判断，根据座席情绪对疑似异常的通话进行二次筛选，提高了筛选异常通话的准确度和可靠性，达到了精准监控座席人员服务质量的目的，还大大降低了监控成本。
42.2、本发明根据客户情绪变化与通话语境的因果关系，从客户和座席两个角度进行语音情感及语义信息分析，一方面能够在发现通话异常时，第一时间触发相应的处理机制，提高客户的满意度，另一方面能够实时感知客户诉求，便于企业第一时间为客户解决问题，并为企业的发展提供了帮助，从而具有较高的社会价值和应用前景。
附图说明
43.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
44.图1为本发明实施例一提供的多维度话务数据监控方法的流程图；
45.图2为本发明实施例一提供的多维度话务数据监控方法的子流程图；
46.图3为本发明实施例一提供的多维度话务数据监控方法的子流程图；
47.图4为本发明实施例一提供的多维度话务数据监控装置的原理框图；
48.图5为本发明实施例二提供的多维度话务数据监控方法的流程图；
49.图6为本发明实施例二提供的多维度话务数据监控装置的原理框图。
50.图中：10、监控数据获取模块；20、语音分割模块；30、第一计算模块；40、第一判断模块；50、第二计算模块；60、第二判断模块；70、语义信息识别模块；80、第三判断模块。
具体实施方式
51.为使本技术的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体实施方式对本技术的技术方案进行清楚、完整的说明，显然，所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
52.场景概述
53.电网呼叫中心的座席与客户进行通话的过程中，为确保话务人员的服务质量，提高客户满意度，通常需要对话务人员的服务过程进行监督和管控，但现有的监控方法需要依靠质检人员事后抽取录音进行试听或全程监听，需要投入大量的人力且监控系统配置复杂，监控成本高，为此，语音情感识别技术为监控话务数据提供了新的解决思路和方案。
54.具体来说，通过分析座席的语音情绪特征并根据与情绪阈值的比对，判断是否出现通话异常，然而，在实际应用过程中，由于座席人员都是经过专业训练的专职人员，因而座席人员出于自身职业素养会控制自己的说话语气，为此，仅仅通过分析座席人员的语音情绪特征很难发现异常，从而导致监控的准确性较低，无法实时感知客户诉求，另外，客户在和座席通话的初始阶段往往是平静的，仅当诉求得不到满意答复时，才会出现生气或愤怒的情绪。
55.基于此，本技术提出首先从获取的客户语音数据内的韵律特征，判断通话是否出现疑似异常，当判定通话出现疑似异常时，再结合对客户语音数据内的语义信息以及座席语音数据和座席面部数据对疑似异常通话进行二次筛选，提高了筛选异常通话的准确度和可靠性，达到了精准监控座席人员服务质量的目的，而且在发现通话出现异常时能够及时做出异常处理，实时感知客户诉求并对客户诉求进行解答，从而提高了客户满意度，进而维护了企业形象，具有监控成本低且监控准确度高的优点。
56.实施例一
57.请参照图1，一种多维度话务数据监控方法，包括以下步骤：
58.s1、获取呼叫中心座席人员与客户进行通话过程中的多维监控数据，多维监控数据包括客户语音数据、座席语音数据和座席面部数据。
59.具体的，为确保话务人员的服务质量，通过双通道录制设备实时获取呼叫中心座席人员与客户进行通话过程中的座席人员和客户的语音数据，以及座席人员的面孔数据；也可以通过在呼叫中心核心机房的出口交换机上设置语音媒体流双向数据镜像端口，座席终端发出的座席语音数据与客户终端发出的客户语音数据使用不同端口号作为源端口号和目标端口号，可识别出客户语音数据和座席语音数据，为此，获取并识别出客户语音数据、座席语音数据和座席面部数据的方式有多种，且此处不做具体限定。
60.s2、根据预置时长将客户语音数据按时间顺序分割为若干段连续的非重叠的客户语音片段。
61.当实时录制的客户语音数据长度达到预置时长时，便对其进行分割，得到若干段连续的非重叠的客户语音片段，便于监控系统对客户语音片段进行分析，提高监测精准度。
62.在本实施例中，将预置时长设为100ms，并按照通话的时间顺序将客户语音数据分割为若干段连续的非重叠的客户语音片段，由于每一小段的客户语音片段是在很短的时间内产生的，通常认为这若干段较短的客户语音片段的每一小段的情绪的平稳的。
63.s3、计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z。
64.如图2所示，计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z的具体步骤包括：
65.s31、对每一段客户语音片段进行过滤去噪处理，得到处理后的客户语音片段；
66.s32、从各个处理后的客户语音片段内提取客户韵律特征并量化为客户韵律值；
67.每一小段的客户语音片段均包含有语义信息和韵律信息，其中，韵律信息是指一段语音信号随发生部位震动而引起的音高、音长、语速快慢和语气轻重变化的语音特征信息，而当人的情绪发生变化时，说话的音高、语速和语气都会发生突变，为此，从各个去噪处理后的客户语音片段内提取客户韵律特征，并将客户韵律特征量化为客户韵律值y1,y2,
…
,yi,
…
，且yi表示第i个客户语音片段的客户韵律值。
68.s33、计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z。
69.根据公式计算第一段之后每一小段客户语音片段内的客户韵律值与第一段客户语音片段内的客户韵律值的正差值z，具体计算公式如下：
70.zi＝|y
i-y1|
71.上式中，zi表示第i个客户语音片段的客户韵律值与第一段客户语音片段内的客户韵律值的正差值。
72.需要说明的是，经统计分析表明人们在语音通话的初始阶段通常都是语气平和且情绪平静的，为此，本实施例以第一段客户语音片段内的客户韵律值作为基础参考值。
73.s4、判断正差值z是否小于预设的韵律阈值wt；
74.如果正差值z＜韵律阈值wt，则视为通话正常并返回步骤s2对下一个客户语音片段进行监测，实现对通话内容的实时监测；
75.如果正差值z≥韵律阈值wt，则将该客户语音片段标记为疑似异常并执行下一步，判断客户通话韵律发生突变是由于通话环境的变化引起，还是由于情绪变化引起，通过识别真实突变原因，可提高监控的精准度，降低误判率，实现了提高客户满意度的前提下，增强座席人员可信度的目的。
76.需要说明的是，此处涉及的关于客户的韵律阈值是从呼叫中心客户语音数据库中抽取一定数量的客户语音数据作为样本集，通过提取样本集的韵律信息并进行统计分析，得到的平均客户韵律的临界值。
77.s5、分别从座席语音数据和座席面部数据中提取与标记为疑似异常的客户语音片段对应的时间段的座席语音情感特征和座席面部表情特征，并将座席语音情感特征和座席面部表情特征进行加权融合得到座席情绪值q。
78.如图3所示，根据座席语音数据和座席面部数据确定座席情绪值q的具体步骤包括：
79.s51、获取标记为疑似异常的客户语音片段所对应的时间段t；
80.s52、分别从座席语音数据和座席面部数据中提取时间段t及前后相邻时间段t
±
1内的座席语音情感特征和座席面部表情特征；
81.人类情绪的变化通常与谈话语境以及对方情绪等因素具有紧密的因果关系，因而需要分析与疑似异常的客户语音片段前后相邻的两个时间段的座席语音数据，但由于座席人员都是经过专业训练且具备职业素养的专职人员，往往能够很好的控制自身的语气，然而在客户发生情绪变化时座席人员的表情也会发生变化，并且人的表情是很难控制的，为此，需要将座席的情感特征与面部表情特征进行融合，提高客户和座席情绪判断的精准度。
82.基于此，本实施例根据标记为疑似异常的客户语音片段发生的时间段t，从座席语音数据中提取时间段t前后两相邻时间段t
±
1内的座席语音片段，同时从座席面部数据中
提取时间段t及前后相邻时间段t
±
1内的座席面部表情特征。
83.s53、将座席语音情感特征和座席面部表情特征进行加权融合，得到座席情绪值q。
84.面部表情特征、语音情感特征和语义特征是判断人类情绪的主要情感因子，其中，面部表情特征包括眉间、嘴巴和眼睛等部位的变化，且面部表情特征是判断人类情感状态的主要以及，即每个情感因子在预测人类情绪中所占的权重各不相同。
85.本实施例中，通过采用预先训练好的融合有主成分分析算法的卷积神经网络模型计算座席情绪值q，其基本思想是先采用主成分分析算法确定座席语音情感特征和座席面部表情特征的权重，接着通过逐层卷积的方式将座席语音情感特征和座席面部表情特征融合为特征向量，最后根据融合的特征向量计算出座席情绪值q，座席情绪值q的计算公式如下：
86.q
id
＝ωee
x
(t
±
1)+ωmm
x
(t,t
±
1)
87.上式中，q
id
表示工号为id的座席的情绪值，ωe表示座席语音情感特征的权重，e
x
(t
±
1)表示在t
±
1时间段座席的语音情感特征参数，ωm表示座席面部表情特征的权重，m
x
(t,t
±
1)表示在t,t
±
1时间段座席的面部表情特征参数。
88.需要说明的是，通过将采集的具有一一映射关系的座席人员的各种面部情感数据以及语音数据作为训练样本，对融合有主成分分析算法的卷积神经网络结构进行训练优化，得到训练好的能够根据多维话务数据对人类情绪进行判断的模型，并且下述步骤s6中的座席情绪阈值也是根据事先采集的座席人员的各种情感状态下的语句及面部表情特征进行分析得到的临界值。
89.s6、判断座席情绪值q是否小于预设的座席情绪阈值xt，如果座席情绪值q＜座席情绪阈值xt，则视为通话正常并返回上述步骤s2对下一个客户语音片段进行监测；
90.如果座席情绪值q≥座席情绪阈值xt，则视为通话异常并将该通话标记为异常。
91.s7、根据异常处理规则针对标记为异常的通话进行异常处理。
92.当监测到异常通话时，监控系统将根据异常处理规则，即根据座席情绪值q标记异常等级，并根据异常等级触发相应的处理机制。
93.本实施例中，当座席情绪值q超过座席情绪阈值xt的一倍时，标记为一级异常并触发一级处理机制，一级处理机制是指领班或质检人员对通话进行拦截，由领班或其它座席继续与客户进行通话，做到出现问题及时解决，维护公司形象；当座席情绪值q大于座席情绪阈值xt但未超过一倍时，标记为二级异常并触发二级处理机制，二级处理机制是指向座席人员使用的终端设备发送预警信息，提示座席人员注意控制情绪，以便第一时间缓和客户情绪并为客户解决问题。
94.请参照图4，本实施例还提供了一种用于实现上述多维度话务数据监控方法的装置，包括：
95.监控数据获取模块10，用于获取呼叫中心座席人员与客户进行通话过程中的多维监控数据，多维监控数据包括客户语音数据、座席语音数据和座席面部数据；
96.语音分割模块20，用于根据预置时长100ms将客户语音数据按时间顺序分割为若干段连续的非重叠的客户语音片段，由于每一小段的客户语音片段是在很短的时间内产生的，通常认为这若干段较短的客户语音片段的每一小段的情绪的平稳的；
97.第一计算模块30，用于计算第一段客户语音片段内的客户韵律值与后续客户语音
片段内的客户韵律值的正差值z，经统计分析表明人们在语音通话的初始阶段通常都是语气平和且情绪平静的，因而将第一段客户语音片段内的客户韵律值作为基础参考值；
98.第一判断模块40，用于判断正差值z是否小于预设的韵律阈值wt，如果正差值z＜韵律阈值wt，则视为通话正常并返回步骤s2对下一个客户语音片段进行监测，实现对通话内容的实时监测；如果正差值z≥韵律阈值wt，则将该客户语音片段标记为疑似异常并执行下一步，判断客户通话韵律发生突变是由于通话环境的变化引起，还是由于情绪变化引起，通过识别真实突变原因，可提高监控的精准度，降低误判率，实现了提高客户满意度的前提下，增强座席人员可信度的目的；
99.第二计算模块50，用于分别从座席语音数据和座席面部数据中提取与标记为疑似异常的客户语音片段对应的时间段的座席语音情感特征和座席面部表情特征，并将座席语音情感特征和座席面部表情特征进行加权融合得到座席情绪值q；
100.第二判断模块60，用于判断座席情绪值q是否小于预设的座席情绪阈值xt，如果座席情绪值q＜座席情绪阈值xt，则视为通话正常并返回步骤s2对下一个客户语音片段进行监测；如果座席情绪值q≥座席情绪阈值xt，则视为通话异常并将该通话标记为异常；
101.异常处理模块70，用于根据异常处理规则针对标记为异常的通话进行异常处理，其中，异常处理规则是指根据座席情绪值q标记异常等级，且不同异常等级具有不同的处理机制。
102.通过本实施例，首先通过根据客户语音韵律的突变，初步筛选出疑似异常通话的座席id以及发生疑似异常的时间段t，再从发生疑似异常的时间段t前后相邻的两个时间段t
±
1的座席人员的语音数据和面部数据中，提取座席语音情感特征和面部表情特征并对座席语音情感特征和面部表情特征进行加权融合，并结合预先设置的座席情绪阈值对座席情绪进行判断，根据座席情绪对疑似异常的通话进行二次筛选，提高了筛选异常通话的准确度和可靠性，达到了精准监控座席人员服务质量的目的，还大大降低了监控成本。
103.另外，结合上述实施例中的多维度话务数据监控方法，本技术实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述实施例中的任意一种多维度话务数据监控方法的步骤。
104.实施例二
105.本实施例所提供的实施方式是在实施例一的基础上做出的，通过相同的方法步骤、装置以及存储介质的技术方案解决相同的技术问题，并且具有相同的有益效果，相同部分相互参见即可，本实施例在此不再详细赘述。
106.请参照图5-图6，示出了根据本发明实施例二的一种具体实施方式，本实施例通过从客户语音数据中提取语义信息并根据语义信息识别出客户实时诉求，根据客户诉求从问题库中提取答案生成解答话术并发送至座席人员使用的终端设备，指导座席人员为客户进行解答，同时根据座席人员的情绪值触发相应的处理机制，确保话务服务质量，提高客户满意度，维护企业形象。
107.请参照图5，一种多维度话务数据监控方法，包括以下步骤：
108.s1、获取呼叫中心座席人员与客户进行通话过程中的多维监控数据，多维监控数据包括客户语音数据、座席语音数据和座席面部数据。
109.s2、根据预置时长将客户语音数据按时间顺序分割为若干段连续的非重叠的客户
语音片段。
110.s3、计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z。
111.s4、判断正差值z是否小于预设的韵律阈值wt；
112.如果正差值z＜韵律阈值wt，则视为通话正常并返回步骤s2对下一个客户语音片段进行监测，实现对通话内容的实时监测；
113.如果正差值z≥韵律阈值wt，则将该客户语音片段标记为疑似异常并执行下一步，判断客户通话韵律发生突变是由于通话环境的变化引起，还是由于情绪变化引起，通过识别真实突变原因，可提高监控的精准度，降低误判率，实现了提高客户满意度的前提下，增强座席人员可信度的目的。
114.需要说明的是，此处涉及的关于客户的韵律阈值是从呼叫中心客户语音数据库中抽取一定数量的客户语音数据作为样本集，通过提取样本集的韵律信息并进行统计分析，得到的平均客户韵律的临界值。
115.s5、分别从座席语音数据和座席面部数据中提取与标记为疑似异常的客户语音片段对应的时间段的座席语音情感特征和座席面部表情特征，并将座席语音情感特征和座席面部表情特征进行加权融合得到座席情绪值q；
116.s6、判断座席情绪值q是否小于预设的座席情绪阈值xt，如果座席情绪值q＜座席情绪阈值xt，则视为通话正常并返回上述步骤s2对下一个客户语音片段进行监测；
117.如果座席情绪值q≥座席情绪阈值xt，则视为通话异常并将该通话标记为异常。
118.s8、从标记为异常通话的客户语音数据中提取客户语义信息并识别出客户诉求。
119.根据语义信息能够较快且准确的判断客户的情感及诉求，因而为了提供话务数据监控的可靠性，需要从标记为异常通话的客户语音数据中提取客户语义信息，并根据语义信息识别出客户诉求。
120.s9、根据客户诉求从问题库中提取解答话术并发送至座席人员使用的终端设备。
121.根据客户诉求从企业问题库中搜寻答案生成对应的解答话术，并将解答话术发送至座席人员使用的终端设备上，提示座席人员根据话术进行解答，并按照预设周期根据客户对该解答话术的满意度进行统计分析，帮助企业对问题库中的话术进行优化更新，能够有效提高客户留存率，维护企业形象。
122.s7、根据异常处理规则针对标记为异常的通话进行异常处理。
123.当监测到异常通话时，监控系统将根据异常处理规则，即根据座席情绪值q标记异常等级，并根据异常等级触发相应的处理机制。
124.本实施例中，当座席情绪值q超过座席情绪阈值xt的一倍时，标记为一级异常并触发一级处理机制，一级处理机制是指领班或质检人员对通话进行拦截，由领班或其它高级座席继续与客户进行通话，做到出现问题及时解决，维护公司形象；当座席情绪值q大于座席情绪阈值xt但未超过一倍时，标记为二级异常并触发二级处理机制，二级处理机制是指向座席人员使用的终端设备发送预警信息，提示座席人员注意控制情绪，同时向座席人员使用的终端设备发送与客户诉求相对应的解答话术，帮助座席更好的为客户服务，以便第一时间缓和客户情绪并为客户解决问题。
125.请参照图6，本实施例还提供了一种用于实现上述多维度话务数据监控方法的装
置，包括：
126.监控数据获取模块10，用于获取呼叫中心座席人员与客户进行通话过程中的多维监控数据，多维监控数据包括客户语音数据、座席语音数据和座席面部数据；
127.语音分割模块20，用于根据预置时长100ms将客户语音数据按时间顺序分割为若干段连续的非重叠的客户语音片段，由于每一小段的客户语音片段是在很短的时间内产生的，通常认为这若干段较短的客户语音片段的每一小段的情绪的平稳的；
128.第一计算模块30，用于计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z，经统计分析表明人们在语音通话的初始阶段通常都是语气平和且情绪平静的，因而将第一段客户语音片段内的客户韵律值作为基础参考值；
129.第一判断模块40，用于判断正差值z是否小于预设的韵律阈值wt，如果正差值z＜韵律阈值wt，则视为通话正常并返回步骤s2对下一个客户语音片段进行监测，实现对通话内容的实时监测；如果正差值z≥韵律阈值wt，则将该客户语音片段标记为疑似异常并执行下一步，判断客户通话韵律发生突变是由于通话环境的变化引起，还是由于情绪变化引起，通过识别真实突变原因，可提高监控的精准度，降低误判率，实现了提高客户满意度的前提下，增强座席人员可信度的目的；
130.第二计算模块50，用于分别从座席语音数据和座席面部数据中提取与标记为疑似异常的客户语音片段对应的时间段的座席语音情感特征和座席面部表情特征，并将座席语音情感特征和座席面部表情特征进行加权融合得到座席情绪值q；
131.第二判断模块60，用于判断座席情绪值q是否小于预设的座席情绪阈值xt，如果座席情绪值q＜座席情绪阈值xt，则视为通话正常并返回步骤s2对下一个客户语音片段进行监测；如果座席情绪值q≥座席情绪阈值xt，则视为通话异常并将该通话标记为异常；
132.语义信息识别模块80，用于从标记为异常通话的客户语音数据中提取客户语义信息，并从客户语音信息中识别出客户实时诉求；
133.话术生成模块90，用于根据客户实时诉求从企业的问题库中提取答案生成解答话术，并将解答话术发送至座席人员使用的终端设备；
134.异常处理模块70，用于根据异常处理规则针对标记为异常的通话进行异常处理，其中，异常处理规则是指根据座席情绪值q标记异常等级，且不同异常等级具有不同的处理机制。
135.通过本实施例，首先通过根据客户语音韵律的突变，初步筛选出疑似异常通话的座席id以及发生疑似异常的时间段，再从疑似异常的客户语音片段中提取语音信息并识别是否有敏感词语，根据是否含有敏感词语判断客户情绪，接着根据客户情绪变化与通话语境的因果关系，从发生疑似异常的时间段前后相邻的两个时间段的座席人员的语音数据和面部数据中，提取座席语音情感特征和面部表情特征并对座席语音情感特征和面部表情特征进行加权融合，并结合预先设置的座席情绪阈值对座席情绪进行判断，从客户和座席两个角度进行情感及语义分析，不仅能够提高话务数据监控的精准性，还能够实时感知客户诉求，第一时间触发相应的处理机制，第一时间为客户解决问题，提高客户的满意度，从而具有较高的社会价值和应用前景。
136.与上述实施例提供的多维度话务数据监控方法相对应，本实施例还提供一种计算机可读存储介质来实现，由于本实施例提供的存储介质与上述实施例提供的多维度话务数
据监控方法相对应，因此前述多维度话务数据监控方法的实施方式也适用于本实施例提供的存储介质，在本实施例中不再展开详细描述。
137.本发明通过根据客户语音韵律变化筛选出疑似异常通话，再根据座席语音情感特征和面部表情特征判断座席情绪，并根据座席情绪对疑似异常通话进行二次筛选，通过从座席和客户两个角度进行监控，提高了话务监控的准确度和可靠性，且监控成本低。
138.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于以上各实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
139.以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种多维度话务数据监控方法，其特征在于，包括以下步骤：s1、获取呼叫中心座席人员与客户进行通话过程中的多维监控数据，多维监控数据包括客户语音数据、座席语音数据和座席面部数据；s2、根据预置时长将客户语音数据按时间顺序分割为若干段连续的非重叠的客户语音片段；s3、计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z；s4、判断正差值z是否小于预设的韵律阈值wt；如果正差值z＜韵律阈值wt，则视为通话正常并返回步骤s2对下一个客户语音片段进行监测；如果正差值z≥韵律阈值wt，则将该客户语音片段标记为疑似异常并执行下一步；s5、分别从座席语音数据和座席面部数据中提取与标记为疑似异常的客户语音片段对应的时间段的座席语音情感特征和座席面部表情特征，并将座席语音情感特征和座席面部表情特征进行加权融合得到座席情绪值q；s6、判断座席情绪值q是否小于预设的座席情绪阈值xt，如果座席情绪值q＜座席情绪阈值xt，则视为通话正常并返回步骤s2对下一个客户语音片段进行监测；如果座席情绪值q≥座席情绪阈值xt，则视为通话异常并将该通话标记为异常；s7、根据异常处理规则针对标记为异常的通话进行异常处理。2.根据权利要求1所述的一种多维度话务数据监控方法，其特征在于，在步骤s3中，计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z，具体包括：s31、对每一段客户语音片段进行过滤去噪处理，得到处理后的客户语音片段；s32、从各个处理后的客户语音片段内提取客户韵律特征并量化为客户韵律值y1,y2,...,y
i
,...；s33、计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z。3.根据权利要求1所述的一种多维度话务数据监控方法，其特征在于，在步骤s5中，分别从座席语音数据和座席面部数据中提取与标记为疑似异常的客户语音片段对应的时间段的座席语音情感特征和座席面部表情特征，并将座席语音情感特征和座席面部表情特征进行加权融合得到座席情绪值q，具体包括：s51、获取标记为疑似异常的客户语音片段所对应的时间段t；s52、分别从座席语音数据和座席面部数据中提取时间段t及前后相邻时间段t
±
1内的座席语音情感特征和座席面部表情特征；s53、将座席语音情感特征和座席面部表情特征进行加权融合，得到座席情绪值q。4.根据权利要求1所述的一种多维度话务数据监控方法，其特征在于，在步骤s7之前还包括：s8、从标记为异常通话的客户语音数据中提取客户语义信息并识别出客户诉求；s9、根据客户诉求从问题库中提取解答话术并发送至座席人员使用的终端设备。5.根据权利要求1所述的一种多维度话务数据监控方法，其特征在于，在步骤s6中，所
述座席情绪阈值xt是指将双通道录制的座席人员的各种情感状态下的语音数据和面部情感数据作为样本集并输入多维度情感判断模型进行训练学习而得到的临界值。6.根据权利要求1所述的一种多维度话务数据监控方法，其特征在于，在步骤s7中，所述异常处理规则是指根据座席情绪值q标记异常等级，且不同异常等级具有不同的处理机制。7.一种用于实现上述权利要求1-6任一项所述的多维度话务数据监控方法的装置，其特征在于，包括：监控数据获取模块(10)，所述监控数据获取模块(10)用于获取呼叫中心座席人员与客户进行通话过程中的多维监控数据，多维监控数据包括客户语音数据、座席语音数据和座席面部数据；语音分割模块(20)，所述语音分割模块(20)用于根据预置时长将客户语音数据按时间顺序分割为若干段连续的非重叠的客户语音片段；第一计算模块(30)，所述第一计算模块(30)用于计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值z；第一判断模块(40)，所述第一判断模块(40)用于判断正差值z是否小于预设的韵律阈值wt；第二计算模块(50)，所述第二计算模块(50)用于分别从座席语音数据和座席面部数据中提取与标记为疑似异常的客户语音片段对应的时间段的座席语音情感特征和座席面部表情特征，并将座席语音情感特征和座席面部表情特征进行加权融合得到座席情绪值q；第二判断模块(60)，所述第二判断模块(60)用于判断座席情绪值q是否小于预设的座席情绪阈值xt；异常处理模块(70)，所述异常处理模块(70)用于根据异常处理规则针对标记为异常的通话进行异常处理。8.根据权利要求7所述的一种多维度话务数据监控装置，其特征在于，还包括：语义信息识别模块(80)，所述语音信息识别模块(80)用于从标记为异常通话的客户语音数据中提取客户语义信息并识别出客户诉求；话术生成模块(90)，所述话术生成模块(90)用于根据客户诉求从问题库中提取解答话术并发送至座席人员使用的终端设备。9.一种计算机可读存储介质，其特征在于，所述计算机可读储存介质存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1至6中任一项所述的多维度话务数据监控方法的步骤。

技术总结
本发明涉及话务监控技术领域，解决了现有的监控方法硬件配置复杂且监控成本高的技术问题，尤其涉及一种多维度话务数据监控方法，包括：获取呼叫中心座席人员与客户进行通话过程中的多维监控数据，多维监控数据包括客户语音数据、座席语音数据和座席面部数据；根据预置时长将客户语音数据按时间顺序分割为若干段客户语音片段；计算第一段客户语音片段内的客户韵律值与后续客户语音片段内的客户韵律值的正差值；判断正差值是否小于预设的韵律阈值。本发明通过根据客户语音韵律变化筛选出疑似异常通话，再根据座席语音情感特征和面部表情特征判断座席情绪并对疑似异常通话进行二次筛选，提高了话务监控的准确度和可靠性，且监控成本低。监控成本低。监控成本低。


技术研发人员：漆振飞 江梅 侯本辉 刘畅 左云杰 李祥 颜文达
受保护的技术使用者：云南电网有限责任公司
技术研发日：2023.08.07
技术公布日：2023/10/15