一种无人监考方法、装置、设备及计算机可读存储介质与流程

1.本发明涉及数据分析领域，特别是涉及一种无人监考方法，本发明还涉及一种无人监考装置、设备及计算机可读存储介质。


背景技术：

2.由于各种客观状况的存在，通过无人监考的方式开展考试的需求越来越多，这种考试的开展通常为单人考试的场景，在这种考试形式下，如何进行可靠的监考是一个难题，现有技术中通常会对考试全程进行录像，然后考试结束后由工作人员通过录像来判定考生是否存在作弊行为，然而这种作弊检测方式的人力成本较高，且效率较低。
3.因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。


技术实现要素：

4.本发明的目的是提供一种无人监考方法，由于应用于处理器，且可以对实时的音视频数据进行处理从而实现自动化监考，因此在降低人力成本的同时还提升了工作效率；本发明的另一目的是提供一种无人监考装置、设备及计算机可读存储介质，由于应用于处理器，且可以对实时的音视频数据进行处理从而实现自动化监考，因此在降低人力成本的同时还提升了工作效率。
5.为解决上述技术问题，本发明提供了一种无人监考方法，应用于处理器，包括：
6.实时获取考试过程中考试现场的视频数据以及音频数据；
7.基于所述音频数据，通过检测语音关键字的方式对考试过程中的作弊行为进行检测；
8.基于所述视频数据，通过图像识别技术对考试过程中的作弊行为进行检测；
9.其中，基于所述音频数据进行的作弊检测与基于所述视频数据进行的作弊检测，任一次的检测结果独立生效。
10.优选地，所述基于所述视频数据，通过图像识别技术对考试过程中的作弊行为进行检测具体为：
11.对所述视频数据中的图像进行特征提取前的预处理；
12.对经过预处理的图像进行图像特征的提取；
13.通过所述图像特征识别图像中的预设目标并得到预测目标；
14.判断所述预测目标中是否存在指定作弊物品；
15.若存在，则判定存在作弊可能；
16.判断所述预测目标中是否包含预设考生人脸图像；
17.若不包含，则判定存在作弊可能；
18.其中，所述预设目标包括所述指定作弊物品以及所述预设考生人脸图像。
19.优选地，所述预设目标中还包括人体部位；
20.所述判断所述预测目标中是否存在指定作弊物品之前，该无人监考方法还包括：
21.判断所述预测目标中的人体部位是否归属于多个主人；
22.若归属于多个主人，判定存在作弊可能；
23.若不归属于多个主人，则执行所述判断所述预测目标中是否存在指定作弊物品的步骤。
24.优选地，所述预设目标中还包括双手；
25.所述通过所述图像特征识别图像中的预设目标并得到预测目标之后，该无人监考方法还包括：
26.判断所述预测目标中的双手是否位于考试限定区域之内；
27.若不位于，则判定存在作弊可能。
28.优选地，所述判断所述预测目标中是否包含预设考生人脸图像之后，该无人监考方法还包括：
29.通过尺度感知的热力图方式确定出所述预测目标中的考生人脸图像的五关键点的坐标；
30.通过所述五关键点的坐标确定出人脸偏转角度；
31.判断所述人脸偏转角度是否大于预设阈值；
32.若大于，判定存在作弊可能。
33.优选地，所述基于所述音频数据，通过检测语音关键字的方式对考试过程中的作弊行为进行检测具体为：
34.对所述音频数据进行预处理，以便加强语音特征并去除冗余数据；
35.通过梅尔倒谱系数提取经过预处理的所述音频数据中的语音帧的语音特征；
36.将所述音频数据中连续预设数量个所述语音帧对应的所述语音特征进行特征融合得到待识别语音特征；
37.判断所述待识别语音特征中是否存在预设关键字；
38.若存在，则判定存在作弊可能。
39.优选地，所述实时获取考试过程中考试现场的视频数据以及音频数据之前，该无人监考方法还包括：
40.获取考生手持身份证的目标图像；
41.获取所述目标图像中的人脸信息并将其作为考生签到人脸，并获取所述目标图像中的身份证上的身份证人像以及文字信息；
42.判断所述文字信息与预录考生信息是否一致；
43.若不一致，则终止考试；
44.若一致，则判断所述身份证人像、预录考生人脸以及所述考生签到人脸是否对应于同一人；
45.若对应于同一人，执行所述实时获取考试过程中考试现场的视频数据以及音频数据的步骤；
46.若不对应于同一人，则终止考试。
47.为解决上述技术问题，本发明还提供了一种无人监考装置，该无人监考装置应用于处理器，包括：
48.获取模块，用于实时获取考试过程中考试现场的视频数据以及音频数据；
49.语音检测模块，用于基于所述音频数据，通过检测语音关键字的方式对考试过程中的作弊行为进行检测；
50.视频检测模块，用于基于所述视频数据，通过图像识别技术对考试过程中的作弊行为进行检测；
51.其中，基于所述音频数据进行的作弊检测与基于所述视频数据进行的作弊检测，任一次的检测结果独立生效。
52.为解决上述技术问题，本发明还提供了一种无人监考设备，包括：
53.存储器，用于存储计算机程序；
54.处理器，用于执行所述计算机程序时实现如上所述无人监考方法的步骤。
55.为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述无人监考方法的步骤。
56.本发明提供了一种无人监考方法，考虑到处理器基于各种图像处理技术可以进行作弊行为识别，又结合考虑到在考试现场，考生可能通过语音消息的方式进行作弊，因此本技术中的处理器首先可以实时获取考试过程中考试现场的视频数据以及音频数据，对于音频数据，可以通过检测语音关键字的方式对考试过程中的作弊行为进行检测，而对于视频数据，可以通过图像识别技术对考试过程中的作弊行为进行检测，由于应用于处理器，且可以对实时数据进行处理，因此在降低人力成本的同时还提升了工作效率。
57.本发明还提供了一种无人监考装置、设备及计算机可读存储介质，具有如上无人监考方法相同的有益效果。
附图说明
58.为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
59.图1为本发明提供的一种无人监考方法的流程示意图；
60.图2为本发明提供的另一种无人监考方法的流程示意图；
61.图3为本发明提供的一种图像目标识别的流程示意图；
62.图4为本发明提供的一种扭头检测的流程示意图；
63.图5为本发明提供的一种单帧语音帧特征提取的流程示意图；
64.图6为本发明提供的一种帧延续为2的延时神经网络的结构示意图；
65.图7为本发明提供的一种mfcc特征提取的流程示意图；
66.图8为本发明提供的一种身份证ocr识别的流程示意图；
67.图9为本发明提供的一种人脸对比的流程示意图；
68.图10为本发明提供的一种无人监考装置的结构示意图；
69.图11为本发明提供的一种无人监考识别的结构示意图。
具体实施方式
70.本发明的核心是提供一种无人监考方法，由于应用于处理器，且可以对实时的音视频数据进行处理从而实现自动化监考，因此在降低人力成本的同时还提升了工作效率；本发明的另一核心是提供一种无人监考装置、设备及计算机可读存储介质，由于应用于处理器，且可以对实时的音视频数据进行处理从而实现自动化监考，因此在降低人力成本的同时还提升了工作效率。
71.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
72.请参考图1，图1为本发明提供的一种无人监考方法的流程示意图，该无人监考方法包括：
73.s101：实时获取考试过程中考试现场的视频数据以及音频数据；
74.具体的，考虑到如上背景技术中的技术问题，又结合考虑到处理器基于各种图像处理技术可以进行作弊行为识别，又结合考虑到在考试现场，考生可能通过语音消息的方式进行作弊，因此本技术欲基于处理器对于考试现场实时采集到的音视频数据的处理来自动识别作弊情况，因此本发明实施例中首先可以实时获取考试过程中考试现场的视频数据以及音频数据。
75.其中，无论在校学生居家后考试、社会性的考试还是企业内部的员工考核，大多数都是采用的线上考核或无人监考自助设备的考核形式。但考试的公平性、规范性就对于无人监考的防作弊机制提出了极大的要求，本技术可应用于各种的无人监考的考试场景，例如单人考试或者多人考试等，本发明实施例在此不做限定。
76.具体的，视频数据以及音频数据的获取方式可以为多种，例如可以通过带有拾音器的摄像头进行获取，而摄像头的数量也可以灵活设置，例如可以在不同方位设置多个摄像头，从而形成无死角摄像等，本发明实施例在此不做限定。
77.s102：基于音频数据，通过检测语音关键字的方式对考试过程中的作弊行为进行检测；
78.具体的，考虑到考生在考试过程中可能通过语音传递信息的方式进行作弊，例如通过考试现场的其他作弊设备发出的语音进行作弊，或者考生本人与摄像头摄像画面之外的人进行讲话的方式进行作弊等，该种作弊方式常常被忽略掉，因此本发明实施例中可以基于音频数据，通过检测语音关键字的方式对考试过程中的作弊行为进行检测。
79.其中，关键字的具体可以灵活设置，例如可以设置“帮”、“查”等为关键字等，本发明实施例在此不做限定。
80.另外，考虑到考试过程中不涉及需要讲话的内容的话，甚至可以在捕捉到的任何人讲话的声音时，均判定为可能存在作弊行为，也即该场考试是不允许讲话的。
81.s103：基于视频数据，通过图像识别技术对考试过程中的作弊行为进行检测；
82.其中，基于音频数据进行的作弊检测与基于视频数据进行的作弊检测，任一次的检测结果独立生效。
83.具体的，考虑到视频数据是包含考试现场信息最多的数据类型，通过视频数据可
以甄别出大部分类型的作弊行为，特别是涉及到一些作弊物品或者作弊行为时，通过视频数据可以快速准确的进行识别，因此本发明实施例中可以基于视频数据，通过图像识别技术对考试过程中的作弊行为进行检测。
84.其中，考虑到基于音频数据进行的作弊检测与基于视频数据进行的作弊检测这两种检测方式的逻辑不通，因此两者的检测结果不存在依赖关系，也不存在冲突，任一次的检测结果可以独立生效，例如当基于音频数据进行的作弊检测判定存在作弊可能时，便可以进行报警甚至终止考试，而无需考虑另一种类型(基于视频数据)的作弊检测的检测结果。
85.本发明提供了一种无人监考方法，考虑到处理器基于各种图像处理技术可以进行作弊行为识别，又结合考虑到在考试现场，考生可能通过语音消息的方式进行作弊，因此本技术中的处理器首先可以实时获取考试过程中考试现场的视频数据以及音频数据，对于音频数据，可以通过检测语音关键字的方式对考试过程中的作弊行为进行检测，而对于视频数据，可以通过图像识别技术对考试过程中的作弊行为进行检测，由于应用于处理器，且可以对实时数据进行处理，因此在降低人力成本的同时还提升了工作效率。
86.在上述实施例的基础上：
87.作为一种优选的实施例，基于视频数据，通过图像识别技术对考试过程中的作弊行为进行检测具体为：
88.对视频数据中的图像进行特征提取前的预处理；
89.对经过预处理的图像进行图像特征的提取；
90.通过图像特征识别图像中的预设目标并得到预测目标；
91.判断预测目标中是否存在指定作弊物品；
92.若存在，则判定存在作弊可能；
93.判断预测目标中是否包含预设考生人脸图像；
94.若不包含，则判定存在作弊可能；
95.其中，预设目标包括指定作弊物品以及预设考生人脸图像。
96.具体的，为了更好地对本发明实施例进行说明，请参考图2以及图3，图2为本发明提供的另一种无人监考方法的流程示意图；图3为本发明提供的一种图像目标识别的流程示意图，在图3中，预处理可以包括视频画面的分帧、resize(尺寸变换)、normalize(图像归一化)、to tensor(转换为tensor格式)，视频画面经过分帧后而得到单帧图像，先进行resize尺寸变换将图像调整到后续网络输入的统一尺寸，再通过normalize图像归一化便于后续数据处理方便，接着to tensor将可能存在的各种格式输入图像归一化后转换为tensor格式便于后续网络推理。而图像特征的提取可以为：经过预处理后的图像首先利用cspdarknet53网络进行图像特征提取，cspdarknet53能够快速的提取图像特征。其中，在特征提取后，还可以采用特征融合的方式得到多尺寸特征融合图像，从而提高网络的识别性能，也即采用图3中的neck特征融合方法得到多尺度的特征融合图像；而识别预测目标则为图中的预测与后处理，也即经过检测器的预测得到预测目标的位置、类别、置信度等预测信息，后处理则可以为：经过非极大值抑制(non-maximum suppression，简称nms)筛选部分交叉冗余信息，得到最后的预测目标信息并将之输出，从而减少干扰信息。
97.具体的，通过对于预设目标的设定便可以灵活地对各类作弊物品或者作弊行为进行识别，例如预设目标可以为多种作弊物品，又考虑到考生在考试过程中不得离场的情形，
因此可以将预设考生人脸图像加入预设目标，从而可以通过对预设考生人脸图像的检测，来判断考生是否离席。
98.具体的，判断预测目标中是否包含预设考生人脸图像具体可以为：判断预测目标中是否包含人脸，若包含人脸，则通过人脸比对的方式，比对预测目标中包含的人脸与系统预录入的预设考生人脸是否为同一人，如果是同一人，则判定预测目标中包含预设考生人脸图像，此时考试正常，如果预测目标中不包含人脸，或者包含与预设考生人脸不同的人脸图像，则判定存在作弊可能。
99.其中，人脸画面可以通过专门设置的直对考生人脸方向的摄像头进行获取，而其他画面也可以通过其他摄像头进行获取，本发明实施例在此不做限定。
100.其中，作弊物品可以有多种类型，例如可以包括手机、小抄、手环以及耳机等，本发明实施例在此不做限定。
101.当然，除了上述情况外，预设目标还可以为其他多种类型，本发明实施例在此不做限定。
102.作为一种优选的实施例，预设目标中还包括人体部位；
103.判断预测目标中是否存在指定作弊物品之前，该无人监考方法还包括：
104.判断预测目标中的人体部位是否归属于多个主人；
105.若归属于多个主人，判定存在作弊可能；
106.若不归属于多个主人，则执行判断预测目标中是否存在指定作弊物品的步骤。
107.具体的，考虑到无人监考的大多数场景为单人考试场景，在这种场景下首先需要禁止多人同时出现在考试现场的情况，因此本发明实施例中还在预设目标中加入了人体部位，本技术可以首先从视频数据中判断预测目标中的人体部位是否归属于多个主人，如果归属于多个主人，那表示有多人同时存在于考场，则存在作弊可能，从而上传信息或者直接终止考试。
108.其中，考虑到某些情况下，作弊者为了防止被发现多人存在于考场，可能仅将身体的某个部位(例如手部)暴露于视频画面中，这种情况下若想通过人脸来识别到多人存在于考场是不现实的，因此本发明实施例中通过人体部位进行的“多人检测”，可以提升多人检测的准确性。
109.作为一种优选的实施例，预设目标中还包括双手；
110.通过图像特征识别图像中的预设目标并得到预测目标之后，该无人监考方法还包括：
111.判断预测目标中的双手是否位于考试限定区域之内；
112.若不位于，则判定存在作弊可能。
113.具体的，针对于双手的检测可以通过单独设置的针对双手方位的摄像头进行，本发明实施例在此不做限定。
114.具体的，考虑到考试过程中正常情况下考生的双手均处于一定区域之内，若双手移出特定区域便可以考虑存在作弊可能，因此本发明实施例中还可以将双手设定为预设目标，从而便可以判断预测目标中的双手是否位于考试限定区域之内，在不位于限定区域的情况下便可以判定存在作弊可能。
115.其中，考试限定区域可以为考试操作台等区域，本发明实施例在此不做限定。
116.作为一种优选的实施例，判断预测目标中是否包含预设考生人脸图像之后，该无人监考方法还包括：
117.通过尺度感知的热力图方式确定出预测目标中的考生人脸图像的五关键点的坐标；
118.通过五关键点的坐标确定出人脸偏转角度；
119.判断人脸偏转角度是否大于预设阈值；
120.若大于，判定存在作弊可能。
121.具体的，考虑到考试过程中考生在正常情况下不会进行大角度的扭头，而大角度的扭头可能会产生作弊行为，因此本发明实施例中考虑对大角度的扭头行为进行检测，首先值得一提的是，前文中的人脸检测过程中，由于大角度扭头会导致人脸对比的失败，因此人脸对比实质上也可以防止考生出现大角度扭头的行为，除此以外，本发明实施例中的扭头检测还有另一逻辑方法。
122.具体的，为了更好地对本发明实施例进行说明，请参考图4，图4为本发明提供的一种扭头检测的流程示意图，包括人脸提取，ssh五关键点确定、角度计算等步骤，其中的ssh(scale-sensitive heatmap，尺度感知的热力图)即为确定人脸图像的五关键点的方法，通过本发明实施例中的方法可以快速精准的进行扭头检测。
123.其中，预设阈值可以进行自主设定，本发明实施例在此不做限定。
124.具体的，五关键点分别是左眼中心、右眼中心、鼻尖中心、左嘴角和右嘴角。扭头的角度采用的基于五关键点的几何角度进行计算，计算公式如下所示，公式中y
l
表示左眼中心的纵坐标，yn表示鼻尖的纵坐标，yr表示右眼中心的纵坐标，x
l
表示左眼中心的横坐标，xn表示鼻尖的横坐标，xr表示右眼中心的横坐标，arctan表示反正切函数，θ表示求得的人脸偏转角度，
[0125][0126]
当然，除了该方式外，扭头检测还可以通过其他方式进行，本发明实施例在此不做限定。
[0127]
作为一种优选的实施例，基于音频数据，通过检测语音关键字的方式对考试过程中的作弊行为进行检测具体为：
[0128]
对音频数据进行预处理，以便加强语音特征并去除冗余数据；
[0129]
通过梅尔倒谱系数提取经过预处理的音频数据中的语音帧的语音特征；
[0130]
将音频数据中连续预设数量个语音帧对应的语音特征进行特征融合得到待识别语音特征；
[0131]
判断待识别语音特征中是否存在预设关键字；
[0132]
若存在，则判定存在作弊可能。
[0133]
具体的，为了更好地对本发明实施例进行说明，请参考图5、图6及图7，图5为本发明提供的一种单帧语音帧特征提取的流程示意图；图6为本发明提供的一种帧延续为2的延时神经网络的结构示意图，图7为本发明提供的一种mfcc特征提取的流程示意图，图5展示的是对音频数据中的一个语音帧的处理，输入层的黑点表示该帧的语音特征。隐含层是对
语音的特征提取，然后经过识别网络的判别器得到该帧语音对应的字符。同时为提高识别效果，考虑采用结合多帧(连续预设数量的语音帧)的特征进行识别，例如图6中采取帧延续为2，即同时结合连续3帧(预设数量)的语音特征。对于多帧语音的特征融合过程可以采用延时神经网络进行，从而可以提高语音识别的准确率。
[0134]
具体的，在获取到音频序列(也即音频数据)后首先进行的是音频的预处理。音频的预处理包括对音频数据进行数字化、预加重、分帧、加窗等操作，使得语音特征更加明显并且去除冗余数据。经过预处理的音频，要进行语音特征提取，通常采用的是梅尔倒谱系数(mel-scalefrequency cepstral coefficients，简称mfcc)。如图4所示，经过预处理的音频，首先要经过fft(快速傅里叶变换)将音频从时域转换为频域，然后通过mel滤波器组得到在低频密集、高频稀疏的模拟人耳的mel能量谱。接下来通过对数运算把语音卷积信号转换成加性信号并且放大低频率处的差异。最后经过离散余弦变换(discrete cosine transform，简称dct)从基音信息与声道信息混合的信息中分离出所需的声道信息，即可得到语音的mfcc静态特性。最后需要把动、静态特征结合来提高识别性能。而语音的动态特性可以用上述得到的静态特征的差分谱来描述。将静态特征和动态特征进行结合便可得到mfcc特征。
[0135]
当然，除了mfcc方法外，还可以通过其他方法对语音特征进行提取，本发明实施例在此不做限定。
[0136]
作为一种优选的实施例，实时获取考试过程中考试现场的视频数据以及音频数据之前，该无人监考方法还包括：
[0137]
获取考生手持身份证的目标图像；
[0138]
获取目标图像中的人脸信息并将其作为考生签到人脸，并获取目标图像中的身份证上的身份证人像以及文字信息；
[0139]
判断文字信息与预录考生信息是否一致；
[0140]
若不一致，则终止考试；
[0141]
若一致，则判断身份证人像、预录考生人脸以及考生签到人脸是否对应于同一人；
[0142]
若对应于同一人，执行实时获取考试过程中考试现场的视频数据以及音频数据的步骤；
[0143]
若不对应于同一人，则终止考试。
[0144]
具体的，为了防止替考行为的出现，正式开始考试前可以考虑进行严格的考生身份认证，本发明实施例中可以通过考生手持身份证的目标图像进行精准的身份认证，一方面可以从目标图像中获取考生签到人脸以及身份证人像两个人像，还可以获取身份证中的文字信息，之后便可以将文字信息与预录考生信息进行一致性对比，通过之后则可以对身份证人像、预录考生人脸以及考生签到人脸进行一致性对比，通过之后则可以开始考试，本发明实施例中通过身份证文字信息以及三份人脸数据的对比，可以精准的对考生身份进行认证，防止替考情况的发生。
[0145]
为了更好地对本发明实施例进行说明，请参考图8与图9，图8为本发明提供的一种身份证ocr识别的流程示意图；图9为本发明提供的一种人脸对比的流程示意图；图8中的ocr(optical character recognition，光学字符识别)识别用于对身份证文字信息进行识别，如图2所示，在得到身份证裁剪的图像后，首先可以对身份证图像的方位进行校正从而
便于后续检测，例如先根据上述身份证和身份证人像提取到的相对位置判断身份证是否为0
°
与180
°
的角度判断，当人像在身份证左侧时，则需将身份证进行180
°
旋转矫正。同时将人像也进行180
°
旋转矫正以便于后续人脸比对，矫正后的身份证，先利用dbnet(deep bidirectional network，深层双向网络)网络识别文字区域，得到文字区域后再利用crnn(convolutional recurrent neural network，卷积循环神经网络)网络进行文字信息的识别，从而得到身份证上的信息。
[0146]
对于上述开始考核之前的人脸对比检测，是对考生信息中的人像(预录考生人脸)、身份证人像、面签人像(考生签到人脸)的两两比对，三者中任意两幅人脸采用的是图9所示的人脸对比方式。如图9所示，首先是对于输入的人脸图像，先将其缩放为固定大小，然后进行亮度均衡化和图像归一化处理，以便卷积神经网络cnn(convolutional neural network，卷积神经网络)能够更好地学习特征。将经过预处理的人脸图像输入到cnn中，经过多层卷积和池化操作，提取出人脸图像的高维度特征向量。对于提取出的特征向量，进行l2归一化处理，即将向量除以其自身的模长，使得不同人脸之间的距离具有可比性。对于两张人脸图像，分别提取出其对应的特征向量，并使用余弦相似度来计算两个向量之间的距离。如果两个向量之间的距离小于一个预定的阈值，就判断为同一个人脸，否则判断为不同的人脸。
[0147]
请参考图10，图10为本发明提供的一种无人监考装置的结构示意图，该无人监考装置应用于处理器，包括：
[0148]
获取模块101，用于实时获取考试过程中考试现场的视频数据以及音频数据；
[0149]
语音检测模块102，用于基于音频数据，通过检测语音关键字的方式对考试过程中的作弊行为进行检测；
[0150]
视频检测模块103，用于基于视频数据，通过图像识别技术对考试过程中的作弊行为进行检测；
[0151]
其中，基于音频数据进行的作弊检测与基于视频数据进行的作弊检测，任一次的检测结果独立生效。
[0152]
对于本发明实施例提供的无人监考装置的介绍请参照前述的无人监考方法的实施例，本发明实施例在此不做限定。
[0153]
请参考图11，图11为本发明提供的一种无人监考设备的结构示意图，该无人监考设备包括：
[0154]
存储器111，用于存储计算机程序；
[0155]
处理器112，用于执行计算机程序时实现如前述实施例中无人监考方法的步骤。
[0156]
对于本发明实施例提供的无人监考设备的介绍请参照前述的无人监考方法的实施例，本发明实施例在此不做限定。
[0157]
本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述实施例中无人监考方法的步骤。
[0158]
对于本发明实施例提供的无人监考设备的介绍请参照前述的无人监考方法的实施例，本发明实施例在此不做限定。
[0159]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置
而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0160]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种无人监考方法，其特征在于，应用于处理器，包括：实时获取考试过程中考试现场的视频数据以及音频数据；基于所述音频数据，通过检测语音关键字的方式对考试过程中的作弊行为进行检测；基于所述视频数据，通过图像识别技术对考试过程中的作弊行为进行检测；其中，基于所述音频数据进行的作弊检测与基于所述视频数据进行的作弊检测，任一次的检测结果独立生效。2.根据权利要求1所述的无人监考方法，其特征在于，所述基于所述视频数据，通过图像识别技术对考试过程中的作弊行为进行检测具体为：对所述视频数据中的图像进行特征提取前的预处理；对经过预处理的图像进行图像特征的提取；通过所述图像特征识别图像中的预设目标并得到预测目标；判断所述预测目标中是否存在指定作弊物品；若存在，则判定存在作弊可能；判断所述预测目标中是否包含预设考生人脸图像；若不包含，则判定存在作弊可能；其中，所述预设目标包括所述指定作弊物品以及所述预设考生人脸图像。3.根据权利要求2所述的无人监考方法，其特征在于，所述预设目标中还包括人体部位；所述判断所述预测目标中是否存在指定作弊物品之前，该无人监考方法还包括：判断所述预测目标中的人体部位是否归属于多个主人；若归属于多个主人，判定存在作弊可能；若不归属于多个主人，则执行所述判断所述预测目标中是否存在指定作弊物品的步骤。4.根据权利要求3所述的无人监考方法，其特征在于，所述预设目标中还包括双手；所述通过所述图像特征识别图像中的预设目标并得到预测目标之后，该无人监考方法还包括：判断所述预测目标中的双手是否位于考试限定区域之内；若不位于，则判定存在作弊可能。5.根据权利要求2所述的无人监考方法，其特征在于，所述判断所述预测目标中是否包含预设考生人脸图像之后，该无人监考方法还包括：通过尺度感知的热力图方式确定出所述预测目标中的考生人脸图像的五关键点的坐标；通过所述五关键点的坐标确定出人脸偏转角度；判断所述人脸偏转角度是否大于预设阈值；若大于，判定存在作弊可能。6.根据权利要求1所述的无人监考方法，其特征在于，所述基于所述音频数据，通过检测语音关键字的方式对考试过程中的作弊行为进行检测具体为：对所述音频数据进行预处理，以便加强语音特征并去除冗余数据；通过梅尔倒谱系数提取经过预处理的所述音频数据中的语音帧的语音特征；
将所述音频数据中连续预设数量个所述语音帧对应的所述语音特征进行特征融合得到待识别语音特征；判断所述待识别语音特征中是否存在预设关键字；若存在，则判定存在作弊可能。7.根据权利要求1至6任一项所述的无人监考方法，其特征在于，所述实时获取考试过程中考试现场的视频数据以及音频数据之前，该无人监考方法还包括：获取考生手持身份证的目标图像；获取所述目标图像中的人脸信息并将其作为考生签到人脸，并获取所述目标图像中的身份证上的身份证人像以及文字信息；判断所述文字信息与预录考生信息是否一致；若不一致，则终止考试；若一致，则判断所述身份证人像、预录考生人脸以及所述考生签到人脸是否对应于同一人；若对应于同一人，执行所述实时获取考试过程中考试现场的视频数据以及音频数据的步骤；若不对应于同一人，则终止考试。8.一种无人监考装置，其特征在于，应用于处理器，包括：获取模块，用于实时获取考试过程中考试现场的视频数据以及音频数据；语音检测模块，用于基于所述音频数据，通过检测语音关键字的方式对考试过程中的作弊行为进行检测；视频检测模块，用于基于所述视频数据，通过图像识别技术对考试过程中的作弊行为进行检测；其中，基于所述音频数据进行的作弊检测与基于所述视频数据进行的作弊检测，任一次的检测结果独立生效。9.一种无人监考设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述无人监考方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述无人监考方法的步骤。

技术总结
本发明公开了一种无人监考方法、装置、设备及计算机可读存储介质，属于数据分析领域，用于利用音视频数据分析进行监考。考虑到处理器基于各种图像处理技术可以进行作弊行为识别，又结合考虑到在考试现场，考生可能通过语音消息的方式进行作弊，因此本申请中的处理器首先可以实时获取考试过程中考试现场的视频数据以及音频数据，对于音频数据，可以通过检测语音关键字的方式对考试过程中的作弊行为进行检测，而对于视频数据，可以通过图像识别技术对考试过程中的作弊行为进行检测，由于应用于处理器，且可以对实时数据进行处理，因此在降低人力成本的同时还提升了工作效率。在降低人力成本的同时还提升了工作效率。在降低人力成本的同时还提升了工作效率。


技术研发人员：郭小璇 朱赵虎 李鹏飞
受保护的技术使用者：青岛通产智能科技股份有限公司
技术研发日：2023.06.30
技术公布日：2023/9/20