语义理解评测方法、装置、电子设备及存储介质与流程

1.本技术的实施方式涉及数据测试技术领域，更具体地，本技术的实施方式涉及语义理解评测方法、装置、电子设备及存储介质。


背景技术：

2.本部分旨在为权利要求书中陈述的本技术的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本技术的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
3.在常规的语义理解评测过程中，通常是人工使用语义理解电子设备进行讲话，然后人工查看语义理解电子设备上显示的理解反馈结果进行评价，根据评价结果来达到评测的目的，其中，语义理解电子设备例如可以是词典笔等能够理解用户的输入的语义并反馈相应结果的设备。但这种评测方式人工成本大，准备的测试数据不能复用，每次都需要投入同等的人工来执行。而且，语义理解电子设备上所显示的结果无法快速记录，利用成像设备进行成像记录也同样耗费大量人力，效率低下，但不进行记录的话也无法排查和还原反馈结果有问题的输入语句，对数据分析和问题定位带来难度。
4.在一些现有技术中，可以通过代码将待评测的输入语句发送到语义理解电子设备的服务器，再通过抓取该服务器的反馈结果保存到本地进行评测。但是该服务器返回的反馈结果的内容与语义理解电子设备上显示的内容不一致，因此通过抓取该服务器的反馈结果无法反映真实的显示结果，利用上述方式进行评测会降低评测的准确性和有效性。
5.有鉴于此，亟需提出一种能够自动对语义理解电子设备的理解反馈结果进行抓取来进行语义理解评测的方法，以能够降低人工成本的同时，提升语义理解评测的有效性和准确性。


技术实现要素：

6.为克服相关技术中存在的问题，本技术的实施方式期望提供一种语义理解评测方法、装置、电子设备及存储介质，该语义理解评测方法能够自动对语义理解电子设备的理解反馈结果进行抓取来进行语义理解评测，降低人工成本的同时，提升语义理解评测的有效性和准确性。
7.在本技术实施方式的第一方面中，提供了一种语义理解评测方法，包括：
8.对获取的待评测语句进行预处理，得到评测语句集；将评测语句集发送至语义理解设备；接收语义理解设备反馈的理解反馈结果，理解反馈结果为语义理解设备基于评测语句集中的每一目标评测语句进行语义理解解析所得的反馈结果；基于评测语句集和理解反馈结果进行分析，得到评测结果；基于评测结果确定语义理解解析算法的优化策略。
9.在一些实施例中，在将评测语句集传输至语义理解设备之前包括：生成评测启动指令并将评测启动指令发送至语义理解设备，使得语义理解设备能够响应于评测启动指令
启动语义理解功能，语义理解功能用于执行语义理解解析。
10.在一些实施例中，将评测语句集发送至语义理解设备包括：根据预设发送间隔将评测语句集中的每一目标评测语句依次发送至语义理解设备。
11.在一些实施例中，预处理包括语句清洗处理；对获取的待评测语句进行预处理包括：基于待评测语句形成清洗输入文本；基于预设语义模型以及清洗输入文本对待评测语句进行语句清洗处理。
12.在一些实施例中，基于语义模型算法以及清洗输入文本对待评测语句进行语句清洗处理包括：将清洗输入文本输入预设语义模型，使得预设语义模型能够对待评测语句进行筛选，得到目标评测语句。
13.在一些实施例中，基于评测语句集和理解反馈结果进行分析包括：基于评测语句集和理解反馈结果形成评测输入文本；基于预设语义模型以及评测输入文本进行分析。
14.在一些实施例中，基于预设语义模型以及评测输入文本进行分析包括：将评测输入文本输入预设语义模型进行分析。
15.在一些实施例中，基于评测结果确定语义理解解析算法的优化策略包括：对评测结果进行统计分析，得到统计结果；根据统计结果确定语义理解解析算法的优化策略。
16.在本技术实施方式的第二方面中，提供了一种语义理解评测装置，用于执行如第一方面中任一项所述的语义理解评测方法，包括：
17.预处理模块，用于对获取的待评测语句进行预处理，得到评测语句集；
18.数据发送模块，用于将评测语句集发送至语义理解设备；
19.数据接收模块，接收语义理解设备反馈的理解反馈结果，理解反馈结果为语义理解设备基于评测语句集中的每一目标评测语句进行语义理解解析所得的反馈结果；
20.数据分析模块，用于基于评测语句集和理解反馈结果进行分析，得到评测结果；
21.策略优化模块，用于基于评测结果确定语义理解解析算法的优化策略。
22.本技术第三方面提供一种电子设备，包括：
23.处理器；以及
24.存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
25.本技术第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
26.本技术提出的语义理解评测方法、装置、电子设备及存储介质，通过对获取的待评测语句进行预处理，将得到的评测语句集发送至语义理解设备；进而接收语义理解设备反馈的基于评测语句集中的每一目标评测语句进行语义理解解析所得的理解反馈结果，基于评测语句集和理解反馈结果进行分析，得到评测结果，进而基于评测结果确定语义理解解析算法的优化策略。从而能够在降低人工成本提升评测效率的同时，提升语义理解评测的有效性和准确性，有利于优化语义理解解析算法。
附图说明
27.通过参考附图阅读下文的详细描述，本技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本技术的若
干实施方式，其中：
28.图1示意性地示出了适于实现本技术实施方式的示例性计算系统100的框图；
29.图2示意性地示出了根据本技术另一实施例的语义理解评测方法的流程示意图；
30.图3示意性地示出了根据本技术又一实施例的语义理解评测方法的流程示意图；
31.图4示意性地示出了根据本技术再一实施例的语义理解评测方法的流程示意图；
32.图5示意性地示出了根据本技术另一实施例的语义理解评测装置的结构示意图；
33.图6示意性地示出了根据本技术实施例的电子设备的示意框图。
34.在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
35.下面将参考若干示例性实施方式来描述本技术的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本技术，而并非以任何方式限制本技术的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
36.图1示出了适于实现本技术实施方式的示例性计算系统100的框图。如图1所示，计算系统100可以包括：中央处理单元(cpu)101、随机存取存储器(ram)102、只读存储器(rom)103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。这些设备中，与系统总线104耦合的有cpu 101、ram 102、rom 103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及显示器114与显示控制器109耦合。应当理解，图1所述的结构框图仅仅是为了示例的目的，而不是对本技术范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。
37.本领域技术人员知道，本技术的实施方式可以实现为一种系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本技术还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
38.可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举示例)例如可以包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
39.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限
于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
40.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
41.可以以一种或多种程序设计语言或其组合来编写用于执行本技术操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(lan)或广域网(wan))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
42.下面将参照本技术实施例的方法的流程图和设备(或系统)的框图描述本技术的实施方式。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
43.也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。
44.也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
45.根据本技术的实施方式，提出了一种语义理解评测方法和设备。
46.在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
47.下面参考本技术的若干代表性实施方式，详细阐释本技术的原理和精神。
48.发明概述
49.本技术人发现，在常规的语义理解评测方式人工成本大，准备的测试数据不能复用，每次都需要投入同等的人工来执行。而且，语义理解电子设备上所显示的结果无法快速记录，利用成像设备进行成像记录也同样耗费大量人力，效率低下，但不进行记录的话也无法排查和还原反馈结果有问题的输入语句，对数据分析和问题定位带来难度。
50.基于此，本技术通过对获取的待评测语句进行预处理，将得到的评测语句集发送至语义理解设备；进而接收语义理解设备反馈的基于评测语句集中的每一目标评测语句进行语义理解解析所得的理解反馈结果，基于评测语句集和理解反馈结果进行分析，得到评测结果，进而基于评测结果确定语义理解解析算法的优化策略。从而能够在降低人工成本
提升评测效率的同时，提升语义理解评测的有效性和准确性，有利于优化语义理解解析算法。
51.在介绍了本技术的基本原理之后，下面具体介绍本技术的各种非限制性实施方式。
52.应用场景总览
53.本技术实施方式的语义理解评测方法适用于针对语义理解设备的评测设备上，上述评测设备示例性地可以是服务器、计算机、平板电脑和手机等，而上述的语义理解设备示例性地可以是词典笔等能够理解用户的输入的语义并反馈相应结果的设备。从而能够通过评测设备对语义理解设备执行自动评测工作，降低人工成本提升评测效率的同时，提升语义理解评测的有效性和准确性，有利于优化语义理解解析算法。
54.示例性方法
55.下面参考图2来描述根据本技术示例性实施方式的语义理解评测方法。需要注意的是，上述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施方式在此方面不受任何限制。相反，本技术的实施方式可以应用于适用的任何场景。
56.图2示意性地示出了根据本技术另一实施例的语义理解评测方法的流程示意图。请参阅图2，本技术实施例示出的语义理解评测方法可以包括：
57.在步骤201中，对获取的待评测语句进行预处理，得到评测语句集。在本技术实施例中，待评测语句可以是从语义理解设备的线上提问日志中抓取来用于测评的语句，该线上提问日志用于记录用户在使用该语义理解设备时输入的语句，输入的方式可以是语音输入也可以是打字输入，不作唯一限定。抓取的方式可以是随机抓取，抓取的待评测语句的数量可以是五万条至六万条，在实际应用中，需根据实际应用情况而定，本技术在此方面不作任何限制。在大批量数据中再进行随机抓取，且日志时间跨度大，从而能够确保所抓取的待评测语句可以覆盖在不同时间段使用的不同用户的特点，从而保证用于评测的数据的科学性和全面性。
58.在本技术实施例中，预处理是用于对获取的待评测语句进行筛选清洗，将待评测语句中不符合要求的语句剔除掉，从而得到评测语句集，评测语句集中的语句数量可以是1000条至3000条，需根据实际应用情况而定，本技术在此方面不作任何限制。从而能够确保评测语句集中的语句的有效性和准确性。
59.在步骤202中，将评测语句集发送至语义理解设备。在本技术实施例中，可以将评测语句集导入到语义理解设备的预设目录下，该预设目录用于存储评测语句集使得语义理解设备能够在此预设目录下读取评测语句集中的语句。在实际应用中，需根据实际应用情况来确定发送方式，也可以是通过无线传输，本技术在此方面不作任何限制。
60.在步骤203中，接收语义理解设备反馈的理解反馈结果。上述的理解反馈结果为语义理解设备基于评测语句集中的每一目标评测语句进行语义理解解析所得的反馈结果。示例性地，假设评测语句集中的其中一个目标评测语句为“苹果的英语”，那么理解反馈结果可以是“apple”，在实际应用中，理解反馈结果需根据输入的语句而定，本技术在此方面不作任何限制。
61.在步骤204中，基于评测语句集和理解反馈结果进行分析，得到评测结果。在本技术实施例中，分析的目的主要在于判断评测语句集中的每一目标评测语句与语义理解设备
反馈的理解反馈结果是否一一对应相关，若评测语句集中的某一目标评测语句没有对应的理解反馈结果，或者对应的理解反馈结果与当前的目标评测语句仅是部分相关的，或者对应的理解反馈结果与当前的目标评测语句是不相关的，则可以判断当前的目标评测语句的理解反馈结果是无误或者无效的。示例性地，假设评测语句集中的其中一个目标评测语句为“我需要一个苹果的英语怎么说”，若当前的目标评测语句没有对应的理解反馈结果，或者对应的理解反馈结果为“i need a”，或者对应的理解反馈结果为“grape”，那么则可以判断当前的目标评测语句“苹果的英语”的理解反馈结果是无误或者无效的。
62.在步骤205中，基于评测结果确定语义理解解析算法的优化策略。上述的语义理解解析算法用于根据目标评测语句或者实际应用中用户输入的语句解析形成理解反馈结果的算法。若评测结果出现大面积的无效反馈或错误反馈的情况，那么语义理解解析算法则必须进行优化。其中，可以根据评测结果分析无效反馈或错误反馈对应的反馈错误类型，然后针对所得的反馈错误类型确定语义理解解析算法的优化策略。
63.本技术通过对获取的待评测语句进行预处理，将得到的评测语句集发送至语义理解设备；进而接收语义理解设备反馈的基于评测语句集中的每一目标评测语句进行语义理解解析所得的理解反馈结果，基于评测语句集和理解反馈结果进行分析，得到评测结果，进而基于评测结果确定语义理解解析算法的优化策略。从而能够在降低人工成本提升评测效率的同时，提升语义理解评测的有效性和准确性，有利于优化语义理解解析算法。
64.在一些实施例中，预处理可以包括但不限于语句清洗处理。图3示意性地示出了根据本技术又一实施例的语义理解评测方法的流程示意图，请参阅图3，本技术实施例示出的语义理解评测方法可以包括：
65.在步骤301中，基于待评测语句形成清洗输入文本。在本技术实施例中，可以设置待评测语句的清洗标准，示例性地，清洗标准可以包括如下几个方面：语句通顺、无错别字、具有明确意图以及意图正确完整。其中，例如“一年中的某个季节”即是不具有明确意图的待评测语句，需要被清洗；例如骂人、涉黄、涉政等的语句即不是意图正确完整的待评测语句，需要被清洗。
66.依据上述待评测语句的清洗标准，基于待评测语句可以形成清洗输入文本。示例性地，清洗输入文本可以具体如下：
67.请判断下面的语句是否存在语句不通顺、具有错别字、骂人、涉黄、涉政、单词存在漏空格或者语句不具有明确意图的情况。如存在回复1，不存在回复0。回复格式如下，原因解释与判断结果用制表符分隔：
68.1、1
69.2、0
70.3、1
71.待评测语句如下：
72.1、我们们明天去吃饭吧。
73.2、我们明天一去玩吧。
74.3、今天天气不错，我们一起出去玩吧。
75.4、老帅今天要讲数学第三讲，你复习了吗？
76.5、美丽滴朋友呀，今天我们一起去完吧。
77.6、the bookis gray.
[0078][0079][0080][0081]
10、一年中的某个季节。
[0082]
请回答。
[0083]
可以理解的是，以上的清洗输入文本仅为示例性的，在实际应用中，清洗输入文本的内容可以是多样的，需根据实际应用情况而定，本技术在此方面不作任何限制。
[0084]
在步骤302中，基于预设语义模型以及清洗输入文本对待评测语句进行语句清洗处理。具体地，可以将清洗输入文本输入预设语义模型，使得预设语义模型能够对待评测语句进行筛选，得到目标评测语句。其中，预设语义模型可以是人工智能技术驱动的自然语言处理工具。在实际应用中，预设语义模型可以是多样的，需根据实际应用情况而定，本技术在此方面不作任何限制。
[0085]
在一些实施例中，需要将筛选清洗完成的评测语句集发送给语义理解设备以产生理解反馈结果，从而根据评测语句集和理解反馈结果得到评测结果。图4示意性地示出了根据本技术再一实施例的语义理解评测方法的流程示意图，本技术实施例示出的语义理解评测方法可以包括：
[0086]
在步骤401中，生成评测启动指令并将评测启动指令发送至语义理解设备。在本技术实施例中，所生成的评测启动指令可以视为用于触发语义理解设备进行评测环境配置，该评测启动指令可以包含但不限于预设目录确定指令和语义理解功能启动指令。其中，上述的预设目录确定指令可以用于确定评测语句集导入的预设目录的路径地址，示例性地，预设目录的路径地址可以是vi/usr/bin/rundictpen。上述的语义理解功能启动指令用于启动语义理解功能，示例性地，语义理解功能启动指令可以是export debug_speech_nlp＝1，从而使得语义理解设备能够响应于评测启动指令启动语义理解功能，语义理解功能用于执行语义理解解析，执行语义理解解析可以是将评测语句集中的每一目标评测语句发送给语义理解设备对应的线上服务器进行解析的过程。
[0087]
可以理解的是，以上对于评测启动指令和执行语义理解解析的过程仅为示例性的，在实际应用中，需根据实际应用情况而定，本技术在此方面不作任何限制。
[0088]
在步骤402中，将评测语句集发送至语义理解设备。具体地，可以根据预设发送间隔将评测语句集中的每一目标评测语句依次发送至语义理解设备。预设发送间隔示例性地可以设置为5秒至10秒之间的时间，在实际应用中，预设发送间隔的设置方式是多样的，需根据实际应用情况而定，本技术在此方面不作任何限制。
[0089]
在步骤403中，接收语义理解设备反馈的理解反馈结果。理解反馈结果可以以展示给用户查看的形式以html样式保存到语义理解设备文件中，形成html文件，进而通过对html文件进行解释，生成excel文件，在实际应用中，需根据实际应用情况而定，本技术在此方面不作任何限制。
[0090]
在步骤404中，基于评测语句集和理解反馈结果形成评测输入文本。示例性地，评测输入文本可以具体如下：
[0091]
你现在是一个帮助人解决疑问的助手，主要服务的用户是还在上学的学生。现在
你需要针对学生提出的问题，以及不同产品对应的答案进行判断，部分答案的格式为html。判断维度为：答案准确率，以及两个答案的优劣对比，对答案差的产品进行问题分析。内容之间用制表符分隔。如果答案准确则输出1，答案有错误则输出0，答案为提示语则输出-1。产品优劣的维度为第一产品优、第二产品优和双方持平。
[0092]
回复格式如下：
[0093]
第一产品准确度得分；第二产品准确度得分；产品优劣对比(选项有第一产品优、第二产品优、双方持平)；答案差的产品的问题分析。
[0094]
判断的内容格式如下：
[0095][0095][0096]
请按照要求的格式回答。
[0097]
可以理解的是，以上的评测输入文本中的“问题”相当于评测语句集中的目标评测语句，而“产品”则是相当于理解反馈结果。以上的评测输入文本仅为示例性的，在实际应用中，清洗输入文本的内容可以是多样的，需根据实际应用情况而定，本技术在此方面不作任何限制。
[0098]
在步骤405中，基于预设语义模型以及评测输入文本进行分析。具体地可以将评测输入文本输入预设语义模型进行分析。在实际应用中，预设语义模型可以是多样的，需根据实际应用情况而定，本技术在此方面不作任何限制。
[0099]
在步骤406中，基于评测结果确定语义理解解析算法的优化策略。具体地，可以对
评测结果进行统计分析，得到统计结果，该统计结果可以包含但不限于理解反馈结果的准确率，以及无效反馈或错误反馈对应的反馈错误类型，该反馈错误类型包含但不限于解析功能故障类型、解析结果关联性类型和反馈内容质量类型等等。进而根据统计结果确定语义理解解析算法的优化策略，优化策略可以包括但不限于第一优化策略、第二优化策略和第三优化策略，其中第一优化策略可以是针对解析功能故障类型进行优化的策略，第二优化策略可以是针对解析结果关联性类型进行优化的策略，第三优化策略可以是针对反馈内容质量类型进行优化的策略，需根据实际应用情况而定，本技术在此方面不作任何限制。
[0100]
示例性设备
[0101]
在介绍了本技术示例性实施方式的方法之后，接下来，参考图5和图6对本技术示例性实施方式的语义理解评测方法的相关产品进行描述。
[0102]
图5示意性地示出了根据本技术另一实施例的语义理解评测装置的结构示意图，请参阅图5，本技术实施例示出的语义理解评测装置可以包括：
[0103]
预处理模块501，用于对获取的待评测语句进行预处理，得到评测语句集；
[0104]
数据发送模块502，用于将评测语句集发送至语义理解设备；
[0105]
数据接收模块503，接收语义理解设备反馈的理解反馈结果，理解反馈结果为语义理解设备基于评测语句集中的每一目标评测语句进行语义理解解析所得的反馈结果；
[0106]
数据分析模块504，用于基于评测语句集和理解反馈结果进行分析，得到评测结果；
[0107]
策略优化模块505，用于基于评测结果确定语义理解解析算法的优化策略。
[0108]
本技术实施例示出的语义理解评测装置，通过对获取的待评测语句进行预处理，将得到的评测语句集发送至语义理解设备；进而接收语义理解设备反馈的基于评测语句集中的每一目标评测语句进行语义理解解析所得的理解反馈结果，基于评测语句集和理解反馈结果进行分析，得到评测结果，进而基于评测结果确定语义理解解析算法的优化策略。从而能够在降低人工成本提升评测效率的同时，提升语义理解评测的有效性和准确性，有利于优化语义理解解析算法。
[0109]
图6示意性地示出了根据本技术实施例的电子设备的示意框图。请参阅图6，电子设备600可以包括：
[0110]
处理器601；以及
[0111]
存储器602，其存储有计算机指令，当所述计算机指令由所述处理器601运行时，使得所述电子设备600执行根据前文多个实施例所述的方法。
[0112]
在一些实施场景中，电子设备600可以包括服务器或者终端设备，例如物理服务器、云端服务器、服务器集群、数据处理装置、应用测试机器人、电脑终端、智能终端、pc设备和物联网终端等等。
[0113]
处理器601可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0114]
基于上文，本技术还公开了一种计算机可读存储介质，包含程序指令，当所述程序指令由处理器执行时，使得实现根据前文多个实施例所述的方法。
[0115]
在一些实施场景中，上述计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器rram(resistive random access memory)、动态随机存取存储器dram(dynamic random access memory)、静态随机存取存储器sram(static random-access memory)、增强动态随机存取存储器edram(enhanced dynamic random access memory)、高带宽内存hbm(high-bandwidth memory)、混合存储立方hmc(hybrid memory cube)等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本发明描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
[0116]
应当注意，尽管在上文详细描述中提及了语义理解评测装置的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。
[0117]
此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0118]
申请文件中提及的动词“包括”、“包含”及其词形变化的使用不排除除了申请文件中记载的那些元素或步骤之外的元素或步骤的存在。元素前的冠词“一”或“一个”不排除多个这种元素的存在。
[0119]
虽然已经参考若干具体实施方式描述了本技术的精神和原理，但是应该理解，本技术并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本技术旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

技术特征：
1.一种语义理解评测方法，其特征在于，包括：对获取的待评测语句进行预处理，得到评测语句集；将所述评测语句集发送至语义理解设备；接收所述语义理解设备反馈的理解反馈结果，所述理解反馈结果为所述语义理解设备基于所述评测语句集中的每一目标评测语句进行语义理解解析所得的反馈结果；基于所述评测语句集和所述理解反馈结果进行分析，得到评测结果；基于所述评测结果确定语义理解解析算法的优化策略。2.根据权利要求1所述的语义理解评测方法，其特征在于，在所述将所述评测语句集传输至语义理解设备之前包括：生成评测启动指令并将所述评测启动指令发送至所述语义理解设备，使得所述语义理解设备能够响应于所述评测启动指令启动语义理解功能，所述语义理解功能用于执行语义理解解析。3.根据权利要求1所述的语义理解评测方法，其特征在于，所述将所述评测语句集发送至语义理解设备包括：根据预设发送间隔将所述评测语句集中的每一目标评测语句依次发送至所述语义理解设备。4.根据权利要求1所述的语义理解评测方法，其特征在于，所述预处理包括语句清洗处理；所述对获取的待评测语句进行预处理包括：基于所述待评测语句形成清洗输入文本；基于预设语义模型以及所述清洗输入文本对所述待评测语句进行所述语句清洗处理。5.根据权利要求4所述的语义理解评测方法，其特征在于，所述基于语义模型算法以及所述清洗输入文本对所述待评测语句进行所述语句清洗处理包括：将所述清洗输入文本输入所述预设语义模型，使得所述预设语义模型能够对所述待评测语句进行筛选，得到目标评测语句。6.根据权利要求4所述的语义理解评测方法，其特征在于，所述基于所述评测语句集和所述理解反馈结果进行分析包括：基于所述评测语句集和所述理解反馈结果形成评测输入文本；基于所述预设语义模型以及所述评测输入文本进行分析。7.根据权利要求1所述的语义理解评测方法，其特征在于，所述基于所述评测结果确定语义理解解析算法的优化策略包括：对所述评测结果进行统计分析，得到统计结果；根据所述统计结果确定所述语义理解解析算法的优化策略。8.一种语义理解评测装置，其特征在于，用于执行如权利要求1-7中任一项所述的语义理解评测方法，包括：预处理模块，用于对获取的待评测语句进行预处理，得到评测语句集；数据发送模块，用于将所述评测语句集发送至语义理解设备；数据接收模块，接收所述语义理解设备反馈的理解反馈结果，所述理解反馈结果为所述语义理解设备基于所述评测语句集中的每一目标评测语句进行语义理解解析所得的反
馈结果；数据分析模块，用于基于所述评测语句集和所述理解反馈结果进行分析，得到评测结果；策略优化模块，用于基于所述评测结果确定语义理解解析算法的优化策略。9.一种电子设备，其特征在于，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-7中任一项所述的方法。10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-7中任一项所述的方法。

技术总结
本申请的实施方式提供了一种语义理解评测方法、装置、电子设备及存储介质。该语义理解评测方法包括：对获取的待评测语句进行预处理，得到评测语句集；将评测语句集发送至语义理解设备；接收语义理解设备反馈的理解反馈结果，理解反馈结果为语义理解设备基于评测语句集中的每一目标评测语句进行语义理解解析所得的反馈结果；基于评测语句集和理解反馈结果进行分析，得到评测结果；基于评测结果确定语义理解解析算法的优化策略。本申请提出的方案，能够自动对语义理解电子设备的理解反馈结果进行抓取来进行语义理解评测，降低人工成本的同时，提升语义理解评测的有效性和准确性。提升语义理解评测的有效性和准确性。提升语义理解评测的有效性和准确性。


技术研发人员：王丹
受保护的技术使用者：网易有道信息技术（北京）有限公司
技术研发日：2023.04.10
技术公布日：2023/9/23