对话信息的获取方法和装置、存储介质及电子装置与流程

1.本技术涉及智慧家庭技术领域，具体而言，涉及一种对话信息的获取方法和装置、存储介质及电子装置。


背景技术：

2.当前智能家居对话系统主要以单模态文本构建的，无法回答用户视频、图像的问题等跨模态的问题。比如用户发一张空调328型号的照片，然后问系统说“这个空调都有什么模式？”，此类多模态问题时，由于无法同时结合不同模态信息，当前系统是无法回答此类问题。
3.相关技术中，主要是基于文本的指代消解方法，它主要根据用户问题中的第一关键词等信息，结合对话上下文文本内容，构建一系列消解指代消解深度学习模型，比如翻译模型，在预测时直接将第一关键词翻译为上文对应指代的内容，或者句法解析上文内容，然后构建规则用上文对应的名词或主语等替换为当前用户问题的第一关键词，以此消解。但是无论时深度模型方法实现，还是句法解析等规则方法实现，都是基于文本单模态的，此类系统无法解析上文出现的图片内容信息，也就无法实现指代消解。
4.针对相关技术中，无法结合不同模态信息确定用户的对话信息等问题，尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种对话信息的获取方法和装置、存储介质及电子装置，以至少解决相关技术中，无法结合不同模态信息确定用户的对话信息等问题。
6.根据本技术实施例的一个实施例，提供了一种对话信息的获取方法，包括：对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息。
7.在一个示例性实施例中，根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息，包括：在所述第一对话信息中存在所述第一关键词和/或所述第二关键词的情况下，确定与所述第一对话信息对应的第一范围内的历史对话信息，其中，所述目标范围包括：所述第一范围；在所述第一对话信息中存在所述第一关键词，且不存在所述第二关键词的情况下，确定与所述第一对话信息对应的第二范围内的历史对话信息，其中，所述目标范围包括：所述第二范围，所述第一范围大于所述第二范围。
8.在一个示例性实施例中，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，包括：确定所述第一对话信息中是否存在用于指示第一对象的关键词，其
中，所述第一对象至少包括以下之一：文字、物体、用户；在所述第一对话信息中存在用于指示所述第一对象的关键词的情况下，根据所述第一对象对应的解析方式对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果。
9.在一个示例性实施例中，根据所述第一对象对应的解析方式对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，至少包括以下之一：在所述第一对象为文字的情况下，通过文字识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的文字信息，其中，所述多媒体信息解析结果包括：所述文字信息；在所述第一对象为物体的情况下，通过物体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的物体信息，其中，所述多媒体信息解析结果包括：所述物体信息；在所述第一对象为用户的情况下，通过人体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的用户信息，其中，所述多媒体信息解析结果包括：所述用户信息。
10.在一个示例性实施例中，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，包括：通过解析方式对所述第一多媒体信息进行多媒体信息解析，得到所述第一多媒体信息中的第二对象和所述第二对象的对象信息，其中，所述解析方式至少包括以下之一：文字识别方式、物体识别方式、人体识别方式，所述第二对象至少包括以下之一：文字、物体、用户，所述多媒体信息解析结果包括：所述对象信息。
11.在一个示例性实施例中，根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息，包括：根据所述多媒体信息解析结果确定所述第一对话信息中的第一关键词和/或第二关键词对应的名词；将所述名词替代所述第一对话信息中的所述第一关键词和/或所述第二关键词，将替换后的第一对话信息获取为所述第二对话信息。
12.在一个示例性实施例中，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果之前，所述方法还包括：确定所述历史对话信息中是否存在所述第一多媒体信息；在所述历史对话信息中不存在所述第一多媒体信息的情况下，获取第二对象输入的第三对话信息，其中，所述第三对话信息的输入时间晚于所述第一对话信息的输入时间；在所述第三对话信息中不存在第一多媒体信息的情况下，向所述第二对象发送用于指示所述第一对话信息不完整的提示信息。
13.根据本技术实施例的另一个实施例，还提供了一种对话信息的获取装置，包括：第一解析模块，用于对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；第一确定模块，用于根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；第二解析模块，用于在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；第二确定模块，用于根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息。
14.根据本技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述对话信息的获取方法。
15.根据本技术实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存
储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的对话信息的获取方法。
16.在本技术实施例中，对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息；采用上述技术方案，解决了无法结合不同模态信息确定用户的对话信息等问题，本发明实施例结合上下文信息和多模态多轮状态，帮忙用户进行跨模态的指代消解，实现多模态多轮对话。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
19.图1是本技术实施例的一种对话信息的获取方法的硬件环境示意图；
20.图2是根据本技术实施例的对话信息的获取方法的流程图；
21.图3是根据本技术实施例的对话信息的获取方法的示意图；
22.图4是根据本技术实施例的一种对话信息的获取装置的结构框图(一)；
23.图5是根据本技术实施例的一种对话信息的获取装置的结构框图(二)。
具体实施方式
24.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
25.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.根据本技术实施例的一个方面，提供了一种对话信息的获取方法。该对话信息的获取方法广泛应用于智慧家庭(smart home)、智能家居、智能家用设备生态、智慧住宅
(intelligencehouse)生态等全屋智能数字化控制应用场景。可选地，在本实施例中，上述对话信息的获取方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端设备102进行连接，可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器104提供数据运算服务。
27.上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：wifi(wireless fidelity，无线保真)，蓝牙。终端设备102可以并不限定于为pc、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
28.在本实施例中提供了一种对话信息的获取方法，应用于计算机终端，图2是根据本技术实施例的对话信息的获取方法的流程图，该流程包括如下步骤：
29.步骤s202，对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；
30.举例来讲，第一对话信息可以为“这个图片上的小女孩是谁”、“那个空调的功能有什么”等。
31.需要说明的是，在第一对话信息为“这个图片上的小女孩是谁”的情况下，第一对话信息中存在第一关键词，且存在第二关键词；在第一对话信息为“这个小女孩是谁”的情况下，第一对话信息中存在第一关键词，但不存在第二关键词。
32.需要说明的是，第一关键词可以理解为指示代词，指示代词包括但不限于：这、那、这个、那个；第一关键词可以理解为人称代词，人称代词包括但不限于：你、我、他、它；第二关键词可以理解为多模态信息关键词，多模态信息关键词包括但不限于：图片、照片、视频、语音。
33.步骤s204，根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；
34.需要说明的是，本发明实施例可以历史对话记录可以为与所述第一对象最近一轮的历史对话记录，也可以是与所述第一对象最近五轮的历史对话记录，还可以是所有的与所述第一对象的历史对话记录，本发明实施例对此不作限定。
35.步骤s206，在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；
36.步骤s208，根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息。
37.通过上述步骤，对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具
备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；根据多媒体信息解析结果和所述第一对话信息，确定所述第一对话信息对应的第二对话信息，解决了相关技术中，无法结合不同模态信息确定用户的对话信息等问题，本发明实施例结合上下文信息和多模态多轮状态，帮忙用户进行跨模态的指代消解，实现多模态多轮对话。
38.在一个示例性实施例中，根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息，包括：在所述第一对话信息中存在所述第一关键词和/或所述第二关键词的情况下，确定与所述第一对话信息对应的第一范围内的历史对话信息，其中，所述目标范围包括：所述第一范围；在所述第一对话信息中存在所述第一关键词，且不存在所述第二关键词的情况下，确定与所述第一对话信息对应的第二范围内的历史对话信息，其中，所述目标范围包括：所述第二范围，所述第一范围大于所述第二范围。
39.需要说明的是，在第一对话信息中存在第一关键词，且存在第二关键词的情况下，或者在第一对话信息中不存在第一关键词，存在第二关键词的情况下，说明大概率与所述第一对象的历史对话记录中存在第一多媒体信息，因此，获取大范围的历史对话记录；在第一对话信息中存在第一关键词，且不存在第二关键词的情况下，说明小概率与所述第一对象的历史对话记录中存在第一多媒体信息，因此，获取小范围的历史对话记录。
40.需要说明的是，本发明实施例第二范围内的历史对话信息可以为与所述第一对象最近一轮的历史对话记录，第一范围内的历史对话信息可以是与所述第一对象最近五轮的历史对话记录，还可以是所有的与所述第一对象的历史对话记录，本发明实施例对此不作限定。
41.在一个示例性实施例中，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，包括：确定所述第一对话信息中是否存在用于指示第一对象的关键词，其中，所述第一对象至少包括以下之一：文字、物体、用户；在所述第一对话信息中存在用于指示所述第一对象的关键词的情况下，根据所述第一对象对应的解析方式对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果。
42.具体地，根据所述第一对象对应的解析方式对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，至少包括以下之一：在所述第一对象为文字的情况下，通过文字识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的文字信息，其中，所述多媒体信息解析结果包括：所述文字信息；在所述第一对象为物体的情况下，通过物体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的物体信息，其中，所述多媒体信息解析结果包括：所述物体信息；在所述第一对象为用户的情况下，通过人体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的用户信息，其中，所述多媒体信息解析结果包括：所述用户信息。
43.需要说明的是，由于图像理解范围众多，包括物体检测、图像中文字识别(即ocr)、人脸识别、人体检测等等，因此，需要结合第一对话信息中需要消解的第一关键词词性，帮助缩小图像理解范围。比如用户发一张空调328型号的照片，然后问系统说“这个空调都有什么模式？”，“这个”作为定语修饰空调，空调是一种家电，所以图像应该进行物体识别，通
过物体检测识别出这是一个家居设备空调，且识别出型号是328。进而达到了提高图像识别效率的技术效果。
44.举例来讲，在第一对话信息为“这个图片中的文字是什么谁说的”的情况下，说明第一多媒体信息中存在文字，因此，通过文字识别的方式解析图片，以获取图片中的文字。
45.在一个示例性实施例中，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，包括：通过解析方式对所述第一多媒体信息进行多媒体信息解析，得到所述第一多媒体信息中的第二对象和所述第二对象的对象信息，其中，所述解析方式至少包括以下之一：文字识别方式、物体识别方式、人体识别方式，所述第二对象至少包括以下之一：文字、物体、用户，所述多媒体信息解析结果包括：所述对象信息。
46.本发明实施例中，在用户发送一张图片、一个视频等多媒体信息的情况下，通过物体检测、图像中文字识别(即ocr)、人脸识别、人体检测等检测方式解析接收到的多媒体信息，进而将解析结果存储到数据库中，进而后续如果需要直接在数据库中获取检测结果。
47.在一个示例性实施例中，根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息，包括：根据所述多媒体信息解析结果确定所述第一对话信息中的第一关键词和/或第二关键词对应的名词；将所述名词替代所述第一对话信息中的所述第一关键词和/或所述第二关键词，将替换后的第一对话信息获取为所述第二对话信息。
48.举例来讲，用户发一张空调328型号的照片，然后问系统说“这个空调都有什么模式？”，“这个”作为定语修饰空调，空调是一种家电，所以图像应该进行物体识别，通过物体检测识别出这是一个家居设备空调，且识别出型号是328，进而将“这个空调都有什么模式？”替换为“型号是328的空调都有什么模式？”49.在一个示例性实施例中，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果之前，所述方法还包括：确定所述历史对话信息中是否存在所述第一多媒体信息；在所述历史对话信息中不存在所述第一多媒体信息的情况下，获取第二对象输入的第三对话信息，其中，所述第三对话信息的输入时间晚于所述第一对话信息的输入时间；在所述第三对话信息中不存在第一多媒体信息的情况下，向所述第二对象发送用于指示所述第一对话信息不完整的提示信息。
50.也就是说，用户可能先发送对话信息，然后再发送多媒体信息，因此，在历史对话记录中不存在第一多媒体信息的情况下，还可以输入时间晚于所述第一对话信息的输入时间的第三对话信息，进而根据第三对话信息中的第二多媒体信息确定所述第一关键词对应的名词；在第三对话信息和历史对话信息中均不存在多媒体信息的情况下，向第二对象发送用于指示第一对话信息不完整的提示信息，进而使得第二对象补充所述第一对话信息。
51.为了更好的理解上述对话信息的获取方法的过程，以下再结合可选实施例对上述对话信息的获取的实现方法流程进行说明，但不用于限定本技术实施例的技术方案。
52.在本实施例中提供了一种对话信息的获取方法，图3是根据本技术实施例的对话信息的获取方法的示意图，如图3所示，具体如下步骤：步骤s301：获取用户输入的文本对话；
53.步骤s302：对文本对话的词性、句法解析；
54.步骤s303：在文本对话中有第一关键词的情况下，触发多模态指代消解功能；
55.需要说明的是，第一关键词包括：指示第一关键词和人称第一关键词，指示第一关键词包括但不限于：这、那、这个、那个；人称第一关键词包括但不限于：你、我、他、它；第二关键词包括但不限于：图片、照片等，当然用户也可能不会说出图片、照片等关键词，而是先直接发一张照片，然后发起对话，都会触发多模态指代消解功能。
56.步骤s304：在触发多模态指代消解功能的情况下，获取历史对话记录；
57.需要说明的是，可能最近一轮对话就是图片，也可能间隔了几轮才有图片。对于没有多模态触词且同时最近上一轮不是图片的情况下，提示用户对话不完整。在存在多模态触词的情况下获取5轮对话记录；在用户当前轮不带多模态触发词的情况下，获取最近一轮的对话记录。
58.步骤s305：在历史对话记录中存在图像的情况下，进行图像内容理解；
59.由于图像理解范围众多，包括物体检测、图像中文字识别(即ocr)、人脸识别、人体检测等等，需要结合当前文本对话中需要消解的第一关键词词性，帮助缩小图像理解范围。比如用户发一张空调328型号的照片，然后问系统说“这个空调都有什么模式？”，“这个”作为定语修饰空调，空调是一种家电，所以图像应该进行物体识别，通过图像理解识别出这是一个家居设备空调，且识别出型号是328。或者在用户发送一张图片时，物体检测、图像中文字识别(即ocr)、人脸识别、人体检测解析图片，然后存到对话记录里。
60.步骤s306：根据解析结果将图片对应的名词替换掉文本对话中相应位置上的第一关键词。
61.需要说明的是，考虑到句法结构和句子通顺，还需要对句子中的词语进行去重。举例来讲，把“这个”修饰的中心与“空调”和图像识别出的空调328去重，适当进行后处理。最后完成多模态指代消解。
62.本发明实施例，结合词性、句法解析，以及根据第二关键词触发多模态指代消解；根据词性和句法解析缩小了图像内容识别范围；利用句法解析，最后消解后到句子进行后处理。本发明实施例，结合上下文信息和多模态多轮状态，帮忙用户进行跨模态的指代消解，实现多模态多轮对话。同时，在视线中语法知识，缩小多模态比如图像理解任务范围，提高图像识别效率，因为图像识别速度较慢，且需要占用大量资源进行出来，因此通过结合语法信息能大大提高效率。根据多模态触发词，或者限定在最近一轮为图片等方式，较少了无意义多模态指代消解触发，提高系统效率。最后结合语法规则，进行指代消解后的后处理，使指代消解结果更通顺。本发明相比于使用纯深度学习方法成本低廉，更易实现。
63.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例的方法。
64.图4是根据本技术实施例的一种对话信息的获取装置的结构框图(一)；如图4所示，包括：
65.第一解析模块42，用于对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否
存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；
66.第一确定模块44，用于根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；
67.第二解析模块46，用于在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；
68.第二确定模块48，用于根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息。
69.通过上述装置，对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息，解决了相关技术中，无法结合不同模态信息确定用户的对话信息等问题，本发明实施例结合上下文信息和多模态多轮状态，帮忙用户进行跨模态的指代消解，实现多模态多轮对话。
70.在一个示例性实施例中，第一确定模块，用于在所述第一对话信息中存在所述第一关键词和/或所述第二关键词的情况下，确定与所述第一对话信息对应的第一范围内的历史对话信息，其中，所述目标范围包括：所述第一范围；在所述第一对话信息中存在所述第一关键词，且不存在所述第二关键词的情况下，确定与所述第一对话信息对应的第二范围内的历史对话信息，其中，所述目标范围包括：所述第二范围，所述第一范围大于所述第二范围。
71.在一个示例性实施例中，第二解析模块，用于确定所述第一对话信息中是否存在用于指示第一对象的关键词，其中，所述第一对象至少包括以下之一：文字、物体、用户；在所述第一对话信息中存在用于指示所述第一对象的关键词的情况下，根据所述第一对象对应的解析方式对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果。
72.在一个示例性实施例中，第二解析模块，还用于执行至少以下之一：在所述第一对象为文字的情况下，通过文字识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的文字信息，其中，所述多媒体信息解析结果包括：所述文字信息；在所述第一对象为物体的情况下，通过物体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的物体信息，其中，所述多媒体信息解析结果包括：所述物体信息；在所述第一对象为用户的情况下，通过人体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的用户信息，其中，所述多媒体信息解析结果包括：所述用户信息。
73.在一个示例性实施例中，第二解析模块，用于通过解析方式对所述第一多媒体信息进行多媒体信息解析，得到所述第一多媒体信息中的第二对象和所述第二对象的对象信息，其中，所述解析方式至少包括以下之一：文字识别方式、物体识别方式、人体识别方式，所述第二对象至少包括以下之一：文字、物体、用户，所述多媒体信息解析结果包括：所述对象信息。
74.在一个示例性实施例中，第二确定模块，用于根据所述多媒体信息解析结果确定
所述第一对话信息中的第一关键词和/或第二关键词对应的名词；将所述名词替代所述第一对话信息中的所述第一关键词和/或所述第二关键词，将替换后的第一对话信息获取为所述第二对话信息。
75.在一个示例性实施例中，图5是根据本技术实施例的一种对话信息的获取装置的结构框图(二)；如图5所示，包括：发送模块52，其中，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果之前，所述方法还包括：第一确定模块，用于确定所述历史对话信息中是否存在所述第一多媒体信息；第一解析模块，用于在所述历史对话信息中不存在所述第一多媒体信息的情况下，获取第二对象输入的第三对话信息，其中，所述第三对话信息的输入时间晚于所述第一对话信息的输入时间；发送模块52，用于在所述第三对话信息中不存在第一多媒体信息的情况下，向所述第二对象发送用于指示所述第一对话信息不完整的提示信息。
76.本技术的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。
77.可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
78.s1，对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；
79.s2，根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；
80.s3，在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；
81.s4，根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息。
82.本技术的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
83.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
84.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
85.s1，对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；
86.s2，根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；
87.s3，在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；
88.s4，根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息。
89.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
90.可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
91.显然，本领域的技术人员应该明白，上述的本技术的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术不限制于任何特定的硬件和软件结合。
92.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。

技术特征：
1.一种对话信息的获取方法，其特征在于，包括：对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息。2.根据权利要求1所述的对话信息的获取方法，其特征在于，根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息，包括：在所述第一对话信息中存在所述第一关键词和/或所述第二关键词的情况下，确定与所述第一对话信息对应的第一范围内的历史对话信息，其中，所述目标范围包括：所述第一范围；在所述第一对话信息中存在所述第一关键词，且不存在所述第二关键词的情况下，确定与所述第一对话信息对应的第二范围内的历史对话信息，其中，所述目标范围包括：所述第二范围，所述第一范围大于所述第二范围。3.根据权利要求1所述的对话信息的获取方法，其特征在于，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，包括：确定所述第一对话信息中是否存在用于指示第一对象的关键词，其中，所述第一对象至少包括以下之一：文字、物体、用户；在所述第一对话信息中存在用于指示所述第一对象的关键词的情况下，根据所述第一对象对应的解析方式对所述第一多媒体信息进行多媒体信息解析，得到所述多媒体信息解析结果。4.根据权利要求3所述的对话信息的获取方法，其特征在于，根据所述第一对象对应的解析方式对所述第一多媒体信息进行多媒体信息解析，得到所述多媒体信息解析结果，至少包括以下之一：在所述第一对象为文字的情况下，通过文字识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的文字信息，其中，所述多媒体信息解析结果包括：所述文字信息；在所述第一对象为物体的情况下，通过物体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的物体信息，其中，所述多媒体信息解析结果包括：所述物体信息；在所述第一对象为用户的情况下，通过人体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的用户信息，其中，所述多媒体信息解析结果包括：所述用户信息。5.根据权利要求1-4任一项所述的对话信息的获取方法，其特征在于，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，包括：通过解析方式对所述第一多媒体信息进行多媒体信息解析，确定所述第一多媒体信息中的第二对象和所述第二对象的对象信息，其中，所述解析方式至少包括以下之一：文字识别方式、物体识别方式、人体识别方式，所述第二对象至少包括以下之一：文字、物体、用户，所述多媒体信息解析结果包括：所述对象信息。
6.根据权利要求1-4任一项所述的对话信息的获取方法，其特征在于，根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息，包括：根据所述多媒体信息解析结果确定所述第一对话信息中的第一关键词和/或第二关键词对应的名词；将所述名词替代所述第一对话信息中的所述第一关键词和/或所述第二关键词，将替换后的第一对话信息获取为所述第二对话信息。7.根据权利要求1-4任一项所述的对话信息的获取方法，其特征在于，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果之前，所述方法还包括：确定所述历史对话信息中是否存在所述第一多媒体信息；在所述历史对话信息中不存在所述第一多媒体信息的情况下，获取第二对象输入的第三对话信息，其中，所述第三对话信息的输入时间晚于所述第一对话信息的输入时间；在所述第三对话信息中不存在第一多媒体信息的情况下，向所述第二对象发送用于指示所述第一对话信息不完整的提示信息。8.一种对话信息的获取装置，其特征在于，包括：第一解析模块，用于对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；第一确定模块，用于根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；第二解析模块，用于在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；第二确定模块，用于根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息。9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

技术总结
本申请公开了一种对话信息的获取方法和装置、存储介质及电子装置，涉及智慧家庭技术领域，该对话信息的获取方法包括：对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；根据多媒体信息解析结果和所述第一对话信息，确定所述第一对话信息对应的第二对话信息。所述第一对话信息对应的第二对话信息。所述第一对话信息对应的第二对话信息。


技术研发人员：陈秀龙
受保护的技术使用者：青岛海尔科技有限公司 海尔智家股份有限公司
技术研发日：2022.12.26
技术公布日：2023/9/23