搜索方法、装置、计算机设备、可读存储介质及产品与流程

1.本公开涉及计算机技术领域，尤其涉及一种搜索方法、搜索装置、计算机设备、计算机可读存储介质及计算机程序产品。


背景技术：

2.随着计算机和网络技术的发展，各种应用(application，app)层出不穷。相关技术中，当用户在终端上打开某个目标应用后，展示该目标应用界面，在该目标应用界面提供搜索输入框，当用户需要针对该目标应用界面上展示的多媒体信息进行搜索时，用户需要手动在该搜索输入框中输入搜索词或关键词，一方面，这种方式需要用户在特定位置的搜索输入框输入其所希望搜索的搜索词或关键词，用户操作不够便捷，较为繁琐，容易将用户从正在浏览的多媒体信息打断；另一方面，由于用户的搜索需求是多种多样的，即用户搜索需求具有多样性，用户看到某些多媒体信息时，可能不能准确地找到描述该多媒体信息的搜索词或关键词，由此导致检索出来的搜索结果不够准确，不能匹配用户的实际搜索需求。


技术实现要素：

3.本公开实施例提供了一种搜索方法、搜索装置、计算机设备、计算机可读存储介质及计算机程序产品，可以在多媒体信息展示区域中精准的确认用户希望搜索的目标多媒体信息，提升了搜索结果的准确性，提升搜索过程的便捷性。
4.本公开实施例提供了一种搜索方法，该方法包括：显示目标应用界面，所述目标应用界面包括多媒体信息展示区域，所述多媒体信息展示区域显示对应的多媒体信息；根据针对所述多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息展示区域中的目标多媒体信息，所述目标多媒体信息展示区域为所述多媒体信息展示区域的部分区域，所述目标多媒体信息为所述多媒体信息的部分多媒体信息；展示与所述目标多媒体信息相匹配的搜索结果。
5.本公开实施例提供了一种搜索装置，该装置包括：显示单元，用于显示目标应用界面，所述目标应用界面包括多媒体信息展示区域，所述多媒体信息展示区域显示对应的多媒体信息；处理单元，用于根据针对所述多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息展示区域中的目标多媒体信息，所述目标多媒体信息展示区域为所述多媒体信息展示区域的部分区域，所述目标多媒体信息为所述多媒体信息的部分多媒体信息；展示单元，用于展示与所述目标多媒体信息相匹配的搜索结果。
6.在本公开的一些示例性实施例中，处理单元还用于根据针对所述目标应用界面对应的目标应用的唤起指令，指示所述目标应用进入侦听模式。该装置还包括：接收单元，用于在所述侦听模式下，接收针对所述目标多媒体信息展示区域的选中指令。该处理单元还用于根据针对所述目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息。
7.在本公开的一些示例性实施例中，该处理单元还用于当接收到针对所述目标应用界面的预定触发操作时，生成所述唤起指令。显示单元还用于根据所述唤起指令，显示侦听
模式提示信息，以指示所述目标应用进入所述侦听模式。
8.在本公开的一些示例性实施例中，显示单元还用于显示侦听模式退出控件。处理单元还用于根据针对所述侦听模式退出控件的触发操作，隐藏所述侦听模式提示信息和所述侦听模式退出控件，以指示所述目标应用退出所述侦听模式。
9.在本公开的一些示例性实施例中，所述预定触发操作包括在所述目标应用界面上的单指双击操作、在所述目标应用界面上的预定时长的长按操作中的至少一种。
10.在本公开的一些示例性实施例中，该显示单元还用于：当所述选中指令包括针对所述目标多媒体信息的涂抹操作时，在所述目标多媒体信息上显示涂抹选中标记，以用于确定所述目标多媒体信息。
11.在本公开的一些示例性实施例中，该显示单元还用于：当所述选中指令包括针对所述目标多媒体信息展示区域的画圈操作时，根据所述画圈操作的轨迹，在所述目标多媒体信息展示区域的边沿显示所述轨迹，以用于确定所述目标多媒体信息。
12.在本公开的一些示例性实施例中，该处理单元还用于在所述目标应用界面上，确定所述目标多媒体信息展示区域的预定背景区域；对所述目标多媒体信息展示区域进行识别处理，确定所述目标多媒体信息对应的目标对象；对所述预定背景区域进行识别处理，确定所述目标对象的环境信息。该展示单元还用于展示与所述目标对象、和/或所述目标对象的环境信息相匹配的搜索结果。
13.在本公开的一些示例性实施例中，该处理单元还用于：以所述目标多媒体信息展示区域为中心，向外延伸预定长度以作为所述预定背景区域；或者，根据针对所述预定背景区域的选择指令，确定所述预定背景区域。
14.在本公开的一些示例性实施例中，该处理单元还用于：确定与所述目标对象、以及所述目标对象的环境信息相匹配的第一搜索结果及其第一排序优先级；确定与所述目标对象相匹配的第二搜索结果及其第二排序优先级，所述第一排序优先级高于所述第二排序优先级。该展示单元还用于根据所述第一排序优先级和所述第二排序优先级，按序显示所述第一搜索结果和所述第二搜索结果，所述搜索结果包括所述第一搜索结果和所述第二搜索结果。
15.在本公开的一些示例性实施例中，该装置还包括接收单元，该接收单元用于接收针对所述目标多媒体信息的语音控制指令。该展示单元还用于展示与所述目标多媒体信息和所述语音控制指令相匹配的搜索结果。
16.在本公开的一些示例性实施例中，该处理单元还用于确定所述目标多媒体信息对应的目标对象。该展示单元还用于：显示与所述目标对象、以及所述语音控制指令相匹配的搜索结果；根据针对所述搜索结果中的目标搜索结果的触发操作，显示与所述目标搜索结果相匹配的关联信息。
17.在本公开的一些示例性实施例中，该处理单元还用于：在所述目标应用界面上，确定所述目标多媒体信息展示区域的预定背景区域；对所述目标多媒体信息展示区域进行识别处理，确定所述目标多媒体信息对应的目标对象；对所述预定背景区域进行识别处理，确定所述目标对象的环境信息。该展示单元还用于展示与所述目标对象、和/或所述目标对象的环境信息、以及所述语音控制指令相匹配的搜索结果。
18.在本公开的一些示例性实施例中，该处理单元还用于：确定与所述目标对象以及
所述语音控制指令相匹配的第三搜索结果及其第三排序优先级；确定与所述目标对象相匹配的第四搜索结果及其第四排序优先级，所述第三排序优先级高于所述第四排序优先级；确定与所述目标对象以及所述目标对象的环境信息相匹配的第五搜索结果及其第五排序优先级，所述第四排序优先级高于所述第五排序优先级。该展示单元还用于根据所述第三排序优先级、所述第四排序优先级和所述第五排序优先级，按序显示所述第三搜索结果、所述第四搜索结果和所述第五搜索结果，所述搜索结果包括所述第三搜索结果、所述第四搜索结果和所述第五搜索结果。
19.在本公开的一些示例性实施例中，该处理单元还用于在所述目标应用界面上生成独立的召回内容展示层。该展示单元还用于在所述召回内容展示层上显示与所述目标多媒体信息相匹配的搜索结果。
20.在本公开的一些示例性实施例中，该处理单元还用于在所述目标应用界面上依次生成高斯模糊蒙板以及所述召回内容展示层。
21.本公开实施例提供了一种计算机设备，包括处理器、存储器、输入输出接口；处理器分别与存储器和输入输出接口相连，其中，输入输出接口用于接收数据及输出数据，存储器用于存储计算机程序，处理器用于调用该计算机程序，以使包含该处理器的计算机设备执行本公开任一实施例中的搜索方法。
22.本公开实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本公开任一实施例中的搜索方法。
23.本公开实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本公开任一实施例中的各种可选方式中提供的方法。
24.本公开一些实施例提供的搜索方法、搜索装置、计算机设备、计算机可读存储介质及计算机程序产品，一方面，在显示包括多媒体信息展示区域的目标应用界面时，可以根据针对该多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定该目标多媒体展示区域中的目标多媒体信息，从而可以针对该目标多媒体信息执行搜索，获得与该目标多媒体信息相匹配的搜索结果并展示出来，这样，用户在浏览多媒体信息的过程中，即可通过触发对目标多媒体信息的选中指令，发起针对该目标多媒体信息的搜索，用户不需要中断正在浏览的多媒体信息，去寻找目标应用界面特定位置的搜索输入框，也不需要手动在该搜索输入框中输入搜索词或关键词，即可获得搜索结果，用户操作更为便捷，简化了用户的操作步骤，提高了用户体验，提供了更多样的搜索方式；另一方面，通过该选中指令，用户可以直接将任意模式(视频、图片、文字等)的目标多媒体信息作为搜索对象，用户不需要自己去思考用于描述该目标多媒体信息的搜索词或关键词，简化了用户操作，同时通过选中指令所确定的目标多媒体信息更为准确，因此能够提高搜索结果的准确性，使得搜索结果更加匹配用户的实际搜索需求并可以满足用户搜索需求的多样性。此外，本公开实施例中通过选中指令所选中的目标多媒体信息展示区域是目标应用界面上显示的全部多媒体信息展示区域中的部分多媒体信息展示区域，目标多媒体信息为目标应用界面上显示的全部多媒体信息中的部分多媒体信息，可以提高所检索的目标多媒体信息的精准性，同时由于
不需要对目标应用界面所对应的整张图像进行处理，既可以降低图像所占据的存储空间、减少处理过程中所占用的计算资源、降低数据传输所需要的网络资源、以及降低处理成本，还可以提高处理的准确性和效率，降低处理的耗时。再另一方面，即使目标应用界面所对应的整张图像被较强的噪声污染或较大残缺，但只要选中指令所针对的部分多媒体信息展示区域是较为清晰和完整的，仍然可以得到准确的搜索结果，由此提高了处理过程中的自适应性能。
附图说明
25.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1是本公开实施例提供的一种搜索方法的网络交互架构图。
27.图2是本公开实施例提供的一种搜索方法的流程图。
28.图3是本公开实施例提供的另一种搜索方法的流程图。
29.图4是本公开实施例提供的一种通过单指双击操作唤起侦听模式的界面示意图。
30.图5是本公开实施例提供的一种通过单指长按操作唤起侦听模式的界面示意图。
31.图6是本公开实施例提供的一种指示目标应用已经进入侦听模式的界面示意图。
32.图7是本公开实施例提供的一种对文字涂抹以确定目标多媒体信息的界面示意图。
33.图8是本公开实施例提供的一种对图片涂抹以确定目标多媒体信息的界面示意图。
34.图9是本公开实施例提供的一种对内容对象画圈以确定目标多媒体信息的界面示意图。
35.图10是本公开实施例提供的一种对视频对象画圈以确定目标多媒体信息的界面示意图。
36.图11是本公开实施例提供的一种结合对图片涂抹以确定目标多媒体信息和对内容对象画圈以确定环境信息的界面示意图。
37.图12是在图7实施例的基础上通过语音控制指令触发针对目标多媒体信息的问答类搜索的界面示意图。
38.图13是在图12实施例的基础上展示的搜索结果的界面示意图。
39.图14是在图8实施例的基础上通过语音控制指令触发针对目标多媒体信息的商品类搜索的界面示意图。
40.图15是在图14实施例的基础上展示的搜索结果的界面示意图。
41.图16是在图9实施例的基础上通过语音控制指令触发针对目标多媒体信息的内容拓展类搜索的界面示意图。
42.图17是在图16实施例的基础上展示的搜索结果的界面示意图。
43.图18是在图17实施例的基础上展示的相关内容拓展的界面示意图。
44.图19是本公开实施例提供的一种基于确定的目标多媒体信息展示区域确定预定
背景区域的示意图。
45.图20是本公开实施例提供的一种语音选择技术的示意图。
46.图21是本公开实施例提供的一种内容召回显示逻辑的示意图。
47.图22是本公开实施例提供的一种搜索方法的交互流程图。
48.图23是本公开实施例提供的一种搜索装置的示意图。
49.图24是本公开实施例提供的一种计算机设备的结构示意图。
具体实施方式
50.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
51.首先对本公开实施例中涉及的部分术语进行解释说明。
52.图像识别：是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，可以是应用深度学习算法的一种实践应用。
53.语音识别：语音识别技术就是让机器通过识别和理解过程，把语音信号转变为相应的文本或命令的技术。语音识别技术可以主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。
54.内容召回：指从全量信息集合中触发尽可能多的正确结果，并将结果返回以进行后续的排序。
55.甄听模式/侦听模式：告诉后台系统此时可以开始记录的一种状态。
56.第三空间：新建独立页面。
57.隐马尔可夫模型(hidden markov model，hmm)：一种统计学模型。
58.在本公开实施例中，请参见图1，图1是本公开实施例提供的一种搜索方法的网络交互架构图，本公开实施例可以由终端实现。其中，终端可以从计算机设备101中获取数据，对该数据进行显示，其中，该计算机设备101可以与终端之间进行数据交互，该计算机设备101可以是应用程序所在的服务器，也可以属于终端(即是终端的后台)等，在此不做限制。
59.其中，该终端可以是终端102a、终端102b或终端102c等，本公开实施例可以由终端102a、终端102b或终端102c等中的任意一个终端实现。具体的，以终端102b为例，终端102b可以用于显示目标应用的目标应用界面，目标应用界面可以包括多媒体信息展示区域，多媒体信息展示区域可以用于显示对应的多媒体信息；根据针对该多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，可以确定目标多媒体信息展示区域中的目标多媒体信息，其中该目标多媒体信息展示区域可以为该多媒体信息展示区域的部分区域，该目标多媒体信息可以为该多媒体信息的部分多媒体信息；可以展示与该目标多媒体信息相匹配的搜索结果，也就是说，当用户在浏览目标应用界面上的多媒体信息时，可以选中其中的部分多媒体信息作为待搜索的目标多媒体信息，用户不需要在搜索输入框中输入搜索词即可获得准确的搜索结果，同时，由于所选中的目标多媒体信息展示区域只是部分多媒体信息展示区域，因此可以减少所占用的存储空间、降低处理所需要的计算资源和网络资源、以及提高处理效率，并提升了用户使用目标应用的体验。终端102b所展示的多媒体信息和搜索
结果等数据可以是从计算机设备101中获取到的，该计算机设备101可以是该目标应用对应的服务器，也可以是该终端102b的后台等，在此不做限制。
60.其中，该终端可以是手机(如终端102c)或笔记本电脑(如终端102b)，还可以是交通工具中的播放设备(如终端102a)等，在此不做限制。其中，该终端102a可以认为是交通工具103中的播放设备，该终端102a中可以显示目标应用等。其中，图1中的终端仅为例举出的部分设备，在本公开中终端并不仅限于该图1中所例举的设备。其中，本公开中的目标应用可以是任意一种能够显示多媒体信息的应用程序。
61.可以理解的是，本公开实施例中所提及的终端可以是一种计算机设备，本公开实施例中的计算机设备包括但不限于终端或服务器。换句话说，计算机设备可以是服务器或终端，也可以是服务器和终端组成的系统。其中，以上所提及的终端可以是一种电子设备，包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实(augmented reality/virtual reality，ar/vr)设备、头盔显示器、智能电视、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device，mid)，或者火车、轮船、飞行等场景下的终端等。
62.其中，以上所提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、车路协同、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
63.可选的，本公开实施例中所涉及的数据可以存储在计算机设备中，或者可以基于云存储技术对该数据进行存储，在此不做限制。
64.图2是本公开实施例提供的一种搜索方法的流程图。图2实施例提供的方法可以由任意计算机设备执行，这里以上述图1实施例中的任一终端执行进行举例说明。
65.如图2所示，本公开实施例提供的方法可以包括如下步骤：
66.在s210中，显示目标应用界面，所述目标应用界面包括多媒体信息展示区域，所述多媒体信息展示区域显示对应的多媒体信息。
67.本公开实施例中，目标应用可以是能够安装于终端上的任一应用或应用程序，例如可以是即时通讯应用、网络打车应用、视频应用、小视频应用、在线办公应用、网络游戏应用等中的任意一种。目标应用界面是指当用户在终端上开启该目标应用时，显示出来的用户界面。该目标应用开启时，可以显示一个或多个栏目选择控件，开启时可以默认显示其中一个栏目选择控件下的用户界面作为目标用户界面，当用户切换到该栏目选择控件中的某个目标栏目选择控件时，可以从该默认的栏目选择控件所对应的目标用户界面切换至用户所选择的目标栏目选择控件所对应的目标用户界面，当目标栏目选择控件发生切换时，目标应用界面上所显示的多媒体信息可以发生相应的变化，多媒体信息展示区域的展示方式、布局样式等也可以发生相应的调整，本公开对此不做限定。
68.例如，如图4所示，假设该目标应用的目标应用界面400当前在预定位置420显示了“关注”栏目选择控件、“推荐”栏目选择控件、“视频”栏目选择控件、“放映厅”栏目选择控件、“动漫”栏目选择控件、“战疫”栏目选择控件、“游戏”栏目选择控件等多个栏目选择控件，假设默认的目标栏目选择控件是“推荐”栏目选择控件，则该目标应用界面上相应显示的是根据该用户的个人偏好进行推荐的多媒体信息。
69.进一步地，该预定位置420还可以显示栏目隐藏控件421，用户可以通过触发该栏目隐藏控件421以显示更多的栏目选择控件。
70.本公开实施例中，多媒体信息展示区域是指目标应用界面上用于展示多媒体信息的区域，目标应用界面上可以同时显示一个或多个多媒体信息展示区域，同一个多媒体信息展示区域所展示的多媒体信息可以采用一种模式或者多种模式的组合，例如，某一个多媒体信息可以全部是视频，另一个多媒体信息可以包括视频、音频、文字等的组合，再一个多媒体信息可以包括文字、图片等的组合，再一个多媒体信息可以全部是文字，本公开对多媒体信息的形式及其组合方式不做限定。
71.例如，图4实施例中，假设当前一屏显示了3个多媒体信息展示区域：多媒体信息展示区域430、多媒体信息展示区域440、以及多媒体信息展示区域450，且多媒体信息展示区域430和多媒体信息展示区域440均是文字和图片的组合，多媒体信息展示区域450是文字和视频的组合。可以理解的是，图4实施例仅用于举例说明，目标应用界面上一屏同时显示多少个多媒体信息展示区域、每个多媒体信息展示区域中所包括的多媒体信息的模式、各个多媒体信息展示区域的布局方式等，本公开均不做限定。
72.在s220中，根据针对所述多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息展示区域中的目标多媒体信息，所述目标多媒体信息展示区域为所述多媒体信息展示区域的部分区域，所述目标多媒体信息为所述多媒体信息的部分多媒体信息。
73.本公开实施例中，选中指令是指，当目标应用检测到用户在目标应用界面上，针对部分多媒体信息展示区域和/或部分多媒体信息的特定触发操作时，所生成用于将特定触发操作所针对的部分多媒体信息展示区域和/或部分多媒体信息确定为目标多媒体信息展示区域和/或目标多媒体信息的指令，所确定的目标多媒体信息展示区域和/或目标多媒体信息可以用于后续进行搜索以生成与之匹配的搜索结果并展示出来。
74.本公开实施例中，该目标多媒体信息展示区域可以是某个多媒体信息展示区域的部分区域，也可以是多个多媒体信息展示区域的部分区域，即用户可以通过该特定触发操作选中同一个多媒体信息展示区域的部分区域，例如，如图4所示，用户通过涂抹操作选中多媒体信息展示区域430中的“xxxx”所在的部分区域作为目标多媒体信息展示区域。用户也可以通过该特定触发操作选中多个多媒体信息展示区域中的部分区域，例如，如图4所示，假设多媒体信息展示区域430所对应的多媒体信息中的图片中包括人物a 431，多媒体信息展示区域440所对应的多媒体信息中的图片包括人物b 441和人物c 442，用户可以通过涂抹操作选中多媒体信息展示区域430中的“xxxx”所在的部分区域、以及还通过画圈操作选中多媒体信息展示区域440中的人物b 441所在的部分区域一起作为目标多媒体信息展示区域，后续检索时可以将与人物b与“xxxx”相关的内容作为搜索结果展示出来。
75.在示例性实施例中，根据针对所述多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息展示区域中的目标多媒体信息，可以包括：根据针对所述目标应用界面对应的目标应用的唤起指令，指示所述目标应用进入侦听模式；在所述侦听模式下，接收针对所述目标多媒体信息展示区域的选中指令；根据针对所述目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息。
76.本公开实施例中，目标应用可以预先进入侦听模式，当目标应用进入侦听模式后，
检测是否接收到特定触发操作，若未进入侦听模式，则即使用户执行了该特定触发操作，也不会生成针对该目标多媒体信息展示区域的选中指令。在其他实施例中，目标应用也可以不用预先进入侦听模式，即只要检测到特定触发操作，即可生成针对该目标多媒体信息展示区域的选中指令。在下面的实施例中，以进入侦听模式再生成该选中指令进行举例说明。
77.在示例性实施例中，根据针对所述目标应用界面对应的目标应用的唤起指令，指示所述目标应用进入侦听模式，包括：当接收到针对所述目标应用界面的预定触发操作时，生成所述唤起指令；根据所述唤起指令，显示侦听模式提示信息，以指示所述目标应用进入所述侦听模式。
78.本公开实施例中，该唤起指令是指用于触发该该目标应用进入侦听模式的指令，可以响应用户针对该目标应用界面的预定触发操作，生成该唤起指令，使得该目标应用进入侦听模式，同时，可以在该目标应用界面的预定区域显示侦听模式提示信息，例如，如图6所示的“请选择搜索对象”611，以提示用户该目标应用当前已经进入了侦听模式，可以在目标应用界面上选择目标多媒体信息作为搜索对象。但本公开并不限定于此，在其他实施例中，也可以采用其他方式生成该唤起指令，例如，用户可以在开启该目标应用之后，直接输入唤起语音或者执行唤起手势，例如输入语音“进入侦听模式”，以指示该目标应用进入侦听模式；或者，操作指定的唤起手势，以指示该目标应用进入侦听模式。
79.在其他实施例中，当目标应用进入侦听模式之后，也可以通过播放侦听模式提示信息来告知用户，该目标应用当前已经进入侦听模式，例如播放语音“请选择搜索对象”或者“已进入侦听模式，请选择搜索对象”。本公开对侦听模式提示信息的呈现方式不做限定，只要能够让用户感知到该目标应用已经进入了侦听模式即可。
80.在示例性实施例中，该方法还可以包括：显示侦听模式退出控件；根据针对所述侦听模式退出控件的触发操作，隐藏所述侦听模式提示信息和所述侦听模式退出控件，以指示所述目标应用退出所述侦听模式。
81.本公开实施例中，在显示侦听模式提示信息的同时，还可以显示侦听模式退出控件，该侦听模式退出控件用于控制该目标应用退出上述侦听模式。例如，如图6所示，当用户点击侦听模式退出控件612时，则会隐藏侦听模式提示信息611和侦听模式退出控件612，以让用户感知到该目标应用已经退出了侦听模式。在其他实施例中，用户也可以语音输入侦听模式退出指令，例如输入语音“退出侦听模式”，或者，用户也可以通过操作特定的退出手势来输入侦听模式退出指令，本公开对此不做限定。
82.在示例性实施例中，所述预定触发操作可以包括在所述目标应用界面上的单指双击操作、在所述目标应用界面上的预定时长的长按操作等中的至少一种。
83.本公开实施例中用于控制该目标应用进入侦听模式的预定触发操作可以是单指操作，即用户只需要使用一根手指头进行操作即可使得该目标应用进入侦听模式，该单指操作可以包括单指双击操作、单指长按操作等中的任意一种或者多种的组合。本公开实施例提供的方法，在开始的能力唤起阶段，即通过唤起指令控制该目标应用进入侦听模式的阶段，应用单指操作例如单指双击操作和/或单指长按操作，相比于双指操作或多指操作，更加便捷，用户更加容易使用和操作。
84.本公开实施例中，该特定触发操作可以是预先设置好的，可以针对所有目标应用设置相同的特定触发操作，也可以针对不同目标应用分别设置不同的特定触发操作，本公
开对此不做限定。在下面的实施例中，以针对所有目标应用设置相同的特定触发操作进行举例说明，例如，该特定触发操作可以是针对目标多媒体信息的涂抹操作，或者，针对目标多媒体信息展示区域的画圈操作，或者，针对目标多媒体信息的涂抹操作和针对目标多媒体信息展示区域的画圈操作的组合，等等。
85.在示例性实施例中，根据针对所述目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息，可以包括：当所述选中指令包括针对所述目标多媒体信息的涂抹操作时，在所述目标多媒体信息上显示涂抹选中标记，以用于确定所述目标多媒体信息。
86.本公开实施例中，当用户执行的特定触发操作为涂抹操作时，例如，用户用手指在目标多媒体信息上进行涂抹，则可以在该目标多媒体信息上相应的显示涂抹选中标记，以让用户直观地感受到自己所选中的目标多媒体信息是什么内容。该涂抹选中标记可以采用能够将该目标多媒体信息与未被选中的剩余多媒体信息区别开来的任意标记均可，例如，如图7所示的涂抹选中标记701可以为叠加在目标多媒体信息上的高亮显示标记或者高斯模糊蒙板，该涂抹选中标记可以具有一定的透明度，以使得被该涂抹选中标记叠加显示的目标多媒体信息仍然可以显示出来，但本公开并不限定于此。
87.在示例性实施例中，根据针对所述目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息，可以包括：当所述选中指令包括针对所述目标多媒体信息展示区域的画圈操作时，根据所述画圈操作的轨迹，在所述目标多媒体信息展示区域的边沿显示所述轨迹，以用于确定所述目标多媒体信息。
88.本公开实施例中，画圈操作是指用户使用手指在目标应用界面上画出首尾连接的线条，该首尾连接的线条可以是规则的，也可以是不规则的，即不要求是严格的圆形。当用户执行的特定触发操作为画圈操作时，例如，用户用手指在目标多媒体信息展示区域的边沿上滑动，则可以沿着该用户手指的滑动轨迹显示相应的轨迹，以让用户直观地感受到自己所选中的目标多媒体信息是什么内容。该轨迹的宽度、颜色等可以根据实际需求进行设置，本公开对此不做限定，只要能够将该目标多媒体信息展示区域与未被选中的剩余多媒体信息展示区域区别开来即可，例如，如图9所示的轨迹901。
89.本公开实施例中，用户可以通过涂抹操作或画圈操作等特定触发操作，来确定目标应用界面所显示的全部多媒体信息中的部分多媒体信息以作为搜索对象，能够对搜索对象有明确的定位，由此可以提高搜索结果的准确性，同时，不需要对整张图像进行处理，可以提高处理效率并降低处理的错误率。
90.在s230中，展示与所述目标多媒体信息相匹配的搜索结果。
91.在示例性实施例中，展示与所述目标多媒体信息相匹配的搜索结果，可以包括：在所述目标应用界面上，确定所述目标多媒体信息展示区域的预定背景区域；对所述目标多媒体信息展示区域进行识别处理，确定所述目标多媒体信息对应的目标对象；对所述预定背景区域进行识别处理，确定所述目标对象的环境信息；展示与所述目标对象、和/或所述目标对象的环境信息相匹配的搜索结果。
92.在一些实施例中，可以将目标多媒体信息直接作为搜索对象，获得与该目标多媒体信息相匹配的搜索结果，并进行展示。在另一些实施例中，可以对用户所选中的目标多媒体信息展示区域进行进一步的扩展，将扩展的预定背景区域的识别结果作为该目标多媒体信息所识别出来的目标对象的环境信息一起作为搜索对象，获得与该目标对象和该环境信
息相匹配的搜索结果，并进行展示。在又一些实施例中，可以先采用目标对象作为搜索对象，若未检索到相匹配的搜索结果，则可以再进一步采用该目标对象的环境信息作为搜索对象，将相应的搜索结果作为与该目标多媒体信息相匹配的搜索结果展示出来。一方面，通过将目标多媒体信息对应的目标对象与该目标对象的环境信息相结合，可以更准确的理解用户是在什么环境下提出针对该目标对象的搜索需求的，从而使得所展示给用户的搜索结果更加匹配用户的搜索需求，提高了搜索结果的准确性；另一方面，可以根据该目标对象的环境信息进行拓展搜索，从而可以丰富搜索结果的多样性。
93.在示例性实施例中，在所述目标应用界面上，确定所述目标多媒体信息展示区域的预定背景区域，可以包括：以所述目标多媒体信息展示区域为中心，向外延伸预定长度以作为所述预定背景区域；或者，根据针对所述预定背景区域的选择指令，确定所述预定背景区域。
94.本公开实施例中，该预定长度可以根据实际需求进行设置，本公开对其具体取值不做限定。在一些实施例中，该预定长度可以是预先设置好的(可以是系统默认设置，也可以是用户手动设置)，例如预先设置为250像素。在另一些实施例中，该预定长度可以进行手动调整，例如，在确定目标多媒体信息展示区域之后，可以显示一围住该目标多媒体信息展示区域的预定形状(例如长方形、正方形、圆形等规则形状，也可以是与该目标多媒体信息展示区域的轨迹相对应的不规则形状)，用户可以通过拉伸该预定形状的边来调整该预定长度，甚至改变该预定形状，例如可以将长方形改为圆形，或者将圆形改为长方形，本公开对此不做限定。
95.在上述实施例中，当确定好目标多媒体信息展示区域之后，系统可以自动向外延伸预定长度以确定预定背景区域，但本公开并不限定于此，在其他实施例中，用户可以在选中目标多媒体信息展示区域，进一步执行指定触发操作来选择预定背景区域。例如，可以参照图11实施例的描述。
96.在示例性实施例中，展示与所述目标对象、和/或所述目标对象的环境信息相匹配的搜索结果，可以包括：确定与所述目标对象、以及所述目标对象的环境信息相匹配的第一搜索结果及其第一排序优先级；确定与所述目标对象相匹配的第二搜索结果及其第二排序优先级，所述第一排序优先级高于所述第二排序优先级；根据所述第一排序优先级和所述第二排序优先级，按序显示所述第一搜索结果和所述第二搜索结果，所述搜索结果可以包括所述第一搜索结果和所述第二搜索结果。
97.本公开实施例中，可以检索获得与该目标对象以及该环境信息均相匹配的第一搜索结果、以及与该目标对象相匹配的第二搜索结果，并在排序时，确定该第一搜索结果的第一排序优先级高于该第二搜索结果的第二排序优先级，在展示搜索结果时，将第一搜索结果展示在该第二搜索结果前面，以让用户能够较为容易地定位到最满足其搜索需求的第一搜索结果，同时，将第二搜索结果显示在第一搜索结果之后，可以为用户提供更多样的选择。但本公开并不限定于此，在其他实施例中，也可以将第一搜索结果展示在该第二搜索结果后面显示。
98.相关图像识别技术的一个不足就是自适应性能差，例如一旦待识别的目标图像被较强的噪声污染或是目标图像有较大残缺往往就得不出理想的识别结果。本公开实施例在搜索对象选择层面较好的解决了这一缺陷。当用户在目标应用界面所对应的整张图像中选
择完目标多媒体信息展示区域所对应的部分图像后，可以进入后台识别过程，后台可以将目标多媒体信息展示区域所对应的部分图像作为待识别的主图形(例如，假设可以蓝色区域标记，但本公开并不限定于此)，并将该预定背景区域所对应的部分图像作为该主图形的背景图形(例如，假设可以红色区域，但本公开并不限定于此)，对该主图形进行识别获得目标对象a，对该背景图形进行识别获得环境信息x，获得的搜索结果可以是与(a+x)相关的内容。
99.在示例性实施例中，展示与所述目标多媒体信息相匹配的搜索结果，可以包括：接收针对所述目标多媒体信息的语音控制指令；展示与所述目标多媒体信息和所述语音控制指令相匹配的搜索结果。
100.在上述实施例中，系统可以在用户选中目标多媒体信息和/或目标多媒体信息展示区域之后，即可直接基于目标多媒体信息进行搜索，获得搜索结果，但本公开并不限定于此，在其他实施例中，在用户选中目标多媒体信息和/或目标多媒体信息展示区域之后，可以进一步等待用户输入的语音信息，对该语音信息进行语音识别，获得语音控制指令，结合该语音控制指令和该目标多媒体信息进行搜索，获得与该该语音控制指令和该目标多媒体信息相匹配的搜索结果并展示。即本公开实施例可以让用户通过涂抹和/或画圈的方式，一方面，可以让用户从具有各种模式的多媒体信息中确定目标对象和/或目标对象的环境信息，从而可以很好的满足用户对搜索多样性的诉求；另一方面，可以明确定位目标对象和/或目标对象的环境信息，在之后的语音控制指令输入阶段，用户可以进一步向终端或服务器下达明确的行动指令，以使得返回给用户的搜索结果更加符合用户的搜索需求，从而很好的解决了用户对搜索准确性的诉求。
101.在示例性实施例中，展示与所述目标多媒体信息和所述语音控制指令相匹配的搜索结果，可以包括：确定所述目标多媒体信息对应的目标对象；显示与所述目标对象、以及所述语音控制指令相匹配的搜索结果；根据针对所述搜索结果中的目标搜索结果的触发操作，显示与所述目标搜索结果相匹配的关联信息。
102.本公开实施例中，针对目标对象(可选的，还可以包括环境信息)以及用户下达的语音控制指令返回的搜索结果可以是多个，由于终端一屏能够显示的内容有限，因此，所展示的多个搜索结果可能是一个简单的概要，例如摘要、图片等信息，如果用户希望进一步查看更详细的内容，则可以选中该多个搜索结果中的目标搜索结果，显示该目标搜索结果的关联信息，该关联信息可以是该目标搜索结果的详细内容，从而可以进一步丰富用户的搜索结果。
103.在示例性实施例中，展示与所述目标多媒体信息和所述语音控制指令相匹配的搜索结果，可以包括：在所述目标应用界面上，确定所述目标多媒体信息展示区域的预定背景区域；对所述目标多媒体信息展示区域进行识别处理，确定所述目标多媒体信息对应的目标对象；对所述预定背景区域进行识别处理，确定所述目标对象的环境信息；展示与所述目标对象、和/或所述目标对象的环境信息、以及所述语音控制指令相匹配的搜索结果。
104.在示例性实施例中，展示与所述目标对象、和/或所述目标对象的环境信息、以及所述语音控制指令相匹配的搜索结果，可以包括：确定与所述目标对象以及所述语音控制指令相匹配的第三搜索结果及其第三排序优先级；确定与所述目标对象相匹配的第四搜索结果及其第四排序优先级，所述第三排序优先级高于所述第四排序优先级；确定与所述目
标对象以及所述目标对象的环境信息相匹配的第五搜索结果及其第五排序优先级，所述第四排序优先级高于所述第五排序优先级；根据所述第三排序优先级、所述第四排序优先级和所述第五排序优先级，按序显示所述第三搜索结果、所述第四搜索结果和所述第五搜索结果，所述搜索结果包括所述第三搜索结果、所述第四搜索结果和所述第五搜索结果。
105.本公开实施例中，可以获得与目标对象及语音控制指令相匹配的第三搜索结果、与该目标对象相匹配的第四搜索结果、以及与该目标对象及该环境信息相匹配的第五搜索结果，并在排序显示时，将第三搜索结果置于第四搜索结果之前显示，将第四搜索结果置于第五搜索结果之前显示，一方面，以让用户能够较为容易地定位到最满足其搜索需求的第三搜索结果，同时，将第四搜索结果和第五搜索结果依序显示在第三搜索结果之后，可以为用户提供更多样的选择。但本公开并不限定于此，在其他实施例中，第三搜索结果、第四搜索结果和第五搜索结果可以根据用户的个性化搜索习惯确定显示的顺序，例如，可以用户的历史搜索行为，确定该用户更偏好点击或浏览第四搜索结果，则可以将第四搜索结果展示在最前面。
106.在示例性实施例中，展示与所述目标多媒体信息相匹配的搜索结果，可以包括：在所述目标应用界面上生成独立的召回内容展示层；在所述召回内容展示层上显示与所述目标多媒体信息相匹配的搜索结果。
107.本公开实施例中，可以在目标应用界面上叠加独立的召回内容展示层，该召回内容展示层用于显示与该目标多媒体信息相匹配的搜索结果，但本公开并不限定于此，在其他实施例中，也可以跳转到一个新的用户界面，在该新的用户界面上显示与该目标多媒体信息相匹配的搜索结果，或者，以弹窗的方式在该目标应用界面上显示该搜索结果，或者，在该目标应用界面的部分用户界面上显示该搜索结果。
108.在示例性实施例中，在所述目标应用界面上生成独立的召回内容展示层，可以包括：在所述目标应用界面上依次生成高斯模糊蒙板以及所述召回内容展示层。
109.本公开实施例中，在从后台对内容进行召回获得搜索结果，将搜索结果显示到用户界面层时，可以直接在原始界面(目标应用界面)上生成两层，中间层为高斯模糊的深色层即高斯模板蒙板，用于降低原始界面的亮度，从而可以提升召回内容展示层的清晰度。在顶层则将召回内容展示层作为召回的内容显示空间，所有的搜索结果展示在该层级。
110.本公开实施方式提供的搜索方法，一方面，在显示包括多媒体信息展示区域的目标应用界面时，可以根据针对该多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定该目标多媒体展示区域中的目标多媒体信息，从而可以针对该目标多媒体信息执行搜索，获得与该目标多媒体信息相匹配的搜索结果并展示出来，这样，用户在浏览多媒体信息的过程中，即可通过触发对目标多媒体信息的选中指令，发起针对该目标多媒体信息的搜索，用户不需要中断正在浏览的多媒体信息，去寻找目标应用界面特定位置的搜索输入框，也不需要手动在该搜索输入框中输入搜索词或关键词，即可获得搜索结果，用户操作更为便捷，简化了用户的操作步骤，提高了用户体验，提供了更多样的搜索方式；另一方面，通过该选中指令，用户可以直接将任意模式(视频、图片、文字等)的目标多媒体信息作为搜索对象，用户不需要自己去思考用于描述该目标多媒体信息的搜索词或关键词，简化了用户操作，同时通过选中指令所确定的目标多媒体信息更为准确，因此能够提高搜索结果的准确性，使得搜索结果更加匹配用户的实际搜索需求并可以满足用户搜索需求的多样
性。此外，本公开实施例中通过选中指令所选中的目标多媒体信息展示区域是目标应用界面上显示的全部多媒体信息展示区域中的部分多媒体信息展示区域，目标多媒体信息为目标应用界面上显示的全部多媒体信息中的部分多媒体信息，可以提高所检索的目标多媒体信息的精准性，同时由于不需要对目标应用界面所对应的整张图像进行处理，既可以降低图像所占据的存储空间、减少处理过程中所占用的计算资源、降低数据传输所需要的网络资源、以及降低处理成本，还可以提高处理的准确性和效率，降低处理的耗时。再另一方面，即使目标应用界面所对应的整张图像被较强的噪声污染或较大残缺，但只要选中指令所针对的部分多媒体信息展示区域是较为清晰和完整的，仍然可以得到准确的搜索结果，由此提高了处理过程中的自适应性能。
111.图3是本公开实施例提供的另一种搜索方法的流程图。图3实施例提供的方法可以由任意计算机设备执行，这里以上述图1实施例中的任一终端执行进行举例说明。图3实施例以目标应用先进入侦听模式，在侦听模式下接收选中指令，且预定触发操作为单指双击或长按操作，特定触发操作为涂抹操作和/或画圈操作，并在确定目标多媒体信息和/或目标多媒体信息展示区域之后，进一步接收用户下达的语音控制指令，在独立的召回内容展示层显示搜索结果，且在目标应用界面和召回内容展示层中间叠加显示高斯模糊蒙板为例，但本公开并不限定于此。
112.如图3所示，本公开实施例提供的方法可以包括如下步骤：
113.在s301中，显示目标应用界面，目标应用界面可以包括多媒体信息展示区域，多媒体信息展示区域可以显示对应的多媒体信息。
114.在s302中，当接收到针对目标应用界面的单指双击操作或预定时长的长按操作时，在目标应用界面的预定区域显示侦听模式提示信息和侦听模式退出控件，以指示目标应用进入侦听模式。
115.在s303中，在侦听模式下，接收针对目标多媒体信息展示区域的选中指令例如涂抹操作和/或画圈操作，确定目标多媒体信息。
116.在s304中，接收针对目标多媒体信息的语音控制指令。
117.在s305中，确定目标多媒体信息展示区域的预定背景区域。
118.在s306中，对目标多媒体信息展示区域进行识别处理，确定目标多媒体信息对应的目标对象；对预定背景区域进行识别处理，确定目标对象的环境信息。
119.在s307中，在目标应用界面上依次生成高斯模糊蒙板以及召回内容展示层，召回内容展示层展示与目标对象、目标对象的环境信息、以及语音控制指令相匹配的搜索对象。
120.图3实施例的其他内容可以参照上述图1和图2实施例的描述。
121.本公开实施方式提供的搜索方法，首先在能力唤起时应用单指双击或长按更加便捷和易使用，其次用户通过涂抹和/或画圈的方式能够对待检索的目标对象有明确的定位，最后在语音控制指令环节向机器下达明确的行动指令即语音控制指令，通过目标多媒体信息的选择可以精准的确认用户所希望检索的目标对象，同时通过后台扩大对象范围，即确定该目标对象的环境信息，可以清楚地理解用户是在什么环境下产生的搜索诉求，再结合用户的语音控制指令来表达用户的搜索诉求，从而可以很好的解决用户在搜索过程中的便捷性、准确性与多样性的诉求。同时，本公开实施例通过手势(单指操作)结合语音呼起(即下达语音控制指令)，能够为用户提供多模多象的搜索能力，多模搜索能力是指用户可选择
的搜索对象，即目标多媒体信息可以是文字、图片、视频、音频等中的任意一种或者多种模式，同时，不限于使用选择目标对象、点击搜索按钮来发起搜索，还可以结合语音控制指令和/或环境信息，对用户所选择的同一个目标对象进行多方位的搜索。
122.本公开实施例提供的搜索方法，通过手势操作与语音呼起的结合，能够为用户提供多模搜索能力，用户可以通过单指长按或者双击使得软件/app进入侦听模式，在进入侦听模式之后，用户可以进一步对自己感兴趣的内容进行涂抹或画圈以选择要搜索的目标对象，目标对象可以是一个字、一段话、一张图片、一张图片中的一个部分、视频中的单帧画面等中的任意一个或者多个的组合。在上述搜索场景中可能会产生多种需求，例如对一张图片中的人物的衣着上的外文搜翻译、搜该衣着上的文字的含义、搜该人物的相关报道，甚至还需要搜更多深入内容。
123.下面结合图4至图22对本公开实施例提供的方法进行举例说明，但本公开并不限定于此。
124.用户在app(即目标应用)内使用本公开实施例提供的搜索方法，主要可以包括如下3个步骤：
125.步骤一：唤起app的侦听模式；
126.步骤二：当app进入侦听模式之后，用户选择要搜索的目标对象，即确定目标多媒体信息和/或目标多媒体信息展示区域；
127.步骤三：用户针对该目标多媒体信息发出语音控制指令，app上创造出一个第三空间的召回内容展示层。
128.本公开实施例，通过该语音控制指令，用户可以选择对所选择的目标对象进行任意的操作，例如，对目标对象进行复制、翻译、或者是搜索，在举例说明中，均以选择搜索进行举例说明，但本公开并不限定于此。
129.下面分别对各个步骤进行举例说明。
130.首先执行步骤一，本公开实施例中，app侦听模式唤起的前置条件可以为app内的内容点击方式有且只有单指操作一种，通过单指双击任意位置或者单指长按任意位置例如目标应用界面上的空白区域1秒，app进入侦听模式以接受用户的选中指令，可以在该目标应用界面的预定区域用文字显示侦听模式提示信息以及侦听模式退出控件，该预定区域可以是该目标应用界面的任意指定位置，例如头部，该侦听模式提示信息用于文字提示用户该app已经进入侦听模式，该侦听模式退出控件用于用户操作，以使得该app退出该侦听模式。
131.例如，如图4所示，用户可以通过单指双击460该目标应用界面400的任意位置以唤起该app进入侦听模式。
132.继续参考图4，该目标应用界面400还可以显示搜索输入框410，在该搜索输入框410中可以包括语音输入控件411和拍照输入控件412，用户可以在搜索输入框410中输入搜索词，也可以触发该语音输入控件411，以语音方式输入搜索词，还可以触发该拍照输入控件412，以拍照方式输入搜索对象。
133.再例如，如图5所示，用户可以通过单指长按560该目标应用界面500以唤起该app进入侦听模式。图5实施例中的其他内容可以参照上述图4实施例。
134.图6是本公开实施例提供的一种指示目标应用已经进入侦听模式的界面示意图。
可以从上述图4或图5所示的界面示意图进入图6所示的目标应用界面600，该目标应用界面600的预定区域610可以显示侦听模式提示信息即“请选择搜索对象”611和侦听模式退出控件612，若用户点击该侦听模式退出控件612，则会隐藏侦听模式提示信息即“请选择搜索对象”611和侦听模式退出控件612。
135.图6实施例中，该预定区域610可以是叠加在目标应用界面600的搜索输入框上显示，且该预定区域610是独立于目标应用界面600的第三空间，在该目标应用界面600和该预定区域610之间，可以增加高斯模板蒙板，以突出该预定区域610上显示的内容，但本公开并不限定于此。
136.接着执行步骤二，用户可以在目标应用界面上选择搜索对象，这里以2种方式进行举例说明，但本公开并不限定于此，这2种方式分别是涂抹和画圈，可以针对文字、图片、视频等不同模式的目标对象进行精准选择。在选择后，后台可以自动扩大选择范围，确定该目标对象的环境信息，以对内容相关性进行辅助判断，例如，若目标多媒体信息被识别获得的目标对象为图片商品类型，例如，假设为图片中人物b佩戴的口罩，则用户精确搜口罩的同时，后台自动向四周延长识别范围作为辅助判断，以达成口罩为主需，该人物b带口罩为辅助需求，则在推荐内容中可自动加入“人物b同款”等关键词，达到提升搜索结果的准确性，同时还可以促进商品的转化。
137.例如，如图7所示，在目标用户界面700中，假设用户对“xxxx”701进行文字涂抹，则选中的目标多媒体信息为“xxxx”。
138.再例如，如图8所示，在目标用户界面800中，假设用户对人物b所佩戴的口罩801进行图片涂抹，则确定的目标多媒体信息为该口罩801。
139.再例如，如图9所示，在目标用户界面900中，假设用户采用对内容对象(图9中是以图片和文字的组合为例)画圈的方式确定目标多媒体信息，则根据用户的画圈操作显示轨迹901，该轨迹901中的区域即为目标多媒体信息展示区域。
140.再例如，如图10所示，在目标用户界面1000中，假设用户采用对视频对象(例如假设是图4实施例中的xx视频中的人物d 451)画圈的方式确定目标多媒体信息，则根据用户的画圈操作显示轨迹1001，该轨迹1001中的区域即为目标多媒体信息展示区域。
141.再例如，如图11所示，在目标用户界面1100中，用户可以先采用图片涂抹的方式确定目标多媒体信息即口罩1101，然后再对佩戴该口罩1101的人物b进行画圈，以显示轨迹1102，则该轨迹1102内的区域均可以作为目标多媒体信息展示区域，之后可以识别该目标多媒体信息展示区域中的人物b和其佩戴的口罩1101一起作为待检索的目标对象，获得该人物b佩戴的同款口罩作为搜索结果；或者，也可以将被涂抹的口罩1101所在的区域作为目标多媒体信息展示区域，将除该被涂抹的口罩1101所在的区域以外、且在该轨迹1102内的区域作为该目标多媒体信息展示区域的预定背景区域，之后可以分别识别该目标多媒体信息展示区域中的口罩1101以及预定背景区域中的人物b，将口罩1101作为目标对象，人物b作为口罩1101的环境信息进行检索，获得搜索结果。
142.通过本公开实施例提供的搜索方法，用户可以通过单指操作唤起app进入侦听模式，在该侦听模式时检测到特定触发操作，即响应该特定触发操作，确定目标多媒体信息展示区域，然后系统自动针对该目标多媒体信息展示区域进行截图，然后针对该部分截图进行识别处理，获得目标多媒体信息所对应的目标对象，然后自动针对该目标对象进行检索，
获得该目标对象的搜索结果并返回给用户，用户不需要从多种需求中选择其中的一种需求，节省了与目标应用之间的交互频次，提高了用户体验。
143.本公开实施例中，当执行完上述步骤二之后，系统可以对截图后的部分图像进行图像识别和分析，辨别该截取的部分图像中的目标对象是物品还是文字，若是文字则可以自动切换至图片转文字的能力，然后将识别出的文字结果作为搜索词或关键词进行检索，以获得搜索结果；若是物品则可以自动切换至对该部分图像中的目标对象进行识别的能力，检索与该物品对应的商品购买链接以作为搜索结果展示给用户，即给用户提供购物选择。即本公开实施例提供的搜索方法可以针对目标多媒体信息中所包含的不同类型的内容，召回不同的搜索结果。
144.可选的，在其他实施例中，还可以进一步包括步骤三：用户可以针对该待检索的目标对象通过语音发出行动指令，即输入语音信息，通过语音识别该语音信息获得用户输入的语音控制指令，结合该目标对象和该语音控制指令，针对不同类型的内容可以召回不同的搜索结果。
145.图12和图13以语音控制指令为针对目标对象的问答类，图14和图15以语音控制指令为针对目标对象的图片商品类，图16至图18以语音控制指令为针对目标对象的内容拓展类进行举例说明，但可以理解的是，以下展示的实施例仅用于示意说明，不代表只有这三类：
146.图12和图13以问答类为例，搜索结果可以是以文本内容解释+内容维度拓展的方式召回。在上述图7实施例中，用户假设对“xxxx”这几个文字进行了涂抹操作，然后，如图12所示，假设用户输入了语音信息“xxxx是什么意思”，系统对该语音信息进行识别，识别结果为文字“xxxx是什么意思？”，则此时可以隐藏图7实施例中预定区域的侦听模式提示信息和侦听模式退出控件，改为在该预定区域1210显示该语音信息的波形1211和识别结果，即文字“xxxx是什么意思？”1212。
147.可以理解的是，该语音信息的波形1211和文字“xxxx是什么意思？”1212并不限定显示在该预定区域1210中，可以显示在任意适当的位置，甚至不显示，而是用语音形式播放出来。
148.如图13所示，在目标应用界面1300上依次叠加显示高斯模糊蒙板1310和召回内容展示层1320，在该召回内容展示层1320上展示搜索结果，在展示搜索结果时，可以在预定区域1321中显示“xxxx是什么意思？”的语音控制指令，但本公开并不限定于此，也可以在不显示该语音控制指令，或在其他位置显示该语音控制指令。
149.参考图13，这里假设搜索结果可以包括与目标对象“xxxx”和语音控制指令“xxxx是什么意思？”相匹配的第三搜索结果1322、与目标对象“xxxx”相匹配(这里的匹配可以是模糊匹配)的第四搜索结果1323以及1324，进一步的，系统还可以对涂抹操作所选中的目标多媒体信息展示区域即“xxxx”这个目标多媒体信息所处的区域向外延伸，确定预定背景区域，该预定背景区域假设包括了图4实施例中的人物a431，则可以将人物a作为目标对象“xxxx”的环境信息，此时该搜索结果还可以进一步包括与该目标对象“xxxx”及其环境信息即人物a相匹配的第五搜索结果1325，例如第五搜索结果1325可以进一步包括与人物a+“xxxx”相匹配的第一个视频13251和第二个视频13252。
150.本公开实施例提供的搜索方法，一方面，首先在能力唤起时应用单指双击或长按，
可以更加便捷地使得app进入侦听模式，让用户更易使用，另一方面，用户可以通过涂抹或画圈的方式，对目标对象进行明确的定位，通过从整张图像中选择搜索对象，可以精准地确认用户希望搜索的目标对象，从而可以提高搜索结果的准确性，减少数据处理量，提高数据处理效率，降低错误率；同时，通过后台扩大对象范围，即延伸确定预定背景区域，可以清楚地理解用户是在什么环境下产生的搜索诉求，再一方面，还可以在语音控制指令环节向计算机设备下达明确的行动指令，即通过语音控制指令与目标对象、及目标对象的环境信息的结合进行搜索，可以很好的解决搜索过程中的便捷性、准确性与多样性的诉求。此外，本公开实施例在从后台将搜索结果召回到用户界面层进行显示时，可以直接在原始界面即目标应用界面上生成两层，中间层为高斯模糊的深色层作为高斯模糊蒙板，用于降低原始界面的亮度，提升内容召回展示层的清晰度，在顶层的内容召回展示层则为召回的内容显示空间，搜索结果展示在该层级。
151.图14和图15实施例以图片商品类进行举例说明，在第三空间展示以商品为主的搜索结果。
152.在上述图8的基础上，假设用户通过涂抹操作选中了人物b佩戴的口罩，之后，用户输入语音信息“搜一下这个同款口罩”，则显示如图14所示的目标应用界面1400，系统对该语音信息进行识别，识别结果为文字“搜一下这个同款口罩”，则此时可以隐藏图8实施例中预定区域的侦听模式提示信息和侦听模式退出控件，改为在该预定区域1410显示该语音信息的波形1411和识别结果，即文字“搜一下这个同款口罩”1412。
153.可以理解的是，该语音信息的波形1411和文字“搜一下这个同款口罩”1412并不限定显示在该预定区域1410中，可以显示在任意适当的位置，甚至不显示，而是用语音形式播放出来。
154.如图15所示，在目标应用界面1500上依次叠加显示高斯模糊蒙板1510和召回内容展示层1520，在该召回内容展示层1520上展示搜索结果，在展示搜索结果时，可以在预定区域1521中显示“搜一下这个同款口罩”的语音控制指令，但本公开并不限定于此，也可以在不显示该语音控制指令，或在其他位置显示该语音控制指令。
155.参考图15，对涂抹操作所对应的目标多媒体信息展示区域进行识别，获得目标对象即被涂抹的口罩，这里假设搜索结果可以包括与目标对象“口罩”和语音控制指令“搜一下这个同款口罩”相匹配的第三搜索结果1522、与目标对象“口罩”相匹配(这里的匹配可以是模糊匹配，即第四搜索结果中的口罩与被涂抹的口罩具有一定的相似度即可，或者只要是口罩即可)的第四搜索结果1523。该第三搜索结果1522可以显示在该第四搜索结果1523之前，该第四搜索结果1523中例如可以包括第一款口罩15231、第二款口罩15232、第三款口罩15233、以及第四款口罩15234，第一款口罩15231、第二款口罩15232、第三款口罩15233、以及第四款口罩15234可以进一步根据与被涂抹的口罩之间的相似度确定排序优先级，但本公开并不限定于此。
156.其他实施例中，在图8实施例基础上，用户涂抹口罩801之后，可以不输入语音控制指令“搜一下这个同款口罩”，而是由系统自动搜索与该被涂抹口罩801最相似的口罩的购买链接作为搜索结果返回，并根据与该被涂抹口罩801之间的相似度确定排序优先级。
157.另一些实施例中，在图8实施例基础上，用户涂抹口罩801之后，可以不输入语音控制指令“搜一下这个同款口罩”，而是由系统自动对该被涂抹口罩801进行延伸，确定其预定
背景区域，再识别该预定背景区域所对应的部分图像，确定其中的人物b，然后，系统自动搜索人物b的同款口罩以作为第一搜索结果，并将与该被涂抹口罩801匹配的第二搜索结果一起返回进行展示。
158.在图11实施例基础上，用户涂抹口罩1101，且画圈圈中人物b之后，可以不输入语音控制指令“搜一下这个同款口罩”，而是由系统自动对该被涂抹口罩801和该人物b进行识别，然后，系统自动搜索人物b的同款口罩以作为第一搜索结果，并将与该被涂抹口罩801匹配的第二搜索结果一起返回进行展示。
159.图16至图18是以内容拓展类进行举例说明，且假设搜索结果和关联信息分别独立显示在第三空间。
160.以图9实施例为基础，假设用户用轨迹901选中了目标多媒体信息展示区域，之后，用户输入语音信息“xx伤病相关报道”，这里假设“xx”是指目标多媒体信息展示区域中的“人物b”的名字，则显示如图16所示的目标应用界面1600，系统对该语音信息进行识别，识别结果为文字“xx伤病相关报道”，则此时可以隐藏图9实施例中预定区域的侦听模式提示信息和侦听模式退出控件，改为在该预定区域1610显示该语音信息的波形1611和识别结果，即文字“xx伤病相关报道”1612。
161.可以理解的是，该语音信息的波形1611和文字“xx伤病相关报道”1612并不限定显示在该预定区域1610中，可以显示在任意适当的位置，甚至不显示，而是用语音形式播放出来。
162.如图17所示，在目标应用界面1700上依次叠加显示高斯模糊蒙板1710和召回内容展示层1720，在该召回内容展示层1720上展示搜索结果。
163.参考图17，对画圈操作所对应的目标多媒体信息展示区域进行识别，获得目标对象包括人物b 441和人物c 442、以及文字“b没想到伤病恶化”，这里假设搜索结果可以包括与目标对象“人物b 441+人物c 442+b没想到伤病恶化”和语音控制指令“xx伤病相关报道”相匹配的搜索结果1711、1712、1713、1714、1715、1716、1717、以及1718，例如搜索结果1711、1712、1714、1717中同时显示该人物b 1720的图片或者视频，搜索结果1711、1714、1716中同时显示该人物c 1730的图片或视频。
164.假设用户点击了图17实施例中的搜索结果1712，则可以触发显示图18所示的用户界面1800，该用户界面1800可以显示b论坛对人物b伤病的报道的详细内容，从而可以满足用户更深层次的搜索需求。
165.本公开实施例提供的搜索方法通过目标对象的选择，还可以提高图像识别技术的自适应性能，即使被截图的目标多媒体信息展示区域所对应的目标图像被较强的噪声污染或是目标图像有较大残缺，也可以得到较为理想的搜索结果。
166.具体的，可以基于当前选中的目标多媒体信息展示区域中的目标对象为主要搜索对象，默认向该目标多媒体信息展示区域的四周拓展预定长度例如200像素或250像素以作为预定背景区域，对该预定背景区域进行识别，确定该目标对象的环境信息，将该环境信息用于辅助判断用户针对该主要搜索对象的搜索意图，从而达到更加精准的推荐。
167.例如，如图19所示，选择搜索对象的技术逻辑如下：在目标应用界面1900上，假设用户涂抹了人物b佩戴的口罩，首先确认主需求：截取涂抹操作所对应的顶端a、最左端b、最低端c和最右端d，绘制成一个四边矩形1910，确立该四边矩形1910内的目标多媒体信息为
主要需求，可以标识为蓝色区域；然后，进行预定背景区域的确认：可以向四边矩形1910的四周拓展250像素(px)以作为预定背景区域1920，可以理解的是，预定背景区域是限定在该目标应用界面之内的，若在拓展过程中，发现某条边超过了该目标应用界面的边界，则可以相应的减小该条边的延伸长度，例如，假设向左侧延伸250像素会超过该目标应用界面的左边界，则将该目标应用界面的左边界确定为该预定背景区域1920的左边，该预定背景区域1920例如可以标识为红色区域，可以将预定背景区域1920中的识别结果作为目标对象的环境信息，分析该主需求的来源背景，以进行相关的推荐。
168.本公开实施例中，可以给目标对象和环境信息设置不同的召回权重，例如在内容召回上目标对象具有80％的召回权重，环境信息具有20％的召回权重，以此来确定召回的搜索结果，召回权重可以根据实际需求进行设置，本公开对此不做限定。
169.图19实施例以图片商品类型为例，用户精确搜口罩的同时，后台自动向四周延长识别范围作为辅助判断，以达成口罩为主需，人物b带口罩为辅助需求，则在推荐内容中可自动加入“人物b同款”等关键词，从而既可以准确的确定用户希望搜索的目标对象，又可以通过扩大对象范围，清楚的理解用户是在什么环境下产生的搜索诉求，可选的，还可以进一步结合语音控制指令描述搜索需求，提升了搜索的准确性和多样性的问题，还可以达到促进转化的目的。
170.图20是本公开实施例提供的一种语音选择技术的示意图。
171.本公开实施例可以使用隐马尔可夫模型(hidden markov model，hmm)来识别用户输入的语音信息。第一步可以构建一个状态网络。第二步可以从状态网络中寻找与声音即语音信息最匹配的路径。
172.引用搜索状态网络库，由单词级网络展开成音素网络，再展开成状态网络。在语音识别过程中，在状态网络中搜索一条最佳路径，对这条路径进行解码，使其概率最大。路径搜索的算法可以是一种动态规划剪枝的算法，称之为viterbi算法，用于寻找全局最优路径。
173.图20实施例中所说的概率，可以包括：
174.观察概率：每帧和每个状态对应的概率；
175.转移概率：每个状态转移到自身或转移到下个状态的概率；
176.语言概率：根据语言统计规律得到的概率。
177.图21是本公开实施例提供的一种内容召回显示逻辑的示意图。
178.如图21所示，在从后台将搜索结果召回到用户界面层时，可以直接在原始界面2100上生成两层，中间层为高斯模糊的深色层即图21中的高斯模糊蒙板2110，用于降低原始界面2100的亮度，提升召回内容展示层2120的清晰度。在顶层则为召回内容展示层2120，以作为召回的内容显示空间，搜索结果可以展示在该层级。
179.图22是本公开实施例提供的一种搜索方法的交互流程图。
180.如图22所示，该搜索方法可以分为终端呈现和后台技术，即通过终端和后台交互来实现。
181.在s2201中，用户在终端上浏览信息流内容。
182.本公开实施例中，信息流内容具体可以是终端上开启的目标应用的目标应用界面上显示的多媒体信息。
183.在s2202中，用户在终端上选择对象。
184.这里的选择对象，是指用户希望针对所显示的多媒体信息确定搜索对象，则用户可以通过唤起指令，控制该目标应用进入侦听模式。
185.在s2203中，用户在终端上圈定要搜索的目标对象。
186.本公开实施例中，在进入侦听模式之后，用户可以在该目标应用界面上选择部分多媒体信息作为目标多媒体信息，例如，用户可以采用画圈操作圈定目标多媒体信息展示区域，该目标多媒体信息展示区域中的目标对象即可待搜索的对象。
187.在s2204中，后台对当前搜索范围进行计算分析，确定主要搜索对象及环境对象。
188.当后台检测到用户输入的特定触发操作，例如上述的画圈操作之后，可以将目标多媒体信息展示区域和预定背景区域作为当前搜索范围进行计算分析，识别获得目标对象和环境信息，将目标对象确定为主要搜索对象，环境信息作为环境对象。
189.在s2205中，用户向终端输出语音控制指令。
190.用户可以向终端输出语音信息，识别获得语音控制指令。
191.在s2206中，后台判断用户语音控制指令是否完成；若完成，则继续执行s2207；若未完成，则跳转到s2210。
192.在s2207中，若完成，则结合搜索对象(主要搜索对象+环境对象)与语音控制指令从数据库召回内容，以作为搜索结果。
193.在s2208中，在界面即目标应用界面的上方生成搜索结果。
194.在s2209中，用户执行特定操作例如长按或双击以返回显示目标应用界面，即隐藏搜索结果。
195.在s2210中，结束本次操作。
196.进一步地，请参见图23，图23是本公开实施例提供的一种搜索装置示意图。该搜索装置可以是运行于计算机设备中的一个计算机程序(包括程序代码等)，例如该搜索装置可以为一个应用软件；该装置可以用于执行本公开实施例提供的方法中的相应步骤。如图23所示，该搜索装置2300可以用于图24所对应实施例中的计算机设备，具体的，该搜索装置2300可以包括：显示单元2310、处理单元2320以及展示单元2330。
197.显示单元2310可以用于显示目标应用界面，所述目标应用界面包括多媒体信息展示区域，所述多媒体信息展示区域显示对应的多媒体信息。
198.处理单元2320可以用于根据针对所述多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息展示区域中的目标多媒体信息，所述目标多媒体信息展示区域为所述多媒体信息展示区域的部分区域，所述目标多媒体信息为所述多媒体信息的部分多媒体信息。
199.展示单元2330可以用于展示与所述目标多媒体信息相匹配的搜索结果。
200.在示例性实施例中，处理单元2320还可以用于根据针对所述目标应用界面对应的目标应用的唤起指令，指示所述目标应用进入侦听模式。该装置还可以包括：接收单元，可以用于在所述侦听模式下，接收针对所述目标多媒体信息展示区域的选中指令。该处理单元2320还可以用于根据针对所述目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息。
201.在示例性实施例中，该处理单元2320还可以用于当接收到针对所述目标应用界面
的预定触发操作时，生成所述唤起指令。显示单元2310还可以用于根据所述唤起指令，显示侦听模式提示信息，以指示所述目标应用进入所述侦听模式。
202.在示例性实施例中，显示单元2310还可以用于显示侦听模式退出控件。处理单元2320还可以用于根据针对所述侦听模式退出控件的触发操作，隐藏所述侦听模式提示信息和所述侦听模式退出控件，以指示所述目标应用退出所述侦听模式。
203.在示例性实施例中，所述预定触发操作可以包括在所述目标应用界面上的单指双击操作、在所述目标应用界面上的预定时长的长按操作等中的至少一种。
204.在示例性实施例中，该显示单元2310还可以用于：当所述选中指令包括针对所述目标多媒体信息的涂抹操作时，在所述目标多媒体信息上显示涂抹选中标记，以用于确定所述目标多媒体信息。
205.在示例性实施例中，该显示单元2310还可以用于：当所述选中指令包括针对所述目标多媒体信息展示区域的画圈操作时，根据所述画圈操作的轨迹，在所述目标多媒体信息展示区域的边沿显示所述轨迹，以用于确定所述目标多媒体信息。
206.在示例性实施例中，该处理单元2320还可以用于在所述目标应用界面上，确定所述目标多媒体信息展示区域的预定背景区域；对所述目标多媒体信息展示区域进行识别处理，确定所述目标多媒体信息对应的目标对象；对所述预定背景区域进行识别处理，确定所述目标对象的环境信息。该展示单元2330还可以用于展示与所述目标对象、和/或所述目标对象的环境信息相匹配的搜索结果。
207.在示例性实施例中，该处理单元2320还可以用于：以所述目标多媒体信息展示区域为中心，向外延伸预定长度以作为所述预定背景区域；或者，根据针对所述预定背景区域的选择指令，确定所述预定背景区域。
208.在示例性实施例中，该处理单元2320还可以用于：确定与所述目标对象、以及所述目标对象的环境信息相匹配的第一搜索结果及其第一排序优先级；确定与所述目标对象相匹配的第二搜索结果及其第二排序优先级，所述第一排序优先级高于所述第二排序优先级。该展示单元2330还可以用于根据所述第一排序优先级和所述第二排序优先级，按序显示所述第一搜索结果和所述第二搜索结果，所述搜索结果包括所述第一搜索结果和所述第二搜索结果。
209.在示例性实施例中，该装置还可以包括接收单元，该接收单元可以用于接收针对所述目标多媒体信息的语音控制指令。该展示单元2330还可以用于展示与所述目标多媒体信息和所述语音控制指令相匹配的搜索结果。
210.在示例性实施例中，该处理单元2320还可以用于确定所述目标多媒体信息对应的目标对象。该展示单元2330还可以用于：显示与所述目标对象、以及所述语音控制指令相匹配的搜索结果；根据针对所述搜索结果中的目标搜索结果的触发操作，显示与所述目标搜索结果相匹配的关联信息。
211.在示例性实施例中，该处理单元2320还可以用于：在所述目标应用界面上，确定所述目标多媒体信息展示区域的预定背景区域；对所述目标多媒体信息展示区域进行识别处理，确定所述目标多媒体信息对应的目标对象；对所述预定背景区域进行识别处理，确定所述目标对象的环境信息。该展示单元2330还可以用于展示与所述目标对象、和/或所述目标对象的环境信息、以及所述语音控制指令相匹配的搜索结果。
212.在示例性实施例中，该处理单元2320还可以用于：确定与所述目标对象以及所述语音控制指令相匹配的第三搜索结果及其第三排序优先级；确定与所述目标对象相匹配的第四搜索结果及其第四排序优先级，所述第三排序优先级高于所述第四排序优先级；确定与所述目标对象以及所述目标对象的环境信息相匹配的第五搜索结果及其第五排序优先级，所述第四排序优先级高于所述第五排序优先级。该展示单元2330还可以用于根据所述第三排序优先级、所述第四排序优先级和所述第五排序优先级，按序显示所述第三搜索结果、所述第四搜索结果和所述第五搜索结果，所述搜索结果包括所述第三搜索结果、所述第四搜索结果和所述第五搜索结果。
213.在示例性实施例中，该处理单元2320还可以用于在所述目标应用界面上生成独立的召回内容展示层。该展示单元2330还可以用于在所述召回内容展示层上显示与所述目标多媒体信息相匹配的搜索结果。
214.在示例性实施例中，该处理单元2320还可以用于在所述目标应用界面上依次生成高斯模糊蒙板以及所述召回内容展示层。
215.参见图24，图24是本公开实施例提供的一种计算机设备的结构示意图。如图24所示，本公开实施例中的计算机设备可以包括：一个或多个处理器2401、存储器2402和输入输出接口2403。该处理器2401、存储器2402和输入输出接口2403通过总线2404连接。存储器2402用于存储计算机程序，该计算机程序包括程序指令，输入输出接口2403用于接收数据及输出数据，如用于宿主机与计算机设备之间进行数据交互，或者用于在宿主机中的各个虚拟机之间进行数据交互；处理器2401用于执行存储器2402存储的程序指令。
216.其中，该处理器2401可以执行如下操作：显示目标应用界面，所述目标应用界面包括多媒体信息展示区域，所述多媒体信息展示区域显示对应的多媒体信息；根据针对所述多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息展示区域中的目标多媒体信息，所述目标多媒体信息展示区域为所述多媒体信息展示区域的部分区域，所述目标多媒体信息为所述多媒体信息的部分多媒体信息；展示与所述目标多媒体信息相匹配的搜索结果。
217.在一些可行的实施方式中，该处理器2401可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
218.该存储器2402可以包括只读存储器和随机存取存储器，并向处理器2401和输入输出接口2403提供指令和数据。存储器2402的一部分还可以包括非易失性随机存取存储器。例如，存储器2402还可以存储设备类型的信息。
219.具体实现中，该计算机设备可通过其内置的各个功能模块执行如上述任一方法实施例中各个步骤所提供的实现方式，具体可参见上述方法实施例所示图中各个步骤所提供的实现方式，在此不再赘述。
220.本公开实施例通过提供一种计算机设备，包括：处理器、输入输出接口、存储器，通过处理器获取存储器中的计算机程序，执行上述任一实施例中所示方法的各个步骤。
221.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序适于由该处理器加载并执行上述任一实施例中各个步骤所提供的搜索方法，具体可参见该上述任一实施例中各个步骤所提供的实现方式，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本公开所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本公开方法实施例的描述。作为示例，计算机程序可被部署为在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
222.该计算机可读存储介质可以是前述任一实施例提供的搜索装置或者该计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
223.本公开实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一实施例中的各种可选方式中所提供的方法。
224.本公开实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
225.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在该说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
226.本公开实施例提供的方法及相关装置是参照本公开实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程应用显示设备的处理器以产生一个机器，使得通过计算机或其他可编程应用显示设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程应用显示设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程应用显示
设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
227.以上所揭露的仅为本公开较佳实施例而已，当然不能以此来限定本公开之权利范围，因此依本公开权利要求所作的等同变化，仍属本公开所涵盖的范围。

技术特征：
1.一种搜索方法，其特征在于，包括：显示目标应用界面，所述目标应用界面包括多媒体信息展示区域，所述多媒体信息展示区域显示对应的多媒体信息；根据针对所述多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息展示区域中的目标多媒体信息，所述目标多媒体信息展示区域为所述多媒体信息展示区域的部分区域，所述目标多媒体信息为所述多媒体信息的部分多媒体信息；展示与所述目标多媒体信息相匹配的搜索结果。2.如权利要求1所述的方法，其特征在于，根据针对所述多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息展示区域中的目标多媒体信息，包括：根据针对所述目标应用界面对应的目标应用的唤起指令，指示所述目标应用进入侦听模式；在所述侦听模式下，接收针对所述目标多媒体信息展示区域的选中指令；根据针对所述目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息。3.如权利要求2所述的方法，其特征在于，根据针对所述目标应用界面对应的目标应用的唤起指令，指示所述目标应用进入侦听模式，包括：当接收到针对所述目标应用界面的预定触发操作时，生成所述唤起指令；根据所述唤起指令，显示侦听模式提示信息，以指示所述目标应用进入所述侦听模式。4.如权利要求3所述的方法，其特征在于，还包括：显示侦听模式退出控件；根据针对所述侦听模式退出控件的触发操作，隐藏所述侦听模式提示信息和所述侦听模式退出控件，以指示所述目标应用退出所述侦听模式。5.如权利要求3所述的方法，其特征在于，所述预定触发操作包括在所述目标应用界面上的单指双击操作、在所述目标应用界面上的预定时长的长按操作中的至少一种。6.如权利要求2所述的方法，其特征在于，根据针对所述目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息，包括：当所述选中指令包括针对所述目标多媒体信息的涂抹操作时，在所述目标多媒体信息上显示涂抹选中标记，以用于确定所述目标多媒体信息。7.如权利要求2所述的方法，其特征在于，根据针对所述目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息，包括：当所述选中指令包括针对所述目标多媒体信息展示区域的画圈操作时，根据所述画圈操作的轨迹，在所述目标多媒体信息展示区域的边沿显示所述轨迹，以用于确定所述目标多媒体信息。8.如权利要求1所述的方法，其特征在于，展示与所述目标多媒体信息相匹配的搜索结果，包括：在所述目标应用界面上，确定所述目标多媒体信息展示区域的预定背景区域；对所述目标多媒体信息展示区域进行识别处理，确定所述目标多媒体信息对应的目标对象；
对所述预定背景区域进行识别处理，确定所述目标对象的环境信息；展示与所述目标对象、和/或所述目标对象的环境信息相匹配的搜索结果。9.如权利要求8所述的方法，其特征在于，在所述目标应用界面上，确定所述目标多媒体信息展示区域的预定背景区域，包括：以所述目标多媒体信息展示区域为中心，向外延伸预定长度以作为所述预定背景区域；或者，根据针对所述预定背景区域的选择指令，确定所述预定背景区域。10.如权利要求8所述的方法，其特征在于，展示与所述目标对象、和/或所述目标对象的环境信息相匹配的搜索结果，包括：确定与所述目标对象、以及所述目标对象的环境信息相匹配的第一搜索结果及其第一排序优先级；确定与所述目标对象相匹配的第二搜索结果及其第二排序优先级，所述第一排序优先级高于所述第二排序优先级；根据所述第一排序优先级和所述第二排序优先级，按序显示所述第一搜索结果和所述第二搜索结果，所述搜索结果包括所述第一搜索结果和所述第二搜索结果。11.如权利要求1所述的方法，其特征在于，展示与所述目标多媒体信息相匹配的搜索结果，包括：接收针对所述目标多媒体信息的语音控制指令；展示与所述目标多媒体信息和所述语音控制指令相匹配的搜索结果。12.如权利要求11所述的方法，其特征在于，展示与所述目标多媒体信息和所述语音控制指令相匹配的搜索结果，包括：确定所述目标多媒体信息对应的目标对象；显示与所述目标对象、以及所述语音控制指令相匹配的搜索结果；根据针对所述搜索结果中的目标搜索结果的触发操作，显示与所述目标搜索结果相匹配的关联信息。13.如权利要求11所述的方法，其特征在于，展示与所述目标多媒体信息和所述语音控制指令相匹配的搜索结果，包括：在所述目标应用界面上，确定所述目标多媒体信息展示区域的预定背景区域；对所述目标多媒体信息展示区域进行识别处理，确定所述目标多媒体信息对应的目标对象；对所述预定背景区域进行识别处理，确定所述目标对象的环境信息；展示与所述目标对象、和/或所述目标对象的环境信息、以及所述语音控制指令相匹配的搜索结果。14.如权利要求13所述的方法，其特征在于，展示与所述目标对象、和/或所述目标对象的环境信息、以及所述语音控制指令相匹配的搜索结果，包括：确定与所述目标对象以及所述语音控制指令相匹配的第三搜索结果及其第三排序优先级；确定与所述目标对象相匹配的第四搜索结果及其第四排序优先级，所述第三排序优先级高于所述第四排序优先级；
确定与所述目标对象以及所述目标对象的环境信息相匹配的第五搜索结果及其第五排序优先级，所述第四排序优先级高于所述第五排序优先级；根据所述第三排序优先级、所述第四排序优先级和所述第五排序优先级，按序显示所述第三搜索结果、所述第四搜索结果和所述第五搜索结果，所述搜索结果包括所述第三搜索结果、所述第四搜索结果和所述第五搜索结果。15.如权利要求1所述的方法，其特征在于，展示与所述目标多媒体信息相匹配的搜索结果，包括：在所述目标应用界面上生成独立的召回内容展示层；在所述召回内容展示层上显示与所述目标多媒体信息相匹配的搜索结果。16.如权利要求15所述的方法，其特征在于，在所述目标应用界面上生成独立的召回内容展示层，包括：在所述目标应用界面上依次生成高斯模糊蒙板以及所述召回内容展示层。17.一种搜索装置，其特征在于，包括：显示单元，用于显示目标应用界面，所述目标应用界面包括多媒体信息展示区域，所述多媒体信息展示区域显示对应的多媒体信息；处理单元，用于根据针对所述多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定所述目标多媒体信息展示区域中的目标多媒体信息，所述目标多媒体信息展示区域为所述多媒体信息展示区域的部分区域，所述目标多媒体信息为所述多媒体信息的部分多媒体信息；展示单元，用于展示与所述目标多媒体信息相匹配的搜索结果。18.一种计算机设备，其特征在于，包括处理器、存储器、输入输出接口；所述处理器分别与所述存储器和所述输入输出接口相连，其中，所述输入输出接口用于接收数据及输出数据，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行权利要求1-16任一项所述的方法。19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-16任一项所述的方法。20.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-16任一项所述方法。

技术总结
本公开实施例公开了一种搜索方法、装置、计算机设备、可读存储介质及产品，涉及计算机技术领域，该方法包括：显示目标应用界面，目标应用界面包括多媒体信息展示区域，多媒体信息展示区域显示对应的多媒体信息；根据针对多媒体信息展示区域中的目标多媒体信息展示区域的选中指令，确定目标多媒体信息展示区域中的目标多媒体信息，目标多媒体信息展示区域为多媒体信息展示区域的部分区域，目标多媒体信息为多媒体信息的部分多媒体信息；展示与目标多媒体信息相匹配的搜索结果。采用本公开，可以在多媒体信息展示区域中精准的确认用户希望搜索的目标多媒体信息，提升了搜索结果的准确性。性。性。


技术研发人员：徐子闻 陈俊标
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2022.03.11
技术公布日：2023/9/20