通信消息处理方法和显示设备与流程

1.本公开涉及显示技术领域，尤其涉及一种通信消息处理方法和显示设备。


背景技术：

2.随着终端技术和互联网技术的发展，多屏协同技术得到了广泛的应用。多屏协同技术是指多个屏幕协同工作，其包括将一个设备的屏幕内容投屏至其他设备上进行显示。比如，将手机的屏幕内容投屏至计算机上进行显示，这样用户就能在计算机上观看手机屏幕所显示的内容，从而实现手机和计算机之间的同屏显示。
3.现有技术中，在第一设备向第二设备投屏的过程中，第二设备显示有第一设备的屏幕内容。但是，在第一设备接收到通信消息后，第二设备显示的内容会暂停显示，接入通信消息。但是在一些使用场景下，例如健身场景下，用户会跟练第二设备播放的训练健身视频，第一设备采集用户的跟练健身视频并投屏至第二设备，第二设备显示训练健身视频和跟练健身视频，当第一设备接收到通信消息后，会打断第二设备播放的训练健身视频和跟练健身视频，降低了用户的使用感受。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种通信消息处理方法和显示设备。
5.第一方面，本公开实施例提供了一种通信消息处理方法，包括：
6.在第一设备向第二设备投屏的过程中，对所述第一设备的通信消息进行监听；
7.在监听到所述通信消息，获取所述第二设备显示的跟练视频流的状态信息，所述状态信息包括跟练状态和暂停状态，所述通信消息表征第三设备向所述第一设备发送的通信消息；
8.根据所述第二设备显示的跟练视频流的状态信息，发送控制指令至所述第二设备，以控制所述第二设备显示通知内容，不同控制指令对应的所述第二设备显示的通知内容不同。
9.作为一种可实施方式，可选的，所述通知内容包括第一通知内容和第二通知内容，所述第一通知内容包括文本，所述第二通知内容包括文本和音频；
10.所述根据所述第二设备显示的跟练视频流的状态信息，发送控制指令至所述第二设备，包括：
11.当所述第二设备显示的跟练视频流的状态信息为跟练状态时，发送第一控制指令至所述第二设备，以控制所述第二设备显示所述第一通知内容对应的文本；
12.当所述第二设备显示的跟练视频流的状态信息为暂停状态时，发送第二控制指令至所述第二设备，以控制所述第二设备显示所述第二通知内容对应的文本，并控制扬声器播放所述第二通知内容对应的音频。
13.作为一种可实施方式，可选的，所述方法还包括：
14.当所述第二设备显示的跟练视频流的状态信息为跟练状态时，响应于所述第二设备接收的暂停跟练指示信号，控制显示器显示所述通知内容对应的文本，并控制扬声器播放所述通知内容对应的音频。
15.作为一种可实施方式，可选的，所述方法还包括：
16.当所述第二设备显示的跟练视频流的状态信息为跟练状态时，响应于所述第二设备接收的触发操作，发送第一指示指令至所述第一设备，以指示所述第一设备打开所述通知内容对应的应用；或，控制显示器暂停播放训练视频流和跟练视频流，并控制扬声器播放所述通知内容对应的音频。
17.作为一种可实施方式，可选的，所述发送第一指示指令至所述第一设备之后，还包括：
18.监听所述第一设备的通信消息对应的音视频的通信状态；
19.当所述第一设备的通信消息对应的音视频的通信状态由通信中状态转为通信结束状态，建立所述第一设备和所述第二设备的投屏通信通道。
20.作为一种可实施方式，可选的，所述方法还包括：
21.在所述第二设备包括所述通知内容对应的应用时，通过所述第二设备的应用打开所述通知内容；
22.监听所述通信消息对应的音视频的通信状态；
23.当所述第二设备的通信消息对应的音视频的通信状态由通信中状态转为通信结束状态，控制显示器继续播放所述训练视频流和跟练视频流。
24.作为一种可实施方式，可选的，所述获取所述第二设备显示的跟练视频流的状态信息，包括：
25.在监测到所述第一设备接收的通信消息的提示时长大于或等于预设阈值时，获取所述第二设备显示的跟练视频流的状态信息。
26.第二方面，本公开实施例提供一种显示设备，所述显示设备包括：
27.显示器；
28.控制器，被配置为：
29.在第一设备向第二设备投屏的过程中，对所述第一设备的通信消息进行监听；
30.在监听到所述通信消息，获取所述第二设备显示的跟练视频流的状态信息，所述状态信息包括跟练状态和暂停状态，所述通信消息表征第三设备向所述第一设备发送的通信消息；
31.根据所述第二设备显示的跟练视频流的状态信息，发送控制指令至所述第二设备，以控制所述第二设备显示通知内容，不同控制指令对应的所述显示器显示的通知内容不同。
32.作为一种可实施方式，可选的，所述控制器具体被配置为：
33.当所述第二设备显示的跟练视频流的状态信息为跟练状态时，发送第一控制指令至所述第二设备，以控制所述第二设备显示所述第一通知内容对应的文本；
34.当所述第二设备显示的跟练视频流的状态信息为暂停状态时，发送第二控制指令至所述第二设备，以控制所述第二设备显示所述第二通知内容对应的文本，并控制扬声器播放所述第二通知内容对应的音频。
35.作为一种可实施方式，可选的，
36.所述控制器还被配置为：
37.当所述第二设备显示的跟练视频流的状态信息为跟练状态时，响应于所述第二设备接收的暂停跟练指示信号，控制显示器显示所述通知内容对应的文本，并控制扬声器播放所述通知内容对应的音频。
38.本公开实施例提供的技术方案与现有技术相比具有如下优点：
39.本公开实施例提供的通信消息处理方法和显示设备，在第一设备向第二设备投屏的过程中，对第一设备的通信消息进行监听，在监听到通信消息，通过获取第二设备显示的跟练视频流的状态信息，确定用户是否跟练第二设备播放的训练视频流，然后根据获取的第二设备显示的跟练视频流的状态信息，发送控制指令至第二设备，以控制第二设备显示通知内容，即通过获取第二设备显示的跟练视频流的状态信息，确定用户是否跟练第二设备播放的训练视频流，进而根据用户是否跟练第二设备播放的训练视频流，控制第二设备显示通知内容，避免在用户跟练第二设备播放的训练视频流时，直接将第一设备接收的通知内容发送至第二设备上，暂停第二设备播放的训练视频流以及跟练视频流，而使得跟练状态的用户无法做出及时反应，降低用户的使用感受。
附图说明
40.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
41.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
42.图1a是本公开实施例提供的一种通信消息处理方法的系统网络架构图；
43.图1b是本公开实施例提供的一种终端设备的结构示意图；
44.图2a是本公开实施例提供的一种通信消息处理方法的流程示意图；
45.图2b是本公开实施例提供一种通信消息处理方法的信号流程示意图；
46.图3a是本公开实施例提供的另一种通信消息处理方法的流程示意图；
47.图3b是本公开实施例提供的另一种通信消息处理方法的信号流程示意图；
48.图4a是本公开实施例提供的又一种通信消息处理方法的流程示意图；
49.图4b是本公开实施例提供的又一种通信消息处理方法的信号流程示意图；
50.图5a是本公开实施例提供的又一种通信消息处理方法的流程示意图；
51.图5b是本公开实施例提供的又一种通信消息处理方法的信号流程示意图；
52.图6a是本公开实施例提供的又一种通信消息处理方法的流程示意图；
53.图6b是本公开实施例提供的又一种通信消息处理方法的信号流程示意图；
54.图7a是本公开实施例提供的又一种通信消息处理方法的流程示意图；
55.图7b是本公开实施例提供的又一种通信消息处理方法的信号流程示意图；
56.图8a是本公开实施例提供的又一种通信消息处理方法的流程示意图；
57.图8b是本公开实施例提供的又一种通信消息处理方法的信号流程示意图；
58.图9是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
59.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
60.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
61.图1a示意性示出了根据本技术实施例的投屏方法的投屏系统网络架构图。投屏系统网络架构图中包括第一设备10、第二设备20、路由器30和服务器40等。其中：第一设备，可以作为投屏系统网络架构中的发送端，用于将多媒体内容和各类指令发送到第二设备中。在示例性的实施例中，第一设备包括，但不限于，智能手机、平板电脑、游戏机、膝上型计算机等。第二设备，可以作为投屏系统网络架构中的展示端，用于接收第一设备的多媒体内容和各类指令，并将接收到的多媒体内容同步播放到自身设备的显示面板或关联设备的显示面板中。第二设备可以是诸如虚拟现实设备、机顶盒、智能电视、车辆终端、大型露天显示面板等屏幕较大的相关设备，当然，也可以是智能手机、平板电脑、膝上型计算机等屏幕较小的相关设备。
62.路由器，可以作为投屏系统网络架构中的网关，用于组建局域网以及提供互联网服务。路由器能够为第一设备和第二设备之间提供本地连接。
63.服务器，可以作为投屏系统网络架构中的云端设备，用于提供云端服务，例如云端账户管理服务等。服务器可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。
64.第一设备可以通过第一网络或第二网络发现第二设备，并且基于第一网络或第二网络与第二设备建立网络连接。通过该建立的网络连接，第一设备可以将需要投屏的多媒体内容投放到第二设备中，通过第二设备播放出来。第一网络可以是局域网，局域网可以是有线局域网或无线局域网。如图1a所示，无线局域网可以是由路由器8组建的wi-fi网络。第二网络可以是广域网，如互联网。广域网可以包括物理链路，例如同轴电缆链路，双绞线电缆链路，光纤链路，其组合等。广域网还可以包括无线链路，诸如蜂窝链路，卫星链路等。
65.在示例性的实施例中，如图1b所示，第一设备和第二设备包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
66.在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入/输出的第一接口至第n接口。
67.显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面。
68.显示器260可为液晶显示器、oled显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。
69.通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近
场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。
70.用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。
71.检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
72.外部装置接口240可以包括但不限于如下：高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
73.调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。
74.在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
75.控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
76.在一些实施例中控制器包括中央处理器(central processing unit，cpu)，视频处理器，音频处理器，图形处理器(graphics processing unit，gpu)，ram random access memory，ram)，rom(read-only memory,rom)，用于输入/输出的第一接口至第n接口，通信总线(bus)等中的至少一种。
77.用户可在显示器260上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
[0078]“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素。
[0079]
以上对第一设备和第二设备的各个功能做了简单介绍。
[0080]
第一设备可以向第二设备实施投屏操作。
[0081]
但是，现有技术中，在第一设备向第二设备投屏的过程中，第二设备显示有第一设备的屏幕内容。在第一设备接收到通信消息后，第二设备显示的内容会暂停显示，接入通信消息。但是在一些使用场景下，例如健身场景下，用户会跟练第二设备播放的训练健身视频，第一设备采集用户的跟练健身视频并投屏至第二设备，第二设备显示训练健身视频和跟练健身视频，当第一设备接收到通信消息后，会打断第二设备播放的训练健身视频和跟练健身视频，降低了用户的使用感受。
[0082]
本公开实施例提供一种通信消息处理方法，在第一设备向第二设备投屏的过程中，对第一设备的通信消息进行监听；在监听到通信消息，获取第二设备显示的跟练视频流的状态信息，状态信息包括跟练状态和暂停状态；根据第二设备显示的跟练视频流的状态信息，发送控制指令至第二设备，以控制第二设备显示通知内容，不同控制指令对应的显示器显示的通知内容不同，保证当第二设备显示的跟练视频流的状态信息为跟练状态时，第一设备接收的第三设备发送的通信消息不会影响第二设备显示的跟练视频流和训练视频流，提高用户的使用感受。
[0083]
图2a是本公开实施例提供的一种通信消息处理方法的流程示意图，图2b是本公开实施例提供一种通信消息处理方法的信号流程示意图，结合图2a和图2b，通信消息处理方法包括：
[0084]
s100、在第一设备向第二设备投屏的过程中，对第一设备的通信消息进行监听。
[0085]
在具体的实施方式中，第一设备包括图像采集模块，示例性，图像采集模块可以为摄像头，基于第一设备的图像采集模块采集用户视频数据。
[0086]
作为一种具体的实施方式，第二设备播放训练视频流，例如，健身训练视频流、舞蹈训练视频流，用户通过跟练第二设备播放的训练视频流，第一设备的图像采集模块采集用户跟练视频流并通过投屏在第二设备上显示。
[0087]
其中，设置第一设备与第二设备之间的距离小于预设距离阈值，且第一设备的图像采集模块的朝向与第二设备的显示屏朝向之间的角度小于预设角度阈值。
[0088]
在本公开实施例中，当用户通过跟练第二设备播放的训练视频流进行连续肢体动作，例如，进行舞蹈动作、体操动作等，利用第一设备的图像采集模块采集用户跟练视频流。可以理解地，为了保持图像采集模块位置固定，防止发生抖动，第一设备可以设置于固定支架上，即与第二设备之间的距离小于预设距离阈值，且第一设备的图像采集模块的朝向与第二设备的显示屏朝向之间的角度小于预设角度阈值，保证用户可以跟练第二设备播放的训练视频流的同时，第一设备的图像采集模块可以采集到用户跟练视频流。
[0089]
作为一个示例，在第一设备向第二设备投屏的过程中，第二设备可以在展示窗口显示训练视频流，在投屏窗口显示第一设备的投屏内容(即跟练视频流)。比如，该投屏窗口用于显示第一设备的屏幕内容，即该投屏窗口内的显示内容与第一设备的屏幕所显示的内容相同。
[0090]
需要说明的是，投屏通常包括推送投屏和镜像投屏。本公开主要应用于镜像投屏场景中。
[0091]
其中，推送投屏是指将一个设备的多媒体资源投放至其他设备上进行播放，多媒体资源包括音、视频资源。例如将手机上的视频投放至智能电视上进行播放，在此过程中并不影响用户对手机的使用，用户仍然可以对手机进行操作。镜像投屏是指将一个设备的屏幕内容投放至其他设备上进行显示，即将一个设备的整个屏幕镜像显示在其他设备上。例如将手机的屏幕内容投放至投影仪上进行显示，在此过程中，手机显示什么内容，投影仪的投屏窗口也将显示什么内容。
[0092]
另外，在第一设备10向第二设备20投屏的过程中，第二设备20还可以根据第二设备20中的投屏窗口对第一设备10进行反向控制。
[0093]
在具体的实施方式中，当第一设备向第二设备投屏的过程中，为避免第一设备接
收到的通信消息对第二设备播放的训练视频流和跟练视频流的影响，在第一设备向第二设备投屏的过程中，首先对第一设备的通信消息进行监听。
[0094]
通信是指可以交流的工具，消息的内容可以是语音、视频、电话、文本等类型。
[0095]
通信消息表征第一设备接收到了第三设备发送的通话请求中的通信消息，其中，通话请求包括：蜂窝网络通话请求(需要sim卡，不需要应用)或非蜂窝网络通话请求(不需要sim卡，需要应用)，非蜂窝网络通话请求可以包括：运营商数据网络通话请求、互联网通话请求、局域网通话请求，通信消息类型可以是语音、视频、电话、文本等类型(第三设备向第一设备发送通信消息的过程中有音频提示消息)。
[0096]
s200、在监听到通信消息，获取第二设备显示的跟练视频流的状态信息。
[0097]
状态信息包括跟练状态和暂停状态。
[0098]
第二设备显示跟练视频流以及训练视频流，其中，训练视频流是第二设备播放的视频流，跟练视频流是第一设备的图像采集模块采集的用户跟练第一设备播放的训练视频流对应的跟练视频数据，然后投屏至第二设备显示的。
[0099]
当第二设备的服务器监听到第一设备接收到通信消息，第二设备的控制器获取第二设备的投屏窗口显示的跟练视频流的状态信息，即基于第二设备的投屏窗口显示的跟练视频流的状态信息，可以确定用户是否跟练第二设备播放的训练视频流，若第二设备显示的跟练视频流的状态信息为跟练状态，则可以确定用户跟练第二设备播放的训练视频流，若第二设备显示的跟练视频流的状态信息为暂停状态，则可以确定用户未跟练第二设备播放的训练视频流。
[0100]
作为一种具体的实施方式，跟练视频流的状态信息可以通过连续获取预设帧值的跟练视频流的图像信息，通过比对相邻帧值对应的图像信息，确定跟练视频流的状态信息。示例性的，获取跟练视频流连续三帧对应的图像信息，依次比对第一帧对应的图像信息与第二帧对应的图像信息是否一致，以及第二帧对应的图像信息与第三帧对应的图像信息是否一致，当第一帧对应的图像信息与第二帧对应的图像信息一致，第二帧对应的图像信息与第三帧对应的图像信息一致，则可以确定跟练视频流处于暂停状态。当第一帧对应的图像信息与第二帧对应的图像信息不一致，和/或第二帧对应的图像信息与第三帧对应的图像信息不一致，则可以确定跟练视频流处于跟练状态。
[0101]
s300、根据第二设备显示的跟练视频流的状态信息，发送控制指令至第二设备，以控制第二设备显示通知内容。
[0102]
不同控制指令对应的第二设备显示的通知内容不同。
[0103]
在第一设备向第二设备投屏，且第一设备接收到通信消息时，本公开实施例通过获取第二设备显示的跟练视频流的状态信息，发送控制指令至第二设备，以控制第二设备显示通知内容，避免在第一设备向第二设备投屏的过程中，第一设备接收到的通信消息后直接在第二设备投屏显示通信消息对应的通知内容，使得通信消息对应的通知内容打断第二设备显示的跟练视频流和训练视频流，降低了用户的使用感受。
[0104]
本公开实施例提供的通信消息处理方法，在第一设备向第二设备投屏的过程中，对第一设备的通信消息进行监听，在监听到通信消息，通过获取第二设备显示的跟练视频流的状态信息，确定用户是否跟练第二设备播放的训练视频流，然后根据获取的第二设备显示的跟练视频流的状态信息，发送控制指令至第二设备，以控制第二设备显示通知内容，
即通过获取第二设备显示的跟练视频流的状态信息，确定用户是否跟练第二设备播放的训练视频流，进而根据用户是否跟练第二设备播放的训练视频流，控制第二设备显示通知内容，避免在用户跟练第二设备播放的训练视频流时，直接将第一设备接收的通知内容发送至第二设备上，暂停第二设备播放的训练视频流以及跟练视频流，而使得跟练状态的用户无法做出及时反应，降低用户的使用感受。
[0105]
图3a是本公开实施例提供的另一种通信消息处理方法的流程示意图，图3b是本公开实施例提供的另一种通信消息处理方法的信号流程示意图，结合图3a和图3b，步骤s300的实施方式包括：
[0106]
s301、当第二设备显示的跟练视频流的状态信息为跟练状态时，发送第一控制指令至第二设备，以控制第二设备显示第一通知内容对应的文本。
[0107]
在具体的实施方式中，第二设备的控制器在监听到第一设备接收到通信消息，且获取的第二设备显示的跟练视频流的状态信息为跟练状态时，第二设备的控制器发送第一控制指令至第二设备，控制第二设备显示第一通知内容对应的文本，即仅仅将第一设备接收的通知内容对应的文本进行显示，而扬声器不播放通知内容对应的音频。
[0108]
示例性，若第一设备打开健身应用程序，健身应用程序的图像采集模块采集用户的跟练视频流并投屏至第二设备进行显示，在第一设备向第二设备投屏的过程中，第一设备的健身应用程序监听到第三设备向第一设备发送通信消息，例如第一设备接收到用户a的来电，此时，第一设备根据来电从用户通讯录中获取来电人信息，调用第一设备中间件发送给第二设备，第二设备的控制器在接收到第一设备的中间件发送的来电人信息后，将来电人信息对应的文本数据发送至第二设备进行投屏显示(来电人信息为通知内容)，即仅仅在第二设备的显示屏显示用户a来电文本，不播放来电音频，例如用户设置的第一设备的来电音乐，避免第一设备的通知内容对应的音频在第二设备播放，使得通知内容对应的音频打断第二设备播放的跟练视频流和训练视频流。
[0109]
s302、当第二设备显示的跟练视频流的状态信息为暂停状态时，发送第二控制指令至第二设备，以控制第二设备显示第二通知内容对应的文本，并控制扬声器播放第二通知内容对应的音频。
[0110]
在具体的实施方式中，第二设备的控制器在监听到第一设备接收到通信消息，且获取的第二设备显示的跟练视频流的状态信息为暂停状态时，第二设备的控制器发送第二控制指令至第二设备，第二通知内容对应的文本，并控制扬声器播放第二通知内容对应的音频，即不仅将第一设备接收的通知内容对应的文本进行显示，而且播放通知内容对应的音频。
[0111]
示例性，若第一设备打开健身应用程序，健身应用程序的图像采集模块采集用户的跟练视频流并投屏至第二设备进行显示，在第一设备向第二设备投屏的过程中，第一设备的健身应用程序监听到用户a的来电，此时，第一设备根据来电从用户通讯录中获取来电人信息，调用第一设备中间件发送给第二设备，第二设备的服务器在接收到第一设备的中间件发送的来电人信息后，将来电人信息对应的文本数据发送至第二设备进行投屏显示，并播放第一设备设置的来电音乐，实现用户在暂停跟练状态时，通过第二设备显示通信消息对应的文本数据以及播放音频数据。
[0112]
图4a是本公开实施例提供的又一种通信消息处理方法的流程示意图，图4b是本公
开实施例提供的又一种通信消息处理方法的信号流程示意图，本公开实施例是在图3a对应的实施例的基础上，如图4a和图4b所示，通信消息处理方法还包括：
[0113]
s303、当第二设备显示的跟练视频流的状态信息为跟练状态时，响应于第二设备接收的暂停跟练指示信号，控制显示器显示通知内容对应的文本，并控制扬声器播放通知内容对应的音频。
[0114]
在具体的实施方式中，当监听到通信消息，且第二设备显示的跟练视频流的状态信息为跟练状态时，通过控制显示器显示通知内容对应的文本，以提示用户有通信消息接入，在不影响用户跟练训练视频流的基础上，可以保证用户正常接收通信消息。而用户可基于显示器显示通知内容对应的文本及时接收到有通信消息接入的提示信息，此时，用户可以通过语音控制或者控制设备控制第二设备显示的训练视频流暂停，例如，用户通过语音控制第二设备暂停训练视频流，第二设备响应用户输出的语音控制信号，并暂停训练视频流，此时，控制器响应第二设备接收的暂停跟练指示信息，即控制器接收到第二设备的训练视频流暂停播放的信号后，控制显示器显示通知内容对应的文本，并控制扬声器播放通知内容对应的音频，即在接收到用户暂停第二设备播放的训练视频流的指示信号后，通过控制显示器显示通知内容对应的文本，并控制扬声器播放通知内容对应的音频，保证用户可以实现远距离接收通知内容。
[0115]
图5a是本公开实施例提供的又一种通信消息处理方法的流程示意图，图5b是本公开实施例提供的又一种通信消息处理方的信号流程示意图，本公开实施例是在图3a对应的实施例的基础上，如图5a和图5b所示，通信消息处理方法还包括：
[0116]
s304、当第二设备显示的跟练视频流的状态信息为跟练状态时，响应于第二设备接收的触发操作，发送第一指示指令至第一设备，以指示第一设备打开通知内容对应的应用。
[0117]
具体的，触发操作包括打开操作，触发操作可基于控制设备进行，也可基于语音控制。
[0118]
当第二设备显示的跟练视频流的状态信息为跟练状态时，作为一种可实施方式，用户可以通过语音控制或者控制设备控制触发第二设备显示的通知内容，此时，控制器响应用户在第二设备的的触发操作，发送第一指示指令至第一设备，在第一设备打开通知内容对应的应用/功能。
[0119]
示例性的，若第一设备监听到应用程序a中有通信消息，通信消息为用户a接收到用户b的视频通话，在第二设备显示的跟练视频流的状态信息为跟练状态时，第二设备以消息提示的方式在第二设备显示该通知内容对应的文本“用户b的视频通话”，此时，若用户触发第二设备显示的通知内容对应的文本“用户b的视频通话”，控制器响应用户在第二设备触发的通知内容对应的文本，并发送第一指示指令至第一设备，以指示第一设备打开应用程序a。
[0120]
s305、控制显示器暂停播放训练视频流和跟练视频流，并控制扬声器播放通知内容对应的音频。
[0121]
当第二设备显示的跟练视频流的状态信息为跟练状态时，作为另一种可实施方式，用户可以通过语音控制或者控制设备控制触发第二设备显示的通知内容对应的文本，此时，控制器响应用户在第二设备的触发操作，控制显示器暂停播放训练视频流和跟练视
频流，并控制扬声器播放通知内容对应的音频。
[0122]
示例性的，若第一设备监听到应用程序a中有通信消息，通信消息为用户a接收到用户b的视频通话，在第二设备显示的跟练视频流的状态信息为跟练状态时，第二设备以消息提示的方式在第二设备显示该通知内容对应的文本“用户b的视频通话”，此时，若用户触发第二设备显示的通知内容对应的文本“用户b的视频通话”，控制器响应用户在第二设备触发的通知内容对应的文本，控制显示器暂停播放训练视频流和跟练视频流，并控制扬声器播放通知内容对应的音频。
[0123]
图6a是本公开实施例提供的又一种通信消息处理方法的流程示意图，图6b是本公开实施例提供的又一种通信消息处理方法的信号流程示意图，本公开实施例是在图5a对应的实施例的基础上，当通信消息处理方法包括步骤s304时，所述方法还包括：
[0124]
s306、监听第一设备的通信消息对应的音视频的通信状态。
[0125]
s307、当第一设备的通信消息对应的音视频的通信状态由通信中状态转为通信结束状态，建立第一设备和第二设备的投屏通信通道。
[0126]
当第二设备显示的跟练视频流的状态信息为跟练状态时，用户可通过在第二设备触发第二设备显示的通知内容对应的文本，进而使得控制器发送第一指示指令至第一设备，使得第一设备打开通知内容对应的应用，此时，用户可以实现在第一设备的应用上接听通信消息，由于第一设备接听了通信消息，此时第一设备退出向第二设备投屏。当用户在第一设备接听通信消息后，控制器监听第一设备通信消息对应的音视频的状态信息，判断第一设备结束通信消息的时间节点，当控制器监听到第一设备的通信消息对应的音视频的通信状态由通信中状态转为通信结束状态时，第一设备可再次发送投屏请求，控制器响应第一设备发送的投屏请求，将投屏请求发送至第二设备，实现第一设备和第二设备的投屏通道的再次建立。
[0127]
图7a是本公开实施例提供的又一种通信消息处理方法的流程示意图，图7b是本公开实施例提供的又一种通信消息处理方法的信号流程示意图，本公开实施例是在图5a对应的实施例的基础上，当通信消息处理方法包括步骤s305时，所述方法还包括：
[0128]
s308、在第二设备包括通知内容对应的应用时，通过第二设备的应用打开通知内容。
[0129]
s309、监听通信消息对应的音视频的通信状态。
[0130]
s310、当第二设备的通信消息对应的音视频的通信状态由通信中状态转为通信结束状态，控制显示器继续播放训练视频流和跟练视频流。
[0131]
而当第二设备显示的跟练视频流的状态信息为跟练状态时，用户可通过在第二设备触发打开第二设备显示的通知内容对应的文本，进而控制第二设备暂停播放训练视频流和跟练视频流并播放通知内容对应的音频，此时，在第二设备包括通知内容对应的应用时，用户可以通过第二设备打开通知内容，实现在第二设备接听通信消息，由于第二设备接听了通信消息，此时第二设备播放的跟练视频流和训练视频流处于暂停状态。当用户在第二设备接听通信消息后，控制器监听第二设备通信消息对应的音视频的状态信息，判断第二设备结束通信消息的时间节点，当控制器监听到第二设备的通信消息对应的音视频的通信状态由通信中状态转为通信结束状态时，控制显示器继续播放训练视频流和跟练视频流。
[0132]
图8a是本公开实施例提供的又一种通信消息处理方法的流程示意图，图8b是本公
开实施例提供的又一种通信消息处理方法的信号流程示意图，本公开实施例是在图2a对应的实施例的基础上，获取第二设备显示的跟练视频流的状态信息包括：
[0133]
s201、在监测到第一设备接收的通信消息的提示时长大于或等于预设阈值时，获取第二设备显示的跟练视频流的状态信息。
[0134]
通过监听通信消息的提示时长，在通信消息的提示时长大于或等于预设阈值时，获取第二设备显示的跟练视频流的状态信息，而当通信消息的提示时长小于预设阈值时，保证第二设备正常显示第一设备投屏的跟练视频流，则判定第一设备接收的通信消息为无用通信消息，无需将通信消息接入第二设备。
[0135]
本公开实施例提供的一种显示设备，显示设备包括：
[0136]
显示器；
[0137]
控制器，被配置为：
[0138]
在第一设备向第二设备投屏的过程中，对第一设备的通信消息进行监听；
[0139]
在监听到通信消息，获取第二设备显示的跟练视频流的状态信息，状态信息包括跟练状态和暂停状态，通信消息表征第三设备向第一设备发送的通信消息；
[0140]
根据第二设备显示的跟练视频流的状态信息，发送控制指令至第二设备，以控制第二设备显示通知内容，不同控制指令对应的显示器显示的通知内容不同。
[0141]
本公开实施例提供的显示设备，在第一设备向第二设备投屏的过程中，对第一设备的通信消息进行监听；在监听到通信消息，获取第二设备显示的跟练视频流的状态信息，状态信息包括跟练状态和暂停状态；根据第二设备显示的跟练视频流的状态信息，发送控制指令至第二设备，以控制第二设备显示通知内容，不同控制指令对应的显示器显示的通知内容不同，保证当第二设备显示的跟练视频流的状态信息为跟练状态时，第一设备接收的第三设备发送的通信消息不会影响第二设备显示的跟练视频流和训练视频流，提高用户的使用感受。
[0142]
作为一种可实施方式，可选的，控制器具体被配置为：
[0143]
当第二设备显示的跟练视频流的状态信息为跟练状态时，发送第一控制指令至第二设备，以控制第二设备显示第一通知内容对应的文本；
[0144]
当第二设备显示的跟练视频流的状态信息为暂停状态时，发送第二控制指令至第二设备，以控制第二设备显示第二通知内容对应的文本，并控制扬声器播放第二通知内容对应的音频。
[0145]
作为一种可实施方式，可选的，
[0146]
控制器还被配置为：
[0147]
当第二设备显示的跟练视频流的状态信息为跟练状态时，响应于第二设备接收的暂停跟练指示信号，控制显示器显示通知内容对应的文本，并控制扬声器播放通知内容对应的音频。
[0148]
本公开还提供一种电子设备，包括：处理器，所述处理器用于执行存储于存储器的计算机程序，所述计算机程序被处理器执行时实现上述方法实施例的步骤。
[0149]
图9为本公开提供的一种电子设备的结构示意图，图9示出了适于用来实现本发明实施例实施方式的示例性电子设备的框图。图9显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0150]
如图9所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：一个或者多个处理器810，系统存储器820，连接不同系统组件(包括系统存储器820和处理器)的总线830。
[0151]
总线830表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0152]
电子设备800典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备800访问的介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0153]
系统存储器820可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)840和/或高速缓存存储器850。电子设备800可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统860可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom、dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线830相连。系统存储器820可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明实施例各实施例的功能。
[0154]
具有一组(至少一个)程序模块870的程序/实用工具880，可以存储在例如系统存储器820中，这样的程序模块870包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块870通常执行本发明实施例所描述的实施例中的功能和/或方法。
[0155]
处理器810通过运行存储在系统存储器820中的多个程序中的至少一个程序，从而执行各种功能应用以及信息处理，例如实现本发明实施例所提供的方法实施例。
[0156]
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例的步骤。
[0157]
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0158]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0159]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0160]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)域连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0161]
本公开还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行实现上述方法实施例的步骤。
[0162]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0163]
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种通信消息处理方法，其特征在于，包括：在第一设备向第二设备投屏的过程中，对所述第一设备的通信消息进行监听；在监听到所述通信消息，获取所述第二设备显示的跟练视频流的状态信息，所述状态信息包括跟练状态和暂停状态，所述通信消息表征第三设备向所述第一设备发送的通信消息；根据所述第二设备显示的跟练视频流的状态信息，发送控制指令至所述第二设备，以控制所述第二设备显示通知内容，不同控制指令对应的所述第二设备显示的通知内容不同。2.根据权利要求1所述的方法，其特征在于，所述通知内容包括第一通知内容和第二通知内容，所述第一通知内容包括文本，所述第二通知内容包括文本和音频；所述根据所述第二设备显示的跟练视频流的状态信息，发送控制指令至所述第二设备，包括：当所述第二设备显示的跟练视频流的状态信息为跟练状态时，发送第一控制指令至所述第二设备，以控制所述第二设备显示所述第一通知内容对应的文本；当所述第二设备显示的跟练视频流的状态信息为暂停状态时，发送第二控制指令至所述第二设备，以控制所述第二设备显示所述第二通知内容对应的文本，并控制扬声器播放所述第二通知内容对应的音频。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：当所述第二设备显示的跟练视频流的状态信息为跟练状态时，响应于所述第二设备接收的暂停跟练指示信号，控制显示器显示所述通知内容对应的文本，并控制扬声器播放所述通知内容对应的音频。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：当所述第二设备显示的跟练视频流的状态信息为跟练状态时，响应于所述第二设备接收的触发操作，发送第一指示指令至所述第一设备，以指示所述第一设备打开所述通知内容对应的应用；或，控制显示器暂停播放训练视频流和跟练视频流，并控制扬声器播放所述通知内容对应的音频。5.根据权利要求4所述的方法，其特征在于，所述发送第一指示指令至所述第一设备之后，还包括：监听所述第一设备的通信消息对应的音视频的通信状态；当所述第一设备的通信消息对应的音视频的通信状态由通信中状态转为通信结束状态，建立所述第一设备和所述第二设备的投屏通信通道。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：在所述第二设备包括所述通知内容对应的应用时，通过所述第二设备的应用打开所述通知内容；监听所述通信消息对应的音视频的通信状态；当所述第二设备的通信消息对应的音视频的通信状态由通信中状态转为通信结束状态，控制显示器继续播放所述训练视频流和跟练视频流。7.根据权利要求1所述的方法，其特征在于，所述获取所述第二设备显示的跟练视频流的状态信息，包括：
在监测到所述第一设备接收的通信消息的提示时长大于或等于预设阈值时，获取所述第二设备显示的跟练视频流的状态信息。8.一种显示设备，其特征在于，所述显示设备包括：显示器；控制器，被配置为：在第一设备向第二设备投屏的过程中，对所述第一设备的通信消息进行监听；在监听到所述通信消息，获取所述第二设备显示的跟练视频流的状态信息，所述状态信息包括跟练状态和暂停状态，所述通信消息表征第三设备向所述第一设备发送的通信消息；根据所述第二设备显示的跟练视频流的状态信息，发送控制指令至所述第二设备，以控制所述第二设备显示通知内容，不同控制指令对应的所述显示器显示的通知内容不同。9.根据权利要求8所述的显示设备，其特征在于，所述控制器具体被配置为：当所述第二设备显示的跟练视频流的状态信息为跟练状态时，发送第一控制指令至所述第二设备，以控制所述第二设备显示所述第一通知内容对应的文本；当所述第二设备显示的跟练视频流的状态信息为暂停状态时，发送第二控制指令至所述第二设备，以控制所述第二设备显示所述第二通知内容对应的文本，并控制扬声器播放所述第二通知内容对应的音频。10.根据权利要求8所述的显示设备，其特征在于，所述控制器还被配置为：当所述第二设备显示的跟练视频流的状态信息为跟练状态时，响应于所述第二设备接收的暂停跟练指示信号，控制显示器显示所述通知内容对应的文本，并控制扬声器播放所述通知内容对应的音频。

技术总结
本公开涉及一种通信消息处理方法和显示设备，包括：在第一设备向第二设备投屏的过程中，对第一设备的通信消息进行监听；在监听到通信消息，获取第二设备显示的跟练视频流的状态信息，状态信息包括跟练状态和暂停状态，通信消息表征第三设备向第一设备发送的通信消息；根据第二设备显示的跟练视频流的状态信息，发送控制指令至第二设备，以控制第二设备显示通知内容，不同控制指令对应的第二设备显示的通知内容不同，避免在用户跟练第二设备播放的训练视频流时，直接将第一设备接收的通知内容发送至第二设备上，暂停第二设备播放的训练视频流以及跟练视频流，而使得跟练状态的用户无法做出及时反应，降低用户的使用感受。降低用户的使用感受。降低用户的使用感受。


技术研发人员：范传恒 李鑫 赖园园 薛梅
受保护的技术使用者：聚好看科技股份有限公司
技术研发日：2022.06.30
技术公布日：2023/9/23