一种投屏方法和显示设备与流程

1.本公开涉及显示技术领域，尤其涉及一种投屏方法和显示设备。


背景技术：

2.随着全民健身运动的兴起，越来越多的用户可选择不同的跟练形式打卡全民健身。例如，通过跟练电视端播放的训练视频流实现健身打卡，具体的实现方式是手机端采集用户跟练视频流并发送跟练数据至电视端，电视端分别显示训练视频流以及手机端采集的用户跟练视频流。
3.现有技术中，手机端采集用户跟练视频流后，一般会将采集的跟练视频流进行美颜处理后发送至电视端。由于手机端需要对跟练视频流做美颜处理，则势必会导致电视端播放的训练视频流与跟练视频流之间无法同步播放，手机端投屏至电视端的跟练视频流与训练视频流之间延迟较长，降低了用户的使用感受。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种投屏方法和显示设备，提高了用户的使用感受。
5.第一方面，本公开实施例提供了一种投屏方法，包括：
6.响应于接收到的启动指令，触发显示器显示跟练界面，其中，所述跟练界面设置有展示窗口和本地窗口，所述展示窗口用于展示训练视频流；
7.从服务器获取所述跟练界面对应的训练视频流，并接收终端设备发送的已渲染的跟练视频流，其中，所述已渲染的跟练视频流用于不经显示设备渲染直接在所述本地窗口显示；
8.在所述训练视频流中对应第一播放时刻的第一训练图像与所述已渲染的跟练视频流中对应所述第一播放时刻的第一跟练图像动作不匹配时，在所述训练视频流中查找与所述第一跟练图像动作相匹配的第二训练图像，其中，所述第一播放时刻大于所述第二训练图像对应的第二播放时刻；
9.在所述训练视频流中存在所述第二训练图像时，发送第一指示信号给所述终端设备，以指示所述终端设备发送未渲染的跟练视频流。
10.作为一种可实施方式，可选的，所述在所述训练视频流中对应第一播放时刻的第一训练图像与所述已渲染的跟练视频流中对应所述第一播放时刻的第一跟练图像动作不匹配时，在所述训练视频流中查找与所述第一跟练图像动作相匹配的第二训练图像，包括：
11.获取所述训练视频流在第一播放时刻的第一训练图像，以及所述已渲染的跟练视频流中对应所述第一播放时刻的第一跟练图像；
12.在所述第一跟练图像与所述第一训练图像的动作匹配程度低于预设阈值时，从所述训练视频流中查找与所述第一跟练图像动作匹配程度满足预设阈值的第二训练图像；
13.所述在所述训练视频流中存在所述第二训练图像时，发送第一指示信号给所述终
端设备，包括：
14.在所述第一播放时刻与所述第二播放时刻的差值大于或等于预设差值时，发送第一指示信号给所述终端设备，以指示所述终端设备发送未渲染的跟练视频流。
15.作为一种可实施方式，可选的，在发送第一指示信号给所述终端设备之后，所述方法还包括：
16.接收所述终端设备发送的未渲染的跟练视频流；
17.在所述未渲染的跟练视频流中确定和所述训练视频流的第一训练图像动作匹配的第二跟练图像；
18.对所述未渲染的跟练视频流进行渲染操作后在所述显示器的本地窗口展示渲染后的跟练视频流，所述本地窗口展示的跟练视频流从所述第二跟练图像对应的播放时刻进行播放。
19.作为一种可实施方式，可选的，所述方法还包括：
20.在所述第一播放时刻与所述第二播放时刻的差值小于预设差值时，不发送第一指示信号给所述终端设备。
21.作为一种可实施方式，可选的，所述第一指示信号还用于指示所述终端设备暂停渲染操作。
22.作为一种可实施方式，可选的，所述在所述训练视频流中查找与所述第一跟练图像动作相匹配的第二训练图像，包括：
23.在所述训练视频流中，以第一播放时刻为起点，获取训练视频流的第一播放时刻的前预设时刻的候选训练图像，并发送所述候选训练图像和所述第一跟练图像至服务器；
24.获取所述服务器对所述候选训练图像和所述第一跟练图像的比对结果；
25.将与所述第一跟练图像的匹配程度满足预设阈值的所述候选训练图像确定为所述第二训练图像。
26.作为一种可实施方式，可选的，所述获取所述服务器对所述候选训练图像和所述第一跟练图像的比对结果，包括：
27.获取所述服务器对所述候选训练图像的第一图像特征点和所述第一跟练图像的第二图像特征点的特征点比对结果。
28.第二方面，本公开实施例提供一种显示设备，包括：
29.显示器；
30.控制器，被配置为：
31.响应于接收到的启动指令，触发显示器显示跟练界面，其中，所述跟练界面设置有展示窗口和本地窗口，所述展示窗口用于展示训练视频流；
32.从服务器获取所述跟练界面对应的训练视频流，并接收终端设备发送的已渲染的跟练视频流，其中，所述已渲染的跟练视频流用于不经显示设备渲染直接在所述本地窗口显示；
33.在所述训练视频流中对应第一播放时刻的第一训练图像与所述已渲染的跟练视频流中对应所述第一播放时刻的第一跟练图像动作不匹配时，在所述训练视频流中查找与所述第一跟练图像动作相匹配的第二训练图像，其中，所述第一播放时刻大于所述第二训练图像对应的第二播放时刻；
34.在所述训练视频流中存在所述第二训练图像时，发送第一指示信号给所述终端设备，以指示所述终端设备发送未渲染的跟练视频流。
35.作为一种可实施方式，可选的，
36.所述控制器，还被配置为：
37.接收所述终端设备发送的未渲染的跟练视频流；
38.在所述未渲染的跟练视频流中确定和所述训练视频流的第一训练图像动作匹配的第二跟练图像；
39.对所述未渲染的跟练视频流进行渲染操作后在所述显示器的本地窗口展示渲染后的跟练视频流，所述本地窗口展示的跟练视频流从所述第二跟练图像对应的播放时刻进行播放。
40.作为一种可实施方式，可选的，
41.所述控制器，还被配置为：
42.在所述第一播放时刻与所述第二播放时刻的差值小于预设差值时，不发送第一指示信号给所述终端设备。
43.本公开实施例提供的技术方案与现有技术相比具有如下优点：
44.本公开实施例提供的投屏方法和显示设备，首先响应于接收到的启动指令，触发显示器显示跟练界面，然后从服务器获取跟练界面对应的训练视频流，并接收终端设备发送的已渲染的跟练视频流，在训练视频流中对应第一播放时刻的第一训练图像与已渲染的跟练视频流中对应第一播放时刻的第一跟练图像动作不匹配时，在训练视频流中查找与第一跟练图像动作相匹配的第二训练图像，最后在训练视频流中存在第二训练图像时，发送第一指示信号给终端设备，以指示终端设备发送未渲染的跟练视频流，即当显示设备接收终端设备发送的已渲染的跟练视频流后，通过比对确定显示设备播放的训练视频流中对应第一播放时刻的第一训练图像与已渲染的跟练视频流中对应第一播放时刻的第一跟练图像动作不匹配时，通过发送第一指示信号给终端设备，以指示终端设备发送未渲染的跟练视频流，即显示设备直接接收终端设备未渲染的跟练视频流，因此，可以减少因终端设备对跟练视频流进行渲染操作的耗时导致显示设备显示的训练视频流与跟练视频流之间存在的显示延迟，保证显示设备显示的跟练视频流和训练视频流同步，提高用户的使用感受。
附图说明
45.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
46.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
47.图1a是本公开实施例提供的一种投屏方法的投屏系统网络架构图；
48.图1b是本公开实施例提供的一种终端设备的结构示意图；
49.图2a是本公开实施例提供的一种投屏方法的流程示意图；
50.图2b是本公开实施例提供一种投屏方法的信号流程示意图；
51.图2c是本公开实施例提供一种交互示意图；
52.图3a是本公开实施例提供的另一种投屏方法的流程示意图；
53.图3b是本公开实施例提供的另一种投屏方法的信号流程示意图；
54.图3c是本公开实施例提供的又一种投屏方法的流程示意图；
55.图3d是本公开实施例提供的又一种投屏方法的信号流程示意图；
56.图4a是本公开实施例提供的又一种投屏方法的流程示意图；
57.图4b是本公开实施例提供的又一种投屏方法的信号流程示意图；
58.图5是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
59.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
60.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
61.图1a示意性示出了根据本技术实施例的投屏方法的投屏系统网络架构图。投屏系统网络架构图中包括终端设备10、显示设备20、路由器30和服务器40等。其中：终端设备，可以作为投屏系统网络架构中的发送端，用于将多媒体内容和各类指令发送到显示设备中。在示例性的实施例中，终端设备包括，但不限于，智能手机、平板电脑、游戏机、膝上型计算机等。显示设备，可以作为投屏系统网络架构中的展示端，用于接收终端设备的多媒体内容和各类指令，并将接收到的多媒体内容同步播放到自身设备的显示面板或关联设备的显示面板中。显示设备可以是诸如虚拟现实设备、机顶盒、智能电视、车辆终端、大型露天显示面板等屏幕较大的相关设备，当然，也可以是智能手机、平板电脑、膝上型计算机等屏幕较小的相关设备。
62.路由器，可以作为投屏系统网络架构中的网关，用于组建局域网以及提供互联网服务。路由器能够为终端设备和显示设备之间提供本地连接。
63.服务器，可以作为投屏系统网络架构中的云端设备，用于提供云端服务，例如云端账户管理服务等。服务器可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。
64.终端设备可以通过第一网络或第二网络发现显示设备，并且基于第一网络或第二网络与显示设备建立网络连接。通过该建立的网络连接，终端设备可以将需要投屏的多媒体内容投放到显示设备中，通过显示设备播放出来。第一网络可以是局域网，局域网可以是有线局域网或无线局域网。如图1a所示，无线局域网可以是由路由器8组建的wi-fi网络。第二网络可以是广域网，如互联网。广域网可以包括物理链路，例如同轴电缆链路，双绞线电缆链路，光纤链路，其组合等。广域网还可以包括无线链路，诸如蜂窝链路，卫星链路等。
65.在示例性的实施例中，如图1b所示，终端设备和显示设备包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
66.在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，ram，
rom，用于输入/输出的第一接口至第n接口。
67.显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面。
68.显示器260可为液晶显示器、oled显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。
69.通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。
70.用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。
71.检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
72.外部装置接口240可以包括但不限于如下：高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
73.调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。
74.在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
75.控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
76.在一些实施例中控制器包括中央处理器(central processing unit，cpu)，视频处理器，音频处理器，图形处理器(graphics processing unit，gpu)，ram random access memory，ram)，rom(read-only memory,rom)，用于输入/输出的第一接口至第n接口，通信总线(bus)等中的至少一种。
77.用户可在显示器260上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
[0078]“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素。
[0079]
此外，在终端设备和显示设备还包括渲染模块，用于提供音频或视频特效渲染服务，音频特效可以包括音频混响、变速、变调、限制、回声、压缩、增益控制、均衡控制等，视频特效可以包括美颜、美妆、人脸识别、二维贴纸、三维贴纸等。
[0080]
以上对终端设备和显示设备的各个功能做了简单介绍。
[0081]
终端设备可以向显示设备实施投屏操作。
[0082]
但是，现有技术中，当用户跟练显示设备播放的训练视频流的过程中，终端设备采集用户跟练视频流并将跟练视频流投屏到显示设备的过程中，终端设备将采集的用户跟练视频流进行特效渲染后发送至显示设备，但是终端设备对用户跟练视频流进行特效渲染的过程势必会导致显示设备播放的训练视频流与跟练视频流之间无法同步播放，降低了用户的使用体验。
[0083]
本公开实施例提供一种投屏方法，当显示设备接收终端设备发送的已渲染的跟练视频流后，通过比对确定显示设备播放的训练视频流中对应第一播放时刻的第一训练图像与已渲染的跟练视频流中对应第一播放时刻的第一跟练图像动作不匹配时，通过发送第一指示信号给终端设备，以指示终端设备发送未渲染的跟练视频流，即显示设备直接接收终端设备发送的未渲染的跟练视频流，因此，可以减少因终端设备对跟练视频流进行渲染操作的耗时导致显示设备显示的训练视频流与跟练视频流之间存在的显示延迟，保证显示设备显示的跟练视频流和训练视频流同步，提高用户的使用感受。
[0084]
图2a是本公开实施例提供的一种投屏方法的流程示意图，图2b是本公开实施例提供一种投屏方法的信号流程示意图，图2c是本公开实施例提供一种交互示意图，结合图2a、图2b和图2c，投屏方法包括：
[0085]
s100、响应于接收到的启动指令，触发显示器显示跟练界面。
[0086]
其中，跟练界面设置有展示窗口和本地窗口，展示窗口用于展示训练视频流。
[0087]
启动指令可以为基于语音的启动指令，也可以为控制装置发送的启动指令，又或者为智能设备发送的启动指令。
[0088]
在一些实施例中，控制装置可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备。
[0089]
在一些实施例中，也可以使用智能设备(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备。例如，使用在智能设备上运行的应用程序控制显示设备。
[0090]
在一些实施例中，显示设备可以不使用上述的智能设备或控制设备接收指令，而是通过触摸或者手势等接收用户的控制。
[0091]
在一些实施例中，显示设备还可以采用除了控制装置和智能设备之外的方式进行控制，例如，可以通过显示设备设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备设备外部设置的语音控制设备来接收用户的语音指令控制。
[0092]
s200、从服务器获取跟练界面对应的训练视频流，并接收终端设备发送的已渲染的跟练视频流。
[0093]
其中，已渲染的跟练视频流用于不经显示设备渲染直接在本地窗口显示。
[0094]
显示器的展示界面展示的训练视频流从显示设备的服务器上获取。
[0095]
在具体的实施方式中，终端设备包括图像采集模块，示例性，图像采集模块可以为摄像头，基于终端设备的图像采集模块采集用户视频数据。
[0096]
作为一种具体的实施方式，显示设备播放训练视频流，例如，健身训练视频流、舞蹈训练视频流，用户通过跟练显示设备播放的训练视频流，终端设备的图像采集模块采集用户跟练视频流。
[0097]
其中，设置终端设备与显示设备之间的距离小于预设距离阈值，且终端设备的图像采集模块的朝向与显示设备的显示屏朝向之间的角度小于预设角度阈值。
[0098]
在本公开实施例中，当用户通过跟练显示设备播放的训练视频流进行连续肢体动作，例如，进行舞蹈动作、体操动作等，利用终端设备的图像采集模块采集用户跟练视频流。可以理解地，为了保持图像采集模块位置固定，防止发生抖动，终端设备可以设置于固定支架上，即与显示设备之间的距离小于预设距离阈值，且终端设备的图像采集模块的朝向与显示设备的显示屏朝向之间的角度小于预设角度阈值，保证用户可以跟练显示设备播放的训练视频流的同时，终端设备的图像采集模块可以采集到用户跟练视频流。
[0099]
而为了保证用户的使用感受，现有技术中，终端设备的图像采集模块在采集到跟练视频流后，将采集到的的跟练视频流发送至渲染模块，通过渲染模块对跟练视频流进行渲染操作后发送至显示设备，保证在显示设备播放的跟练视频流是已渲染的跟练视频流。
[0100]
s300、在训练视频流中对应第一播放时刻的第一训练图像与已渲染的跟练视频流中对应第一播放时刻的第一跟练图像动作不匹配时，在训练视频流中查找与第一跟练图像动作相匹配的第二训练图像。
[0101]
其中，第一播放时刻大于第二训练图像对应的第二播放时刻。
[0102]
由于终端设备需要对采集的跟练视频流进行渲染操作，渲染操作会占用一定的时间，因此，可能会存在显示设备接收到的已渲染的跟练视频流与训练视频流不同步的问题，例如，在某个播放时刻训练视频流播放至第十帧画面，而已渲染的跟练视频流仅仅播放至第八帧画面，使得用户在显示设备观看的已渲染的跟练视频流与训练视频流为不同帧画面，用户无法确认是否与跟练视频流的动作保持一致，降低了用户使用感受。
[0103]
基于现有技术存在的问题，本公开实施例中，在接收到终端设备发送的已渲染的跟练视频流后，首先获取显示设备播放的的训练视频流中对应第一播放时刻的第一训练图像与已渲染的跟练视频流中对应第一播放时刻的第一跟练图像，然后比较第一训练图像与第一跟练图像动作是否匹配，当第一训练图像与第一跟练图像动作不匹配时，此时表征显示设备播放的训练视频流与跟练视频流不同步，而训练视频流与跟练视频流不同步可能是因为终端设备需要对训练视频流进行渲染操作导致的，此时通过在训练视频流中查找与第一跟练图像相匹配的第二训练图像，即在训练视频流中查找第一播放时刻之前与第一跟练图像相匹配的第二训练图像以及该第二训练图像对应的第二播放时刻。
[0104]
在具体的实施方式中，在训练视频流中查找与第一跟练图像动作相匹配的第二训练图像，包括：在训练视频流中，以第一播放时刻为起点，获取训练视频流的第一播放时刻的前预设时刻的候选训练图像，并发送候选训练图像和第一跟练图像至服务器；获取服务器对候选训练图像和第一跟练图像的比对结果；将与第一跟练图像的匹配程度满足预设阈值的所述候选训练图像确定为第二训练图像。
[0105]
具体的，以显示设备播放的训练视频流的第一训练图像的第一播放时刻为起点，
获取训练视频流的第一播放时刻的前预设时刻的候选训练图像，比较第一播放时刻的前一播放时刻的候选训练图像与第一跟练图像的匹配程度，当第一播放时刻的前一播放时刻的候选训练图像与第一跟练图像的匹配程度满足预设阈值时，确定第二训练图像为第一播放时刻的前一播放时刻对应的候选训练图像；当第一播放时刻的前一播放时刻的候选训练图像与第一跟练图像的匹配程度不满足预设阈值时，获取训练视频流的第一播放时刻的前两个时刻对应的候选训练图像，比较第一播放时刻的前两个播放时刻的候选训练图像与第一跟练图像的匹配程度，当第一播放时刻的前两个播放时刻的候选训练图像与第一跟练图像的匹配程度满足预设阈值时，确定第二训练图像为第一播放时刻的前两个播放时刻对应的候选训练图像，以此类推，依次比对各候选训练图像，直至确定第二训练图像，若各候选训练图像比对结束，未获取到与第一跟练图像的匹配程度满足预设阈值的候选图像时，此时，可以确定训练视频流中不存在第二训练图像。
[0106]
在具体的实施方式中，获取服务器对候选训练图像和第一跟练图像的比对结果的具体过程包括：
[0107]
服务器在获取到显示设备的控制器发送的候选训练图像和第一跟练图像后，首先提取候选训练图像的第一图像特征点以及第一跟练图像的第二图像特征点，然后基于图像处理算法，对提取的候选训练图像的第一图像特征点和第一跟练图像的第二图像特征点进行比对，确定特征点比对结果。
[0108]
s400、在训练视频流中存在第二训练图像时，发送第一指示信号给终端设备，以指示终端设备发送未渲染的跟练视频流。
[0109]
当训练视频流中对应第一播放时刻的第一训练图像与已渲染的跟练视频流中对应第一播放时刻的第一跟练图像动作不匹配，且训练视频流中存在第二训练图像时，此时表征显示设备播放的训练视频流与跟练视频流不同步，通过发送第一指示信号给终端设备，以指示终端设备发送未渲染的跟练视频流，由于显示设备接收的跟练视频流无需经过终端设备的渲染操作，即显示设备直接接收终端设备未渲染的跟练视频流，因此，可以减少因终端设备对跟练视频流进行渲染操作的耗时导致显示设备显示的训练视频流与跟练视频流之间存在的显示延迟。
[0110]
本公开实施例提供的投屏方法，首先响应于接收到的启动指令，触发显示器显示跟练界面，然后从服务器获取跟练界面对应的训练视频流，并接收终端设备发送的已渲染的跟练视频流，在训练视频流中对应第一播放时刻的第一训练图像与已渲染的跟练视频流中对应第一播放时刻的第一跟练图像动作不匹配时，在训练视频流中查找与第一跟练图像动作相匹配的第二训练图像，最后在训练视频流中存在第二训练图像时，发送第一指示信号给终端设备，以指示终端设备发送未渲染的跟练视频流，即当显示设备接收终端设备发送的已渲染的跟练视频流后，通过比对确定显示设备播放的训练视频流中对应第一播放时刻的第一训练图像与已渲染的跟练视频流中对应第一播放时刻的第一跟练图像动作不匹配时，通过发送第一指示信号给终端设备，以指示终端设备发送未渲染的跟练视频流，即显示设备直接接收终端设备未渲染的跟练视频流，因此，可以减少因终端设备对跟练视频流进行渲染操作的耗时导致显示设备显示的训练视频流与跟练视频流之间存在的显示延迟，保证显示设备显示的跟练视频流和训练视频流同步，提高用户的使用感受。
[0111]
图3a是本公开实施例提供的另一种投屏方法的流程示意图，图3b是本公开实施例
提供的另一种投屏方法的信号流程示意图，本公开实施例是上述实施例的基础上，结合图3a和图3b，当步骤s300的一种具体实施方式包括：
[0112]
s301、获取训练视频流在第一播放时刻的第一训练图像，以及已渲染的跟练视频流中对应第一播放时刻的第一跟练图像。
[0113]
由于显示设备接收的跟练视频流是经过渲染后的跟练视频流，因此，终端设备播放的第一训练图像和第一跟练图像可能为不同的画面，此时，首先获取训练视频流在第一播放时刻的第一训练图像以及已渲染的跟练视频流中对应第一播放时刻的第一跟练图像。
[0114]
s302、在第一跟练图像与第一训练图像的动作匹配程度低于预设阈值时，从训练视频流中查找与第一跟练图像动作匹配程度满足预设阈值的第二训练图像。
[0115]
在获取到训练视频流在第一播放时刻的第一训练图像以及已渲染的跟练视频流中对应第一播放时刻的第一跟练图像后，首选确定第一跟练图像与第一训练图像的动作匹配程度，当第一训练图像与第一跟练图像的动作匹配程度低于预设阈值时，此时表征显示设备播放的训练视频流与跟练视频流不同步，而训练视频流与跟练视频流不同步的原因是由于终端设备对跟练视频流进行渲染操作后才发送至显示设备进行显示的，因此，跟练视频流播放进度相比较训练视频流播放进度慢，跟练视频流播放的跟练图像训练视频流已经播放过了，因此，可从训练视频流中查找与第一跟练图像动作匹配的第二训练图像。
[0116]
当投屏方法包括步骤s301和步骤s302时，此时步骤s400的一种具体实施方式包括：
[0117]
s401、在第一播放时刻与第二播放时刻的差值大于或等于预设差值时，发送第一指示信号给终端设备，以指示终端设备发送未渲染的跟练视频流。
[0118]
在具体的实施方式中，当从训练视频流中查找与第一跟练图像动作匹配程度满足预设阈值的第二训练图像后，可以确定第二训练图像对应的第二播放时刻，根据第一训练图像的第一播放时刻以及第二训练图像的第二播放时刻，可以确定显示设备播放的训练视频流播放到哪一个播放时刻，以及显示设备播放的已渲染的跟练视频流播放到哪一个播放时刻，根据第一播放时刻与第二播放时刻的差值与预设差值的关系，确定显示设备播放的已渲染的跟练视频流与训练视频流的延迟时间的长短，当第一播放时刻与第二播放时刻的差值大于或等于预设差值时，此时，表征显示设备播放的已渲染的跟练视频流与训练视频流之间延迟时间过程，而造成显示设备播放的已渲染的跟练视频流与训练视频流之间有延迟的原因可能是终端设备需要对图像采集模块采集到的跟练视频流进行渲染处理，造成终端设备将跟练视频流数据发送至显示设备的延迟，为保证显示设备播放的跟练视频流与训练视频流的同步，此时，显示设备的控制器通过发送第一指示信号给终端设备，指示终端设备发送未渲染的跟练视频流，显示设备的控制器直接接收终端设备的图像采集模块采集跟练视频流，不对跟练视频流进行渲染操作，避免因渲染操作造成显示设备播放的训练视频流与跟练视频流不同步的问题。
[0119]
当投屏方法包括步骤s301和步骤s302时，此时步骤s400的另一种具体实施方式包括：
[0120]
s402、在第一播放时刻与第二播放时刻的差值小于预设差值时，不发送第一指示信号给终端设备。
[0121]
具体的，如图图3c和图3d所示，当第一播放时刻与第二播放时刻的差值小于预设
差值时，表征显示设备播放的已渲染的跟练视频流与训练视频流之间延迟在用户可接收范围内，显示设备的控制器无需发送第一指示信号给终端设备，此时，显示设备正常接收终端设备发送的已渲染的跟练视频流，保证终端设备和显示设备显示的跟练视频流均为已渲染的跟练视频流，提高用户的使用感受。
[0122]
图4a是本公开实施例提供的又一种投屏方法的流程示意图，图4b是本公开实施例提供的又一种投屏方法的信号流程示意图，本公开实施例是上述实施例的基础上，结合图4a和图4b，投屏方法还包括：
[0123]
s500、接收终端设备发送的未渲染的跟练视频流。
[0124]
当训练视频流中对应第一播放时刻的第一训练图像与已渲染的跟练视频流中对应第一播放时刻的第一跟练图像动作不匹配时，此时，表征显示设备播放的已渲染的跟练视频流与训练视频流之间有延迟，而造成显示设备播放的已渲染的跟练视频流与训练视频流之间延迟的原因可能是终端设备需要对图像采集模块采集到的跟练视频流进行渲染处理，造成终端设备将跟练视频流数据发送至显示设备的延迟，为保证显示设备播放的跟练视频流与训练视频流的同步，此时，显示设备的控制器发送第一指示信号给终端设备，指示终端设备发送未渲染的跟练视频流，显示设备的控制器接收终端设备发送的未渲染的跟练视频流。
[0125]
s600、在未渲染的跟练视频流中确定和训练视频流的第一训练图像动作匹配的第二跟练图像。
[0126]
由于在初始状态下，控制器接收终端设备发送的已渲染的跟练视频流，当显示器展示的训练视频流的第一训练图像和跟练视频流的第一跟练图像的动作不匹配时，为保证显示器展示的训练视频流和跟练视频流同步播放，控制器首先发送第一指示信号给终端设备，指示终端设备发送未渲染的跟练视频流，但由于显示器播放的已渲染的跟练视频流的播放进度比训练视频流的播放进度慢，控制器在获取到未渲染的跟练视频流后，若直接从第二播放时刻对未渲染的跟练视频流进行渲染操作并从第二播放时刻播放渲染操作后的跟练视频流，此时，显示器播放的跟练视频流和训练视频流依旧是不同步的。而本公开实施例中，在接收到终端设备发送的跟练视频流后，首先在未渲染的跟练视频流中确定和训练视频流的第一训练图像动作匹配的第二跟练图像。
[0127]
s700、对未渲染的跟练视频流进行渲染操作后在显示器的本地窗口展示渲染后的跟练视频流，本地窗口展示的跟练视频流从第二跟练图像对应的播放时刻进行播放。
[0128]
从未渲染的跟练视频流中确定和训练视频流的第一训练图像动作匹配的第二跟练图像后，对未渲染的跟练视频流进行渲染操作后在显示器的本地窗口展示渲染后的跟练视频流，且本地窗口展示的跟练视频流从第二跟练图像对应的播放时刻进行播放。
[0129]
但为了保证用户的使用感受，显示设备的控制器对未渲染的跟练视频流进行渲染操作后在显示设备播放，避免直接在显示设备播放未渲染的跟练视频流，而降低了用户的使用感受，即在显示设备播放的跟练视频流为渲染后的跟练视频流，在接收到终端设备播放未渲染的跟练视频流。
[0130]
作为一种可实施方式，在训练视频流中存在第二训练图像时，发送第一指示信号给终端设备，以指示终端设备发送未渲染的跟练视频流之时，第一指示信号还用于指示终端设备暂停渲染操作。
[0131]
为保证显示设备播放的跟练视频流与训练视频流的同步，显示设备的控制器通过直接接收终端设备的图像采集模块采集跟练视频流，避免因渲染操作造成显示设备播放的训练视频流与跟练视频流不同步的问题，此时，显示设备的控制器可以发送的第一指示信号还用于指示终端设备暂停渲染操作，降低终端设备的功耗。
[0132]
本公开实施例还提供的一种显示设备，显示设备包括：
[0133]
显示器；
[0134]
控制器，被配置为：
[0135]
响应于接收到的启动指令，触发显示器显示跟练界面，其中，跟练界面设置有展示窗口和本地窗口，展示窗口用于展示训练视频流；
[0136]
从服务器获取跟练界面对应的训练视频流，并接收终端设备发送的已渲染的跟练视频流，其中，已渲染的跟练视频流用于不经显示设备渲染直接在本地窗口显示；
[0137]
在训练视频流中对应第一播放时刻的第一训练图像与已渲染的跟练视频流中对应第一播放时刻的第一跟练图像动作不匹配时，在训练视频流中查找与第一跟练图像动作相匹配的第二训练图像，其中，第一播放时刻大于第二训练图像对应的第二播放时刻；
[0138]
在训练视频流中存在第二训练图像时，发送第一指示信号给终端设备，以指示终端设备发送未渲染的跟练视频流。
[0139]
作为一种可实施方式，可选的，控制器，还被配置为：
[0140]
接收终端设备发送的未渲染的跟练视频流；
[0141]
在未渲染的跟练视频流中确定和训练视频流的第一训练图像动作匹配的第二跟练图像；
[0142]
对未渲染的跟练视频流进行渲染操作后在显示器的本地窗口展示渲染后的跟练视频流，本地窗口展示的跟练视频流从第二跟练图像对应的播放时刻进行播放。
[0143]
作为一种可实施方式，可选的，控制器，还被配置为：
[0144]
在第一播放时刻与第二播放时刻的差值小于预设差值时，不发送第一指示信号给终端设备。
[0145]
本公开还提供一种电子设备，包括：处理器，所述处理器用于执行存储于存储器的计算机程序，所述计算机程序被处理器执行时实现上述方法实施例的步骤。
[0146]
图5为本公开提供的一种电子设备的结构示意图，图5示出了适于用来实现本发明实施例实施方式的示例性电子设备的框图。图5显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0147]
如图5所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：一个或者多个处理器810，系统存储器820，连接不同系统组件(包括系统存储器820和处理器)的总线830。
[0148]
总线830表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0149]
电子设备800典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备800访问的介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0150]
系统存储器820可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)840和/或高速缓存存储器850。电子设备800可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统860可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom、dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线830相连。系统存储器820可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明实施例各实施例的功能。
[0151]
具有一组(至少一个)程序模块870的程序/实用工具880，可以存储在例如系统存储器820中，这样的程序模块870包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块870通常执行本发明实施例所描述的实施例中的功能和/或方法。
[0152]
处理器810通过运行存储在系统存储器820中的多个程序中的至少一个程序，从而执行各种功能应用以及信息处理，例如实现本发明实施例所提供的方法实施例。
[0153]
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例的步骤。
[0154]
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0155]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0156]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0157]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)域连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提
供商来通过因特网连接)。
[0158]
本公开还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行实现上述方法实施例的步骤。
[0159]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0160]
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种投屏方法，其特征在于，包括：响应于接收到的启动指令，触发显示器显示跟练界面，其中，所述跟练界面设置有展示窗口和本地窗口，所述展示窗口用于展示训练视频流；从服务器获取所述跟练界面对应的训练视频流，并接收终端设备发送的已渲染的跟练视频流，其中，所述已渲染的跟练视频流用于不经显示设备渲染直接在所述本地窗口显示；在所述训练视频流中对应第一播放时刻的第一训练图像与所述已渲染的跟练视频流中对应所述第一播放时刻的第一跟练图像动作不匹配时，在所述训练视频流中查找与所述第一跟练图像动作相匹配的第二训练图像，其中，所述第一播放时刻大于所述第二训练图像对应的第二播放时刻；在所述训练视频流中存在所述第二训练图像时，发送第一指示信号给所述终端设备，以指示所述终端设备发送未渲染的跟练视频流。2.根据权利要求1所述的方法，其特征在于，所述在所述训练视频流中对应第一播放时刻的第一训练图像与所述已渲染的跟练视频流中对应所述第一播放时刻的第一跟练图像动作不匹配时，在所述训练视频流中查找与所述第一跟练图像动作相匹配的第二训练图像，包括：获取所述训练视频流在第一播放时刻的第一训练图像，以及所述已渲染的跟练视频流中对应所述第一播放时刻的第一跟练图像；在所述第一跟练图像与所述第一训练图像的动作匹配程度低于预设阈值时，从所述训练视频流中查找与所述第一跟练图像动作匹配程度满足预设阈值的第二训练图像；所述在所述训练视频流中存在所述第二训练图像时，发送第一指示信号给所述终端设备，包括：在所述第一播放时刻与所述第二播放时刻的差值大于或等于预设差值时，发送第一指示信号给所述终端设备，以指示所述终端设备发送未渲染的跟练视频流。3.根据权利要求1所述的方法，其特征在于，在发送第一指示信号给所述终端设备之后，所述方法还包括：接收所述终端设备发送的未渲染的跟练视频流；在所述未渲染的跟练视频流中确定和所述训练视频流的第一训练图像动作匹配的第二跟练图像；对所述未渲染的跟练视频流进行渲染操作后在所述显示器的本地窗口展示渲染后的跟练视频流，所述本地窗口展示的跟练视频流从所述第二跟练图像对应的播放时刻进行播放。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述第一播放时刻与所述第二播放时刻的差值小于预设差值时，不发送第一指示信号给所述终端设备。5.根据权利要求1所述的方法，其特征在于，所述第一指示信号还用于指示所述终端设备暂停渲染操作。6.根据权利要求1所述的方法，其特征在于，所述在所述训练视频流中查找与所述第一跟练图像动作相匹配的第二训练图像，包括：在所述训练视频流中，以第一播放时刻为起点，获取训练视频流的第一播放时刻的前
预设时刻的候选训练图像，并发送所述候选训练图像和所述第一跟练图像至服务器；获取所述服务器对所述候选训练图像和所述第一跟练图像的比对结果；将与所述第一跟练图像的匹配程度满足预设阈值的所述候选训练图像确定为所述第二训练图像。7.根据权利要求6所述的方法，其特征在于，所述获取所述服务器对所述候选训练图像和所述第一跟练图像的比对结果，包括：获取所述服务器对所述候选训练图像的第一图像特征点和所述第一跟练图像的第二图像特征点的特征点比对结果。8.一种显示设备，其特征在于，所述显示设备包括：显示器；控制器，被配置为：响应于接收到的启动指令，触发显示器显示跟练界面，其中，所述跟练界面设置有展示窗口和本地窗口，所述展示窗口用于展示训练视频流；从服务器获取所述跟练界面对应的训练视频流，并接收终端设备发送的已渲染的跟练视频流，其中，所述已渲染的跟练视频流用于不经显示设备渲染直接在所述本地窗口显示；在所述训练视频流中对应第一播放时刻的第一训练图像与所述已渲染的跟练视频流中对应所述第一播放时刻的第一跟练图像动作不匹配时，在所述训练视频流中查找与所述第一跟练图像动作相匹配的第二训练图像，其中，所述第一播放时刻大于所述第二训练图像对应的第二播放时刻；在所述训练视频流中存在所述第二训练图像时，发送第一指示信号给所述终端设备，以指示所述终端设备发送未渲染的跟练视频流。9.根据权利要求8所述的设备，其特征在于，所述控制器，还被配置为：接收所述终端设备发送的未渲染的跟练视频流；在所述未渲染的跟练视频流中确定和所述训练视频流的第一训练图像动作匹配的第二跟练图像；对所述未渲染的跟练视频流进行渲染操作后在所述显示器的本地窗口展示渲染后的跟练视频流，所述本地窗口展示的跟练视频流从所述第二跟练图像对应的播放时刻进行播放。10.根据权利要求8所述的设备，其特征在于，所述控制器，还被配置为：在所述第一播放时刻与所述第二播放时刻的差值小于预设差值时，不发送第一指示信号给所述终端设备。

技术总结
本公开涉及一种投屏方法和显示设备，包括：响应于接收到的启动指令，触发显示器显示跟练界面；从服务器获取跟练界面对应的训练视频流，并接收终端设备发送的已渲染的跟练视频流；在训练视频流中对应第一播放时刻的第一训练图像与已渲染的跟练视频流中对应第一播放时刻的第一跟练图像动作不匹配时，在训练视频流中查找与第一跟练图像动作相匹配的第二训练图像；在训练视频流中存在第二训练图像时，发送第一指示信号给终端设备，以指示终端设备发送未渲染的跟练视频流，保证显示设备播放的训练视频流与跟练视频流一致，提高用户的使用感受。感受。感受。


技术研发人员：张凯
受保护的技术使用者：聚好看科技股份有限公司
技术研发日：2022.06.29
技术公布日：2023/9/22