一种图片显示方法、装置及电子设备与流程
未命名
09-24
阅读:58
评论:0
1.本技术涉及图像显示技术领域,特别是涉及一种图片显示方法、装置及电子设备。
背景技术:
2.hdmi(high-definitionmultimedia interface,高清多媒体接口)是一种全数字化视频和声音发送接口,可以发送未压缩的音频及视频信号。在视频会议场景下,电子设备的hdmi可以接入视频源作为输入源,进而电子设备可以将该视频源所输入的视频码流发送至与该电子设备进行视频会议的其他设备,即发送至对端,从而使得对端可以显示该视频源输入的会议视频。
3.但是当hdmi未接入视频源或接入松动时,hdmi会处于不可用状态,电子设备无法获取到视频源所输入的视频码流,进而也就无法向对端发送该视频码流,会出现码流中断的情况,此时对端就会出现黑屏或者卡屏的情况,引起用户疑虑。
技术实现要素:
4.本技术实施例的目的在于提供一种图片显示方法、装置及电子设备,以在hdmi处于不可用状态的情况下,保证码流不中断,避免对端出现黑屏或者卡屏的情况,从而避免引起用户疑虑,具体技术方案如下:
5.第一方面,本技术实施例提供了一种图片显示方法,应用于电子设备的应用层,所述方法包括:
6.在视频会议过程中,如果检测到hdmi不可用,按照预设时间间隔获取目标图片,其中,所述预设时间间隔基于所述hdmi可用情况下,所述hdmi输入的会议视频的帧率确定;
7.将目标图片发送至对端,以使所述对端对所述目标图片进行显示,直到检测到所述hdmi可用或获取到视频显示结束指令,其中,所述对端为与所述电子设备进行视频会议的其他设备。
8.可选的,所述方法还包括:
9.通过开放图形库opengl将所述目标图片渲染到本地显示surface中,以本地显示所述目标图片。
10.可选的,所述将目标图片发送至对端,以使所述对端对所述目标图片进行显示,包括:
11.创建第一编码器;
12.回调所述目标图片至所述第一编码器,以使所述第一编码器对所述目标图片进行编码,得到编码数据;
13.将所述编码数据发送至对端,以使所述对端对所述编码数据进行解码后显示。
14.可选的,所述按照预设时间间隔获取目标图片,包括:
15.按照预设时间间隔获取预设图片;
16.将所述预设图片发送至目标业务模块,以使所述目标业务模块对所述预设图片按
照业务需求进行画面合成处理后,得到所述目标图片。
17.可选的,所述方法还包括:
18.在检测到所述hdmi可用的情况下,创建相机会话;
19.将本地surface与所述相机会话绑定,基于所述相机会话从所述hdmi获取会议视频至所述本地surface,以显示所述会议视频。
20.可选的,所述本地surface包括本地显示surface、本地编码surface和本地画面合成surface中的至少一个;
21.所述基于所述相机会话从所述hdmi获取会议视频至所述本地surface,以显示所述会议视频,包括以下至少一种:
22.基于所述相机会话,从所述hdmi获取会议视频至所述本地显示surface,以本地显示所述会议视频;
23.创建所述本地编码surface对应的第二编码器,以使所述第二编码器基于所述相机会话以及所述本地编码surface,从所述hdmi获取会议视频,并对所述会议视频进行编码,得到编码后的会议视频;将所述编码后的会议视频发送至对端,以使所述对端对所述编码后的会议视频进行解码后显示;
24.注册本地画面合成服务,以使所述本地画面合成服务基于所述相机会话以及所述本地画面合成surface,从所述hdmi获取会议视频,并将所述会议视频发送至目标业务模块,以使所述目标业务模块对所述会议视频按照业务需求进行画面合成处理后,得到处理会议视频;从所述目标业务模块获取所述处理会议视频至所述本地显示surface,以本地显示所述处理会议视频,或,通过所述第二编码器对所述处理会议视频进行编码,得到编码后的处理会议视频,将所述编码后的处理会议视频发送至对端,以使所述对端对所述编码后的处理会议视频进行解码后显示。
25.可选的,所述电子设备的操作系统为安卓系统,所述安卓系统包括相机管理服务,所述方法还包括:
26.接收所述相机管理服务发送的所述hdmi对应的回调消息,其中,所述回调消息为所述相机管理服务基于所述hdmi是否接入有信号源确定的;
27.如果所述回调消息表示所述hdmi未接入有信号源,确定检测到hdmi不可用;
28.如果所述回调消息表示所述hdmi接入有信号源,确定检测到hdmi可用。
29.可选的,所述hdmi输入的会议视频为相机拍摄的参会人员的视频,所述目标图片为所述hdmi不可用时,获取的所述相机拍摄的视频帧;或,
30.所述hdmi输入的会议视频为输入的演示内容视频,所述目标图片为从所述hdmi不可用时开始,按照预设时间间隔获取的所述演示内容视频的剩余部分对应的图片。
31.第二方面,本技术实施例提供了一种图片显示装置,应用于电子设备的应用层,所述装置包括:
32.图片获取模块,用于在视频会议过程中,如果检测到hdmi不可用,按照预设时间间隔获取目标图片,其中,所述预设时间间隔基于所述hdmi可用情况下,所述hdmi输入的会议视频的帧率确定;
33.图片发送模块,用于将目标图片发送至对端,以使所述对端对所述目标图片进行显示,直到检测到所述hdmi可用或获取到视频显示结束指令,其中,所述对端为与所述电子
设备进行视频会议的其他设备。
34.可选的,所述装置还包括:
35.本地显示模块,用于通过开放图形库opengl将所述目标图片渲染到本地显示surface中,以本地显示所述目标图片。
36.可选的,所述图片发送模块,包括:
37.编码器创建单元,用于创建第一编码器;
38.编码单元,用于回调所述目标图片至所述第一编码器,以使所述第一编码器对所述目标图片进行编码,得到编码数据;
39.发送单元,用于将所述编码数据发送至对端,以使所述对端对所述编码数据进行解码后显示。
40.可选的,所述图片获取模块,包括:
41.获取单元,用于按照预设时间间隔获取预设图片;
42.画面合成单元,用于将所述预设图片发送至目标业务模块,以使所述目标业务模块对所述预设图片按照业务需求进行画面合成处理后,得到所述目标图片。
43.可选的,所述装置还包括:
44.相机会话创建模块,用于在检测到所述hdmi可用的情况下,创建相机会话;
45.视频显示模块,用于将本地surface与所述相机会话绑定,基于所述相机会话从所述hdmi获取会议视频至所述本地surface,以显示所述会议视频。
46.可选的,所述本地surface包括本地显示surface、本地编码surface和本地画面合成surface中的至少一个;
47.所述视频显示模块,包括:
48.本地显示单元,用于基于所述相机会话,从所述hdmi获取会议视频至所述本地显示surface,以本地显示所述会议视频;
49.对端显示单元,用于创建所述本地编码surface对应的第二编码器,以使所述第二编码器基于所述相机会话以及所述本地编码surface,从所述hdmi获取会议视频,并对所述会议视频进行编码,得到编码后的会议视频;将所述编码后的会议视频发送至对端,以使所述对端对所述编码后的会议视频进行解码后显示;
50.画面合成显示单元,用于注册本地画面合成服务,以使所述本地画面合成服务基于所述相机会话以及所述本地画面合成surface,从所述hdmi获取会议视频,并将所述会议视频发送至目标业务模块,以使所述目标业务模块对所述会议视频按照业务需求进行画面合成处理后,得到处理会议视频;从所述目标业务模块获取所述处理会议视频至所述本地显示surface,以本地显示所述处理会议视频,或,通过所述第二编码器对所述处理会议视频进行编码,得到编码后的处理会议视频,将所述编码后的处理会议视频发送至对端,以使所述对端对所述编码后的处理会议视频进行解码后显示。
51.可选的,所述电子设备的操作系统为安卓系统,所述安卓系统包括相机管理服务,所述装置还包括:
52.信息接收模块,用于接收所述相机管理服务发送的所述hdmi对应的回调消息,其中,所述回调消息为所述相机管理服务基于所述hdmi是否接入有信号源确定的;
53.检测模块,用于在所述回调消息表示所述hdmi未接入有信号源,确定检测到hdmi
不可用;在所述回调消息表示所述hdmi接入有信号源,确定检测到hdmi可用。
54.可选的,所述hdmi输入的会议视频为相机拍摄的参会人员的视频,所述目标图片为所述hdmi不可用时,获取的所述相机拍摄的视频帧;或,所述hdmi输入的会议视频为输入的演示内容视频,所述目标图片为从所述hdmi不可用时开始,按照预设时间间隔获取的所述演示内容视频的剩余部分对应的图片。
55.第三方面,本技术实施例提供了一种电子设备,包括:
56.存储器,用于存放计算机程序;
57.处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一所述的方法。
58.本技术实施例有益效果:
59.本技术实施例提供的方案中,电子设备的应用层在视频会议过程中,如果检测到hdmi不可用,可以按照预设时间间隔获取目标图片;将目标图片发送至对端,以使对端对目标图片进行显示,直到检测到hdmi可用或获取到视频显示结束指令,其中,预设时间间隔基于hdmi可用情况下,hdmi输入的会议视频的帧率确定,对端为与电子设备进行视频会议的其他设备。由于电子设备的应用层在检测到hdmi不可用时,可以按照基于hdmi输入的会议视频的帧率所确定的预设时间间隔,获取目标图片并发送至对端,以使得对端显示该目标图片,这样,在电子设备的hdmi不可用时,电子设备也可以保证码流不中断,使得对端不会出现黑屏或者卡屏的情况,避免了引起用户疑虑。
60.当然,实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
61.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
62.图1为本技术实施例所提供的一种图片显示方法的流程图;
63.图2为基于图1所示实施例的目标图片获取方式的一种流程图;
64.图3为基于图2所示实施例的目标图片发送方式的一种流程图;
65.图4为基于图1所示实施例的会议视频显示方式的一种流程图;
66.图5为基于图4所示实施例的会议视频显示方式的一种具体流程图;
67.图6为基于图1所示实施例的图片显示方法的一种具体流程图;
68.图7为基于图1所示实施例的图片显示方法的另一种具体流程图;
69.图8为本技术实施例所提供的一种图片显示装置的结构示意图;
70.图9为本技术实施例所提供的一种电子设备的结构示意图。
具体实施方式
71.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员基于本技术所获得的所有其他实施例,都属于本
申请保护的范围。
72.为了在hdmi处于不可用状态的情况下,保证码流不中断,避免对端出现黑屏或者卡屏的情况,从而避免引起用户疑虑,本技术实施例提供了一种图片显示方法、装置、电子设备、计算机可读存储介质以及计算机程序产品,下面首先对本技术实施例所提供的一种图片显示方法进行介绍。
73.本技术实施例所提供的一种图片显示方法可以应用于任意在视频会议过程中,需要保证码流不中断的电子设备的应用层,例如,手机的应用层和平板电脑的应用层等等,在此不做具体限定。为了描述清楚,以下称为电子设备的应用层。
74.如图1所示,一种图片显示方法,应用于电子设备的应用层,所述方法包括:
75.s101,在视频会议过程中,如果检测到hdmi不可用,按照预设时间间隔获取目标图片;
76.其中,所述预设时间间隔基于所述hdmi可用情况下,所述hdmi输入的会议视频的帧率确定;
77.s102,将目标图片发送至对端,以使所述对端对所述目标图片进行显示,直到检测到所述hdmi可用或获取到视频显示结束指令;
78.其中,所述对端为与所述电子设备进行视频会议的其他设备。
79.本技术实施例提供的方案中,电子设备的应用层在视频会议过程中,如果检测到hdmi不可用,可以按照预设时间间隔获取目标图片;将目标图片发送至对端,以使对端对目标图片进行显示,直到检测到hdmi可用或获取到视频显示结束指令,其中,预设时间间隔基于hdmi可用情况下,hdmi输入的会议视频的帧率确定,对端为与电子设备进行视频会议的其他设备。由于电子设备的应用层在检测到hdmi不可用时,可以按照基于hdmi输入的会议视频的帧率所确定的预设时间间隔,获取目标图片并发送至对端,以使得对端显示该目标图片,这样,在电子设备的hdmi不可用时,电子设备也可以保证码流不中断,使得对端不会出现黑屏或者卡屏的情况,避免了引起用户疑虑。
80.在电子设备进行视频会议过程中,如果电子设备的应用层检测到hdmi未接入视频源或接入松动时,电子设备的应用层会确定hdmi不可用,此时电子设备就无法获取hdmi所接入的视频源所输入的视频码流,进而与该电子设备进行视频会议的其他设备,即对端,用于显示该电子设备所对应的会议视频的窗口就会出现黑屏或者卡屏的情况,进而会引起用户的疑惑。
81.为了解决上述问题,电子设备的应用层在视频会议过程中可以实时检测hdmi的状态,确定hdmi是否可用,如果不可用,则获取目标图片并发送至对端,以使得对端显示该目标图片,这样,在电子设备的hdmi不可用时,电子设备也可以保证码流不中断,使得对端不会出现黑屏或者卡屏的情况。
82.其中,电子设备的应用层检测hdmi的状态的方式,可以是直接获取hdmi的接入情况,确定hdmi的状态,也可以是接收其他服务发送的hdmi的相关信息,根据该相关信息确定hdmi的状态,在此不做具体限定。
83.在一种实施方式中,当电子设备的操作系统为安卓系统时,安卓系统包括相机管理服务,即acameramanager,该相机管理服务可以确定hdmi是否接入有信号源,并基于hdmi是否接入有信号源向应用层发送对应的回调信息,这样,应用层在接收到相机管理服务发
送的hdmi对应的回调消息后,可以根据该回调信息确定hdmi是否可用。
84.具体而言,如果应用层接收到的回调消息表示hdmi未接入有信号源,则应用层可以确定检测到hdmi不可用;如果应用层接收到的回调消息表示hdmi接入有信号源,则应用层可以确定检测到hdmi可用。
85.其中,相机管理服务在确定hdmi是否接入有信号源时,还可以进一步确定信号源的标识信息,具体而言,相机管理服务可以根据已接入的信号源的接入信息,以及预设的接入信息和标识信息的对应关系,确定该信号源的标识信息,从而在确定出hdmi接入有信号源时,进一步确定该信号源的具体信息,例如,相机管理服务可以根据信号源的标识信息,即cameraid,确定当前视频码流是相机输入的还是通过hdmi传输线所输入的。
86.并且相机管理服务还可以根据是否检测到对应的cameraid,来确定相机的上线和离线以及hdmi的插入和拔出。
87.当hdmi不可用时,此时电子设备就无法获取视频源所输入的视频码流,因此,需要获取目标图片并发送至对端,以使得对端显示该目标图片,从而避免对端出现黑屏或者卡屏的情况。因此,电子设备的应用层在检测到hdmi不可用时,可以按照预设时间间隔获取目标图片。
88.在一种实施方式中,电子设备的应用层可以预先在hdmi处于可用状态时,基于hdmi输入的会议视频的帧率确定预设时间间隔。例如,可以基于hdmi输入的会议视频的帧率,确定该视频中任意相邻两帧图像之间的显示时间间隔,将该显示时间间隔作为预设时间间隔,还可以基于实际的使用需求和显示时间间隔设定预设时间间隔,在此不做具体限定。
89.这样,因为该预设时间间隔是基于hdmi可用情况下,hdmi输入的会议视频的帧率确定的,所以按照预设时间间隔获取目标图片时,获取到的该目标图片对应的数据流与视频码流是类似的,因此,可以模拟视频流的输入。
90.电子设备的应用层在按照预设时间间隔获取目标图片时,可以按照预设时间间隔获取图片,然后直接将该获取到的图片作为目标图片,也可以是按照预设时间间隔获取图片后,对该获取到的图片进行处理后,将处理后得到的图片作为目标图片,在此不做具体限定。
91.例如,电子设备中预先存储了一种图片a,电子设备的应用层在检测到hdmi不可用,可以按照预设时间间隔获取该图片a,将该图片a作为目标图片,也可以在按照预设时间间隔获取该图片a后,接收用户对该图片a的修改等操作,或电子设备自身对该图片进行画面合成等操作,然后将经过上述操作处理后的图片a作为目标图片。
92.在一种实施方式中,电子设备的应用层可以先按照预设时间间隔获取预设图片;然后将预设图片发送至目标业务模块,以使目标业务模块对预设图片按照业务需求进行画面合成处理后,得到目标图片。例如,目标业务模块可以在目标图片上叠加用户的标识信息,或者是在目标图片上叠加其他的目标图片等等。
93.进行视频会议过程中,对端通过视频会议软件持续获取电子设备所发送的视频码流进行显示,当电子设备的hdmi不可用时,电子设备无法获取hdmi所接入的视频源输入的视频码流,进而也就无法将视频码流发送至对端,但是此时对端依然通过视频会议软件持续获取电子设备所发送的视频码流,对端无法获取到视频码流就会出现黑屏或者卡屏的情
况。或者,对端即使获取到电子设备发送一帧图片,那么对端在显示该图片后,仍是无法获取到后续的视频码流,进而还会出现黑屏或者卡屏的情况。
94.而本技术实施例中的电子设备的应用层在获取到目标图片后,可以将该目标图片发送至与电子设备进行视频会议的其他设备,即发送给对端,因为该目标图片是按照预设时间间隔获取的,所以可以持续模拟视频流,并且因为电子设备的应用层在检测到hdmi不可用,就会按照预设时间间隔获取目标图片,所以目标图片对应的数据流与hdmi不可用之间的视频码流的时间戳是连续的,所以对端在接收到电子设备的应用层发送的目标图片后,会认定该目标图片组成的数据流是正常的视频会议码流,不会察觉电子设备的hdmi不可用,由此可以保证码流不中断,对端不会出现黑屏或者卡屏的情况。
95.因此,对端在接收到目标图片后,可以基于之前显示电子设备发送的视频码流的方式,在用于显示该电子设备所对应的会议视频的窗口中显示该目标图片,从而避免了在电子设备的hdmi不可用时,码流中断,对端无法接收到电子设备发送的会议视频,而出现黑屏或卡屏的情况。
96.本技术实施例所提供的方案中,电子设备的应用层在检测到hdmi不可用时,可以按照基于hdmi输入的会议视频的帧率所确定的预设时间间隔,获取目标图片并发送至对端,以使得对端显示该目标图片,这样,在电子设备的hdmi不可用时,电子设备也可以保证码流不中断,使得对端不会出现黑屏或者卡屏的情况,避免了引起用户疑虑。
97.作为本技术实施例的一种实施方式,如图2所示,上述按照预设时间间隔获取目标图片,可以包括:
98.s201,开启定时器并创建目标线程;
99.电子设备的应用层在按照预设时间间隔获取目标图片时,可以创建目标进程,通过该目标进程获取目标图片,以及开启定时器,通过该定时器进一步触发按照预设时间间隔获取目标图片。
100.s202,控制所述定时器按照预设时间间隔,触发所述目标线程获取目标图片。
101.在开启定时器并创建目标线程之后,电子设备的应用层可以控制上述定时器,按照预设时间间隔,触发目标线程执行获取目标图片的步骤,从而实现按照预设时间间隔获取目标图片的效果。
102.其中,电子设备的应用层在获取目标图片时,可以是获取目标图片的rgb数据,可以是获取目标图片的yuv数据,在此不做具体限定。
103.本技术实施例中,电子设备的应用层可以开启定时器并创建目标线程,进而通过控制定时器按照预设时间间隔,触发目标线程获取目标图片,从而实现按照预设时间间隔获取目标图片的效果,得到模拟视频流。
104.作为本技术实施例的一种实施方式,上述方法,还可以包括:
105.通过开放图形库opengl将所述目标图片渲染到本地显示surface中,以本地显示所述目标图片。
106.电子设备的应用层在按照预设时间间隔获取目标图片后,除了可以将该目标图片发送至对端,以使对端对目标图片进行显示之外,电子设备本身也可以显示该目标图像,即电子设备的应用层可以将该目标图片进行本地显示,例如,在电子设备的屏幕上显示目标图片,又或者是在电子设备所连接的屏幕上显示目标图片等。
107.因为surface是由屏幕显示内容合成器所管理的一块原生缓存区的句柄,所以将待显示内容渲染到surface后,可以实现待显示内容的显示,又因为surface具有多种类型,电子设备的应用层可以将该目标图片进行本地显示,可以选择将待显示内容渲染到本地显示surface中。
108.因此,电子设备的应用层在控制定时器按照预设时间间隔,触发目标线程获取目标图片后,可以通过opengl(open graphics library,开放图形库)将目标图片渲染到本地显示surface中后,从而实现目标图片的本地显示。
109.因为电子设备的应用层在显示目标图片时,是将该目标图片渲染到本地显示surface中进行显示,而surface在显示图片时,是可以直接基于图片的yuv数据进行显示的,不需要将图片的yuv数据转换为rgb数据,所以在一种实施方式中,上述目标图片可以是采用yuv格式数据进行存储的。
110.本技术实施例提供的方案中,电子设备的应用层在获取到目标图片后,在当前业务需求包括本地显示的情况下,可以通过开放图形库opengl将目标图片渲染到本地显示surface中,从而实现在本地显示目标图片的效果,这样既避免了对端出现黑屏或者卡屏的情况,也可以避免电子设备本身出现黑屏或者卡屏的情况。并且相较于采用rgb格式来说,采用yuv格式存储目标图片时,存储没有冗余,虽然具有计算麻烦的缺点,但是该缺点是由于在显示时需要将yuv数据转换为rgb数据而导致的,而本技术实施例提供的方案中因为是将目标图片渲染到surface中进行显示,所以无需将yuv数据转换为rgb数据,从而消除了采用yuv格式存储目标图片的缺点。
111.作为本技术实施例的一种实施方式,如图3所示,上述将目标图片发送至对端,以使所述对端对所述目标图片进行显示,可以包括:
112.s301,创建第一编码器;
113.电子设备的应用层在将目标图片发送至对端时,为了进行有效的传输,节省传输资源,电子设备的应用层可以创建第一编码器,通过该第一编码器,对目标图片进行编码再发送至对端。
114.s302,回调所述目标图片至所述第一编码器,以使所述第一编码器对所述目标图片进行编码,得到编码数据;
115.电子设备的应用层在按照预设时间间隔获取目标图片后,可以将目标图片回调至第一编码器,从而使得第一编码器可以对该目标图片进行编码,得到编码数据。
116.在一种实施方式中,对目标图片进行编码时,如果按照预设时间间隔获取的目标图片与会议视频的帧率是一致的,那么编码得到的码流的头部信息中的帧率则可以不变。如果按照预设时间间隔获取的目标图片与会议视频的帧率是不一致的,那么编码得到的码流的头部信息中的帧率则修改为实际帧率,以保证对端可以顺利解码并显示目标图片。
117.s303,将所述编码数据发送至对端,以使所述对端对所述编码数据进行解码后显示。
118.第一编码器对目标图片进行编码,得到编码数据后,电子设备的应用层可以将编码数据发送至对端,以使对端对编码数据进行解码后显示。
119.在一种实施方式中,目标线程在按照预设时间间隔,每次获取到目标图片后,均可以将该目标图片回调至第一编码器进行编码,进而将各个编码数据依次发送至对端,从而
在对端实现按照预设时间间隔接收编码数据的效果,即在对端模拟视频流的输入。
120.在另一实施方式中,当目标图片为一张图片时,电子设备的应用层在将第一次将编码数据发送至对端时,可以发送包括预设时间间隔的指令信息,以使得对端在对编码数据进行解码后,按照预设时间间隔获取解码所得到的目标图片,从而在对端模拟视频流的输入。
121.本技术实施例提供的方案中,电子设备的应用层在获取到目标图片后,在将目标图片发送至对端,以使对端对所述目标图片进行显示时,可以将目标图片进行编码后发送至对端,在保证码流不中断,避免对端出现黑屏或者卡屏的情况,从而避免引起用户疑虑的情况下,进行了有效的传输,节省了传输资源。
122.作为本技术实施例的一种实施方式,如图4所示,上述方法还可以包括:
123.s401,在检测到所述hdmi可用的情况下,创建相机会话;
124.电子设备的应用层在将目标图片发送至对端,以使对端对目标图片进行显示的过程中,可以持续检测hdmi是否可用,如果检测到hdmi可用,则需要对显示内容进行切换,即停止显示目标图片,重新显示hdmi视频源所输入的视频码流。
125.因此,当电子设备的应用层检测到hdmi可用的情况下,可以创建相机会话。例如,电子设备的操作系统为安卓系统时,电子设备的应用层可以开启android native层camera接口,并基于该hdmi创建相机会话,即创建camera session。
126.因为电子设备的应用层在检测到hdmi可用的情况下,是要重新显示hdmi输入的会议视频,所以不需要再获取目标图片、将目标图片发送至对端,以使对端对目标图片进行显示以及本地显示目标图片,因此,在一种实施方式中,电子设备的应用层在检测到hdmi可用的情况下,还可以关闭定时器、结束目标进程、取消第一编码器、停止将目标图片发送至对端以及停止执行通过开放图形库opengl将目标图片渲染到本地显示surface的步骤。
127.s402,将本地surface与所述相机会话绑定;
128.s403,基于所述相机会话从所述hdmi获取会议视频至所述本地surface,以显示所述会议视频。
129.因为上述相机会话与hdmi是对应的,所以通过该相机会话可以获取到hdmi输入的会议视频,因此,电子设备的应用层可以将本地surface与相机会话进行绑定,从而基于相机会话从hdmi获取会议视频至本地surface,实现会议视频的显示。
130.本技术实施例中,电子设备的应用层在检测到hdmi可用的情况下,可以通过创建相机会话,将本地surface与相机会话绑定,基于相机会话从hdmi获取会议视频至本地surface的方式,对显示内容进行切换,重新显示hdmi输入的会议视频,从而可以实现在hdmi状态恢复正常时,自动切换为正常的会议视频显示的效果。
131.作为本技术实施例的一种实施方式,本地surface包括本地显示surface、本地编码surface和本地画面合成surface;
132.在对目标图片进行显示时,显示的业务需求包括本地显示、对端显示和画面合成,同样的,获取会议视频至本地surface以显示会议视频时,显示的业务需求也可以包括本地显示、对端显示和画面合成,相应的,上述本地surface也就可以包括本地显示surface、本地编码surface和本地画面合成surface。
133.相应的,如图5所示,上述基于所述相机会话从所述hdmi获取会议视频至所述本地
surface,以显示所述会议视频,可以包括以下至少一种:
134.s4031,基于所述相机会话,从所述hdmi获取会议视频至所述本地显示surface,以本地显示所述会议视频;
135.在本地surface包括本地显示surface,即显示的业务需求包括本地显示时,电子设备的应用层可以基于本地surface与相机会话的绑定关系,通过相机会话从hdmi获取会议视频直接至本地surface,从而将会议视频进行本地显示。
136.s4032,创建所述本地编码surface对应的第二编码器,以使所述第二编码器基于所述相机会话以及所述本地编码surface,从所述hdmi获取会议视频,并对所述会议视频进行编码,得到编码后的会议视频;将所述编码后的会议视频发送至对端,以使所述对端对所述编码后的会议视频进行解码后显示;
137.在本地surface包括本地编码surface,即显示的业务需求包括对端显示时,电子设备的应用层可以将会议视频发送至对端,以使对端可以显示该会议视频,即会议视频存在数据传输的需求,因此,为了进行有效的传输,节省传输资源,电子设备的应用层可以创建第二编码器,通过该第二编码器,对会议视频进行编码再发送至对端,以使对端对所述编码后的会议视频进行解码后显示。
138.因为电子设备的应用层对会议视频进行显示时,是将本地surface与相机会话绑定,以从hdmi获取会议视频至本地surface进行显示的,所以电子设备的应用层可以创建本地编码surface对应的第二编码器,例如,将本地编码surface和第二编码器进行绑定,进而再将该本地编码surface与相机会话进行绑定,这样,第二编码器可以通过本地编码surface和相机会话直接获取会议视频进行编码。
139.s4033,注册本地画面合成服务,以使所述本地画面合成服务基于所述相机会话以及所述本地画面合成surface,从所述hdmi获取会议视频,并将所述会议视频发送至目标业务模块,以使所述目标业务模块对所述会议视频按照业务需求进行画面合成处理后,得到处理会议视频;从所述目标业务模块获取所述处理会议视频至所述本地显示surface,以本地显示所述处理会议视频,或,通过所述第二编码器对所述处理会议视频进行编码,得到编码后的处理会议视频,将所述编码后的处理会议视频发送至对端,以使所述对端对所述编码后的处理会议视频进行解码后显示。
140.在本地surface包括本地画面合成surface,即显示的业务需求包括画面合成时,电子设备的应用层可以先对会议视频进行画面合成处理,然后再本地显示该画面合成处理后的会议视频以及将该画面合成处理后的会议视频发送至对端,以使对端显示该画面合成处理后的会议视频。其中,上述本地画面合成服务为应用层imagereader,上述本地画面合成surface为imagereader的surface。
141.因为电子设备的应用层对会议视频进行显示时,是将本地surface与相机会话绑定,以从hdmi获取会议视频至本地surface进行显示的,所以电子设备的应用层可以注册本地画面合成服务,进而将本地画面合成surface和本地画面合成服务进行绑定,将该本地画面合成surface与相机会话进行绑定,这样,本地画面合成服务可以通过本地画面合成surface和相机会话直接获取会议视频,进而可以将会议视频发送至目标业务模块,以使目标业务模块对会议视频按照业务需求进行画面合成处理后,得到处理会议视频。
142.目标业务模块对会议视频按照业务需求进行画面合成处理,得到处理会议视频
后,电子设备的应用层可以从目标业务模块获取处理会议视频至本地显示surface,以本地显示处理会议视频,或,在从目标业务模块获取处理会议视频后,通过第二编码器对处理会议视频进行编码,得到编码后的处理会议视频,将处理会议视频发送至对端,以使对端对编码后的处理会议视频进行解码后显示。
143.本技术实施例中,电子设备的应用层在基于相机会话从hdmi获取会议视频至本地surface时,可以根据不同的业务需求,采用不同的本地surface对会议视频采用不同类型的显示,丰富了显示效果。
144.作为本技术实施例的一种实施方式,上述hdmi输入的会议视频可以为相机拍摄的参会人员的视频,所述目标图片为所述hdmi不可用时,获取的所述相机拍摄的视频帧;
145.当hdmi输入的会议视频为相机拍摄的参会人员的视频时,为了保证对端显示的显示效果,电子设备的应用层在检测到hdmi不可用时,可以将hdmi不可用时,获取的相机拍摄的视频帧作为目标图片。
146.其中,电子设备的应用层在获取的相机拍摄的视频帧时,可以将hdmi不可用之前,相机发送给电子设备的最后一帧视频帧作为目标图片,也可以将hdmi不可用之前相机发送给电子设备的任意一帧视频帧作为目标图片,还可以为了呈现出视频的显示效果,将hdmi不可用之前相机发送给电子设备的多帧视频帧作为目标图片,在此不做具体限定。
147.这样即使电子设备的hdmi不可用,无法继续获取hdmi输入的会议视频,电子设备的应用层也可以将之前所接受到会议视频中的视频帧发送给对端,从而在对端呈现出码流并未中断的显示效果。
148.上述hdmi输入的会议视频还可以为输入的演示内容视频,所述目标图片为从所述hdmi不可用时开始,按照预设时间间隔获取的所述演示内容视频的剩余部分对应的图片。
149.当hdmi输入的会议视频可以为输入的演示内容视频时,电子设备中可以预先存储有演示内容视频所对应的文件,例如演示文稿等,为了保证显示内容的连续性,电子设备的应用层在到hdmi不可用时,可以从hdmi不可用时开始,按照预设时间间隔获取的演示内容视频的剩余部分对应的图片,将其作为目标图片。
150.这样即使电子设备的hdmi不可用无法继续获取hdmi输入的会议视频,电子设备的应用层也可以获取演示内容的剩余部分,将其发送给对端,从而在对端持续显示演示内容,保证了显示内容的连续性。
151.下面以图6和图7为例,介绍一下本技术实施例中的图片显示方法:
152.如图6所示,acameramanager,即相机管理服务,可以基于hdmi是否接入有信号源以及信号源的标识信息确定camera的上下线状态,从而获取camera上下线通知,当acameramanager检测到camera下线时,可以向电子设备的应用层发送camera下线的通知,具体而言,acameramanager可以向应用层发送表示hdmi未接入有信号源的回调消息,其中,上述camera指的可以是相机,也可以是hdmi传输线另一端所连接的视频源,在此不做具体限定。
153.应用层在接收到camera下线的通知后,因为不需要再显示camera输入的会议视频了,所以可以通过对应的api接口,解除surface和camerasession的绑定、停止向camera捕获数据以及关闭camera并释放camera资源,从而停止显示camera输入的会议视频,并取消之前用于对camera输入的会议视频进行编码的编码器。
154.进而应用层可以执行目标图片的显示步骤,具体而言,应用层可以重新创建用于对目标图片进行编码的编码器,并开启定时器和创建目标线程,进而应用层可以控制定时器按照预设时间间隔,触发目标线程获取目标图片的yuv数据,并通过opengl渲染surface,从而完成目标图片的本地显示。
155.此外,目标进程还可以根据其他业务场景使用目标图片的yuv数据,例如,采用重新创建的编码器对目标图片的yuv数据进行编码发送至对端,或将目标图片的yuv数据发送至目标业务模块进行画面合成处理后再进行本地显示或发送至对端等。
156.如图7所示,在显示目标图片时,acameramanager可以继续基于hdmi是否接入有信号源以及信号源的标识信息确定camera的上下线状态,从而获取camera上下线通知,当acameramanager检测到camera重新上线时,acameramanager可以向应用层发送camera上线的通知,具体而言,acameramanager可以向应用层表示hdmi接入有信号源的回调消息。
157.应用层在接收到camera上线的通知后,因为不需要再显示目标图片了,所以可以关闭定时器、取消opengl渲染surface,从而停止本地显示目标图片,并取消之前用于对目标图片进行编码的编码器,从而停止向对端发送目标图片。
158.进而应用层可以执行camera输入的会议视频的显示步骤,具体而言,应用层可以通过对应的api接口,开启camera并创建camerasession、将surface和camerasession进行绑定以及向camera捕获数据,从而完成camera输入的会议视频的显示。并且应用层还可以重新创建用于对camera输入的会议视频进行编码的编码器。
159.此外,应用层imagereader,即本地画面合成服务,还可以通过acquireimage api接口获取上述会议视频的yuv数据,具体而言,可以将imagereader的surface和camerasession进行绑定,以获取会议视频的yuv数据。进而应用层imagereader可以根据其他业务场景使用yuv数据,例如,将该yuv数据发送至目标业务模块,以使目标业务模块对yuv数据进行画面合成处理,或,采用重新创建的编码器对会议视频的yuv数据进行编码发送至对端,以使对端显示该会议视频。
160.本技术实施例提供的方案中,电子设备的应用层可以根据camera的上下线状态,采用不同的显示方式对camera输入的会议视频或目标图片进行显示,从而保证了码流不中断,避免了出现出现黑屏或者卡屏的情况,提高了用户的体验。
161.相应于上述图片显示方法,本技术实施例还提供了一种图片显示装置,下面对本技术实施例所提供的一种图片显示装置进行介绍。
162.如图8所示,本技术实施例提供了一种图片显示装置,应用于电子设备的应用层,所述装置包括:
163.图片获取模块810,用于在视频会议过程中,如果检测到hdmi不可用,按照预设时间间隔获取目标图片,其中,所述预设时间间隔基于所述hdmi可用情况下,所述hdmi输入的会议视频的帧率确定;
164.图片发送模块820,用于将目标图片发送至对端,以使所述对端对所述目标图片进行显示,直到检测到所述hdmi可用或获取到视频显示结束指令,其中,所述对端为与所述电子设备进行视频会议的其他设备。
165.本技术实施例提供的方案中,电子设备的应用层在视频会议过程中,如果检测到hdmi不可用,可以按照预设时间间隔获取目标图片;将目标图片发送至对端,以使对端对目
标图片进行显示,直到检测到hdmi可用或获取到视频显示结束指令,其中,预设时间间隔基于hdmi可用情况下,hdmi输入的会议视频的帧率确定,对端为与电子设备进行视频会议的其他设备。由于电子设备的应用层在检测到hdmi不可用时,可以按照基于hdmi输入的会议视频的帧率所确定的预设时间间隔,获取目标图片并发送至对端,以使得对端显示该目标图片,这样,在电子设备的hdmi不可用时,电子设备也可以保证码流不中断,使得对端不会出现黑屏或者卡屏的情况,避免了引起用户疑虑。
166.作为本技术实施例的一种实施方式,上述装置还可以包括:
167.本地显示模块,用于通过开放图形库opengl将所述目标图片渲染到本地显示surface中,以本地显示所述目标图片。
168.作为本技术实施例的一种实施方式,上述图片发送模块820,可以包括:
169.编码器创建单元,用于创建第一编码器;
170.编码单元,用于回调所述目标图片至所述第一编码器,以使所述第一编码器对所述目标图片进行编码,得到编码数据;
171.发送单元,用于将所述编码数据发送至对端,以使所述对端对所述编码数据进行解码后显示。
172.作为本技术实施例的一种实施方式,上述图片获取模块810,可以包括:
173.获取单元,用于按照预设时间间隔获取预设图片;
174.画面合成单元,用于将所述预设图片发送至目标业务模块,以使所述目标业务模块对所述预设图片按照业务需求进行画面合成处理后,得到所述目标图片。
175.作为本技术实施例的一种实施方式,上述装置还可以包括:
176.相机会话创建模块,用于在检测到所述hdmi可用的情况下,创建相机会话;
177.视频显示模块,用于将本地surface与所述相机会话绑定,基于所述相机会话从所述hdmi获取会议视频至所述本地surface,以显示所述会议视频。
178.作为本技术实施例的一种实施方式,上述本地surface可以包括本地显示surface、本地编码surface和本地画面合成surface中的至少一个;
179.上述视频显示模块,可以包括:
180.本地显示单元,用于基于所述相机会话,从所述hdmi获取会议视频至所述本地显示surface,以本地显示所述会议视频;
181.对端显示单元,用于创建所述本地编码surface对应的第二编码器,以使所述第二编码器基于所述相机会话以及所述本地编码surface,从所述hdmi获取会议视频,并对所述会议视频进行编码,得到编码后的会议视频;将所述编码后的会议视频发送至对端,以使所述对端对所述编码后的会议视频进行解码后显示;
182.画面合成显示单元,用于注册本地画面合成服务,以使所述本地画面合成服务基于所述相机会话以及所述本地画面合成surface,从所述hdmi获取会议视频,并将所述会议视频发送至目标业务模块,以使所述目标业务模块对所述会议视频按照业务需求进行画面合成处理后,得到处理会议视频;从所述目标业务模块获取所述处理会议视频至所述本地显示surface,以本地显示所述处理会议视频,或,通过所述第二编码器对所述处理会议视频进行编码,得到编码后的处理会议视频,将所述处理会议视频发送至对端,以使所述对端对所述编码后的处理会议视频进行解码后显示。
183.作为本技术实施例的一种实施方式,上述电子设备的操作系统为安卓系统,所述安卓系统包括相机管理服务,所述装置还可以包括:
184.信息接收模块,用于接收所述相机管理服务发送的所述hdmi对应的回调消息,其中,所述回调消息为所述相机管理服务基于所述hdmi是否接入有信号源确定的;
185.检测模块,用于在所述回调消息表示所述hdmi未接入有信号源,确定检测到hdmi不可用;在所述回调消息表示所述hdmi接入有信号源,确定检测到hdmi可用。
186.作为本技术实施例的一种实施方式,上述hdmi输入的会议视频可以为相机拍摄的参会人员的视频,所述目标图片为所述hdmi不可用时,获取的所述相机拍摄的视频帧;或,所述hdmi输入的会议视频可以为输入的演示内容视频,所述目标图片为从所述hdmi不可用时开始,按照预设时间间隔获取的所述演示内容视频的剩余部分对应的图片。
187.本技术实施例还提供了一种电子设备,如图9所示,包括:
188.存储器901,用于存放计算机程序;
189.处理器902,用于执行存储器901上所存放的程序时,实现上述任一实施例所述的图片显示方法。
190.本技术实施例提供的方案中,电子设备的应用层在视频会议过程中,如果检测到hdmi不可用,可以按照预设时间间隔获取目标图片;将目标图片发送至对端,以使对端对目标图片进行显示,直到检测到hdmi可用或获取到视频显示结束指令,其中,预设时间间隔基于hdmi可用情况下,hdmi输入的会议视频的帧率确定,对端为与电子设备进行视频会议的其他设备。由于电子设备的应用层在检测到hdmi不可用时,可以按照基于hdmi输入的会议视频的帧率所确定的预设时间间隔,获取目标图片并发送至对端,以使得对端显示该目标图片,这样,在电子设备的hdmi不可用时,电子设备也可以保证码流不中断,使得对端不会出现黑屏或者卡屏的情况,避免了引起用户疑虑。
191.上述电子设备还可以包括通信总线和/或通信接口,处理器902、通信接口、存储器901通过通信总线完成相互间的通信。
192.在本技术提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述的图片显示方法的步骤。
193.在本技术提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一实施例所述的图片显示方法。
194.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以
是磁性介质,(例如,软盘、硬盘、磁带)或者光介质(例如,dvd)等。
195.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
196.本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于电子设备、计算机可读存储介质和计算机程序产品而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
197.以上所述仅为本技术的较佳实施例,并非用于限定本技术的保护范围。凡在本技术的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本技术的保护范围内。
技术特征:
1.一种图片显示方法,其特征在于,应用于电子设备的应用层,所述方法包括:在视频会议过程中,如果检测到hdmi不可用,按照预设时间间隔获取目标图片,其中,所述预设时间间隔基于所述hdmi可用情况下,所述hdmi输入的会议视频的帧率确定;将目标图片发送至对端,以使所述对端对所述目标图片进行显示,直到检测到所述hdmi可用或获取到视频显示结束指令,其中,所述对端为与所述电子设备进行视频会议的其他设备。2.如权利要求1所述方法,其特征在于,所述方法还包括:通过开放图形库opengl将所述目标图片渲染到本地显示surface中,以本地显示所述目标图片。3.如权利要求1所述方法,其特征在于,所述将目标图片发送至对端,以使所述对端对所述目标图片进行显示,包括:创建第一编码器;回调所述目标图片至所述第一编码器,以使所述第一编码器对所述目标图片进行编码,得到编码数据;将所述编码数据发送至对端,以使所述对端对所述编码数据进行解码后显示。4.如权利要求1-3任一项所述方法,其特征在于,所述按照预设时间间隔获取目标图片,包括:按照预设时间间隔获取预设图片;将所述预设图片发送至目标业务模块,以使所述目标业务模块对所述预设图片按照业务需求进行画面合成处理后,得到所述目标图片。5.如权利要求1-3任一项所述方法,其特征在于,所述方法还包括:在检测到所述hdmi可用的情况下,创建相机会话;将本地surface与所述相机会话绑定,基于所述相机会话从所述hdmi获取会议视频至所述本地surface,以显示所述会议视频。6.如权利要求5所述方法,其特征在于,所述本地surface包括本地显示surface、本地编码surface和本地画面合成surface中的至少一个;所述基于所述相机会话从所述hdmi获取会议视频至所述本地surface,以显示所述会议视频,包括以下至少一种:基于所述相机会话,从所述hdmi获取会议视频至所述本地显示surface,以本地显示所述会议视频;创建所述本地编码surface对应的第二编码器,以使所述第二编码器基于所述相机会话以及所述本地编码surface,从所述hdmi获取会议视频,并对所述会议视频进行编码,得到编码后的会议视频;将所述编码后的会议视频发送至对端,以使所述对端对所述编码后的会议视频进行解码后显示;注册本地画面合成服务,以使所述本地画面合成服务基于所述相机会话以及所述本地画面合成surface,从所述hdmi获取会议视频,并将所述会议视频发送至目标业务模块,以使所述目标业务模块对所述会议视频按照业务需求进行画面合成处理后,得到处理会议视频;从所述目标业务模块获取所述处理会议视频至所述本地显示surface,以本地显示所述处理会议视频,或,通过所述第二编码器对所述处理会议视频进行编码,得到编码后的处理
会议视频,将所述编码后的处理会议视频发送至对端,以使所述对端对所述编码后的处理会议视频进行解码后显示。7.如权利要求1-3任一项所述方法,其特征在于,所述电子设备的操作系统为安卓系统,所述安卓系统包括相机管理服务,所述方法还包括:接收所述相机管理服务发送的所述hdmi对应的回调消息,其中,所述回调消息为所述相机管理服务基于所述hdmi是否接入有信号源确定的;如果所述回调消息表示所述hdmi未接入有信号源,确定检测到hdmi不可用;如果所述回调消息表示所述hdmi接入有信号源,确定检测到hdmi可用。8.如权利要求1-3任一项所述方法,其特征在于,所述hdmi输入的会议视频为相机拍摄的参会人员的视频,所述目标图片为所述hdmi不可用时,获取的所述相机拍摄的视频帧;或,所述hdmi输入的会议视频为输入的演示内容视频,所述目标图片为从所述hdmi不可用时开始,按照预设时间间隔获取的所述演示内容视频的剩余部分对应的图片。9.一种图片显示装置,其特征在于,应用于电子设备的应用层,所述装置包括:图片获取模块,用于在视频会议过程中,如果检测到hdmi不可用,按照预设时间间隔获取目标图片,其中,所述预设时间间隔基于所述hdmi可用情况下,所述hdmi输入的会议视频的帧率确定;图片发送模块,用于将目标图片发送至对端,以使所述对端对所述目标图片进行显示,直到检测到所述hdmi可用或获取到视频显示结束指令,其中,所述对端为与所述电子设备进行视频会议的其他设备。10.如权利要求9所述的装置,其特征在于,所述装置还包括:本地显示模块,用于通过开放图形库opengl将所述目标图片渲染到本地显示surface中,以本地显示所述目标图片;或,所述图片发送模块,包括:编码器创建单元,用于创建第一编码器;编码单元,用于回调所述目标图片至所述第一编码器,以使所述第一编码器对所述目标图片进行编码,得到编码数据;发送单元,用于将所述编码数据发送至对端,以使所述对端对所述编码数据进行解码后显示;或,所述图片获取模块,包括:获取单元,用于按照预设时间间隔获取预设图片;画面合成单元,用于将所述预设图片发送至目标业务模块,以使所述目标业务模块对所述预设图片按照业务需求进行画面合成处理后,得到所述目标图片;或,所述装置还包括:相机会话创建模块,用于在检测到所述hdmi可用的情况下,创建相机会话;视频显示模块,用于将本地surface与所述相机会话绑定,基于所述相机会话从所述hdmi获取会议视频至所述本地surface,以显示所述会议视频;或,所述本地surface包括本地显示surface、本地编码surface和本地画面合成surface中的至少一个;
所述视频显示模块,包括:本地显示单元,用于基于所述相机会话,从所述hdmi获取会议视频至所述本地显示surface,以本地显示所述会议视频;对端显示单元,用于创建所述本地编码surface对应的第二编码器,以使所述第二编码器基于所述相机会话以及所述本地编码surface,从所述hdmi获取会议视频,并对所述会议视频进行编码,得到编码后的会议视频;将所述编码后的会议视频发送至对端,以使所述对端对所述编码后的会议视频进行解码后显示;画面合成显示单元,用于注册本地画面合成服务,以使所述本地画面合成服务基于所述相机会话以及所述本地画面合成surface,从所述hdmi获取会议视频,并将所述会议视频发送至目标业务模块,以使所述目标业务模块对所述会议视频按照业务需求进行画面合成处理后,得到处理会议视频;从所述目标业务模块获取所述处理会议视频至所述本地显示surface,以本地显示所述处理会议视频,或,通过所述第二编码器对所述处理会议视频进行编码,得到编码后的处理会议视频,将所述编码后的处理会议视频发送至对端,以使所述对端对所述编码后的处理会议视频进行解码后显示;或,所述电子设备的操作系统为安卓系统,所述安卓系统包括相机管理服务,所述装置还包括:信息接收模块,用于接收所述相机管理服务发送的所述hdmi对应的回调消息,其中,所述回调消息为所述相机管理服务基于所述hdmi是否接入有信号源确定的;检测模块,用于在所述回调消息表示所述hdmi未接入有信号源,确定检测到hdmi不可用;在所述回调消息表示所述hdmi接入有信号源,确定检测到hdmi可用;或,所述hdmi输入的会议视频为相机拍摄的参会人员的视频,所述目标图片为所述hdmi不可用时,获取的所述相机拍摄的视频帧;或,所述hdmi输入的会议视频为输入的演示内容视频,所述目标图片为从所述hdmi不可用时开始,按照预设时间间隔获取的所述演示内容视频的剩余部分对应的图片。11.一种电子设备,其特征在于,包括:存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现权利要求1-8任一所述的方法。
技术总结
本申请实施例提供了一种图片显示方法、装置及电子设备,所述方法包括:在视频会议过程中,如果检测到HDMI不可用,按照预设时间间隔获取目标图片,其中,预设时间间隔基于HDMI可用情况下,HDMI输入的会议视频的帧率确定;将目标图片发送至对端,以使对端对目标图片进行显示,直到检测到HDMI可用或获取到视频显示结束指令,其中,对端为与电子设备进行视频会议的其他设备。由于电子设备的应用层在检测到HDMI不可用时,可以按照基于HDMI输入的会议视频的帧率所确定的预设时间间隔,获取目标图片并发送至对端,所以可以保证码流不中断,使得对端不会出现黑屏或者卡屏的情况,避免了引起用户疑虑。用户疑虑。用户疑虑。
技术研发人员:郭少鹏
受保护的技术使用者:杭州海康威视数字技术股份有限公司
技术研发日:2023.06.30
技术公布日:2023/9/22
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/