显示方法、装置、设备和介质与流程

1.本技术涉及计算机软件通信领域，尤其涉及一种显示方法、装置、设备和介质。


背景技术：

2.全景式监控摄像系统(around view monitor，avm)是通过多个超大广角鱼眼镜头拍摄图像，经过特殊算法对图像进行畸变矫正以及拼接，形成物体周围的全景影像的系统，多应用于车辆，实现无盲区行驶，全景泊车等功能，对安全驾驶有所帮助。
3.在车辆行驶或泊车过程中，通常打开全景式监控摄像系统，若在全景式监控摄像系统打开之前，车机屏幕显示其他视频，通常将原先显示的视频退到后台，影响用户的体验。


技术实现要素：

4.本技术提供一种显示方法、装置、设备和介质，用以以画中画模式在全景式监控摄像系统打开的同时小窗口画中画播放视频，提升用户体验。
5.第一方面，本技术提供一种显示方法，包括：
6.目标视频播放时，若全景式监控摄像系统打开，控制所述目标视频进行画中画模式；
7.控制所述目标视频所在的图层处于所述全景式监控摄像系统生成的视频所在的图层之上，在所述全景式监控摄像系统生成的视频上小窗口显示所述目标视频。
8.可选的，所述目标视频播放时，若全景式监控摄像系统打开，控制所述目标视频进入画中画模式，具体包括：
9.目标视频播放时，若全景式监控摄像系统打开，修改所述全景式监控摄像系统的状态属性值，控制目标系统在监测到所述状态属性值发生变化时控制所述目标视频进入画中画模式。
10.可选的，所述控制目标系统监听到所述状态属性值发生变化时控制所述目标视频进入画中画模式，具体包括：
11.控制所述目标系统监测所述全景式监控摄像系统的状态属性值并在所述状态属性值为预设值时控制所述目标视频进入画中画模式。
12.可选的，控制所述目标视频所在的图层处于所述全景式监控摄像系统生成的视频所在的图层之上，具体包括：
13.对所述目标视频所在的图层和所述全景式监控摄像系统生成的视频所在的图层进行修改，并对各图层进行重新排序。
14.可选的，所述对所述目标视频所在的图层和所述全景式监控摄像系统生成的视频所在的图层进行修改，具体包括：
15.调用框架层到硬件抽象层的接口，对所述目标视频所在的图层和所述全景式监控摄像系统生成的视频所在的图层进行重新设置。
16.可选的，在所述全景式监控摄像系统生成的视频上小窗口显示所述目标视频，具体包括：
17.调用缓冲获取函数从缓冲阵列中获取全景式监控摄像系统绘制完成的视频，将所述全景式监控摄像系统绘制完成的视频和目标视频进行合成，以在所述全景式监控摄像系统生成的视频上小窗口显示目标视频。
18.可选的，所述全景式监控摄像系统打开的方法包括：
19.响应对状态栏中的360avm按钮的点击操作，打开全景式监控摄像系统。
20.可选的，所述方法还包括：
21.响应对所述小窗口的滑动操作，调整所述小窗口的位置和/或大小。
22.可选的，所述方法还包括：
23.响应对所述全景式监控摄像系统的关闭操作，关闭所述全景式监控摄像系统，以大窗口方式显示所述目标视频。
24.第二方面，本技术提供一种显示装置，包括：
25.第一控制模块，用于在目标视频播放时，若全景式监控摄像系统打开，控制所述目标视频进行画中画模式；
26.第二控制模块，用于控制所述目标视频所在的图层处于所述全景式监控摄像系统生成的视频所在的图层之上，在所述全景式监控摄像系统生成的视频上小窗口显示所述目标视频。
27.第三方面，本技术提供一种电子设备，包括：存储器和处理器；
28.存储器用于存储指令；处理器用于调用存储器中的指令执行第一方面及第一方面任一种可能的设计中的显示方法。
29.第四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，当电子设备的至少一个处理器执行该计算机指令时，电子设备执行第一方面及第一方面任一种可能的设计中的显示方法。
30.第五方面，本技术提供一种计算机程序产品，所述计算机程序产品包括计算机指令，当电子设备的至少一个处理器执行该计算机指令时，电子设备执行第一方面及第一方面任一种可能的设计中的显示方法。
31.本技术提供的显示方法、装置、设备和介质，目标视频播放时，若全景式监控摄像系统打开，控制目标视频进入画中画模式，而后控制目标视频所在的图层处于全景式监控摄像系统生成的视频所在的图层之上，在全景式监控摄像系统生成的视频上以小窗口显示目标视频，从而能够以画中画模式在全景式监控摄像系统打开的同时小窗口画中画播放视频，提升用户体验。
附图说明
32.为了更清楚地说明本技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为本技术一实施例提供的显示方法的流程示意图；
34.图2为本技术一实施例提供的目标视频的显示界面图；
35.图3为本技术一实施例提供的状态栏的显示界面图；
36.图4为本技术一实施例提供的画中画显示界面图；
37.图5为本技术另一实施例提供的显示方法的流程示意图；
38.图6为本技术一实施例提供的显示装置的结构示意图；
39.图7为本技术一实施例提供的电子设备的硬件结构示意图。
具体实施方式
40.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
41.本技术使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：a、b、c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a和b和c”，再如，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a和b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
42.正如背景技术的描述，车机屏幕上显示视频时，若打开全景式监控摄像系统，通常将原先显示的视频退到后台，而后在车机屏幕上显示全景式监控摄像系统的画面，影响用户的体验。
43.针对上述问题，本技术提出了一种显示方法，在视频播放时，若全景式监控摄像系统打开，控制视频进入画中画模式，而后控制视频所在的图层显示在全景式监控摄像系统生成的画面所在的图层之上，在全景式监控摄像系统生成的画面上显示视频，从而能够以画中画模式在全景式监控摄像系统打开的同时小窗口画中画播放视频，提升用户体验。
44.下面以具体地实施例对本技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
45.图1示出了本技术一实施例提供的一种显示方法的流程图。在图1所示实施例的基础上，如图1所示，以电子设备为执行主体，本实施例的方法可以包括如下步骤：
46.s101、目标视频播放时，若全景式监控摄像系统打开，控制目标视频进入画中画模式。
47.可选的，目标视频可以是人机共驾的视频，也可以是其他影视视频。
48.人机共驾的视频可以是在人机共驾系统启动后生成的视频，例如，可以是人机共驾系统启动后，由车载监控系统采集车辆行驶过程中车辆周围的车辆、路况、建筑、路人等信息生成的视频。而后，可以在车载显示器上播放车载监控系统生成的视频，从而能够通过车载显示器上播放的视频实时监看车辆周围情况，如图2所示。实际应用中，车载监控系统可以是行车记录仪。
49.其他影视视频可以是在车载娱乐系统启动后在车载显示器上播放的视频。
50.作为一种实现方式，车机系统开机时，通过在系统核心服务(activitymanagerservice，ams)中对人机共驾的视频自启动，即在系统解锁后通过ams的
接口拉起人机共驾的视频。ams是贯穿安卓系统组件的核心服务，主要负责安卓系统中四大组件的启动、切换、调度以及应用进程管理和调度工作。
51.本实施例中，目标视频播放时，可以打开全景式监控摄像系统，以获取车辆周边的实时画面，并在车载显示上显示360度环视景象，从而能够辅助驾驶员安全轻松的驾驶车辆、停泊车辆。
52.在需要打开全景式监控摄像系统时，可以响应用户对车载显示器的显示屏幕的滑动操作，以拉出状态栏，如图3所示，而后响应用户对状态栏中的360avm按钮的点击操作，打开全景式监控摄像系统，例如可以通过startactivity的方式将全景式监控摄像系统打开。
53.本实施例中，全景式监控摄像系统打开后可以通知目标系统，以控制目标系统控制目标视频进入画中画模式。
54.作为一种实现方式，可以在全景式监控摄像系统打开后，修改全景式监控摄像系统的状态属性值，例如可以设置全景式监控摄像系统的状态属性值为1。而后，控制目标系统在监听到状态属性值发生变化时控制目标视频进入画中画模式，具体的，可以控制目标系统监控全景式监控摄像系统的状态属性值并在状态属性值为预设值时控制目标视频进入画中画模式，从而使得目标视频和全景式监控摄像系统生成的视频能够同时播放。
55.需要说明，全景式监控摄像系统打开后，需要在车载显示器上播放全景式监控摄像系统生成的视频，由于native方式绘制的全景式监控摄像系统图层非常高，则全景式监控摄像系统生成的视频所在的图层非常高。
56.s102、控制目标视频所在的图层处于全景式监控摄像系统生成的视频所在的图层之上，在全景式监控摄像系统生成的视频上小窗口显示目标视频。
57.在控制目标视频进入画中画模式之后，控制目标视频所在的图层处于全景式监控摄像系统生成的视频所在的图层之上，即控制画中画模式所在的图层处于全景式监控摄像系统生成的视频所在的图层之上，使得画中画模式所在的图层高于全景式监控摄像系统生成的视频所在的图层，从而能够在全景式监控摄像系统生成的视频上以小窗口形式显示目标视频，即能够以画中画模式在全景式监控摄像系统打开的同时小窗口画中画播放视频，如图4所示。
58.本实施例中，在控制目标视频进入画中画模式之后，对目标视频所在的图层和全景式监控摄像系统生成的视频所在的图层进行修改，并对各图层进行重新排序，以控制目标视频所在的图层处于全景式监控摄像系统生成的视频所在的图层之上。
59.实际应用中，native方式绘制的全景式监控摄像系统图层非常高，即全景式监控摄像系统生成的视频所在的图层非常高，因此调用框架层到硬件抽象层的接口，对目标视频所在的图层和全景式监控摄像系统生成的视频所在的图层进行重新设置，使得目标视频所在的图层位于全景式监控摄像系统生成的视频所在的图层之上。需要说明，安卓系统由上到下依次包括框架(framework，fwk)层、硬件抽象(hal)层、系统程序库(system library)层和内核(kernel)层。
60.具体的，通过在图像合成模块(surfaceflinger)进行定制，定义一个图层重新排序(setlayerorder)的方法对全景式监控系统生成的视频所在的图层和目标视频所在的图层进行修改，同时对图层合成模块调整后的图层(surfaceflinger rebuildlayerstack)进行重新排序。而后，可以调用垂直同步信号请求(requestnextvsync)以请求下一个垂直同
步(vsync)信号，下一个垂直同步信号会触发消息队列(messagequeue)的回调(handlemessage)函数以调用刷新(invalidate和refresh)消息。在处理refresh消息时，最后会调用缓冲获取(acquirebuffer)函数从缓冲队列(bufferqueue)中将之前全景式监控摄像系统绘制完成的视频取出，将全景式监控摄像系统绘制完成的视频和目标视频合成，从而能够在全景式监控摄像系统生成的视频上面显示播放视频的小窗口，达到全景式监控摄像系统下画中画的模式效果，体现evb强大的算力。需要说明，app绘制时，先缓冲阵列中取出(dequeue)一块图形缓冲，绘制完成后，再把绘制好的图形缓冲到缓冲阵列中。而后，图像合成模块可以从缓冲阵列中取出一块绘制过的图形，然后进行合成处理。其中，setlayerorder是一个从java层到native层的接口，用于全景式监控摄像系统打开的情况下，视频进入画中画模式时，能够对画中画模式的图层进行调整。全景式监控摄像系统绘制完成的视频可以是对全景式监控摄像系统生成的视频进行渲染处理后的视频。
61.本技术提供的显示方法，目标视频播放时，若全景式监控摄像系统打开，控制目标视频进入画中画模式，而后控制目标视频所在的图层处于全景式监控摄像系统生成的视频所在的图层之上，在全景式监控摄像系统生成的视频上小窗口显示目标视频，从而能够以画中画模式在全景式监控摄像系统打开的同时小窗口画中画播放视频，提升用户体验。
62.图5示出了本技术一实施例提供的一种显示方法的流程图。在图1所示实施例的基础上，如图5所示，以电子设备为执行主体，本实施例的方法可以包括如下步骤：
63.s201、车机系统开机时，播放目标视频。
64.可选的，目标视频为人机共驾的视频，可以在车机系统开机时，通过在系统核心服务ams中对人机共驾的视频自启动，就是在系统解锁之后通过ams的接口拉起人机共驾的视频。
65.s202、响应对状态栏中的360avm按钮的点击操作，打开全景式监控摄像系统。
66.可选的，用户可以对车载显示器的显示屏幕进行滑动操作，以触发显示状态栏，车机系统响应用户对车载显示器的显示屏幕的滑动操作，以拉出状态栏，而后，用户可以对状态栏中的360avm按钮进行点击操作，以触发全景式监控摄像系统的打开操作，车机系统响应用户对状态栏中的360avm按钮的点击操作，打开全景式监控摄像系统，例如可以通过startactivity的方式将全景式监控摄像系统打开。
67.s203、修改全景式监控摄像系统的状态属性值。
68.在全景式监控摄像系统打开之后，可以修改全景式监控摄像系统的状态属性值，以表明全景式监控摄像系统已打开。
69.s204、控制目标系统监控全景式监控摄像系统的状态属性值并在状态属性值为预设值时控制目标视频进入画中画模式。
70.本实施例中，控制目标系统监控全景式监控摄像系统的状态属性值，监测到全景式监控摄像系统的状态属性值后，判断状态属性值是否为预设值，若是，控制目标视频进入画中画模式，若否，不会控制目标视频进入画中画模式。例如，可以控制目标系统按照预设时间间隔监控全景式监控摄像系统的状态属性值，目标系统在状态属性值为预设值时控制目标视频进入画中画模式。实际应用中，可以控制目标视频通过enterpictureinpicturemode进入画中画模式。
71.s205、控制目标视频所在的图层处于全景式监控摄像系统生成的视频所在的图层
之上，在全景式监控摄像系统生成的视频上小窗口显示目标视频。
72.其中，步骤s205与图1实施例中的步骤s102实现方式类似，本实施例此处不再赘述。
73.在一些实施例中，在全景式监控摄像系统生成的视频上小窗口显示目标视频之后，用户可以对小窗口进行滑动操作，车机系统响应对小窗口的滑动操作，调整小窗口的位置和/或大小等，从而能够根据用户需要调整小窗口，进一步提升用户体验。实际应用中，小窗口可以默认大小为480*720，小窗口可以在屏幕上面的任何位置拖动，拖动到屏幕的外面会根据手指的位置恢复到屏幕对应的位置。
74.在一些实施例中，在全景式监控摄像系统生成的视频上小窗口显示目标视频之后，用户可以对全景式监控摄像系统进行关闭操作，例如可以对全景式监控摄像系统所在的视频中的关闭按钮进行点击操作。车机系统响应用户对全景式监控摄像系统的关闭操作，关闭全景式监控摄像系统，并以大窗口方式显示目标视频，例如在整个车载显示器上显示目标视频。需要说明，目标视频进入画中画模式后，分享功能禁用，例如可以对分享的按钮做不可点击或者隐藏的操作，在全景式监控摄像系统关闭以大窗口显示目标视频时，分享功能恢复。
75.本技术提供的显示方法，在播放目标视频后，响应对260avm按钮的点击操作，打开全景式监控摄像系统，控制目标视频进入画中画模式，而后控制目标视频所在的图层处于全景式监控摄像系统生成的视频所在的图层之上，以在全景式监控摄像系统生成的视频上小窗口显示目标视频，从而能够以画中画模式在全景式监控摄像系统打开的同时小窗口画中画播放视频，提升用户体验。
76.图6示出了本技术一实施例提供的一种显示装置的结构示意图，如图6所示，本实施例的显示装置10用于实现上述任一方法实施例中对应于电子设备的操作，本实施例的显示装置10包括：
77.第一控制模块11，用于在目标视频播放时，若全景式监控摄像系统打开，控制目标视频进行画中画模式；
78.第二控制模块12，用于控制目标视频所在的图层处于全景式监控摄像系统生成的视频所在的图层之上，在全景式监控摄像系统生成的视频上小窗口显示目标视频。
79.本技术实施例提供的显示装置10，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。
80.图7示出了本技术实施例提供的一种电子设备的硬件结构示意图。如图7所示，该电子设备20，用于实现上述任一方法实施例中对应于电子设备的操作，本实施例的电子设备20可以包括：存储器21，处理器22和通信接口23。
81.存储器21，用于存储计算机指令。该存储器21可能包含高速随机存取存储器(random access memory，ram)，也可能还包括非易失性存储(non-volatile memory，nvm)，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
82.处理器22，用于执行存储器存储的计算机指令，以实现上述实施例中的显示方法。具体可以参见前述方法实施例中的相关描述。该处理器22可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)等。
通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
83.可选地，存储器21既可以是独立的，也可以跟处理器22集成在一起。
84.通信接口23，可以与处理器22连接。处理器22可以控制通信接口23来实现信号的接收和发送的功能。
85.本实施例提供的电子设备可用于执行上述的显示方法，其实现方式和技术效果类似，本实施例此处不再赘述。
86.本技术还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，计算机指令被处理器执行时用于实现上述的各种实施方式提供的方法。
87.本技术还提供一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。设备的至少一个处理器可以从计算机可读存储介质中读取该计算机指令，至少一个处理器执行该计算机指令使得设备实施上述的各种实施方式提供的方法。
88.本技术实施例还提供一种芯片，该芯片包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用并运行所述计算机指令，使得安装有所述芯片的设备执行如上各种可能的实施方式中所述的方法。
89.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制。尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。

技术特征：
1.一种显示方法，其特征在于，所述方法包括：目标视频播放时，若全景式监控摄像系统打开，控制所述目标视频进行画中画模式；控制所述目标视频所在的图层处于所述全景式监控摄像系统生成的视频所在的图层之上，在所述全景式监控摄像系统生成的视频上小窗口显示所述目标视频。2.根据权利要求1所述的方法，其特征在于，所述目标视频播放时，若全景式监控摄像系统打开，控制所述目标视频进入画中画模式，具体包括：目标视频播放时，若全景式监控摄像系统打开，修改所述全景式监控摄像系统的状态属性值，控制目标系统在监测到所述状态属性值发生变化时控制所述目标视频进入画中画模式。3.根据权利要求2所述的方法，其特征在于，所述控制目标系统监听到所述状态属性值发生变化时控制所述目标视频进入画中画模式，具体包括：控制所述目标系统监测所述全景式监控摄像系统的状态属性值并在所述状态属性值为预设值时控制所述目标视频进入画中画模式。4.根据权利要求2所述的方法，其特征在于，控制所述目标视频所在的图层处于所述全景式监控摄像系统生成的视频所在的图层之上，具体包括：对所述目标视频所在的图层和所述全景式监控摄像系统生成的视频所在的图层进行修改，并对各图层进行重新排序。5.根据权利要求4所述的方法，其特征在于，所述对所述目标视频所在的图层和所述全景式监控摄像系统生成的视频所在的图层进行修改，具体包括：调用框架层到硬件抽象层的接口，对所述目标视频所在的图层和所述全景式监控摄像系统生成的视频所在的图层进行重新设置。6.根据权利要求1所述的方法，其特征在于，在所述全景式监控摄像系统生成的视频上小窗口显示所述目标视频，具体包括：调用缓冲获取函数从缓冲阵列中获取全景式监控摄像系统绘制完成的视频，将所述全景式监控摄像系统绘制完成的视频和目标视频进行合成，以在所述全景式监控摄像系统生成的视频上小窗口显示目标视频。7.根据权利要求1-6中任意一项所述的方法，其特征在于，所述全景式监控摄像系统打开的方法包括：响应对状态栏中的360avm按钮的点击操作，打开全景式监控摄像系统。8.根据权利要求1-6中任意一项所述的方法，其特征在于，所述方法还包括：响应对所述小窗口的滑动操作，调整所述小窗口的位置和/或大小。9.根据权利要求1-6中任意一项所述的方法，其特征在于，所述方法还包括：响应对所述全景式监控摄像系统的关闭操作，关闭所述全景式监控摄像系统，以大窗口方式显示所述目标视频。10.一种显示装置，其特征在于，所述装置，包括：第一控制模块，用于在目标视频播放时，若全景式监控摄像系统打开，控制所述目标视频进行画中画模式；第二控制模块，用于控制所述目标视频所在的图层处于所述全景式监控摄像系统生成的视频所在的图层之上，在所述全景式监控摄像系统生成的视频上小窗口显示所述目标视
频。11.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至9中任意一项所述的显示方法。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令，所述计算机指令被处理器执行时用于实现如权利要求1至9中任一项所述的显示方法。

技术总结
本申请提供一种显示方法、装置、设备和介质，目标视频播放时，若全景式监控摄像系统打开，控制目标视频进入画中画模式，而后控制目标视频所在的图层处于全景式监控摄像系统生成的视频所在的图层之上，在全景式监控摄像系统生成的视频上以小窗口显示目标视频，从而能够以画中画模式在全景式监控摄像系统打开的同时小窗口画中画播放视频，提升用户体验。提升用户体验。提升用户体验。


技术研发人员：邹元飞
受保护的技术使用者：亿咖通（湖北）技术有限公司
技术研发日：2023.07.10
技术公布日：2023/10/8