一种基于视频播放状态的终端侧信息提示方法和系统与流程

1.本发明涉及视频领域，尤其涉及iptv中基于视频播放状态的终端侧信息提示方法和系统。


背景技术：

2.随着网络技术的发展，越来越多的用户通过iptv机顶盒经由互联网收看电视台的节目和其他各类视频节目。机顶盒通常具有信息提示插件，用于在屏幕上提供各种提示窗口。
3.目前现有技术的信息提示系统如图1所示，它包括服务器侧的信息提示配置平台和终端侧的信息提示插件，其中信息提示插件包括策略获取模块、触发事件捕获模块、以及显示模块。信息提示插件与浏览器进行通信对接。
4.■
信息提示配置平台将信息提示的开或关、提示窗口显示的位置、提示窗口显示内容(文字/图片)、提示窗口显示的时长、提示窗口触发事件等策略信息发送到信息提示插件中的策略获取模块以供其存储；
5.■
触发事件捕获判断模块捕获触发事件的发生，捕获到满足触发条件的触发事件是时候，会通知显示模块触发信息提示；
6.■
显示模块根据策略获取模块所存储的策略信息中的信息提示位置、显示的内容等策略在屏幕上显示窗口提示。
7.然而由于现网业务的复杂性，现有的信息提示插件存在以下一些问题：
8.1)现有信息提示插件无法针对用户的观看行为以及视频观看中是否发生卡顿信息提示的；
9.2)由于通常电子节目指南epg页面会有小窗口的视频播放，小窗口播放的页面情况下往往无需提示窗口提示，而现有信息提示插件无法区分是全屏播放还是小窗口播放的场景，仍触发提示窗口，反而造成用户观看epg页面不方便；
10.3)现有信息提示插件的系统信息的提示，不会判断当前是否已经存在提示窗口，可能导致提示窗口重复、重叠的情况。
11.现有iptv的机顶盒的信息提示插件虽然可以实现信息提示功能，但是无法避免在epg页面小窗口体播放情况下或者已有系统信息窗口情况下的仍进行信息提示，对用户感知有影响。现有iptv的机顶盒的信息提示插件也无法根据用户的观看行为以及观看中是否发生卡顿来进行信息提示。因此，有待改善。


技术实现要素：

12.提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征；也不旨在用于确定或限制所要求保护的主题的范围。
13.根据本发明的信息提示系统的策略模块获取信息提示的策略，事件信息捕获模块
跟踪播放器捕获触发信息提示的事件，用户视频播放的行为或者视频播放质量触发信息亦可以成为触发信息提示的事件，判别模块判别当前视频播放状态(包括视频起播、视频播放质量、通过图像比对验证是否是小窗口以及是否有重复窗口提示等)，最终决定是否触发信息提示。从而可以有效解决现网epg页面下小窗体视频播放无需提示信息、epg页面下多个小窗体视频播放的信息提示以及多个提示窗口相互覆盖等问题。
14.本发明的基于视频播放状态的终端侧信息提示方法，包括：捕获信息提示触发事件、跟踪视频播放行为和视频播放质量；获取播放器状态信息，包括启动播放器的个数、每个播放器播放视频的内容标识、每个播放器视频播放的码率、以及全屏状态参数等；判断是否全屏播放；判断是否已存在提示窗口；以及在判断为全屏播放和不存在提示窗口的情况下提示信息。
15.在未能获得全屏状态参数的情况下判断是否全屏播放进一步包括：提取并缓存播放器i帧图像；截取并存储当前屏幕输出页面的图像；以及将缓存的i帧图像与所截取的图像进行特征值比对，比对的相似度结果高于阈值则判断是全屏播放。其中提取并缓存播放器i帧图像至少为5帧，将缓存的i帧图像与所截取的图像进行特征值比对包括将所缓存的各i帧图像分别与所截取的图像进行特征值比对，若全部5帧i帧图像与所截取的图像进行特征值比对的相似度结果均低于阈值则判断为非全屏播放；若至少有1帧i帧图像与所截取的图像进行特征值比对的相似度结果等于或高于阈值则判断为全屏播放。其中，将缓存的i帧图像与所截取的图像进行特征值比对包括截取四角上的四个区域的图像进行比对，计算四个区域的相似度均值，将均值与阈值进行比较。
16.该方法进一步包括终端侧从服务器侧获取并存储策略信息，策略信息包括：信息提示的开或关、信息提示显示的位置、信息提示显示内容、信息提示显示的时长、信息提示触发事件的类型。
17.本发明的基于视频播放状态的终端侧信息提示系统，包括与播放器通信对接的信息提示插件，信息提示插件包括：策略获取模块，用于获取需要信息提示的策略；事件信息捕获模块，用于捕获触发信息提示的事件，并跟踪视频播放行为和视频播放质量，判断是否满足触发条件；判别模块，用于确定是否是小窗口视频播放的场景，并确定当前时刻是否已经有信息窗口提示；以及显示模块，用于进行信息提示。在事件信息捕获模块判断满足触发条件之后，只有在判别模块确定不是小窗口视频播放场景且当前时刻没有正在显示其他信息窗口提示的情况下，才通知显示模块进行信息提示。
18.通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
19.以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。
20.图1是现有技术信息提示系统的示意框图；
21.图2是本发明的信息提示系统的示意框图；
22.图3是本发明的终端侧信息提示方法的流程图；
23.图4是图3所示方法中比对步骤各子步骤的流程图。
24.附图中的流程图和框图显示了根据本技术的实施例的系统、方法可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
具体实施方式
25.以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。通过阅读下文具体实施方式的详细描述，本发明的各种优点和益处对于本领域普通技术人员将变得清楚明了。然而应当理解，可以以各种形式实现本发明而不应被这里阐述的各实施方式所限制。提供以下实施方式是为了能够更透彻地理解本发明。除非另有说明，本技术使用的技术术语或者科学术语应当为本技术所属领域技术人员所理解的通常意义。
26.图2是本发明的信息提示系统的示意框图。
27.根据本发明的信息提示系统包括服务器侧的信息提示配置平台210和与播放器通信对接的终端侧的信息提示插件220，其中信息提示插件包括策略获取模块221、事件信息捕获模块222、判别模块223、显示模块224。
28.与现有技术的触发事件捕获模块和浏览器通信对接不同，本发明的事件信息捕获模块222和播放器通信对接，除了捕获触发信息提示的事件之外，还跟踪视频播放行为(也就是用户观看行为，例如用户直播、点播行为)和视频播放质量(例如，观看是否出现卡顿)等信息。捕获的视频播放行为和视频播放质量等信息也构成触发条件，解决现有技术无法根据用户的观看行为以及观看中是否发生卡顿来进行提示窗口提示的问题。
29.判别模块223，也和播放器通信对接，在接收到来自事件信息捕获模块222的已满足触发条件的通知之后，进一步确定是否是小窗口视频播放的场景，并确定当前时刻是否已经有信息窗口提示，以最终决定是否触发提示窗口。只有确定不是小窗口视频播放场景且当前时刻没有正在显示其他信息窗口提示，才通知显示模块224进行窗口提示。
30.具体而言，判别模块223会首先从播放器读取播放器的状态信息，包括启动播放器的个数、每个播放器播放视频的内容标识(例如，视频的url)、每个播放器视频播放的码率、全屏状态参数等。如果播放器未传递全屏状态参数则判别模块223还会利用系统对当前播放窗口的视频图像进行截图，随后，通过将当前截屏的屏幕页面图像与播放器解码缓存的图像的比对，确定是否是小窗口视频播放的场景。接着，判别模块223会通过系统中窗体检测，获知当前时刻是否已经有信息窗口提示。
31.只有符合信息提示的最终条件，即，事件信息捕获模块222捕获到有触发事件发生、判别模块223判别出没有小窗口视频播放且没有已有的信息提示窗口，才会调用显示模块224实现窗体信息提示。从而有效解决现网epg页面下小窗体视频播放无需提示信息、epg页面下多个小窗体视频播放的信息提示以及多个提示窗口相互覆盖等问题。
32.图3是本发明的信息提示方法的流程图。本发明包括以下步骤：
33.步骤300，获取和存储策略信息，具体包括：终端侧从服务器侧获取策略信息，策略信息包括信息提示的开或关、信息提示显示的位置、信息提示显示内容(文字/图片)、信息提示显示的时长、信息提示触发事件的类型等，并将策略信息存储在终端侧。该步骤可在初始化时进行以及在策略升级调整时进行，并非每次进行信息提示都需要进行。
34.步骤310，捕获信息提示触发事件，跟踪视频播放行为和视频播放质量等信息，判断满足触发条件，则前进到步骤320，否则本流程结束。
35.步骤320，获取播放器状态信息，具体包括：启动播放器的个数、每个播放器播放视频的内容标识(例如，url)、每个播放器视频播放的码率、全屏状态参数等。如果播放器已传递全屏状态参数，则直接跳转至步骤360，否则需要通过图像比对的方式获取，即进入步骤330。
36.步骤330，提取并缓存播放器i帧数据，具体包括：视频播放过程中提取由解码器解码输出i帧的图像数据，并缓存在i帧缓存数据库中，并且根据解码输出情况，i帧缓存数据不断更新。要确保缓存数据中存储有至少一定数量的i帧的图像数据i。缓存i帧个数可以结合缓存的状态以及i帧的间隔来进行调整。考虑到显示输出与解码输出之间会有延时，因此根据解码输出情况，确保缓存的i帧数据至少保持5帧。
37.在步骤340，截取并存储当前屏幕输出页面的图像，具体包括：截取当前显示屏幕的图像截图p，存储截图p的图像数据。可以理解，步骤330和步骤340之间没有先后顺序，也可以同时进行。
38.步骤350，判断是否全屏播放。如果在步骤320中播放器已传递全屏状态参数而直接进入步骤350，则可以直接作出是否全屏播放的判断。如果不是，则需要进行图像比对，将步骤330中缓存的i帧库中的特征值与步骤340中截取并存储的页面的截图p的图像数据中的特征值进行比对，包括将缓存i帧与截图p进行逐一比对：
39.■
如果i帧与p图像比对的图像相似度结果高于阈值t1，则判断为全屏播放前进到步骤360；
40.■
如果全部i帧与p图像比对皆低于t1阈值，则判断为存在小窗口播放，确定不触发提示窗口，本流程结束。
41.阈值t1初始可以设为80％，后续可以根据视频图像情况或者是数据学习后的结果调整。
42.图4是步骤350各子步骤的流程图，将缓存i帧与截图p进行逐一比对进一步包括以下步骤：
43.步骤351，按1/8比例截取输入比对图像的四角上的图像，四个区域a、b、c、d的截图p和缓存i帧图像分别为pa、pb、pc、pd和ia、ib、ic、id；
44.步骤352，依次计算a、b、c、d区域的相似度，以a区域为例，计算pa与ia的图像相似度，这可以采用sift特征点提取的方法，使用opencv的flan的方式匹配，ransac判断outlier和inlier的个数，相似度可以用f(pa,ia)＝inlier/(outlier+inlier)计算；
45.步骤353，取步骤352计算所得的四个区域的相似度均值，考虑到如果是小屏播放，epg页面的影响，四角的图像与关键帧会有明显不同，当相似度均值大于阈值t1则认为图像相似，判定为全屏播放；否则重复前述步骤，计算截屏p与缓存的下一个关键帧的相似度；
46.步骤354，依次计算截屏p与缓存的多个关键帧(通常为5帧)ii，ii+1
…
ii+5的图像相似度，如果均不相似则认为小窗口播放，有一帧图像可以符合相似条件，即相似度结果高于阈值t1，则认为全屏播放。
47.回到图3，步骤360，判断是否已有提示窗口，具体包括：例如在安卓系统中通过检查window的属性，通过dumpsys window|grep window命令查看目前的提示窗口操作，判断
出是否有应用调用系统提示窗口：
48.■
如果没有其他的提示窗口则前进到步骤370；
49.■
如果存在其他的提示窗口，确定不触发提示窗口，本流程结束。
50.步骤370，信息提示。
51.本发明通过跟踪捕获视频播放行为和视频播放质量等信息解决现有技术无法根据用户的观看行为以及观看中是否发生卡顿来进行提示窗口提示。本发明通过屏幕截屏与视频解码输出图像的比对，可以解决在小窗口播放场景下不显示提示信息，同时规避信息提示窗口覆盖的问题。
52.以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围，其均应涵盖在本技术的权利要求和说明书的范围当中。

技术特征：
1.一种基于视频播放状态的终端侧信息提示方法，包括：捕获信息提示触发事件；获取播放器状态信息；判断是否全屏播放；判断是否已存在提示窗口；以及在判断为全屏播放和不存在提示窗口的情况下进行信息提示。2.如权利要求1所述的方法，其特征在于，捕获信息提示触发事件进一步包括跟踪视频播放行为和视频播放质量。3.如权利要求1所述的方法，其特征在于，获取播放器状态信息包括获取启动播放器的个数、每个播放器播放视频的内容标识、每个播放器视频播放的码率、以及全屏状态参数。4.如权利要求3所述的方法，其特征在于，在未能获得全屏状态参数的情况下所述方法进一步包括：提取并缓存播放器i帧图像；截取并存储当前屏幕输出页面的图像；以及将缓存的i帧图像与所截取的图像进行特征值比对，比对的相似度结果高于阈值则判断是全屏播放。5.如权利要求4所述的方法，其特征在于，提取并缓存播放器i帧图像至少为5帧，将缓存的i帧图像与所截取的图像进行特征值比对包括将所缓存的各i帧图像分别与所截取的图像进行特征值比对：若全部5帧i帧图像与所截取的图像进行特征值比对的相似度结果均低于阈值则判断为非全屏播放；若至少有1帧i帧图像与所截取的图像进行特征值比对的相似度结果等于或高于阈值则判断为全屏播放。6.如权利要求5所述的方法，其特征在于，将缓存的i帧图像与所截取的图像进行特征值比对包括截取四角上的四个区域的图像进行比对，计算四个区域的相似度均值，将所述均值与阈值进行比较。7.如权利要求1所述的方法，其特征在于，进一步包括终端侧从服务器侧获取并存储策略信息，所述策略信息包括：信息提示的开或关、信息提示显示的位置、信息提示显示内容、信息提示显示的时长、信息提示触发事件类型。8.一种基于视频播放状态的终端侧信息提示系统，包括与播放器通信对接的信息提示插件，所述信息提示插件包括：策略获取模块，用于获取需要信息提示的策略；事件信息捕获模块，用于捕获触发信息提示的事件，并跟踪视频播放行为和视频播放质量，判断是否满足触发条件；判别模块，用于确定是否是小窗口视频播放的场景，并确定当前时刻是否已经有信息窗口提示；以及显示模块，用于进行信息提示。9.如权利要求8所述的系统，其特征在于，在所述事件信息捕获模块判断满足触发条件之后，只有在所述判别模块确定不是小窗口视频播放场景且当前时刻没有正在显示其他信
息窗口提示的情况下，才通知所述显示模块进行信息提示。10.如权利要求8所述的系统，其特征在于，所述判别模块从所述播放器读取播放器的状态信息，包括启动播放器的个数、每个播放器播放视频的内容标识、每个播放器视频播放的码率、全屏状态参数，在未能获得全屏状态参数的情况下所述判别模块进一步用于：提取并缓存播放器i帧图像；截取并存储当前屏幕输出页面的图像；以及将缓存的i帧图像与所截取的图像进行特征值比对，比对的相似度结果高于阈值则判断不是小窗口视频播放场景，其中所述比对包括：截取所缓存的各i帧图像与所截取的图像的四角上的四个区域的图像进行比对，计算四个区域的相似度均值，在所述均值大于阈值的情况下判断为不是小窗口视频播放场景。

技术总结
本申请提供了一种基于视频播放状态的终端侧信息提示方法和系统。该系统包括与播放器通信对接的信息提示插件，该信息提示插件包括：策略获取模块、事件信息捕获模块、判别模块、及显示模块。该方法包括捕获信息提示触发事件、获取播放器状态信息、判断是否全屏播放、判断是否已存在提示窗口，并在判断为全屏播放和不存在提示窗口的情况下才进行信息提示。本发明将视频播放行为和视频播放质量纳入触发事件，有效解决现网小窗体视频播放无需提示信息、多个小窗体视频播放的信息提示以及多个提示窗口相互覆盖等问题。示窗口相互覆盖等问题。示窗口相互覆盖等问题。


技术研发人员：奚溪 雷洪玉 耿筱琴 骆滢乔 苏子豪
受保护的技术使用者：天翼数字生活科技有限公司
技术研发日：2022.08.11
技术公布日：2023/8/28