一种同步视频比对的方法及装置与流程

1.本发明涉及视频比对技术领域，尤其涉及一种同步视频比对的方法及装置。


背景技术：

2.在电视节目安全播出中，设备、链路、网络每周都处于7
×
24小时状态饱和运行，任何一个环节出现异常都在所难免，上游出错会导致下游出错，因而有时一个小的“点”异常，有可能导致“链”异常，甚至是“面”异常，最终使整条播出链路出现异常，严重会导致播出事故。
3.在现有技术中，马赛克、拉条、卡顿、花屏等异常是主要播出问题，通常采用判断算法解决，但判断算法无法适应各种场景、算法过于复杂，而无法在限定的时间内进行判断，无法及时处理上述播出问题，容易造成播出事故。


技术实现要素：

4.本发明的目的在于，提供一种同步视频比对的方法，解决以上技术问题；
5.本发明的目的还在于，提供一种同步视频比对的装置，解决以上技术问题；
6.一种同步视频比对的方法，包括：
7.步骤s1，采集n路同步视频信号并解码，得到n个待比对图像；
8.步骤s2，对n个所述待比对图像进行压缩并转换，得到n个灰度图像；
9.步骤s3，在n个所述灰度图像中多次选取用于比对的图像，得到多个比较组；
10.步骤s4，选取一个所述比较组并计算所述灰度图像的灰度值差，依据一差异点累加器的值判断所述同步视频的画面是否相同并输出判断结果，如果所述差异点累加器的值小于第一设定值，则输出所述同步视频的画面相同，如果所述差异点累加器的值大于或等于所述第一设定值，则输出所述同步视频的画面不相同；
11.其中，n为大于1的正整数。
12.优选地，步骤s1中所述同步视频信号为sdi信号或流信号。
13.优选地，步骤s2中所述待比对图像为rgb图像，所述待比对图像经过压缩生成压缩后图像，所述压缩后图像的像素为256*256。
14.优选地，步骤s2中转换为所述灰度图像的公式为：
15.gray＝r*0.299+g*0.587+b*0.114
16.式中，gray表示灰度值，r、g、b分别表示所述待比对图像中的三原色：红色、绿色、蓝色；
17.每一所述灰度图像的灰度值范围为0～255，两个所述灰度图像的最大色差为255。
18.优选地，步骤s3中每单次选取两个所述灰度图像作为所述用于比对的图像。
19.优选地，步骤s4包括：
20.步骤s41，所述差异点累加器清零；
21.步骤s42，选取一个所述比较组的两个所述灰度图像进行逐点比对，计算两个所述
灰度图像的灰度值差；
22.步骤s43，依据相同位置灰度值差的绝对值判断所述差异点累加器的值是否变化，如果相同位置灰度值差的绝对值大于或等于第二设定值，所述差异点累加器的值加一，如果相同位置灰度值差的绝对值小于所述第二设定值，所述差异点累加器的值不变；
23.步骤s44，判断所述差异点累加器的值是否小于所述第一设定值，如果不是，输出所述同步视频的画面不相同的结果，如果是，则执行步骤s45；
24.步骤s45，判断全部所述比较组是否比较完毕，如果没有比较完毕，返回执行步骤s42，比较剩余所述比较组的灰度值差，直至全部所述比较组比较完成，如果全部比较完毕，输出所述同步视频的画面相同的结果。
25.一种同步视频比对的装置，用于所述的比对方法，包括：
26.视频信号处理模块，采集n路同步视频信号并解码；
27.图像处理模块，连接所述视频信号处理模块，对解码后的所述待比对图像进行处理以得到所述灰度图像；
28.灰度值比对模块，连接所述图像处理模块，对所述灰度图像进行两两比对处理并输出结果。
29.优选地，所述视频信号处理模块解码得到的所述待比对图像为帧级单位图像，每个所述待比对图像的停留时间为40ms。
30.优选地，所述图像处理模块包括图像压缩模块和图像转换模块；
31.所述图像压缩模块对解码后的所述待比对图像进行压缩以得到所述压缩后图像，再通过所述图像转换模块将所述压缩后图像转换为所述灰度图像。
32.优选地，所述视频信号处理模块还包括预先设定模块，所述预先设定模块为：如果用户未预先设定比对区域，则所述待比对图像为实际图像，如果用户预先设定所述比对区域，则所述待比对图像为设定区域图像。
33.本发明的有益效果是：由于采用以上技术方案，出现异常能准确提醒操作人员在限定时间内做出反应，避免了播出事故的发生。
附图说明
34.图1是本发明的较佳的实施例中比对方法的步骤图；
35.图2是本发明的较佳的实施例中步骤s4的示意图；
36.图3是本发明的较佳的实施例中多链路开关的示意图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
39.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
40.一种同步视频比对的方法，如图1所示，包括：
41.步骤s1，采集n路同步视频信号并解码，得到n个待比对图像；
42.步骤s2，对n个待比对图像进行压缩并转换，得到n个灰度图像；
43.步骤s3，在n个灰度图像中多次选取用于比对的图像，得到多个比较组；
44.步骤s4，选取一个比较组并计算灰度图像的灰度值差，依据一差异点累加器的值判断同步视频的画面是否相同并输出判断结果，如果差异点累加器的值小于第一设定值，则输出同步视频的画面相同，如果差异点累加器的值大于或等于第一设定值，则输出同步视频的画面不相同；
45.其中，n为大于1的正整数。
46.在电视节目安全播出中，设备、链路、网络每周都处于7
×
24小时状态饱和运行，任何一个环节都可能出现异常，因而有时一个小的“点”异常，有可能导致“链”异常，甚至是“面”异常，最终使整条播出链路出现异常，严重者导致播出事故，对于“出现异常”这种概率事件，如果采用冗余原则，重复设置多条播出链路，这些链接同时发生异常的概率将大大减小，对于电视台的安全播出，即使某一条播出链路出现了非常严重的异常，只要最终给用户的电视信号是正常的，那么总的播出链接也会视为正常的，鉴于此，为了保证最终的播出正常，电视台通常会同时运行多条相同的链路，播放相同的节目，然后由导播通过多路“切换开关”在多条链路中进行切换，当某一播出链路出现异常时，如果该路不是“最终输出”则不需要切换，只需要通知维修工程师查检故障即可，反之，如果出现播出异常的链路是“最终输出”，则通过切换开关选择正常的播出链路输出作为“最终输出”，最终达到“出现故障也在正常播出”的效果，如图3所示。
47.基于上述设计后，不难发现，快速、准确地发现异常就非常重要了，良好的检测软件可以及时提醒导播尽早完成切换，甚至是检测软件自动切换，以避免或减少故障时间，保障安全播出。
48.传统的异常检测软件通常是直接从某一个链路的某一个采集点上采集节目信号，然后对节目画面进行判断，这样的做法存在很多弊端：比如屏幕出现黑画面或静止画面时，一种可能是链接中断导致信号丢失或编码失败导致画面静止；另一种可能是节目场景的需要，如导演要表示黎明前的黑暗而出现2秒的全黑画面，或导演就是想让演员持续数秒纹丝不动，如果判断到黑画面或静止就报警会因为后面而产生误报；如果判断黑画面并持续2秒才报会在遇到前者时导致报警延迟了2秒，另外，从节目本身来判断，也不难想象，有些频道的画面就具有“静止画面”的特性，如动画片频道的多数画面类似于“静止画面”异常，而图文频道中，有些画面甚至会静止数十秒之长，如某频道中，主持人对着满屏的文字逐字进行阅读，这会导致传统软件误为异常而频繁误报。
49.如果采用跨链路判断则可以良好地解决上述问题，其原理是：两条完全相同的链路在同一时刻，同时发生异常的概率是“小概率事件”，而发生同一种类型的异常的概率更是“极小概率事件”，鉴于此，可以在两条链路的相同采集点上同时采集节目信号，由于两条链路播放的节目源、使用的设备、链路是一致的，因而正常情况下，所采集的两个节目信号也应该是完全一致的，至少是“帧级”一致的，即在40毫秒以内，两路节目信号是一致的。
50.理论上，两条播出链路上的设备型号及参数完全相同的前提下，播放同一个视频流，解码后所生成的每一帧图像是完全一样的，在这一前提下，只要依次比较两组视频流
中，同一时刻两帧画面中，各相像的值是否相等即可，全部相等则视为图像一样，无异常，有至少一个像素值不一样，则视为图像不同，有异常，但在现实中，同时存在如下问题：
51.1、有些频道为了区分主备路，会在主路信号上加上台标，而备路信号上不加台标，因此比较的时候，需要通过掩码或采用局部比较回避掉不一样的部分。
52.2、现实中，即使各链路使用的设备完全一样，也会因为各种原因导致参数略有不同，甚至有时所使用的设备也会有所差别，比如某系统使用多年，现更换某设备，虽然买了完全同型号的设备，但由厂家获知其实该设备内的控制器已更换为新的产品，再如担心某设备对某类算法存在缺陷，就会特意买不同型号的设备进行规避。
53.3、相比于解码器，本设备不仅在“帧级”单位，即40毫秒内要同时解两路视频，还要对两路画面进行比对，因此算法要求简单高效，否则会导致设备无法正常使用，比如在帧级单位内无法完成上述任务导致设备失效。
54.具体地，本发明提供一种同步视频比对的方法，通过比对，在帧级精度及时发现播放链路的异常，并且通过两两对比，可以及时定位到是哪一路出现了异常，解决了传统方式下，黑场、静帧等播出异常，判断算法难以区分是故障导致，还是场景设置等问题；还解决了对马赛克、拉条、卡顿、花屏等播出异常判断算法难以通用等难题。
55.在一种较优的实施例中，步骤s1中同步视频信号为sdi信号或流信号。
56.具体地，sdi信号是视频信号，sdi接口是串行数字接口，把数据字的各个比特以及相应的数据通过单一通道顺序传送，流信号是一种视频数据信息的传输方式，可以在没有接到完整的数据信息前就能处理已接收的信息，很好地解决了视频数据信息在网络上的传输问题。
57.在一种较优的实施例中，步骤s2中待比对图像为rgb图像，待比对图像经过压缩生成压缩后图像，压缩后图像的像素为256*256。
58.具体地，通过opencv的resize函数将图像压缩为256
×
256的图像尺寸。
59.在一种较优的实施例中，步骤s2中转换为灰度图像的公式为：
60.gray＝r*0.299+g*0.587+b*0.114
61.式中，gray表示灰度值，r、g、b分别表示待比对图像中的三原色：红色、绿色、蓝色。
62.具体地，通过cvtcolor函数将其转换为灰度图像。
63.每一灰度图像的灰度值范围为0～255，两个灰度图像的最大色差为255；
64.具体地，新图中对于任何一个像素，转换之后的灰度值范围在0～255之间，那么两个像素的颜色色差最大为255。
65.在一种较优的实施例中，步骤s3中每单次选取两个灰度图像作为用于比对的图像。
66.在一种较优的实施例中，步骤s4包括：
67.步骤s41，差异点累加器清零；
68.步骤s42，选取一个比较组的两个灰度图像进行逐点比对，计算两个灰度图像的灰度值差；
69.步骤s43，依据相同位置灰度值差的绝对值判断差异点累加器的值是否变化，如果相同位置灰度值差的绝对值大于或等于第二设定值，差异点累加器的值加一，如果相同位置灰度值差的绝对值小于第二设定值，差异点累加器的值不变；
70.步骤s44，判断差异点累加器的值是否小于第一设定值，如果不是，输出同步视频的画面不相同的结果，如果是，则执行步骤s45；
71.步骤s45，判断全部比较组是否比较完毕，如果没有比较完毕，返回执行步骤s42，比较剩余比较组的灰度值差，直至全部比较组比较完成，如果全部比较完毕，输出同步视频的画面相同的结果。
72.具体地，将两个图像逐点进行对比。如果两个相同位置两像素灰度值差的绝对值小于10，则视为两像素相同；否则大于等于10时，则视两像素不相同，此时ncountsum加1，当该值大于或等于20时，视为两画面不同，两链路中的某一路出现了异常，极端情况下，两条链路也可能同时出现问题，但根据上述分辨，这属于“极小概率事件”，故可以忽略，此时判断出某一链路出现了异常，却无法判断出是哪一路出现了异常，如果将异常等同于报警提示给导播，会出现两种情况：第一种情况为出现异常的链路是切作“最终输出”画面，则导播迅速切换，故障消除，“最终输出”画面恢复正常；反之，第二种情况为出现异常的链路不是“最终输出”画面，即虽然播出系统出现了故障，但用户看到的是正常的节目，导播在接到报警后忙中出错，误切了画面，反现将正常的播出切换到了故障画面。
73.可以同时采集3路信号，该信号可以是sdi，也可以是流信号，对其进行解码后，即可以看到三组同步的视频画面图像，为了便于说明，将其分别称为“信号1”、“信号2”、“信号3”，现将三路视频两两进行比较，即按本算法将“信号1”和“信号2”进行比较，称为“比较1”；“信号1”和“信号3”进行比较，称为“比较2”；“信号2”和“信号3”进行比较，称为“比较3”，当某一路出现异常的时候，对比正常的那两路为正常状态，和另两路对比都出现异常的那路为异常状态，比如“信号2”出现了异常，“信号1”和“信号3”仍然正常，则此时“比较1”和“比较3”都出现异常；而“比较2”仍然正常，反过来，通过“比较1”到“比较3”的这三组比较的状态也可以反推出是“信号2”出现了异常，如图3所示，结合切换开关的状态，就可以判断当前的异常是否需要判定为报警了，比如切换开关当前处于“信号2”连接状态，那就必须提示值班员切换到“信号1”和“信号3”上，如果不是处于“信号2”连接状态，切换开关无论处于“信号1”还是“信号3”状态，输出都是正常的，所以虽然处于“信号2”处于异常状态，但并不需要提示值班员切换。
74.一种同步视频比对的装置，用于的比对方法，如图2所示，包括：
75.视频信号处理模块，采集n路同步视频信号并解码；
76.图像处理模块，连接视频信号处理模块，对解码后的待比对图像进行处理以得到灰度图像；
77.灰度值比对模块，连接图像处理模块，对灰度图像进行两两比对处理并输出结果。
78.传统方式下，像马赛克：某区域色块颜色一样，这是视频丢包导致解码不完整导致的、拉条：成条的马赛克块，这是视频连续大段丢包，导致解码不完整导致的、卡顿：编码器故障导致不断重复编某一段相同的码、花屏：编码器在受到干扰后将一些白噪声一同编入等异常，都是节目播出中的大忌，也是安全播出的重灾区，但或由于判断算法无法适应各种场景，或由于判断算法过于复杂，而无法在限定的时间内判断，因而一直没有得到有效的应用，最终导致目前几乎没有报警监测系统能有效的判断出上述各种故障，而采用本同步视频比对的装置，则有效地解决了这些问题，可以及时准确地提醒导播进行切换。
79.具体地，本发明提供一种同步视频比对的装置，通过两两比对，结合多链路开关，
能及时发现播放链路的异常并辅助导播进行调整，从而避免播放事故。
80.在一种较优的实施例中，视频信号处理模块解码得到的待比对图像为帧级单位图像，每个待比对图像的停留时间为40ms。
81.具体地，由于两条链路播放的节目源、使用的设备、链路是一致的，因而正常情况下，所采集的两个节目信号也应该是完全一致的，至少是“帧级”一致的，即在40毫秒以内，两路节目信号是一致的。
82.在一种较优的实施例中，图像处理模块包括图像压缩模块和图像转换模块；
83.图像压缩模块对解码后的待比对图像进行压缩以得到压缩后图像，再通过图像转换模块将压缩后图像转换为灰度图像。
84.在一种较优的实施例中，视频信号处理模块还包括预先设定模块，预先设定模块为：如果用户未预先设定比对区域，则待比对图像为实际图像，如果用户预先设定比对区域，则待比对图像为设定区域图像。
85.具体地，在图像压缩前，可以设定参与比对的区域大小，假设整个屏幕横为cols像素，竖为rows列，由用户事先设定参与对比的区分rect(m，n，width，height)，m》＝0，width》0且m+width《cols，n》＝0，height》0且n+height《rows；如果未设定，则默认为图像的实际大小，即cols
×
rows。
86.综上，本技术提供了一同步视频比对的方法及装置，电视台的工作中，安全播出是重中之重，导播长期工作在单调而紧张的工作环境中，在突发事件发生时，往往意识一片空白，这个时候，好的设备可以及时地提醒和提示他在最短的时候内做出正确的动作，而本方法及装置也正是针对这一问题提出的一套算法和装置，由用户设定参与对比的区域，克服了遇到人为设置的不同，如主路有台标，备路没有，而导致的算法失败问题；将两路信号的图像先进行压缩，然后再将其转换为灰度图像，最后对压缩后的两张小图像再进行逐点比较，理论上这步操作增加了新的步骤，导致算法更为复杂，但新增的部分在很多开发库，如opencv中都有成熟的实现方式，并且可以直接在gpu上高效实现，相比于未处理前的算法，处理后的算法所用时间反而更短；算法中增加了压缩和灰度处理，因而转换后的两图像，位置相同像素点的值不能再通过“是否相等”进行比较，而是“求2值差的绝对值”，只要该绝对值小于某预定值，即可认定为相同，否则才认为该点为异常点，并且只要异常点的个数大于另一预定值时，即使还没有完成全部像素的对比，也可以提前结束，并认定为两图像异常。
87.以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

技术特征：
1.一种同步视频比对的方法，其特征在于，包括：步骤s1，采集n路同步视频信号并解码，得到n个待比对图像；步骤s2，对n个所述待比对图像进行压缩并转换，得到n个灰度图像；步骤s3，在n个所述灰度图像中多次选取用于比对的图像，得到多个比较组；步骤s4，选取一个所述比较组并计算所述灰度图像的灰度值差，依据一差异点累加器的值判断所述同步视频的画面是否相同并输出判断结果，如果所述差异点累加器的值小于第一设定值，则输出所述同步视频的画面相同，如果所述差异点累加器的值大于或等于所述第一设定值，则输出所述同步视频的画面不相同；其中，n为大于1的正整数。2.根据权利要求1所述的同步视频比对的方法，其特征在于，步骤s1中所述同步视频信号为sdi信号或流信号。3.根据权利要求1所述的同步视频比对的方法，其特征在于，步骤s2中所述待比对图像为rgb图像，所述待比对图像经过压缩生成压缩后图像，所述压缩后图像的像素为256*256。4.根据权利要求1所述的同步视频比对的方法，其特征在于，步骤s2中转换为所述灰度图像的公式为：gray＝r*0.299+g*0.587+b*0.114式中，gray表示灰度值，r、g、b分别表示所述待比对图像中的三原色：红色、绿色、蓝色；每一所述灰度图像的灰度值范围为0～255，两个所述灰度图像的最大色差为255。5.根据权利要求1所述的同步视频比对的方法，其特征在于，步骤s3中每单次选取两个所述灰度图像作为所述用于比对的图像。6.根据权利要求1所述的同步视频比对的方法，其特征在于，步骤s4包括：步骤s41，所述差异点累加器清零；步骤s42，选取一个所述比较组的两个所述灰度图像进行逐点比对，计算两个所述灰度图像的灰度值差；步骤s43，依据相同位置灰度值差的绝对值判断所述差异点累加器的值是否变化，如果相同位置灰度值差的绝对值大于或等于第二设定值，所述差异点累加器的值加一，如果相同位置灰度值差的绝对值小于所述第二设定值，所述差异点累加器的值不变；步骤s44，判断所述差异点累加器的值是否小于所述第一设定值，如果不是，输出所述同步视频的画面不相同的结果，如果是，则执行步骤s45；步骤s45，判断全部所述比较组是否比较完毕，如果没有比较完毕，返回执行步骤s42，比较剩余所述比较组的灰度值差，直至全部所述比较组比较完成，如果全部比较完毕，输出所述同步视频的画面相同的结果。7.一种同步视频比对的装置，其特征在于，用于实施权利要求1-6任意一项所述的比对方法，包括：视频信号处理模块，采集n路同步视频信号并解码；图像处理模块，连接所述视频信号处理模块，对解码后的所述待比对图像进行处理以得到所述灰度图像；灰度值比对模块，连接所述图像处理模块，对所述灰度图像进行两两比对处理并输出结果。
8.根据权利要求7所述的同步视频比对的装置，其特征在于，所述视频信号处理模块解码得到的所述待比对图像为帧级单位图像，每个所述待比对图像的停留时间为40ms。9.根据权利要求7所述的同步视频比对的装置，其特征在于，所述图像处理模块包括图像压缩模块和图像转换模块；所述图像压缩模块对解码后的所述待比对图像进行压缩以得到所述压缩后图像，再通过所述图像转换模块将所述压缩后图像转换为所述灰度图像。10.根据权利要求8所述的同步视频比对的装置，其特征在于，所述视频信号处理模块还包括预先设定模块，所述预先设定模块为：如果用户未预先设定比对区域，则所述待比对图像为实际图像，如果用户预先设定所述比对区域，则所述待比对图像为设定区域图像。

技术总结
本发明公开了一种同步视频比对方法及装置，属于视频比对技术领域；包括：步骤S1，采集N路同步视频信号并解码；步骤S2，对N个待比对图像进行压缩并转换；步骤S3，在N个灰度图像中多次选取用于比对的图像，得到多个比较组；步骤S4，选取一个比较组并计算灰度图像的灰度值差，依据一差异点累加器的值判断同步视频的画面是否相同并输出判断结果，如果差异点累加器的值小于第一设定值，则输出同步视频的画面相同，如果差异点累加器的值大于或等于第一设定值，则输出同步视频的画面不相同；其中，N为大于1的正整数。上述技术方案的有益效果是：出现异常能准确提醒操作人员在限定时间内做出反应，避免了播出事故的发生。避免了播出事故的发生。避免了播出事故的发生。


技术研发人员：李瑞民 杨君蔚 谈新
受保护的技术使用者：上海东方传媒技术有限公司
技术研发日：2023.06.26
技术公布日：2023/10/19