一种X光安检图像的关键帧筛选方法与流程

一种x光安检图像的关键帧筛选方法
技术领域
1.本发明涉及计算机信息技术领域，特别涉及一种x光安检图像的关键帧筛选方法。


背景技术：

2.运输安检工作正在向“高安全+高效率”逐步转变，尤其是新技术的发展，推动了安检的数字化、智慧化的全新发展。安检x光图像作为安检业务流中最重要的数据信息，目前只能通过x光机厂商提供的分层系统进行x光图像的调阅和回查，需要人工进入图像存储后台进行手动查找和定位。尽管x光机厂商依据有关部门要求会存储规定时长的x光安检图像数据，规定时间内没有查找就被覆盖掉，但是由于图像数据量庞大，查找和定位到想要的x光安检图像十分耗时，而且查找后的图像信息不得不靠手工进行相关数据的记录。
3.这种查图、存图和记录图像数据的方式很难有效且及时保存有价值的x光安检图像，用于机场安检业务后期的管理。此外，由于各个x光机厂商之间的竞争导致不同厂商的x光安检图像要用对应厂商的看图软件进行查阅，无法将图像数据信息与其他软件进行数据互通，不利于安检员进行数据统计和分析。
4.现有技术中，第三方信息系统服务商对x光安检机旁路图像采集功能，将图像存储在中心服务器。x光安检机厂商因信息保护，无统一标准接口和操作服务，各厂商图像格式保密，必须使用其自己的软件才能查看其图像，第三方信息系统服务商因多家x光厂商的系统，或者x光厂商无法提供灵活的违禁品行李实时采集和标注功能，导致违禁品图像数据无法按需实时保存、复查和统计。而且，第三方信息服务系统不是从厂商提供的分层系统里获取图像，受连包干扰，往往无法做到x光机自动截取的图像的完整性而导致图像信息缺失，同时远程违禁品行李的图像标注和保存服务受第三方开发功能限制而很难通用化，比如货检和旅检是不同的开发商等，导致违禁品行李数据无法得到有效的保存和分类查找和统计。


技术实现要素：

5.本发明的目的在于针对现有技术的不足，提供一种x光安检图像的关键帧筛选方法，在不改变原有机场安检工作流程的基础上，可以采集各类安检机的x光图像数据，通过关键帧的有效筛选，实现关键信息的保存。具体的，本发明先基于特征区域色值直方图方差值的阈值比对，实现x光安检图像判图界面的识别；然后通过缩略视图的移动位移值，进行关键帧判定，筛选出图像稳定的的关键帧；最后进一步通过对关键帧与上一关键保存帧缩略视图的移动位移值和识别标识来剔除重复的关键帧，形成关键保存帧的序列，从而建立有效的图像数据库，对后续x光安检图片的标识和统计具有重要意义。
6.本发明的技术方案为：一种x光安检图像的关键帧筛选方法，至少包括以下步骤：
7.步骤s0、基于视频流特征，rgb为r，分辨率为h*v，完成视频流适配后；适配后的视频流进入步骤s1的同时同步显示在显示器，作为本领域的常用技术手段，在采集时，预先设置图像视频流处理帧率f进行采集。作为本领域公知常识，所有x光机厂商的安检图像至少
包括：
8.(1)视图区，用于显示x光安检图，其包含小窗格，用于显示x光安检图的缩略视图，缩略视图可在小窗格中放大、缩小或移动；定义缩略视图在小窗格中所在区域为缩略视图区；缩略视图区始终在小窗格范围内；
9.(2)工具栏显示区，用于显示标识等工具，以对示意图进行标识等；
10.(3)信息显示区，用于显示图号，操作日期，操机员姓名等，上述信息可以作为唯一识别标识。
11.(4)界面边框区。
12.步骤s1、对适配后的分层系统图像视频流的每帧图像中的特征区域，进行色值直方图方差值计算和比较，实现视频是否进入x光安检图像界面的识别，得到进入x光安检图像界面的图像fi，具体过程为：
13.s1.1、选取图像的t(t＝1,2,3......)个特征区域；优选的，特征区域至少包括视图区、缩略视图区以及位于工具栏显示区、信息显示区和界面边框区中的局部或全部区域。
14.s1.2、设置第t(t∈t)个区域色值直方图方差值参考值为a
t
；
15.s1.3、计算每个区域的色值直方图方差值实际值为a
t
；
16.s1.4、满足a
t
＜a
t
的区域有m(m＜t)个；
17.s1.5、判断m≥t-2；若为true，则该帧图像为进行x光图像复检界面的帧图；进入步骤s2进行进一步分析；若为false，进行下一帧图像的识别；由此，依次形成待检图像f1，f2，
……
，fn。
18.步骤s2、对所有进入x光安检图像界面的图像fi的缩略视图区对角线点位置信息进行获取，计算相邻两帧间缩略视图区绝对位移值di，并与设定阈值进行对比，用于关键帧的确认，具体过程如下：
19.s2.1、获取第i帧图像fi的缩略视图区位置的对角点坐标分别为(x
i1
，y
i1
)，(x
i2
，y
i2
)；
20.s2.2、设置相邻帧的缩略视图区移动绝对位移值的阈值为b；
21.s2.3、计算相邻帧的缩略视图区移动绝对位移值di：
[0022][0023]
s2.4、生成3个判断条件：
①di-3
＜b；
②di-2
＜b；
③dt-1
＜b
[0024]
s2.5、a.若3个判断条件均为true，即满足
①
∧
②
∧
③
，则fi为关键帧进入处理步骤s3；本技术中，由于需要调用前3帧图像的移动绝对位移值，因此，关键帧的判定从第4帧图像f4开始，i≥4。
[0025]
若a满足，则i＝i+4，返回步骤s2.1，即从f
i+4
帧图像进行关键帧判别(调用d
i+1
、d
i+2
、d
i+3
)；
[0026]
若a不满足，则存在以下7种情况：
[0027]
[0028][0029]
b.只要当
②③
true时，i＝i+1，返回步骤s2.1，即对f
i+1
帧图像进行关键帧判别(调用d
i-2
、d
i-1
、di)；
[0030]
c.只要当
②
false
③
true时，i＝i+2，返回步骤s2.1；即对f
i+2
帧图像进行关键帧判别(调用d
i-1
、di、d
i+1
)；
[0031]
d.只要当
③
false时，i＝i+3，返回步骤s2.1；即对f
i+3
帧图像进行关键帧判别(调用di、d
i+1
、d
i+2
)；
[0032]
基于上述a-d的处理方案，不仅可以形成有效的关键帧序列，还可以节约计算量，提高效率。
[0033]
由此，形成关键帧序列f1，f2，
……
，fm。
[0034]
步骤s3、对关键帧进行对比处理，通过与上一保存帧的缩略视图区绝对位移值以及关键帧图像底部文字区域具有唯一性的识别标识，例如图号，操作日期，操机员姓名以及是否开检等信息，进行判定，以确认关键帧是都为保存帧，具体的过程为：
[0035]
s3.1、获取fk帧图像底部文字区域具有唯一性的识别标识rk，例如图号，操作日期，操机员姓名以及是否开检等信息。
[0036]
s3.2、将f1作为关键保存帧并从f2开始遍历关键帧f2，f3，
……
，fm，以筛选出关键保存帧具体为：
[0037]
计算关键帧fk的位移绝对值dk，，
[0038]
其中，fk∈{f2，f2，
……
，fm}，(x
k1
，y
k1
)、(x
k2
，y
k2
)分别为关键帧fk中缩略视图区的对角点坐标；为最新筛选得到的第v个关键保存帧中缩略视图区的对角点坐标；
[0039]
若dk≥b，则fk为关键保存帧，标记为将的视图区与其唯一识别标识rk一起保存；
[0040]
若dk＜b，且rk≠r
k-1
，则fk为关键保存帧，标记为将的视图区与其唯一识别标识rk一起保存；
[0041]
若dk＜b，且rk＝r
k-1
，则fk不为关键保存帧，仍旧为最新筛选得到的关键保存帧。
[0042]
特别地，步骤s1.1对每帧图像进行特征区域处理时，触发生成图像帧处理未完成信号标志，并与视频流进行叠加计算，显示在显示屏，当步骤s3完成实现关键帧的处理，触发图像帧处理信号标志状态切换至完成标志；显示结果为显示完成标志与视频流叠加结果。
[0043]
本发明的有益效果为：通过本发明，可以适配不同x光安检机的图像视频流数据，通过关键帧的有效筛选，帮助自主建立x光安检图像数据库，打破数据壁垒，以提高数据可追溯性和安检工作效率，为安检数字化、智慧化提供数据基础。
附图说明
[0044]
图1为技术路线图；
[0045]
图2x光图像界面示意图
[0046]
图3为特征区域选取示意图；
[0047]
图4为带有小框区域位置的对角点示意图；
[0048]
图5a和图5b分别为表示图像处理开始和结束的带有空心和实心绿圆示意图。
[0049]
图6保存帧的视图区保存示意图。
具体实施方式
[0050]
下面结合实施例和说明书附图对本发明做进一步说明，但不限于此。
[0051]
如图1所示，本发明公开了一种x光安检图像的关键帧筛选方法，首先基于图像视频特征信息的方法对x光安检图像视频进行适配，在将输出的视频信号转换为统一的格式，为后面的图像处理做好准备；然后基于图像特征区域色值直方图方差值比较的方法，实现视频流是否进入x光安检图像判图界面的识别，相比于常规方法，选取特征区域的判断方式可以很大幅度降低计算量，有效缩短图像处理时间；然后利用x光图像的缩略视图区绝对位移值的大小，进行关键帧的确认，并提取关键帧图像底部文字具有唯一性的标识，通过对比确认需要保存的关键帧，然后根据判断结果进行关键帧及对应图像信息的保存。本发明可以解决在不干扰安检工作流的条件下，采集和保存不同x光厂商的x光安检图像及图像对应的识别标识信息的问题，高效准确地实现关键安检图像的采集和保存，帮助用户建立有效的图像数据库，对后续x光安检图片的标识和统计具有重要意义。
[0052]
下面结合实施例对本发明作进一步说明。
[0053]
实施例1
[0054]
本实施例提供一种x光安检图像的采集和保存方法，总体基于图像视频特征信息的包括x光安检图像视频适配、基于图像特征区域色值直方图方差值比较的x光安检图像判图界面的识别、x光图像的缩略视图区绝对位移值的关键帧确认、以及根据关键帧图像底部文字唯一性标识的关键帧保存等步骤，最后实现按需的x光图及识别标识信息按指定路径的存储。
[0055]
具体的，实际处理过程包括以下步骤：
[0056]
步骤s0、基于视频流特征，设置x光厂商p分层系统的图像视频流的处理帧率为60fps，rgb为24，分辨率为1920*1080，完成视频流适配后；适配后的视频流进入步骤s1的同时同步显示在显示器。
[0057]
步骤s1、将对适配后的分层系统图像视频流的每帧图像选取特征区域，如图2方框区域，并对每个特征区域的色值直方图方差值进行计算、比较和统计，实现视频是否进入x光安检图像界面的识别，得到进入x光安检图像界面的图像fi，具体过程为：
[0058]
s1.1、以如图2所示的安检图为例，选取方框中的9个特征区域；并触发生成图像帧
处理未完成信号标志
◎
，如图5a。
[0059]
s1.2、设置9区域色值直方图方差值参考值分别为：(90，87，73，64，50，61，68，76，88)；
[0060]
s1.3、计算9个特征区域的色值直方图方差值实际值分别为：(3.8，3.8，4.6，4.8，4.5，4.8，5.2，5.4，4.9)；
[0061]
s1.4、通过对比9特征区域色值直方图方差值实际值与参考值，其中满足实际值小于参考值的有9个区域；
[0062]
s1.5、满足判断条件，则该图为进行x光图像复检界面的帧图，从而获得待检图像序列f1，f2，
……
，fn；
[0063]
步骤s2、对所有进入x光安检图像界面的图像fi(fi∈{f1，f2，
……
，fn})的缩略视图区对角线点位置信息进行获取，计算相邻两帧间缩略视图区绝对位移值di，并与设定阈值进行对比，通过调用前3帧的缩略视图区绝对位移值，可以确定当前帧是否为关键帧，具体过程如下：
[0064]
从第1帧开始，提取待检图像fi中缩略视图区的对角点坐标，分别为(x
i1
，y
i1
)，(x
i2
，y
i2
)；计算相邻的两帧待检图像的位移绝对值di，，
[0065]
从第4帧开始进行关键帧的判断，当且仅当d
i-3
＜b，d
i-2
＜b，d
i-1
＜b时，待检图像fi为关键帧，从而形成关键帧序列f1，f2，
……
，fm。
[0066]
以图2所示的待检图像为例(记为待检图像f
100
)，其判定结果如下：
[0067]
s2.1、获取待检图像f
100
缩略视图区的对角点坐标分别为(1715，818)，(1919，937)；
[0068]
s2.2、设置相邻帧的缩略视图区移动绝对位移值的阈值为5；
[0069]
s2.3、分别计算f
97
到f
99
缩略视图区的绝对位移值缩略视图区的绝对位移值计算结果为：d
97
＝2，d
98
＝3，d
99
＝2；
[0070]
s2.4、比对结果：
①d97
＜5
②d98
＜5
③d99
＜5；即
①②③
3个判断条均为true，则f
100
为关键帧进入步骤s3进行复检。同时f
101
、f
102
、f
103
不作为关键帧，以使得两个连续的关键帧之间至少间隔三个原图像帧，直接对f
104
进行判定；
[0071]f104
的判定方式同f
100
；计算结果为：d
101
＝3，d
102
＝2，d
103
＝6；比对结果：
①d101
＜5
②d102
＜5
③d103
＞5；即
①②
true，
③
false，则f
104
不为关键帧，且直接跳过f
105
和f
106
，直接对f
107
行判定；
[0072]f107
的判定方式同f
100
；计算结果为：d
104
＝7，d
105
＝3，d
106
＝4；比对结果：
①d104
＞5
②d105
＜5
③d106
＜5；即
①
false，
②③
true，则f
107
不为关键帧，对f
108
进行判定；
[0073]f108
的判定方式同f
100
；计算结果为：d
105
＝3，d
106
＝4，d
107
＝5；比对结果：
①d105
＜5
②d106
＜5
③d107
＝5；即
①②
true
③
false，则f
108
不为关键帧，且直接跳过f
109
和f
110
，后续对f
111
进行判定；
[0074]f111
的判定方式同f
100
；计算结果为：d
108
＝3，d
109
＝5，d
110
＝4；比对结果：
①d108
＜5
②d109
＝5
③d110
＜5；即
①
true
②
false
③
true，则f
111
不为关键帧，且直接跳过f
112
，后续对f
113
进行判定。
[0075]
步骤s3、对关键帧进行对比处理，通过与上一关键帧保存帧的缩略视图区绝对位移值以及关键帧图像底部文字区域具有唯一性的识别标识，例如图号，操作日期，操机员姓名以及是否开检等信息，进行判定，以确认关键帧是都为保存帧，具体的过程为：
[0076]
s3.1、读取关键帧fk的唯一识别标识rk；
[0077]
s3.2、将f1作为关键保存帧并从f2开始遍历关键帧f2，f3，
……
，fm，以筛选出关键保存帧具体为：
[0078]
s3.3、计算关键帧fk的位移绝对值dk，，
[0079]
其中，fk∈{f2，f2，
……
，fm}，(x
k1
，y
k1
)、(x
k2
，y
k2
)分别为关键帧fk中缩略视图区的对角点坐标；为最新筛选得到的第v个关键保存帧中缩略视图区的对角点坐标；
[0080]
若dk≥b，则fk为关键保存帧，标记为将的视图区与其唯一识别标识rk一起保存；
[0081]
若dk＜b，且rk≠r
k-1
，则fk为关键保存帧，标记为将的视图区与其唯一识别标识rk一起保存；
[0082]
若dk＜b，且rk＝r
k-1
，则fk不为关键保存帧，仍旧为最新筛选得到的关键保存帧。
[0083]
可见，在判断f2是否为关键保存帧时，其与第1个关键保存帧也即f1中缩略视图区的对角点坐标进行比对。计算关键帧f2的位移绝对值d2，，
[0084]
根据判断条件，实际位移值d2＝10大于阈值5：关键帧f2为关键保存帧，触发图像帧处理信号标志状态切换至完成标，见附图5b。f2标记为将的视图区与其唯一识别标识rk一起保存，如图6。
[0085]
然后进行关键帧f3的判定如下：
[0086][0087]
为最新筛选得到的中缩略视图区的对角点坐标；
[0088]
根据判断条件，实际位移值d3＝4小于阈值5：且关键帧f3底部文字区域具的识别标识(包括图号：2066780，操作日期：2023-06-01，操机员姓名：王二)与底部文字区域具的识别标识相同，关键帧f3不为关键保存帧。
[0089]
然后进行关键帧f4的判定如下：
[0090][0091]
为最新筛选得到的中缩略视图区的对角点坐标；
[0092]
根据判断条件，实际位移值d3＝4小于阈值5：且关键帧f4底部文字区域具的识别标识(包括图号：2099080，操作日期：2023-06-01，操机员姓名：王二)与底部文字区域具的识别标识不同，关键帧f4为关键保存帧，标记为将的视图区与其唯一识别标识rk一起保存。
[0093]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

技术特征：
1.x光安检图像的关键帧筛选方法，其特征在于，至少包括：s1：采集x光安检机输出的视频流，获得安检图像序列，每一帧图像的rgb为r，分辨率为h*v；；所述安检图像具有唯一识别标识；s2:提取安检图像中的若干特征区域，分别进行色值直方图方差值计算，统计满足阈值条件(a
t
<a
t
)的特征区域数量，当数量m≥t-2，则该帧图像为待检图像f
i
，从而获得待检图像序列f1，f2，
……
，f
n
；f
i
∈{f1，f2，
……
，f
n
}；其中，a
t
为第t个特征区域的色值直方图方差值，a
t
为第t个特征区域的色值直方图方差值参考值；t为提取的特征区域数量，m为满足阈值条件的特征区域数量；s3：根据f1，f2，
……
，f
n
的位移绝对值，从f4开始判定关键帧，获得关键帧序列f1，f2，
……
，f
m
，具体如下：提取待检图像f
i
中缩略视图区的对角点坐标，分别为(x
i1
，y
i1
)，(x
i2
，y
i2
)；计算相邻的两帧待检图像的位移绝对值d
i
，，当且仅当d
i-3
<b，d
i-2
<b，d
i-1
<b时，待检图像f
i
为关键帧，f
k
＝f
i
；k＝1，2，
……
m,i＝4，5，
……
n；从而形成关键帧序列f1，f2，
……
，f
m
；f
k
为第k个关键帧。2.根据权利要求1所述的关键帧筛选方法，其特征在于，s1中的视频流为x光机厂商分层系统图像视频流；所述安检图像至少包括视图区、工具栏显示区、信息显示区和界面边框区；所述视图区中具有用于显示缩略视图的小窗格；所述缩略视图所在区域为缩略视图区，缩略视图区在小窗格范围内。3.根据权利要求2所述的关键帧筛选方法，其特征在于，s2中的特征区域至少包括视图区、缩略视图区以及位于工具栏显示区、信息显示区和界面边框区中的局部或全部区域。4.根据权利要求1所述的关键帧筛选方法，其特征在于，对于相邻的两个关键帧f
k
，f
k+1
，且f
k
＝f
i
，f
k+1
＝f
j
，满足j-i≥4；k＝1，2，
……
m,i＝4，5，
……
n,j＝1，2，
……
n。5.根据权利要求4所述的关键帧筛选方法，其特征在于，s4中，待检图像f
i
为关键帧，f
k
＝f
i
；则不对f
i+1
、f
i+2
、f
i+3
进行判定，f
i+1
、f
i+2
、f
i+3
不为关键帧；直接从f
i+4
开始关键帧的判断。6.根据权利要求1所述的关键帧筛选方法，其特征在于，s4中d
i-2
<b且d
i-1
≥b，则不对f
i+1
进行遍历，f
i+1
不为关键帧；直接从f
i+2
开始关键帧的判断。7.根据权利要求1所述的关键帧筛选方法，其特征在于，s4中d
i-1
≥b，则不对f
i+1
、f
i+2
进行遍历，f
i+1
、f
i+2
不为关键帧；直接从f
i+3
开始关键帧的判断。8.根据权利要求1的关键帧筛选方法，其特征在于，还包括对s4筛选得到的关键帧进行复检，以获得关键保存帧，具体为：读取关键帧f
k
的唯一识别标识r
k
；将f1作为关键保存帧并从f2开始遍历关键帧f2，f3，
……
，f
m
，以筛选出关键保存帧具体为：计算关键帧f
k
的位移绝对值d
k
，
其中，f
k
∈{f2，f2，
……
，f
m
}，(x
k1
，y
k1
)、(x
k2
，y
k2
)分别为关键帧f
k
中缩略视图区的对角点坐标；为最新筛选得到的第v个关键保存帧中缩略视图区的对角点坐标；若d
k
≥b，则f
k
为关键保存帧，标记为将的视图区与其唯一识别标识r
k
一起保存；若d
k
＜b，且r
k
≠r
k-1
，则f
k
为关键保存帧，标记为将的视图区与其唯一识别标识r
k
一起保存；若d
k
＜b，且r
k
＝r
k-1
，则f
k
不为关键保存帧，仍旧为最新筛选得到的关键保存帧。9.根据权利要求8所述的关键帧筛选方法，其特征在于，s3中，先在图像中生成未完成信号标志；复检完成后，生成完成信号标志。

技术总结
本发明提供了一种X光安检图像的关键帧筛选方法，在不改变原有机场安检工作流程的基础上，可以采集各类安检机的X光图像数据，通过关键帧的有效筛选，实现关键信息的保存。具体的，本发明先基于色值直方图方差值的阈值比对，实现X光安检图像判图界面的识别；然后通过缩略视图的移动位移值，进行关键帧判定，筛选出图像稳定的的关键帧；最后进一步通过对关键帧与上一关键保存帧缩略视图的移动位移值和识别标识来剔除重复的关键帧，形成关键保存帧的序列，从而建立有效的图像数据库，对后续X光安检图片的标识和统计具有重要意义。图片的标识和统计具有重要意义。图片的标识和统计具有重要意义。


技术研发人员：冯杰 徐文杰 易小鹏 路超
受保护的技术使用者：杭州群俊科技有限公司
技术研发日：2023.08.03
技术公布日：2023/9/26