一种基于实例分割的证章图像提取方法与流程

1.本发明涉及图像识别技术领域，尤其涉及一种基于实例分割的证章图像提取方法。


背景技术：

2.验讫章图像是由边防检查机关，对进出境的人员进行出入境边防检查后，在其持有的有效旅行证件上加盖的印章，标注了出入境人员进出的日期、进出时所在机场或港口信息，同时是代表国家许可此人出入境的凭证。目前大多数是人工核查验讫章图像的日期以及国家，人工核查的缺点是人工受干扰因素多、人力以及时间成本高、工作效率低，且人工作业导致的视觉疲劳，易产生纰漏。
3.随着图像处理技术发展，光学字符识别(ocr)等技术也取得了巨大的发展，ocr技术能对文本资料的图像文件进行分析识别，获取文字及版面信息。因此，人们开始采用将护照资料页拍成图片，再利用计算机视觉技术从图片中自动获取验讫章图像文本。验讫章图像提取是进行验讫章图像文本识别的前提，其提取的好坏直接关系到整个识别率的高低。因此，如何快速、准确地提取出验讫章图像是验讫章图像识别技术中一个非常关键的问题。
4.目前验讫章图像提取方法主要分为两大类，一种是基于传统图像处理方法，另一种则是基于深度学习方法。传统图像处理方法主要通过对原始图像进行处理获取所有封闭区域，然后从所有封闭区域中筛选出验讫章图形，最后采用颜色通道来对验讫章图像进行分割；基于深度学习的方法大多数则是通过目标检测的方法得到验讫章图像的相对位置。
5.传统图像处理方法进行验讫章图像提取时存在以下问题：1)手动设置参数，且根据验讫章图像的颜色、形状不同，参数有很大变化；2)当验讫章图像存在叠加情况时，采用颜色通道来对印章分割容易出现效果较差。基于目标检测的方法避开了传统算法中参数设置问题，但引入了新问题，其检测结果基本为矩形框或者四边形框，但验讫章图像不仅包含四边形，还存在圆形、三角形等多种其他形状，对于多个验讫章图像叠加的数据，检测算法效果会下降，采集到的验讫章图像边缘信息不全，而且目标检测的算法会引入过多的干扰信息，有准确率不高的问题。


技术实现要素：

6.本发明的一个目的在于提供一种基于实例分割的证章提取方法，适用于不同颜色和不同形状的验讫章图像，能够利用同一个模型进行验讫章图像的提取，模型参数在训练过程中已经完成，无需根据验讫章图像进行手动更改。
7.本发明的另一个目的在于提供一种基于实例分割的证章提取方法，最后输出不仅能够得到验讫章图像的目标检测框，还可得到其具体的实例分割图，分割图精确明晰了验讫章图像所在区域内容，同时本方法通过传统图像处理方法对提取到的验讫章图像进行后处理，达到去除背景特征的效果，从而使提取到的验讫章图像更为纯净，更好地获取验讫章图像的边缘信息，为后续验讫章图像识别提供高质量数据。
8.本发明的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。
9.依本发明的一个方面，能够实现前述目的和其他目的和优势的本发明的一种基于实例分割的证章图像提取方法，包括以下步骤：
10.提取证章的资料页的图像特征；
11.所述图像特征经过protonet生成原型mask；
12.所述图像特征经过图像预测分支分别生成目标检测框和mask系数；
13.通过线性组合的方式结合protonet分支和产生mask系数的分支，并对组合结果使用sigmoid非线性化生成实例mask；
14.根据目标检测框box裁剪实例mask，生成最终mask；
15.根据原图像和最终mask，从获取的图像数据中提取证章图像数据；
16.对提取到的所述证章图像的背景特征进行去除。
17.根据本发明的一个实施例，通过主干网络resnet对所述图像特征进行特征提取，并经过fpn特征金字塔，对不同尺寸的特征图进行融合。
18.根据本发明的一个实施例，通过线性组合的方式结合protonet分支和产生mask系数的分支，并对组合结果使用sigmoid非线性化生成实例mask，即公式m＝σ(pc
t
)，其中p是原型mask矩阵，c是mask系数矩阵，符号t表示转置，σ表示sigmoid函数。
19.根据本发明的一个实施例，对获取的所述图像数据进行缩放、均值化、归一化处理。
20.根据本发明的一个实施例，通过对所述证章图像二值化、灰度化，然后使用阈值函数，膨胀腐蚀操作从所述证章图像中去除背景。
21.根据本发明的一个实施例，采用所述实例分割的方式为yolact的分割模型。
22.依本发明的另一个方面，能够实现前述目的和其他目的和优势的本发明的一种基于实例分割的证章图像提取系统，包括：
23.成像模块，所述成像模块采集证件资料页的一或多个图像样本数据；
24.证章图像提取模块，所述证章图像提取模块根据所述成像模块获取的所述图像样本数据进行模型训练；
25.实例分割模块，所述实例分割模块通过所述证章图像提取模块自所述证件资料页提取证章图像；
26.去除模块，所述去除模块去除所述实例分割模块提取的所述证章图像的背景特征。
27.根据本发明的一个实施例，所述图像样本数据包括证章图像样本数据。
28.根据本发明的一个实施例，所述证章图像提取模块获取所述证章图像的目标检测框和实例分割区域。
29.根据本发明的一个实施例，所述去除模块通过对所述证章图像二值化、灰度化，然后使用阈值函数，膨胀腐蚀操作从图像中去除背景。
30.本发明实施例与现有技术相比存在的有益效果是：
31.本发明无需手动设置参数，对于任何颜色、形状的验讫章图像都能够通过通用模型进行验讫章图像提取；本发明能够更好地获取验讫章图像的边缘信息，提取到的验讫章
图像更为纯净，减少干扰信息，为后续验讫章图像识别提供高质量数据，识别准确率较高。
附图说明
32.图1为本发明的一个实施例的基于实例分割的证章图像提取方法的步骤流程图。
33.图2为本发明的上述实施例的基于实例分割的证章图像提取方法的步骤流程图。
34.图3为本发明的所述实施例的基于实例分割的证章图像提取方法的输入图像到产生实例分割结果的图像处理过程效果示意图。
35.图4为本发明的所述实施例的基于实例分割的证章图像提取方法的去除背景特征的前后对比效果示意图。
具体实施方式
36.以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
37.本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
38.可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或者两个以上。
39.在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连结。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
40.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
41.详而言之，如图1所示，本发明的所述基于实例分割的证章图像提取方法的详细的算法流程步骤如下：
42.对获取的图像数据进行预处理，对获取到的护照证件的资料页的图像进行缩放、均值化、归一化处理，所述缩放处理为比例缩放处理，对采集到的图像数据的长宽分布进行统计，综合考虑生成一个预设比例；
43.提取护照证件的资料页的图像特征，所述图像特征作为待分割证件图像，通过主干网络resnet对所述待分割证件图像进行特征提取，并经过fpn特征金字塔，对不同尺寸的特征图进行融合，从而得到特征图f；
44.从fpn特征金字塔的p3层连接protonet，从而得到一系列的prototype mask，从而生成原型mask(即原型掩码图)；
45.所述特征图f通过图像预测分支，生成目标检测框和mask系数，从而获取验讫章图像的目标检测框和mask系数；
46.将protonet分支和产生mask系数的分支使用线性组合的方法进行结合，并对组合结果使用sigmoid非线性化来获得最终的mask，即生成实例mask，上述过程可以用以下公式表示：m＝σ(pc
t
)，其中p是原型mask矩阵，c是mask系数矩阵，符号t表示转置，σ表示sigmoid函数；
47.根据目标检测框box裁剪实例mask，生成最终mask；
48.根据原图像和最终mask，从获取的图像数据中提取验讫章图像数据；
49.利用传统图像处理算法，如对提取到的验讫章图像进行灰度化以及二值化，为了得到更好的二值图像，还对其进行了膨胀腐蚀操作，并将最终得到的二值图转化为0-1掩码图，通过对图像灰度化，然后使用阈值函数，膨胀腐蚀操作从图像中去除背景，从而对提取到的所述验讫章图像的背景特征进行去除，也就是，去除背景特征的验讫章图像通过提取到的验讫章图像与掩码图点乘得到。
50.如图2所示，为本发明的一个实施例的基于实例分割的证章图像提取方法，主要包括以下步骤：
51.s100：通过成像设备采集护照证件资料页的图像样本数据，采集符合预设清晰度和完整度的图像样本数据；
52.优选地，所述图像样本数据可以是但不限于为包含验讫章图像的资料页数据，所述成像设备可以是但不限于摄像机、手机、证件阅读器等，可采集的图像样本数据的预设清晰度和完整度由用户设定，用户可根据各类证章图像的实际情况和使用场景的不同要求进行设置。
53.s200：根据获取的图像样本数据进行模型训练，生成证章图像提取模型，所述证章图像提取模型能够获取证件资料页的验讫章图像的目标检测框和实例分割区域，不仅能够得到验讫章图像的目标检测框，还可得到验讫章图像的实例分割区域，所述验讫章图像的实例分割区域精确明晰了验讫章图像所在区域内容；
54.值得注意的是，根据获取的图像样本数据的不同，所述证章图像提取模型适用于不同颜色和不同形状的验讫章图像，也就是，不同颜色和不同形状的验讫章图像能够利用同一个模型进行验讫章图像提取，模型参数在训练过程中已经完成，无需根据验讫章图像进行手动更改。
55.s300：采用实例分割的方式，实现提取验讫章图像，如图3所示，为输入图像到产生实例分割结果的图像处理过程效果示意图，此时，所提取的验讫章图像的干扰信息被减少，
所述实例分割的方式可以是但不限于yolact、yolov5/8、maskrcnn、solo等实例分割算法，优选地，本发明的基于实例分割的证章图像提取方法采用yolact的分割模型，yolact分割模型的目标是解决实例分割的实时性问题，能够通过两个并行的子网络来实现实例分割，与其他实例分割方法相比，yolact在分割速度上有很大提升；
56.s400：去除被提取的验讫章图像的背景特征，进一步减少干扰信息，通过传统图像处理方法，如，对提取到的验讫章图像进行灰度化以及二值化，为了得到更好的二值图像，还对其进行了膨胀腐蚀操作，并将最终得到的二值图转化为0-1掩码图，通过对图像灰度化，然后使用阈值函数，膨胀腐蚀操作从图像中去除背景，从而对提取到的所述验讫章图像的背景特征进行去除，也就是，去除背景特征的验讫章图像通过提取到的验讫章图像与掩码图点乘得到。详而言之，如图4所示，左侧为所述证章图像提取模型提取到的验讫章图像，右侧为进行背景去除后的结果图像，通过对实例分割结果中所述验讫章图像进行提取，并进一步进行背景去除得到的最终效果图如右侧所示。也就是，通过传统图像处理方法对提取到的验讫章图像进行后处理，达到去除背景特征的效果，从而使提取到的验讫章图像更为纯净，更好地获取验讫章图像的边缘信息，为后续验讫章图像识别提供高质量数据。
57.详而言之，本发明还揭露了一种基于实例分割的证章图像提取系统，所述证章图像提取系统被应用于各类证章图像的核验场景，包括但不限于验讫章图像的核验。所述证章图像提取系统包括成像模块、证章图像提取模块、实例分割模块、去除模块，所述成像模块采集证件资料页的一或多个图像样本数据，所述成像模块根据预设的清晰度和完整度对图像样本数据进行采集，所述证章图像提取模块根据所述成像模块获取的所述图像样本数据进行模型训练，从而获取证件资料页的验讫章图像的目标检测框和实例分割区域，不仅能够得到验讫章图像的目标检测框，还可得到验讫章图像的实例分割区域，所述证章图像提取模块使得所述验讫章图像的实例分割区域的边界清晰，从而能够更好地获取验讫章图像的边缘信息，为后续验讫章图像识别提供高质量数据，值得注意的是，根据获取的图像样本数据的不同，所述证章图像提取模块适用于不同颜色和不同形状的验讫章图像，也就是，不同颜色和不同形状的验讫章图像均能够利用所述证章图像提取模块进行验讫章图像提取，模型参数在训练过程中已经完成，无需根据验讫章图像进行手动更改，所述实例分割模块通过所述证章图像提取模块自所述证件资料页提取证章图像，且所提取的验讫章图像的干扰信息被减少，且分割速度较快，所述去除模块去除所述实例分割模块提取的所述证章图像的背景特征，去除被所述实例分割模块提取的所述验讫章图像的背景特征，进一步减少干扰信息，通过传统图像处理方法，如，对提取到的验讫章图像进行灰度化以及二值化，为了得到更好的二值图像，还对其进行了膨胀腐蚀操作，并将最终得到的二值图转化为0-1掩码图，通过对图像灰度化，然后使用阈值函数，膨胀腐蚀操作从图像中去除背景，从而对提取到的所述验讫章图像的背景特征进行去除，也就是，去除背景特征的验讫章图像通过提取到的验讫章图像与掩码图点乘得到。

技术特征：
1.一种基于实例分割的证章图像提取方法，其特征在于，包括以下步骤：提取证章的资料页的图像特征；所述图像特征经过protonet生成原型mask；所述图像特征经过图像预测分支分别生成目标检测框和mask系数；通过线性组合的方式结合protonet分支和产生mask系数的分支，并对组合结果使用sigmoid非线性化生成实例mask；根据目标检测框box裁剪实例mask，生成最终mask；根据原图像和最终mask，从获取的图像数据中提取证章图像数据；对提取到的所述证章图像的背景特征进行去除。2.根据权利要求1所述的方法，其特征在于，通过主干网络resnet对所述图像特征进行特征提取，并经过fpn特征金字塔，对不同尺寸的特征图进行融合。3.根据权利要求2所述的方法，其特征在于，通过线性组合的方式结合protonet分支和产生mask系数的分支，并对组合结果使用sigmoid非线性化生成实例mask，即公式
m＝σ(pct
)，其中p是原型mask矩阵，c是mask系数矩阵，符号t表示转置，σ表示sigmoid函数。4.根据权利要求3所述的方法，其特征在于，对获取的所述图像数据进行缩放、均值化、归一化处理。5.根据权利要求1所述的方法，其特征在于，通过对所述证章图像二值化、灰度化，然后使用阈值函数，膨胀腐蚀操作从所述证章图像中去除背景。6.根据权利要求1所述的方法，其特征在于，采用所述实例分割的方式为yolact的分割模型。7.一种基于实例分割的证章图像提取系统，其特征在于，包括：成像模块，所述成像模块采集证件资料页的一或多个图像样本数据；证章图像提取模块，所述证章图像提取模块根据所述成像模块获取的所述图像样本数据进行模型训练；实例分割模块，所述实例分割模块通过所述证章图像提取模块自所述证件资料页提取证章图像；去除模块，所述去除模块去除所述实例分割模块提取的所述证章图像的背景特征。8.根据权利要求7所述的系统，其特征在于，所述图像样本数据包括证章图像样本数据。9.根据权利要求8所述的系统，其特征在于，所述证章图像提取模块获取所述证章图像的目标检测框和实例分割区域。10.根据权利要求9所述的系统，其特征在于，所述去除模块通过对所述证章图像二值化、灰度化，然后使用阈值函数，膨胀腐蚀操作从所述证章图像中去除背景。

技术总结
本发明公开了一种基于实例分割的证章图像提取方法，包括以下步骤：提取证章的资料页的图像特征；所述图像特征经过Protonet生成原型mask；所述图像特征经过图像预测分支分别生成目标检测框和mask系数；通过线性组合的方式结合Protonet分支和产生mask系数的分支，并对组合结果使用Sigmoid非线性化生成实例mask；根据目标检测框box裁剪实例Mask，生成最终Mask；根据原图像和最终Mask，从获取的图像数据中提取证章图像数据；对提取到的所述证章图像的背景特征进行去除。像的背景特征进行去除。像的背景特征进行去除。


技术研发人员：杨梅 付雪平 夏炉系 聂芸芸 苗应亮
受保护的技术使用者：盛视科技股份有限公司
技术研发日：2023.07.29
技术公布日：2023/10/19