一种基于扫描图像自动黑边检测修复的方法

1.本发明涉及扫描文档电子化技术领域，具体涉及一种基于扫描图像自动黑边检测修复的方法。


背景技术：

2.在纸质文件电子化过程中，因为纸质文档倾斜或纸质文档四周破损缺失，扫描后的图像存在四周黑边、缺失数据区域，呈现不规则外围黑色区域情况。常见方法可以实现规则黑边去除、不规则黑边去除，对于黑边进行简单的去除处理后，图像页面会形成明显的不协调区域，即正常数据区域和黑边区域程序边界明显，黑边区域没有得到数据填充修复。


技术实现要素：

3.针对上述问题，本方法的目的是对扫描图像自动提取黑色区域，利用深度学习训练、推理生成与对应黑色周边区域和文档相协调的新数据区域，然后合成完整的修复图像，可以在应用数字档案系统中大量修复数字档案使用。本发明提供一种基于扫描图像自动黑边检测修复的方法,
4.本发明采用下述的技术方案：
5.一种基于扫描图像自动黑边检测修复的方法，包括以下步骤：
6.s1、获取原扫描图像生成第一图像和第二图像；
7.s2、对所述第一图像进行大小处理；
8.s3、在所述第二图像四角位置分别预设4个检测位置；
9.s4、判断所述4个检测位置的第一维像数值是否小于阈值，当检测位置小于阈值，在原扫描图像进行满水填充，即取得带有黑边区域的掩码图像；
10.s5、对所述掩码图像进行消噪和归一化处理；
11.s6、重复步骤s2至s5得到黑边修复文件，生成制作数据集，基于aot-gan网络进行图像生成训练，生成修复模型；
12.s7、将所述第一图像输入进训练后的aot-gan，重复步骤s2至s5，生成掩码数据，第一图像根据掩码数据推理计算生成第三图像；
13.s8、所述第三图像与步骤s7所述掩码数据进行掩码计算，提取得到只有掩码区域的修复图像第四图像，并对所述第四图像进行图像大小处理；
14.s9、将第四图像与原扫描图像合成得到修复图像。
15.进一步的，所述原扫描图像为rgb图像。
16.进一步的，所述第一图像大小为512*512。
17.进一步的，在步骤s6中，对所述aot-gan模型训练进行改进，具体包括：
18.s61、将原始的[1、2、4、8]四个尺度的空洞卷积替换为[2，4，8、16]四个尺度的空洞卷积；
[0019]
s62、用gelu激活函数替换之前的relu激活函数。
[0020]
本发明的有益效果是：
[0021]
图像满足修复功能，实现了黑色区域预取、黑色区域图像修复生成、图像合成、边界自然高清、快速修复的功能。
附图说明
[0022]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。
[0023]
图1为本技术实施例提供的工作流程图；
[0024]
图2为本技术实施例提供的原扫描图像；
[0025]
图3为本技术实施例带有黑边区域的掩码图像示意图；
[0026]
图4为本技术实施例消噪处理后的掩码图像示意图；
[0027]
图5为申请实施例第四图像示意图；
[0028]
图6为本技术实施例修复图像示意图
具体实施方式
[0029]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0030]
下面结合附图和实施例对本发明进一步说明。
[0031]
如图1所示，为本技术一种基于扫描图像自动黑边检测修复的方法，具体包括以下步骤：
[0032]
步骤一、获取原扫描图像生成第一图像和第二图像。
[0033]
图像存在黑边的主要原因是在扫描过程中图片未放置平整或者图像出现破损卷角情况，本方法处理扫描图像为rgb图像，在图像黑边检测过程中不需要对图像做灰度或二值化处理。
[0034]
如图2所示为原扫描图像，获取原扫描图像高h与宽度w,生成宽度w+2,高度h+2全0的掩码矩阵数据，即数据四周进行一圈的0填充，保障下一步填充颜色处理过程后能获取到图像四周边界完整数据。
[0035]
进一步的，需要将原扫描图像生成2个图像副本分别为第一图像和第二图像。
[0036]
步骤二、对所述第一图像进行大小处理。
[0037]
将第一图像进行归一化大小处理，尺寸大小为512*512，因为后续深度学习修复模型aot-gan只能处理不高于512*512大小的图像。
[0038]
步骤三、在所述第二图像四角位置分别预设4个检测位置。
[0039]
在第二图像四角位置分别预设四个预处理点，坐标为[3][3]、[h-3][3]、[3][w-3]、[h-3][w-3]。
[0040]
步骤四、判断所述4个检测位置的第一维像数值是否小于阈值，当检测位置小于阈值，在原扫描图像进行满水填充，即取得带有黑边区域的掩码图像。
[0041]
针对出现黑边情况，只需要检测这四个点的第一维像数值是否小于阈值a，a默认
值设置为4，也可以根据实际情况调整阈值a。针对小于阈值a的点，在原扫描图上进行满水填充，mask为填充数据区域，填充颜色为绿色(255，0，0)。无论四方的黑框是否相连接，通过对四个点的漫水填充，可用绿色填充图像四周所有黑边区域，对于非黑边区域，则不会进行任何填充，即不会破坏图像正常数据。
[0042]
步骤五、对所述掩码图像进行消噪和归一化处理。
[0043]
带有黑边区域的掩码图像为不规则图形，存在多个不连通区域，如图3所示。如果按这个区域在原图中直接去除黑色边框，可以到达去除黑边效果，但是原图中的正常图像和黑边区域之间存在边界痕迹和噪声，非常不协调。所以对当前带有黑边区域的掩码图像进行反色处理，即每一个像素从0变为255或255变为0.然后进行腐蚀操作，腐蚀操作会让正常图像区域减小、噪声图像区域减少甚至淹没消失，最后再进行反色操作，取得优化的掩码图像，如图4所示。
[0044]
进一步的，对所述优化的掩码图像归一化为512*512的大小，在进行归一化大小处理之前需要将优化的掩码图像合并新的三通道图像，保持优化的掩码图像与原扫描图像的通道数目一致。
[0045]
步骤六、重复步骤s2至s5得到黑边修复文件，生成制作数据集，基于aot-gan网络进行图像生成训练，生成修复模型。
[0046]
重复进行步骤s2至s5，得到大量的黑边修复文件，组成标准黑框修复数据集，再将对应的数据集送入aot-gan网络进行图像生成训练。具体的，本方法注重区域补充修复、背景部分和整体风格，不需要注重文档文字具体细节内容的修复，则需要将则需要将卷积部分改为更大尺寸的空洞卷积，将原始的[1、2、4、8]四个尺度的空洞卷积替换为[2，4，8、16]四个尺度的空洞卷积。可以更快的达到训练效果。用gelu激活函数替换之前的relu激活函数，能利用gelu函数较好的泛化能力和稳定性提高整个模型性能。gelu激活函数：
[0047]
gelu(x)＝0.4*x(1+tanh[sqrt(2/pi*(x+0.044715*x3))])
[0048]
pi＝3.14159265
[0049]
训练过程执行在训练服务器上完成，这个训练过程次数优于原生态的训练时间，需要达到自定义进度或设定次数条件即可终止，生成修复模型。
[0050]
步骤七、将所述第一图像输入进训练后的aot-gan，重复步骤s2至s5，生成掩码数据，第一图像根据掩码数据推理计算生成第三图像。
[0051]
步骤八、所述第三图像与步骤s7所述掩码数据进行掩码计算，提取得到只有掩码区域的修复图像第四图像，并对所述第四图像进行图像大小处理。。
[0052]
所述第三图像大小为512*512，第三图像包含了第一图像正常数据的图像，为了实现高清修复，需要将第三图像与步骤s7所述掩码数据进行掩码计算，提取到只有掩码区域的修复图像第四图像，如图5所示，通过线性插值算法将第四图像扩大到与原扫描图像大小相等。
[0053]
步骤九、将第四图像与原扫描图像合成得到修复图像。
[0054]
进行相与操作，第四图像中非标记区域为0与出来的结果也是0，起到屏蔽作用合成，可以生成修复图像，如图6所示。
[0055]
修复图像不仅实现了原始正常图像保留、黑边缺失区域修复，还消除了黑边边界差异大情况，图像满足修复功能，实现了黑色区域预取、黑色区域图像修复生成、图像合成、
边界自然高清、快速修复得功能。
[0056]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

技术特征：
1.一种基于扫描图像自动黑边检测修复的方法，其特征在于，包括以下几个步骤：s1、获取原扫描图像生成第一图像和第二图像；s2、对所述第一图像进行大小处理；s3、在所述第二图像四角位置分别预设4个检测位置；s4、判断所述4个检测位置的第一维像数值是否小于阈值，当检测位置小于阈值，在原扫描图像进行满水填充，即取得带有黑边区域的掩码图像；s5、对所述掩码图像进行消噪和归一化处理；s6、重复步骤s2至s5得到黑边修复文件，生成制作数据集，基于aot-gan网络进行图像生成训练，生成修复模型；s7、将所述第一图像输入进训练后的aot-gan，重复步骤s2至s5，生成掩码数据，第一图像根据掩码数据推理计算生成第三图像；s8、所述第三图像与步骤s7所述掩码数据进行掩码计算，提取得到只有掩码区域的修复图像第四图像，并对所述第四图像进行图像大小处理；s9、将第四图像与原扫描图像合成得到修复图像。2.根据权利要求1所述一种基于扫描图像自动黑边检测修复的方法，其特征在于，所述原扫描图像为rgb图像。3.根据权利要求1所述一种基于扫描图像自动黑边检测修复的方法，其特征在于，所述第一图像大小为512*512。4.根据权利要求1所述一种基于扫描图像自动黑边检测修复的方法，其特征在于，所述步骤5中消噪处理的具体步骤包括：对所述掩码图像进行反色处理，即每一个像素从0变为255或255变为0；再进行腐蚀操作，腐蚀操作会让掩码图像中正常图像区域减小、噪声图像区域减少甚至淹没消失；最后进行反色处理取得优化的掩码图像。5.根据权利要求4所述一种基于扫描图像自动黑边检测修复的方法，其特征在于，对所述优化的掩码图像归一化为512*512的大小。6.根据权利要求5所述一种基于扫描图像自动黑边检测修复的方法，其特征在于，所述在执行对优化的掩码图像进行归一化大小处理之前，具体包括：对所述优化的掩码图像合并新的三通道图像。7.根据权利要求1所述一种基于扫描图像自动黑边检测修复的方法，其特征在于，在所述步骤s6中，对所述aot-gan模型训练进行改进，具体包括：s61、将原始的[1、2、4、8]四个尺度的空洞卷积替换为[2，4，8、16]四个尺度的空洞卷积；s62、用gelu激活函数替换之前的relu激活函数。

技术总结
本发明公开了一种基于扫描图像自动黑边检测修复的方法，包括：图像大小处理、预设检测位置、图像黑点区域填充、黑边区域数据扩大和消噪、掩码归一化、生成制作数据集、模型训练、模型推理、计算修复区域、区域尺寸还原、合成修复图像。本发明的有益效果是图像满足修复功能，实现了黑色区域预取、黑色区域图像修复生成、图像合成、边界自然高清、快速修复的功能。快速修复的功能。快速修复的功能。


技术研发人员：王敏 陈蕊 黄莉 周杨 刘佳 唐娅梅
受保护的技术使用者：四川工商学院
技术研发日：2023.06.21
技术公布日：2023/9/20