一种提取电子票据特定字段的方法与流程

1.本发明属于图像识别技术领域，具体涉及一种提取电子票据特定字段的方法。


背景技术：

2.现在日常生活中，大部分的票据都以电子票据进行机打的纸质形式，给到用户手中。用户在一些线上系统，使用这些票据信息作为凭证的时候，就需要使用手边的移动设备采集纸质票据图像上传系统进行信息识别。常用的信息提取方法主要基于预设的规则匹配算法，就是人工设计各种规则去匹配文本中内容，此方法对于图像倾斜、褶皱等情况也可以处理，但是需要编写大量的规则才可能覆盖到这些情况，并且识别准确率也不高。所以，这样的信息提取方法不具备很好的鲁棒性。为了满足电子票据信息自动识别录入的需求，我们提出一种提取电子票据特定字段的方法及系统。


技术实现要素：

3.本发明的目的是为了解决现有技术中存在票据录入效率低，易出错的缺点，而提出的一种提取电子票据特定字段的方法。该提取电子票据特定字段的方法可针对票据上特定的信息进行识别提取，提高票据信息的录入效率，降低了票据信息录入难度，同时也提高了票据录入的准确性。
4.为了实现上述目的，本发明采用了如下技术方案：
5.设计一种提取电子票据特定字段的方法，包括如下步骤：
6.步骤1、通过http协议，获取前端的票据图片并对图像进行预处理；
7.步骤2、调用文本检测模型，检测票据中特定字段，获取位置信息；
8.步骤3、根据位置信息，截取特定字段，调用文本识别模型和文本水平矫正模型，获取文本信息；
9.步骤4、根据特定字段的位置信息和文本信息，调用语义实体识别模型，对特定字段进行实体标签分类；
10.步骤5、实体分类之后的特定字段，输入关系抽取模型，得到绑定好对应关系的键值对；
11.步骤6、在信息解析模块，对键值对进行解析，并提取电子票据特定字段结构化信息。
12.进一步的，在步骤1中，对图像的预处理包括图像增强和调整分辨率；其中，所述调整分辨率是将输入图像统一大小，按图像最大长度缩放到1920的比例，对图像进行缩放；所述图像增强是使用低通滤波，对图像进行全局对比度增强：
13.res＝round((orig-mean)*factor)+orig
14.其中，factor为增加对比度的比例因子；orig为图像的原始灰度值；mean为图像的平均灰度值；round()为四舍五入操作。
15.进一步的，在步骤1中，图像进行预处理还包括图像文本角度检测，具体步骤包括：
16.步骤11、从图像原始图像中截取目标区域；
17.步骤12、对截取的目标区域，使用深度学习文本检测算法，检测目标区域中的文本位置和角度angle：
18.angle＝sum(angle[n*0.2:n*0.8])/n*0.6
[0019]
其中，angle为目标区域中检测到的所有文本倾斜角度进行大小排序后的集合，angle[n*0.2:n*0.8]为选取中间60％的角度；
[0020]
步骤13、对选取的60％的角度求和后计算平均值，得到文本区域的倾斜角度angle；
[0021]
步骤14、根据文本区域的倾斜角度angle，对截取目标区域旋转，图片角度旋转值为倾斜角度angle值。
[0022]
进一步的，在步骤2中，调用的文本检测模型，是针对票据中特定字段进行了位置标注并训练得到的神经网络模型，在检测票据图像中特定字段时，会屏蔽非特定字段的文本信息。
[0023]
进一步的，在步骤4中，对特定字段进行实体分类，其中实体的标签分为两类：问题和答案。
[0024]
进一步的，在步骤5中的关系抽取模型，是针对步骤4的所有分类实体进行一对一问答关系绑定标注并训练得到的神经网络模型，在使用时，模型输入的是步骤4中的所有实体信息，模型输出的结果是，所有实体信息中的一对一问答绑定关系组成的键值对。
[0025]
进一步的，在步骤6中，对键值对进行解析包括矫正处理和提取有效的信息，矫正处理具体步骤包括：
[0026]
步骤61、去掉键值对文本信息中误识别的空格字符；
[0027]
步骤62、键值对中金额类的文本信息，去掉小数点和数字之外的字符；
[0028]
步骤63、键值对中编号类的文本信息，去掉数字和大写字母之外的字符。
[0029]
为了解决上述问题，本发明还提供了一种提取电子票据特定字段的系统，用于所述的提取电子票据特定字段的方法，包括：
[0030]
图片获取模块，用于通过http协议，获取前端的票据图像；
[0031]
图像预处理模块，用于票据图像的图像增强和调整分辨率的预处理；
[0032]
模型训练模块，利用深度学习神经网络，对标注的图像数据进行训练，得到算法模型；
[0033]
文本检测模块，调用文本检测算法模型，检测票据中特定字段，获取位置信息；
[0034]
文本识别模块，调用文本识别算法模型和文本方向识别算法模型，识别票据中特定字段，获取特定字段文本信息；
[0035]
语义实体识别模块，调用语义实体识别算法模型，结合特定字段位置信息和文本信息，对特定字段进行语义实体分类；
[0036]
关系抽取模块，调用关系抽取算法模型，针对实体分类后的特定字段，进行一对一问答关系绑定，成立键值对；
[0037]
信息解析模块，对键值对进行解析，包括矫正处理和提取有效的信息。
[0038]
本发明提出的一种提取电子票据特定字段的方法及系统，有益效果在于：本发明针对电子票据中特定字段进行标注和训练，得到文本检测算法模型、文本识别算法模型、语
义实体识别算法模型和关系抽取算法模型，能够准确识别用户拍摄的电子票据图像中的特定字段信息，有效降低了图像倾斜、褶皱等情况对信息识别的影响，很大程度上提升了电子票据特定字段内容的录入效率和准确性。
附图说明
[0039]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0040]
图1是本发明的流程框图；
[0041]
图2是本发明的系统框图。
具体实施方式
[0042]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
现结合说明书附图，详细说明本发明的结构特点。
[0044]
参见图1，一种提取电子票据特定字段的方法，
[0045]
包括如下步骤：
[0046]
①
、针对特定字段的标注训练。
[0047]
通过http协议，获取前端的票据图片并对图像进行预处理，为了提高图像的质量，首先需要对获取的图像进行预处理，其中，预处理包括图像增强和调整分辨率，具体地：
[0048]
调整分辨率是将输入图像统一大小，按图像最大长度缩放到1920的比例，对图像进行缩放；
[0049]
图像增强是使用低通滤波，对图像进行全局对比度增强：
[0050]
res＝round((orig-mean)*factor)+orig
[0051]
其中，factor为增加对比度的比例因子；orig为图像的原始灰度值；mean为图像的平均灰度值；round()为四舍五入操作。
[0052]
为了便于后续特定字段的位置信息和文本信息的提取，需要先对票据进行角度调整，图像文本角度检测及调整，具体步骤包括：从图像原始图像中截取目标区域。对截取的目标区域，使用深度学习文本检测算法，检测目标区域中的文本位置和角度angle：
[0053]
angle＝sum(angle[n*0.2:n*0.8])/n*0.6
[0054]
其中，angle为目标区域中检测到的所有文本倾斜角度进行大小排序后的集合，考虑到票据区域可能存在干扰文字，angle[n*0.2:n*0.8]为选取中间百分之60的角度，排除过大或者过小的角度。对选取的百分之60的角度求和后计算平均值，得到文本区域的倾斜角度angle。最后，根据文本区域的倾斜角度angle，对截取目标区域旋转，图片角度旋转值为倾斜角度angle值。
[0055]
②
、输入图像中特定字段的检测。
[0056]
调用ocr文本检测模型，检测票据中特定字段，获取位置信息。
[0057]
③
、特定字段的水平方向矫正和识别。
[0058]
根据位置信息，截取特定字段，调用ocr文本识别模型和文本水平矫正模型，获取文本信息。
[0059]
④
、语义实体识别。
[0060]
根据特定字段的位置信息和文本信息，调用语义实体识别模型，对特定字段进行实体分类，对特定字段进行实体标签分类，其中实体的标签分为两类：问题和答案。
[0061]
⑤
、关系抽取。
[0062]
实体分类之后的特定字段，输入关系抽取模型，得到绑定好对应关系的键值对，
[0063]
⑥
、票据特定字段提取。
[0064]
在信息解析模块，对键值对进行解析，对键值对进行解析包括矫正处理和提取有效的信息。
[0065]
本发明的提取电子票据特定字段的方法，针对特定字段的标注训练，输入图像中特定字段的检测，进行特定字段的水平方向矫正和识别，语义实体识别和关系抽取，可有效提取电子票据特定字段内容，提高票据特定字段内容的录入效率，降低票据信息录入难度，同时也提高了票据录入的准确性。
[0066]
参见图2，为了进一步说明，本发明还提出了一种提取电子票据特定字段的系统，用于提取电子票据特定字段的方法，包括：
[0067]
图片获取模块，用于通过http协议，获取前端的票据图像。
[0068]
图像预处理模块，用于票据图像的图像增强和调整分辨率的预处理。
[0069]
模型训练模块，利用深度学习神经网络，对标注的图像数据进行训练，得到算法模型；
[0070]
文本检测模块，调用文本检测算法模型，检测票据中特定字段，获取位置信息；
[0071]
文本识别模块，调用文本识别算法模型和文本方向识别算法模型，识别票据中特定字段，获取特定字段文本信息；
[0072]
语义实体识别模块，调用语义实体识别算法模型，结合特定字段位置信息和文本信息，对特定字段进行语义实体分类；
[0073]
关系抽取模块，调用关系抽取算法模型，针对实体分类后的特定字段，进行一对一问答关系绑定，成立键值对；
[0074]
信息解析模块，对键值对进行解析，包括矫正处理和提取有效的信息。
[0075]
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种提取电子票据特定字段的方法，其特征在于，包括如下步骤：s1、通过http协议，获取前端的票据图片并对图像进行预处理；s2、调用文本检测模型，检测票据中特定字段，获取位置信息；s3、根据位置信息，截取特定字段，调用文本识别模型和文本水平矫正模型，获取文本信息；s4、根据特定字段的位置信息和文本信息，调用语义实体识别模型，对特定字段进行实体标签分类；s5、实体分类之后的特定字段，输入关系抽取模型，得到绑定好对应关系的键值对；s6、在信息解析模块，对键值对进行解析，并提取电子票据特定字段结构化信息。2.根据权利要求1所述的一种提取电子票据特定字段的方法，其特征在于，在步骤s1中，对图像的预处理包括图像增强和调整分辨率；其中，所述调整分辨率是将输入图像统一大小，按图像最大长度缩放到1920的比例，对图像进行缩放；所述图像增强是使用低通滤波，对图像进行全局对比度增强：res＝round((orig-mean)*factor)+orig其中，factor为增加对比度的比例因子；orig为图像的原始灰度值；mean为图像的平均灰度值；round()为四舍五入操作。3.根据权利要求1所述的一种提取电子票据特定字段的方法，其特征在于，在步骤s1中，图像进行预处理还包括图像文本角度检测及调整，具体步骤包括：s11、从图像原始图像中截取目标区域；s12、对截取的目标区域，使用深度学习文本检测算法，检测目标区域中的文本位置和角度angle：angle＝sum(angle[n*0.2:n*0.8])/n*0.6其中，angle为目标区域中检测到的所有文本倾斜角度进行大小排序后的集合，angle[n*0.2:n*0.8]为选取中间60％的角度；s13、对选取的60％的角度求和后计算平均值，得到文本区域的倾斜角度angle；s14、根据文本区域的倾斜角度angle，对截取目标区域旋转，图片角度旋转值为倾斜角度angle值。4.根据权利要求1所述的一种提取电子票据特定字段的方法，其特征在于，在步骤s2中，调用的文本检测模型，是针对票据中特定字段进行了位置标注并训练得到的神经网络模型，在检测票据图像中特定字段时，会屏蔽非特定字段的文本信息。5.根据权利要求1所述的一种提取电子票据特定字段的方法，其特征在于，在步骤s4中，对特定字段进行实体标签分类，其中实体的标签分为两类：问题和答案。6.根据权利要求1所述的一种提取电子票据特定字段的方法，其特征在于，在步骤s5中的关系抽取模型，是针对步骤s4的所有分类实体进行一对一问答关系绑定标注并训练得到的神经网络模型，在使用时，模型输入的是步骤s4中的所有实体信息，模型输出的结果是，所有实体信息中的一对一问答绑定关系组成的键值对。7.根据权利要求1所述的一种提取电子票据特定字段的方法，其特征在于，在步骤s6中，对键值对进行解析包括矫正处理和提取有效的信息，矫正处理的过程包括：
s61、去掉键值对文本信息中误识别的空格字符；s62、键值对中金额类的文本信息，去掉小数点和数字之外的字符；s63、键值对中编号类的文本信息，去掉数字和大写字母之外的字符。8.一种提取电子票据特定字段的系统，用于如权利要求1-7任一项所述的提取电子票据特定字段的方法，其特征在于，包括：图片获取模块，用于通过http协议，获取前端的票据图像；图像预处理模块，用于票据图像的图像增强和调整分辨率的预处理；模型训练模块，利用深度学习神经网络，对标注的图像数据进行训练，得到算法模型；文本检测模块，调用文本检测算法模型，检测票据中特定字段，获取位置信息；文本识别模块，调用文本识别算法模型和文本方向识别算法模型，识别票据中特定字段，获取特定字段文本信息；语义实体识别模块，调用语义实体识别算法模型，结合特定字段位置信息和文本信息，对特定字段进行语义实体分类；关系抽取模块，调用关系抽取算法模型，针对实体分类后的特定字段，进行一对一问答关系绑定，成立键值对；信息解析模块，对键值对进行解析，包括矫正处理和提取有效的信息。

技术总结
本发明公开了一种提取电子票据特定字段的方法，涉及图像识别技术领域，包括如下步骤：通过HTTP协议，获取前端的票据图片并对图像进行预处理；利用ocr文本检测模型，检测票据中特定字段，获取位置信息；根据位置信息，截取特定字段，利用ocr文本识别模型，识别特定字段文本信息；根据特定字段的位置信息和文本信息，对特定字段进行实体分类；实体分类之后的特定字段，训练关系抽取模型，得到绑定好对应关系的键值对；对键值对进行解析，提取有效的结构化信息。本发明可有效提取电子票据特定字段内容，提高票据特定字段内容的录入效率，降低票据信息录入难度，同时也提高了票据录入的准确性，可有效降低工作强度。可有效降低工作强度。可有效降低工作强度。


技术研发人员：马杰 孙召敏
受保护的技术使用者：南京市智慧医疗投资运营服务有限公司
技术研发日：2023.05.29
技术公布日：2023/8/28