一种税务文本处理方法、装置、介质与流程

1.本技术涉及深度学习领域，特别是涉及一种税务文本处理方法、装置、介质。


背景技术：

2.税务申报是企业经营过程中的重要事务，与个人税务申报有所不同，企业税务申报业务较为复杂，需要全面考虑相关税法条文，以保证依法纳税、合理纳税。
3.在企业税务申报过程中，需要工作人员对各类税法相关条文进行分析和总结，以便于后续纳税工作。由于税法条文数量较多，工作人员分析税法条文的过程需要花费大量时间和人力成本。
4.由此可见，如何高效快速的处理税务数据，以提高税务申报的效率，减少浪费的时间和人力成本，是本领域技术人员亟需解决的问题，


技术实现要素：

5.本技术的目的是提供一种税务文本处理方法、装置、介质，以实现税务数据的快速处理，从而提高税务申报的效率和准确性，减少浪费的时间和人力成本。
6.为了解决上述技术问题，本技术提供了一种税务文本处理方法，包括：
7.获取待处理文本；
8.调用税务文本处理模型对所述待处理文本进行处理，以输出实体信息；其中，所述税务文本处理模型为结合基于语义理解的深度双向预训练模型和基于span的实体抽取模型获得的模型；
9.通过关系分类模型处理所述实体信息，以获取所述待处理文本中的实体关系。
10.优选的，通过基于语义理解的深度双向预训练模型和基于span的实体抽取策略获得的模型的过程包括：
11.确定基于语义理解的深度双向预训练模型的初始参数；
12.通过所述基于语义理解的深度双向预训练模型和所述基于span的实体抽取模型对监督数据集进行处理，以更新所述税务文本处理模型的参数。
13.优选的，所述确定所述基于语义理解的深度双向预训练模型的初始参数包括：
14.通过基于掩盖的语言模型和语句预测模型在无标注税务文本数据中训练，以确定所述初始参数。
15.优选的，所述调用税务文本处理模型对所述待处理文本进行处理包括：
16.通过所述基于语义理解的深度双向预训练模型获取所述待处理文本的初始实体信息；
17.通过所述基于span的实体抽取模型对所述第一实体信息进行处理，以获取实体片段；
18.通过多层感知分类器对所述实体片段进行处理，以获取所述实体信息。
19.优选的，所述通过所述基于语义理解的深度双向预训练模型和所述基于span的实
体抽取模型对监督数据集进行处理包括：
20.将文本规律学习器的学习结果反馈至所述基于span的实体抽取模型。
21.优选的，所述监督数据集中的数据均为具有提示向量的税务文本。
22.优选的，所述通过关系分类模型处理所述实体信息以获取所述待处理文本中的实体关系包括：
23.判断是否存在实体关系规则；
24.若存在所述实体关系规则，则根据所述实体关系规则确定实体对；
25.若不存在所述实体关系规则，则通过枚举确定所述实体对；
26.将所述实体对输入所述关系分类模型以获取所述实体关系。
27.为了解决上述技术问题，本技术还提供了一种税务文本处理装置，包括：
28.获取模块，用于获取待处理文本；
29.调用模块，用于调用税务文本处理模型对所述待处理文本进行处理，以输出实体信息；其中，所述税务文本处理模型为结合基于语义理解的深度双向预训练模型和基于span的实体抽取模型获得的模型；
30.实体关系获取模块，用于通过关系分类模型处理所述实体信息，以获取所述待处理文本中的实体关系。
31.为了解决上述技术问题，本技术还提供了一种税务文本处理装置，包括存储器，用于存储计算机程序；
32.处理器，用于执行所述计算机程序时实现所述的税务文本处理方法的步骤。
33.为了解决上述技术问题，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的税务文本处理方法的步骤。
34.本技术提供了一种税务文本处理方法，包括：获取待处理文本，以便于后续提取待处理文本中的实体和实体关系；调用税务文本处理模型对待处理文本进行处理，以输出实体信息；其中，税务文本处理模型为结合基于语义理解的深度双向预训练模型和基于span的实体抽取模型获得的模型，基于语义理解的深度双向预训练模型能够利用无标注数据集进行自监督训练，减少了深度学习模型对标注数据的依赖性，基于span的实体抽取策略能够使模型更好的识别嵌套实体，从而获取实体信息。并通过关系分类模型处理实体信息，以获取待处理文本中的实体关系。由此可见，采用本技术所提供的技术方案，能够快速准确的提取税务文本中的实体信息和实体关系信息，从而高效分析税务文本，减少人力物力的浪费。
35.此外，本技术还提供了一种税务文本处理装置、介质，与上述方法对应，效果同上。
附图说明
36.为了更清楚地说明本技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为本技术实施例所提供的一种税务文本处理方法的流程图；
38.图2为本技术实施例所提供的bert模型预训练示意图；
39.图3为本技术实施例所提供的一种税务文本处理模型的结构图；
40.图4为本技术实施例所提供的一种税务文本处理装置的结构图；
41.图5为本技术实施例所提供的另一种税务文本处理装置的结构图。
具体实施方式
42.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本技术保护范围。
43.本技术的核心是提供一种税务文本处理方法、装置、介质，以实现税务数据的快速处理，从而提高税务申报的效率和准确性，减少浪费的时间和人力成本。
44.为了使本技术领域的人员更好地理解本技术方案，下面结合附图和具体实施方式对本技术作进一步的详细说明。
45.图1为本技术实施例所提供的一种税务文本处理方法的流程图，如图1所示，该税务文本处理方法，包括：
46.s10：获取待处理文本；
47.s11：调用税务文本处理模型对待处理文本进行处理，以输出实体信息；其中，税务文本处理模型为结合基于语义理解的深度双向预训练模型和基于span的实体抽取模型获得的模型。
48.由于税务领域的特殊性，具有标准的税务文本的数据量很少，但这一领域存在大量的无标注数据文本，因此可以利用未标注的预料信息进行自监督任务的学习。
49.基于语义理解的深度双向预训练模型(bidirectional encoder representation from transformers，bert)是一个预训练的语言表征模型。它不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model(mlm)，以致能生成深度的双向语言表征。bert模型采用mlm对双向的语言模型进行预训练，以生成深层的双向语言表征。完成预训练后，只需要添加一个额外的输出层进行fine-tune，就可以在各种各样的下游任务中取得state-of-the-art的表现。在这过程中并不需要对bert模型进行任务特定的结构修改。
50.在本实施例中，选用改进后的bert模型对税务文本进行初步提取，以获取待处理文本中的实体信息。
51.需要注意的是，考虑到税务文本中可能会存在嵌套实体的问题(即实体间存在重叠部分)，因此，引入基于span的实体抽取模型，以提高实体抽取的准确度。
52.进一步的，为了更好的利用税法文本的特殊字词的规律，还可以构建文本规律学习器，通过文本规律学习器进一步提高实体抽取的准确性。
53.可以理解的是，在税务文本处理模型训练过程中，为了提高模型的学习能力，可以为输入的训练文本增加提示向量，用于对训练文字中的关键词进行提示。
54.在具体实施中，将于span的实体抽取模型获得的实体信息输入多层感知分类器，以获取税务文本中的实体信息。
55.具体的，调用税务文本处理模型对待处理文本进行处理包括：通过基于语义理解
的深度双向预训练模型获取待处理文本的初始实体信息；通过基于span的实体抽取模型对第一实体信息进行处理，以获取实体片段；通过多层感知分类器对实体片段进行处理，以获取实体信息。
56.s12：通过关系分类模型处理实体信息，以获取待处理文本中的实体关系。
57.将获得的实体信息输入关系分类模型，以获取不同实体间的实体关系。其中，关系分类指的是给定一段自然语言文本以及该文本中出现的若干实体，识别这些实体之间满足的语义关系(关系分类也叫关系抽取、关系识别等)。由于全部可能的关系集合通常是预先指定好的(例如知识图谱中的全部谓词(边上的标注/关系))，因此该任务可以采用分类方法完成。最基本的关系分类任务是判断文本中同时出现的两个实体的关系。
58.本实施例提供了一种税务文本处理方法，包括：获取待处理文本，以便于后续提取待处理文本中的实体和实体关系；调用税务文本处理模型对待处理文本进行处理，以输出实体信息；其中，税务文本处理模型为结合基于语义理解的深度双向预训练模型和基于span的实体抽取模型获得的模型，基于语义理解的深度双向预训练模型能够利用无标注数据集进行自监督训练，减少了深度学习模型对标注数据的依赖性，基于span的实体抽取策略能够使模型更好的识别嵌套实体，从而获取实体信息。并通过关系分类模型处理实体信息，以获取待处理文本中的实体关系。由此可见，采用本技术所提供的技术方案，能够快速准确的提取税务文本中的实体信息和实体关系信息，从而高效分析税务文本，减少人力物力的浪费。
59.在具体实施中，为了进一步提高税务文本处理模型的性能，需要对税务文本处理模型进行训练。作为优选的实施例，通过基于语义理解的深度双向预训练模型和基于span的实体抽取策略获得模型的过程包括：
60.确定基于语义理解的深度双向预训练模型的初始参数；
61.通过基于语义理解的深度双向预训练模型和基于span的实体抽取模型对监督数据集进行处理，以更新税务文本处理模型的参数。
62.其中，确定基于语义理解的深度双向预训练模型的初始参数包括：通过基于掩盖的语言模型和语句预测模型在无标注税务文本数据中训练，以确定初始参数。
63.在具体实施中，从国家税务总局的官网大规模获取无标注的税务领域的文本语料。利用这些语料制备两个自监督训练任务的数据集。分别是语句预测模型(next sentence prediction，nsp)任务和基于掩盖的语言模型(masked lm，mlm)任务。
64.其中，nsp任务用于根据当前句子预测下一个句子。对于mlm任务，先随机将原始的句子中的若干token用特殊标记《m》替换带，mlm任务的目标是预测被《m》掉的单词，希望能够重构回原来的句子。
65.图2为本技术实施例所提供的bert模型预训练示意图，如图2所示，利用无标注语料即可对tax-chinese-bert模型进行训练。
66.进一步的，将nsp任务和mlm任务的训练结果作为bert模型的初始化权重。并利用在税务领域文本上构建的2个自监督学习任务数据继续在bert模型上进行微调预训练，经过微调预训练获得更加适配与税务领域的预训练模型tax-chinese-bert。
67.需要注意的是，原始的bert模型在训练阶段利用的语料是通用语料，很多税务场景的词可能在训练过程中并未见过，因此这种情况下利用原始的bert提取到的语义特征不
能够精确的表示税务场景中的词语的语义。因此为了能够充分利用大规模预训练模型的语义表示能力，并且使得大规模预训练模型能够更加适配到税法文本领域，在对原始bert模型在无标注的税务预料上采用和bert训练一致的两个自监督训练任务继续进行训练，即在税务领域语料中继续预训练，经过训练优化后的bert模型，更能准确的表达税务领域的语义表示。
68.在上述实施例的基础上，确定基于语义理解的深度双向预训练模型的初始参数包括：通过基于掩盖的语言模型和语句预测模型在无标注税务文本数据中训练，以确定初始参数。
69.作为优选的实施例，调用税务文本处理模型对待处理文本进行处理包括：
70.通过基于语义理解的深度双向预训练模型获取待处理文本的初始实体信息；通过基于span的实体抽取模型对第一实体信息进行处理，以获取实体片段；通过多层感知分类器对实体片段进行处理，以获取实体信息。
71.在具体实施中，为了进一步提高基于span的实体抽取模型的实体抽取准确度，还可以在网络中创建文本规律学习器，并将文本规律学习器的学习结果反馈至基于span的实体抽取模型。
72.图3为本技术实施例所提供的一种税务文本处理模型的结构图，如图3所示，tax-chinese-bert contextual embeddings即为在税务文本中预训练得到的基于语义理解的深度双向预训练模型，在税务文本处理模型训练过程中，若输入文本为“天津的保险企业从事国际航运保险业务取得的收入，免征营业税”，将税务文本输入tax-chinese-bert预训练模型后，模型可以生成相应的嵌入表示。
73.此外，为了能够在模型中融入一定的先验知识，提高模型的性能和学习能力，在序列前端加入连续的提示向量(continuous prompt)。其中，提示向量可以为对税务文本中的实体的定义(或解释)，例如：地点实体业表示xx；纳税人实体表示xx；行业实体表示xx；征收对象实体表示xx；动作实体表示xx；税种实体表示xx。
74.考虑到在抽取税务实体的时候会存在嵌套实体的问题，如“邮政部门、集邮公司销售(包括调拨在内)集邮商品，一律征收营业税，不征收增值税”，“邮政”为行业实体，“邮政部门”则为纳税人实体，即实体之间存在重叠部分。为了能够使得模型识别嵌套实体，采取基于span的实体抽取策略。在获得每个字(即token)的嵌入后，利用头尾双仿射器检测文本中的高质量span，具体来说，头尾双仿射器的输出可以看成一个n*n的矩阵，矩阵的ij表示i开头，j结尾的span，我们希望能构成实体span的对应的cell的指越接近于1，而其他cell越接近于0。
75.同时，考虑到在税法文本中存在特殊规律，例如，通常税率实体是xx％，税种实体是xx税，动作实体是xx征等。可以使模型从这些文本中学习到这些规律，来辅助实体span检测模块，从而提升模型的性能。因此构建文本规律学习器，其输出和头尾双仿射器的输出一致，以便规律学习器的结果可以反馈给头尾双仿射器。
76.作为优选的实施例，通过关系分类模型处理实体信息以获取待处理文本中的实体关系包括：判断是否存在实体关系规则；若存在实体关系规则，则根据实体关系规则确定实体对；若不存在实体关系规则，则通过枚举确定实体对；将实体对输入关系分类模型以获取实体关系。
77.在上述实施例中，对于税务文本处理方法进行了详细描述，本技术还提供税务文本处理装置对应的实施例。需要说明的是，本技术从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
78.图4为本技术实施例所提供的一种税务文本处理装置的结构图，如图4所示，该税务文本处理装置包括：
79.获取模块10，用于获取待处理文本；
80.调用模块11，用于调用税务文本处理模型对待处理文本进行处理，以输出实体信息；其中，税务文本处理模型为结合基于语义理解的深度双向预训练模型和基于span的实体抽取模型获得的模型；
81.实体关系获取模块12，用于通过关系分类模型处理实体信息，以获取待处理文本中的实体关系。
82.由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
83.本实施例提供了一种税务文本处理装置，包括：获取待处理文本，以便于后续提取待处理文本中的实体和实体关系；调用税务文本处理模型对待处理文本进行处理，以输出实体信息；其中，税务文本处理模型为结合基于语义理解的深度双向预训练模型和基于span的实体抽取模型获得的模型，基于语义理解的深度双向预训练模型能够利用无标注数据集进行自监督训练，减少了深度学习模型对标注数据的依赖性，基于span的实体抽取策略能够使模型更好的识别嵌套实体，从而获取实体信息。并通过关系分类模型处理实体信息，以获取待处理文本中的实体关系。由此可见，采用本技术所提供的技术方案，能够快速准确的提取税务文本中的实体信息和实体关系信息，从而高效分析税务文本，减少人力物力的浪费。
84.图5为本技术实施例所提供的另一种税务文本处理装置的结构图，如图5所示，税务文本处理装置包括：存储器20，用于存储计算机程序；
85.处理器21，用于执行计算机程序时实现如上述实施例税务文本处理方法的步骤。
86.本实施例提供的税务文本处理装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
87.其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器(digital signal processor，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(central processing unit，cpu)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有图像处理器(graphics processing unit，gpu)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(artificial intelligence，ai)处理器，该ai处理器用于处理有关机器学习的计算操作。
88.存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多
个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的税务文本处理方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括windows、unix、linux等。数据203可以包括但不限于待处理文本、实体信息等。
89.在一些实施例中，税务文本处理装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
90.本领域技术人员可以理解，图5中示出的结构并不构成对税务文本处理装置的限定，可以包括比图示更多或更少的组件。
91.本技术实施例提供的税务文本处理装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：
92.获取待处理文本；
93.调用税务文本处理模型对待处理文本进行处理，以输出实体信息；其中，税务文本处理模型为结合基于语义理解的深度双向预训练模型和基于span的实体抽取模型获得的模型；
94.通过关系分类模型处理实体信息，以获取待处理文本中的实体关系。。
95.最后，本技术还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
96.可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
97.以上对本技术所提供的税务文本处理方法、装置、介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
98.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

技术特征：
1.一种税务文本处理方法，其特征在于，包括：获取待处理文本；调用税务文本处理模型对所述待处理文本进行处理，以输出实体信息；其中，所述税务文本处理模型为结合基于语义理解的深度双向预训练模型和基于span的实体抽取模型获得的模型；通过关系分类模型处理所述实体信息，以获取所述待处理文本中的实体关系。2.根据权利要求1所述的税务文本处理方法，其特征在于，通过基于语义理解的深度双向预训练模型和基于span的实体抽取策略获得的模型的过程包括：确定基于语义理解的深度双向预训练模型的初始参数；通过所述基于语义理解的深度双向预训练模型和所述基于span的实体抽取模型对监督数据集进行处理，以更新所述税务文本处理模型的参数。3.根据权利要求2所述的税务文本处理方法，其特征在于，所述确定所述基于语义理解的深度双向预训练模型的初始参数包括：通过基于掩盖的语言模型和语句预测模型在无标注税务文本数据中训练，以确定所述初始参数。4.根据权利要求1所述的税务文本处理方法，其特征在于，所述调用税务文本处理模型对所述待处理文本进行处理包括：通过所述基于语义理解的深度双向预训练模型获取所述待处理文本的初始实体信息；通过所述基于span的实体抽取模型对所述第一实体信息进行处理，以获取实体片段；通过多层感知分类器对所述实体片段进行处理，以获取所述实体信息。5.根据权利要求4所述的税务文本处理方法，其特征在于，所述通过所述基于语义理解的深度双向预训练模型和所述基于span的实体抽取模型对监督数据集进行处理包括：将文本规律学习器的学习结果反馈至所述基于span的实体抽取模型。6.根据权利要求2所述的税务文本处理方法，其特征在于，所述监督数据集中的数据均为具有提示向量的税务文本。7.根据权利要求1所述的税务文本处理方法，其特征在于，所述通过关系分类模型处理所述实体信息以获取所述待处理文本中的实体关系包括：判断是否存在实体关系规则；若存在所述实体关系规则，则根据所述实体关系规则确定实体对；若不存在所述实体关系规则，则通过枚举确定所述实体对；将所述实体对输入所述关系分类模型以获取所述实体关系。8.一种税务文本处理装置，其特征在于，包括：获取模块，用于获取待处理文本；调用模块，用于调用税务文本处理模型对所述待处理文本进行处理，以输出实体信息；其中，所述税务文本处理模型为结合基于语义理解的深度双向预训练模型和基于span的实体抽取模型获得的模型；实体关系获取模块，用于通过关系分类模型处理所述实体信息，以获取所述待处理文本中的实体关系。9.一种税务文本处理装置，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的税务文本处理方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的税务文本处理方法的步骤。

技术总结
本申请涉及深度学习领域，公开了一种税务文本处理方法、装置、介质，包括：获取待处理文本，以便于后续提取待处理文本中的实体和实体关系；调用税务文本处理模型对待处理文本进行处理，以输出实体信息；其中，税务文本处理模型为结合基于语义理解的深度双向预训练模型和基于span的实体抽取模型获得的模型，基于语义理解的深度双向预训练模型能够利用无标注数据集进行自监督训练，减少对标注数据的依赖性，基于span的实体抽取策略能够使模型更好的识别嵌套实体，从而获取实体信息。并通过关系分类模型处理实体信息，以获取待处理文本中的实体关系。本方案能够快速准确的提取税务文本中的实体信息和实体关系信息，减少人力物力的浪费。浪费。浪费。


技术研发人员：徐煌 武乐飞 师斌 董博 张浩堃 郑庆华
受保护的技术使用者：税友软件集团股份有限公司
技术研发日：2023.02.16
技术公布日：2023/7/31