一种基于神经网络模型的文本纠错方法与装置与流程

1.本发明涉及文本纠错技术领域，具体为一种基于神经网络模型的文本纠错方法与装置。


背景技术：

2.文本纠错是自然语言处理中的一个非常重要的任务，可以应用在几乎所有的文本处理领域，文本纠错从纠错对象角度可以分为针对单词/错别字的拼写检查(spell check,sc)和语法错误检查(grammatical error diagnosis，ged)。而在输入和读取大量文本的行业领域，对中文文本纠错的需求也越加强烈，因为人工输入文本的错误率高，人工校对的时间成本和金钱成本高昂。
3.因此有必要研究一个工具，能实现批量快捷处理文本，对文本中的拼写及语法错误做出检查，并提出修改建议。
4.本发明提出了基于神经网络模型transformers的文本纠错方法与装置，依照原型工具的运行逻辑，将原型工具划分为三个层次进行设计。本工具沿用了传统的三层架构，结合纠错工具的功能，构建原型工具的逻辑架构。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明提供了一种基于神经网络模型的文本纠错方法与装置，沿用了传统的三层架构，结合纠错工具的功能，构建原型工具的逻辑架构，依照原型工具的运行逻辑，将原型工具划分为三个层次进行设计。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：
9.第一方面，本发明提供了一种基于神经网络模型的文本纠错装置，包括：
10.服务层，位于原型工具的逻辑架构底层，包含机器学习模型和一些工具类，用于提供基础的计算能力对输入的文本预处理、拆分、运算和解析，再将解析后的结果以json格式返回给业务逻辑层；
11.业务层，通过fastapi提供的接口与上层前端进行数据传输，将底层模型提供的输入输出方法封装成工具类的接口提供其他业务接口调用；
12.表现层，以web前端展示给用户，用于接收数据和显示数据，接收后端返回的结果后将中文文本中的错误信息转换成不同颜色的标签高亮，将纠正建议显示在页面右侧，以便用户对比。优选的，所述业务层负责负载控制和更高级的数据处理工作。
13.优选的，所述文本纠错类型包括错别字纠正、语法纠正和自定义纠正。
14.优选的，所述业务层根据用户的输入、优先级和负载控制情况控制输入给基础层的数据量和顺序，同时将用户输入的文本和上传的文件数据处理成json格式文件。
15.优选的，所述表现层为一种交互式操作的界面。
16.第二方面，本发明还提供了一种基于神经网络模型的文本纠错方法，具体包括以下步骤：
17.s1、通过web页面获取待检查文本；
18.s2、根据需求选择信号按照预设纠正模式进行文本处理，所述预设纠正模式包括“错别字纠正”、“语法纠正”和“自定义纠正”；
19.s3、工具处理后，展示文本中存在的不同种类错误，并提供纠正建议以选择是否进行修改；
20.s4、修改对应内容后，导出文件。优选的，所述步骤s2中文本处理具体包括以下步骤：
21.t1、先将步骤s1中上传待检查文本转化为句子格式和json形式并保存；
22.t2、分别选择“错别字纠正”、“语法纠正”和“自定义纠正”算法处理相应文本信息。
23.优选的，所述步骤s3中选择是否进行修改，也支持取消指定错误提示。
24.优选的，所述方法还包括：同时使用邻近字符特征的中文文本错误监测和自定义中文语法纠错进行文本纠错。
25.优选的，所述纠错方法还包括：使用多层升级网络算法，将文本序列标注转为图边分类任务，构造中文文本错误监测模型以提升文本错误检测性能。
26.第三方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述基于神经网络模型的文本纠错方法。
27.(三)有益效果
28.本发明提供了一种基于神经网络模型的文本纠错方法与装置。与现有技术相比具备以下有益效果：
29.(1)、该基于神经网络模型的文本纠错方法与装置，通过融合邻近字符特征的中文文本错误监测方法和自定义中文语法纠错方法，基于深度学习框架pytorch，设置不同策略，多轮纠错，提升文本数据纠错性能。
30.(2)、该基于神经网络模型的文本纠错方法与装置，通过使用多层升级网络算法，将文本序列标注转为图边分类任务，构造中文文本错误监测模型，提升文本错误检测性能。
31.(3)、该基于神经网络模型的文本纠错方法与装置，通过前后端分离，后端使用fastapi框架处理网络请求，前端使用vue架构开发网页应用，实现美观简洁的交互体验，构造基于技术文档文件常用数据集，基于trie树及bilstm-crf的序列标注模型对算法处理后的数据进行标注，设置标签，再经由前端vue展示到web界面，方便用户比对。
附图说明
32.图1为本发明基于神经网络模型的文本纠错装置的结构框图；
33.图2为本发明基于神经网络模型的文本纠错方法的流程图；
34.图3为本发明基于神经网络模型transformers的文本纠错工具的示意图；
35.图4为本发明基于神经网络模型transformers的文本纠错工具以web前端展示的示意图；
36.图5为本发明基于神经网络模型transformers的文本纠错方法的流程的示意图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.请参阅图1，本发明实施例提供一种技术方案：一种基于神经网络模型的文本纠错装置，包括：
39.服务层1，位于原型工具的逻辑架构底层，包含机器学习模型和一些工具类，用于提供基础的计算能力对输入的文本预处理、拆分、运算和解析，再将解析后的结果以json格式返回给业务逻辑层。服务层1，通常部署在cpu服务器上；在此服务层输入的是批量的文本数据，然后对输入的文本预处理、拆分、运算和解析，再将解析后的结果以json格式返回给业务逻辑层；
40.业务层2，通过fastapi提供的接口与上层前端进行数据传输，将底层模型提供的输入输出方法封装成工具类的接口提供其他业务接口调用。业务层2根据用户的输入、优先级和负载控制情况控制输入给基础层的数据量和顺序，同时将用户输入的文本和上传的文件数据处理成json格式文件。
41.表现层3，以web前端展示给用户，用于接收数据和显示数据，接收后端返回的结果后将中文文本中的错误信息转换成不同颜色的标签高亮，将纠正建议显示在页面右侧，以便用户对比。
42.本实施例的基于神经网络模型的文本纠错装置，通过服务层1、业务层2和表现层3实现了文本纠错，并将中文文本中的错误信息转换成不同颜色的标签高亮，将纠正建议显示在页面右侧，以便用户对比。
43.本发明实施例中，业务层负责负载控制和更高级的数据处理工作。
44.本发明实施例中，文本纠错类型包括错别字纠正、语法纠正和自定义纠正。
45.本发明实施例中，业务层根据用户的输入、优先级和负载控制情况控制输入给基础层的数据量和顺序，同时将用户输入的文本和上传的文件数据处理成json格式文件，以提高文本纠错的准确性。
46.本发明实施例中，表现层为一种交互式操作的界面。具体的，基于trie树及bilstm-crf的序列标注模型对算法处理后的数据进行标注，设置标签，再经由前端vue展示到web界面，方便用户比对。
47.如图2所示，本发明实施例还提供了一种基于神经网络模型的文本纠错方法，具体包括以下步骤：
48.s1、通过web页面获取待检查文本；
49.s2、根据需求选择信号按照预设纠正模式进行文本处理，所述预设纠正模式包括“错别字纠正”、“语法纠正”和“自定义纠正”；
50.s3、工具处理后，展示文本中存在的不同种类错误，并提供纠正建议以选择是否进行修改；
51.s4、修改对应内容后，导出文件。
52.本实施例的基于神经网络模型的文本纠错方法，根据需求选择信号按照预设纠正
模式进行文本处理，工具处理后，展示文本中存在的不同种类错误，并提供纠正建议以选择是否进行修改，提高了文件纠错的准确性和方便性。
53.本发明实施例，步骤s2中文本处理具体包括以下步骤：
54.t1、先将步骤s1中上传待检查文本转化为句子格式和json形式并保存；
55.t2、分别选择“错别字纠正”、“语法纠正”和“自定义纠正”算法处理相应文本信息。
56.本发明实施例，步骤s3中选择是否进行修改，也支持取消指定错误提示。
57.本发明实施例，所述方法还包括：同时使用邻近字符特征的中文文本错误监测和自定义中文语法纠错进行文本纠错，提高文件纠错的准确性。
58.本发明实施例，所述方法还包括：使用多层升级网络算法，将文本序列标注转为图边分类任务，构造中文文本错误监测模型以提升文本错误检测性能。
59.下面以基于神经网络模型transformers为例，具体说明基于神经网络模型transformers的文本纠错方法与工具。
60.如图3所示，基于神经网络模型transformers的文本纠错工具中，依照原型工具的运行逻辑，将原型工具划分为三个层次进行设计。本工具沿用了传统的三层架构，结合纠错工具的功能，构建原型工具的逻辑架构。具体描述如下：
61.(一)服务层
62.位于原型工具的逻辑架构底层，包含机器学习模型和一些工具类，提供基础的计算能力，通常部署在cpu服务器上。在此服务层输入的是批量的文本数据，主要负责对输入的文本预处理、拆分、运算和解析。将解析后的结果以json格式返回给业务逻辑层。
63.(二)业务层
64.通过fastapi提供的接口与上层前端进行数据传输，将底层模型提供的输入输出方法封装成工具类的接口提供其他业务接口调用。负责负载控制和更高级的数据处理工作。根据用户的输入、优先级和负载控制情况控制输入给基础层的数据量和顺序，同时将用户输入的文本和上传的文件等数据处理成json格式文件，并能够对服务层的预测结果进行格式化输出等操作。
65.(三)表现层
66.主要以web前端展示给用户，用于接收数据和显示数据，提供一种交互式操作的界面。接收后端返回的结果后将中文文本中的错误信息转换成不同颜色的标签高亮，将纠正建议显示在页面右侧，以便用户对比。
67.如图4所示，本实施例的基于神经网络模型transformers的文本纠错工具以web前端展示给用户，用户可以通过页面快速打开，文本纠错类型包括错别字纠正、语法纠正和自定义纠正。错别字纠正可以实现拼写错误纠正，适用于文案处理；语法纠正可以实现语法错误纠正，适用于负责用途文件；自定义纠正可以自定义纠正措施，多算法策略实现。
68.本工具融合邻近字符特征的中文文本错误监测方法和自定义中文语法纠错方法。使用多层升级网络算法，将文本序列标注转为图边分类任务，构造中文文本错误监测模型，提升文本错误检测性能。前后端分离，后端使用fastapi框架处理网络请求，前端使用vue架构开发网页应用，实现美观简洁的交互体验。
69.如图5所示，使用如图3所示的基于神经网络模型transformers的文本纠错工具实现文本纠错的方法流程如下：
70.s11、上传待检查文本。具体的，用户登录web页面，上传待检查文本。
71.s12、工具处理文本，转化为句子格式，json形式保存。
72.s13、选择不同算法处理相应文本信息，如识别错别字，语法错误等。具体的，根据需求选择“错别字纠正”、“语法纠正”、“自定义纠正”，进行文本处理。
73.s14、根据设置返回处理完毕文档，对错误及修改高亮。具体的，工具处理后，展示文本中存在的不同种类错误，用户可以点击标记获取纠正建议，并选择是否进行修改，也支持取消指定错误提示。
74.s15、修改对应内容后，导出文件。
75.基于神经网络模型transformers的文本纠错工具和文本纠错方法，基于深度学习框架pytorch，设置不同策略，多轮纠错，提升文本数据纠错性能；基于trie树及bilstm-crf的序列标注模型对算法处理后的数据进行标注，设置标签，再经由前端vue展示到web界面，方便用户比对；构造基于技术文档文件常用数据集，提高了文件纠错的适用范围和准确性。本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行基于神经网络模型的文本纠错方法。
76.对应于上述方法，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述方法的步骤。
77.本发明实施例所提供的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
78.在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
79.又例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，再例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
80.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
81.另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
82.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
83.同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
84.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
85.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于神经网络模型的文本纠错装置，其特征在于：包括：服务层，位于原型工具的逻辑架构底层，包含机器学习模型和一些工具类，用于提供基础的计算能力对输入的文本预处理、拆分、运算和解析，再将解析后的结果以json格式返回给业务逻辑层；业务层，通过fastapi提供的接口与上层前端进行数据传输，将底层模型提供的输入输出方法封装成工具类的接口提供其他业务接口调用；表现层，以web前端展示给用户，用于接收数据和显示数据，接收后端返回的结果后将中文文本中的错误信息转换成不同颜色的标签高亮，将纠正建议显示在页面右侧，以便用户对比。2.根据权利要求1所述的一种基于神经网络模型的文本纠错装置，其特征在于：所述文本纠错类型包括错别字纠正、语法纠正和自定义纠正。3.根据权利要求1所述的一种基于神经网络模型的文本纠错装置，其特征在于：所述业务层根据用户的输入、优先级和负载控制情况控制输入给基础层的数据量和顺序，同时将用户输入的文本和上传的文件数据处理成json格式文件。4.根据权利要求1所述的一种基于神经网络模型的文本纠错装置，其特征在于：所述表现层为一种交互式操作的界面。5.一种实施权利要求1-4任意一项所述基于神经网络模型的文本纠错装置的文本纠错方法，其特征在于：具体包括以下步骤：s1、通过web页面获取待检查文本；s2、根据需求选择信号按照预设纠正模式进行文本处理，所述预设纠正模式包括“错别字纠正”、“语法纠正”和“自定义纠正”；s3、工具处理后，展示文本中存在的不同种类错误，并提供纠正建议以选择是否进行修改；s4、修改对应内容后，导出文件。6.根据权利要求5所述的一种基于神经网络模型的文本纠错方法，其特征在于：所述步骤s2中文本处理具体包括以下步骤：t1、先将步骤s1中上传待检查文本转化为句子格式和json形式并保存；t2、分别选择“错别字纠正”、“语法纠正”和“自定义纠正”算法处理相应文本信息。7.根据权利要求5所述的一种基于神经网络模型的文本纠错方法，其特征在于：所述步骤s3中选择是否进行修改，也支持取消指定错误提示。8.根据权利要求5所述的一种基于神经网络模型的文本纠错方法，其特征在于，所述方法还包括：同时使用邻近字符特征的中文文本错误监测和自定义中文语法纠错进行文本纠错。9.根据权利要求8所述的一种基于神经网络模型的文本纠错方法，其特征在于，所述纠错方法还包括：使用多层升级网络算法，将文本序列标注转为图边分类任务，构造中文文本错误监测模型以提升文本错误检测性能。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求5-9中任一项所述的方法。

技术总结
本发明公开了一种基于神经网络模型的文本纠错方法与装置，通过服务层，位于原型工具的逻辑架构底层，包含机器学习模型和一些工具类，用于提供基础的计算能力对输入的文本预处理、拆分、运算和解析，再将解析后的结果以json格式返回给业务逻辑层；业务层，通过FastAPI提供的接口与上层前端进行数据传输，将底层模型提供的输入输出方法封装成工具类的接口提供其他业务接口调用；表现层，以web前端展示给用户，用于接收数据和显示数据，接收后端返回的结果后将中文文本中的错误信息转换成不同颜色的标签高亮，将纠正建议显示在页面右侧，以便用户对比。便用户对比。便用户对比。


技术研发人员：陈李雯 李华庆 王宁 周倩鑫 刘晶晶 徐子汉
受保护的技术使用者：合芯科技有限公司
技术研发日：2023.05.04
技术公布日：2023/8/28