一种解析问答推理过程的迭代检索方法、装置及介质

1.本发明涉及一种检索方法、装置及介质，特别是涉及一种解析问答推理过程的迭代检索方法、装置及计算机存储介质。


背景技术：

2.问答（question answering，qa）系统在自然语言处理（natural language processing，nlp）任务中发挥着重要作用，被广泛应用于医疗、税务和法律等领域。其中，阅读理解类问答衍生出了包括抽取、多项选择等多种检索形式。虽然目前最先进的语言模型在多个阅读理解问答任务中表现优异，但是缺乏对推理答案的解释，即不明确模型是通过对支撑文本真正的理解和检索还是通过查询训练模型参数矩阵中所编码的特定事实等非正规推理方式得出答案。因此对问题推理过程的解读研究是很有必要的，可以有效推动问答响应能力的改善，特别是在多跳qa任务中需要聚合多个推理事实的情形，以回应复杂的自然语言问题，如图1所示为一个多跳问答示例，若要回答此问题，需要基于多个推理事实。
3.在问答任务中对模型推理答案过程解析的相关研究大致可分为两类：第一类是有监督方法，通过输入带注释的证据训练语言模型，以识别由文本关键字驱动的正确推理句。公开号cn115640410a的中国专利提出了一种利用重排序方法聚合语义关联度进行实体消歧，以及利用强化学习推理路径生成优化可解释性的知识图谱多跳问答方法，对问答推理路径的研究需要依赖于使用训练数据进行论证，而这些监督数据需求量大且生成成本较高。第二类是无监督方法，公开号cn115455159a的中国专利使用基于改进词频的余弦相似度进行在线问答问题匹配，匹配方式严格要求两个向量所有维度都有数值，但未考虑实际维度缺失值的情况。公开号cn114490949a的中国专利为传统的信息检索模型，计算词和文本的相关性，然后再把分数做累加操作，以进行检索，其被广泛用于匹配独立的句子，无法对具有关联性的句子进行检索。


技术实现要素：

4.针对上述现有技术的缺陷，本发明提供了一种解析问答推理过程的迭代检索方法，针对多跳问答数据集解析其响应答案的推理过程，在保证准确率的同时增加问答的可解释性。本发明提供了一种解析问答推理过程的迭代检索装置以及一种计算机存储介质。
5.本发明技术方案如下：一种解析问答推理过程的迭代检索方法，包括以下步骤：步骤一、将串联的问题和答案进行词切分构成查询词集合；步骤二、使用glove词嵌入对所述查询词集合以及所述查询词集合对应的支撑段落文本句集合进行词嵌入获得查询词嵌入矩阵和支撑文本的词嵌入矩阵；步骤三、对所述查询词嵌入矩阵和支撑文本的词嵌入矩阵进行person相关性计算得到相关性矩阵；步骤四、由所述相关性矩阵与每个词的idf值对齐结果加权得到查询词集合与支撑段落文本句集合中一个句子匹配结果向量，取最大对齐分数即为本次迭代检索的最佳推理句；步骤五、从查询词集合去除当前最佳推理句所包含的词构建新一轮检索的查询词集合及对应查询词嵌入矩阵；步骤六、重复步骤三至五进行迭
代检索至迭代结束获得所有支撑针对问题所给出答案的推理句。
6.进一步地，所述步骤二中使用glove词嵌入是使用预训练完成的glove进行200维词嵌入。
7.进一步地，所述步骤三进行person相关性计算得到相关性矩阵包括：首先对查询词嵌入矩阵中某一特征词向量与支撑文本的词嵌入矩阵中单句的词嵌入矩阵计算pearson相关性，然后逐行最大池化得到所述相关性矩阵，为查询词嵌入矩阵中单词的特征词向量，为支撑文本中第句的词嵌入矩阵，为支撑文本中第句的词集合。
8.进一步地，所述步骤四中匹配结果向量为，取最大对齐分数为，其中为查询词嵌入矩阵，为支撑文本中第句的词嵌入矩阵，为查询词嵌入矩阵中单词的特征词向量，为查询词嵌入矩阵中单词数量，为支撑段落文本句集合中候选句数量，为迭代轮数。
9.进一步地，所述步骤五中从查询词集合去除当前最佳推理句所包含的词是通过设定相似度阈值，当某个词的相关性矩阵结果大于等于所述相似度阈值时表示被当前最佳推理句所包含。
10.本发明还提供一种解析问答推理过程的迭代检索装置，包括：预处理模块：所述预处理模块用于将串联的问题和答案进行词切分构成查询词集合；词嵌入模块：所述词嵌入模块用于使用glove词嵌入对所述查询词集合以及所述查询词集合对应的支撑段落文本句集合进行词嵌入获得查询词向量和支撑文本向量；相关性计算模块：所述相关性计算模块用于对所述查询词向量和支撑文本向量进行person相关性计算得到相关性矩阵；加权匹配模块：所述加权匹配模块用于由所述相关性矩阵与每个词的idf值对齐结果加权得到查询词集合与支撑段落文本句集合中一个句子匹配结果向量，取最大对齐分数即为本次迭代检索的最佳推理句；重构模块：所述重构模块用于从查询词集合去除当前最佳推理句所包含的词构建新一轮检索的查询词集合及对应查询词嵌入矩阵；以及，迭代模块：所述迭代模块用于重复调用相关性计算模块、加权匹配模块和重构模块进行迭代检索至迭代结束获得所有支撑针对问题所给出答案的推理句。
11.进一步地，所述词嵌入模块中使用glove词嵌入是使用预训练完成的glove进行200维词嵌入。
12.进一步地，所述相关性计算模块进行person相关性计算得到相关性矩阵包括：首先对查询词嵌入矩阵中某一特征词向量与支撑文本的词嵌入矩阵中单句的词嵌入矩阵计算pearson相关性，然后逐行最大池化得到
所述相关性矩阵，为查询词嵌入矩阵中单词的特征词向量，为支撑文本中第句的词嵌入矩阵，为支撑文本中第句的词集合。
13.进一步地，所述加权匹配模块中所述匹配结果向量为，取最大对齐分数为，其中为查询词嵌入矩阵，为支撑文本中第句的词嵌入矩阵，为查询词嵌入矩阵中单词的特征词向量，为查询词嵌入矩阵中单词数量，为支撑段落文本句集合中候选句数量，为迭代轮数。
14.进一步地，所述重构模块中从查询词集合去除当前最佳推理句所包含的词是通过设定相似度阈值，当某个词的相关性矩阵结果大于等于所述相似度阈值时表示被当前最佳推理句所包含。
15.本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述解析问答推理过程的迭代检索方法。
16.本发明提出了以pearson相关系数为匹配技术的无监督检索模型，为集成稠密向量对语义的编码和稀疏向量对词汇的编码各自的优势，采用较优的词嵌入表征，为了评估一个词对一个句子的重要程度，使用idf进行加权。模型以无监督、递进式、多轮迭代式检索多跳问答中所有用于支持问题回答的推理句。本发明所提供的技术方案的优点在于：1、采用以pearson相关系数为主要匹配模块衡量查询词集合与支撑段落文本句集合的相似程度，以glove嵌入为词编码模块获取单词高质量的向量表示，保证语义、语法相似的词语在向量空间中距离相近，借助idf加权模块评估词语对句子的重要程度，三者巧妙结合可有效解决匹配文本向量缺失值的问题、增加检索的准确率。同时重构了检索流程，所构造的多轮迭代机制，比传统的单轮检索方式得到的推理句更具全面性与关联性，对于复杂的多跳问题的推理过程解析具有较优的性能。
17.2、有别于先前的监督方式，本发明检索方法是完全无监督的，不需要任何的监督训练数据，且基于的支撑语料为非结构化文本，无需构建结构化知识库，节省了构建支撑文本数据的成本。
附图说明
18.图1为聚合多个推理事实的多跳问答示例。
19.图2为本发明解析问答推理过程的迭代检索方法的示意图。
20.图3为本发明针对一个问答的具体实例检索方法示意图。
21.图4为使用mrpc任务验证推理句有效性模型。
22.图5为使用交叉熵损失验证推理句有效性模型。
具体实施方式
23.下面结合实施例对本发明作进一步说明，应理解这些实施例仅用于说明本发明而
不用于限制本发明的范围，在阅读了本说明之后，本领域技术人员对本说明的各种等同形式的修改均落于本技术所附权利要求所限定的范围内。
24.请结合图1所示，本发明实施例为解析问答推理过程的迭代检索方法，首先对多跳问答公开数据集进行下载，在开源数据集网站获取了multirc、hotpotqa数据集，后续包括的步骤如下：步骤一、数据预处理。
25.为了让数据以规定的格式输入到模型中，本发明需将下载得到的源文本数据txt格式转化成json文件。首先，针对multirc数据集，选择语料库答案属性“isanswer”的属性值为“true”的正样本，以确保答案的正确性。另外由于hotpotqa数据集包含不同跳数的问答样本，将不同跳数类别数据分离，抽取2-5跳问答文本。将支撑段落以句号为界划分为若干候选推理句，以序号编排顺序。其次通过nltk库lower、tokenizer等工具将文本进行小写、词句切分等操作并进行筛选停顿词，剔除对于文本匹配无意义的文本数据，其中将串联的问题和答案进行词切分构成查询词集合。接着将问题、答案、推理句标签序号、支撑文本句转换成json文件格式，并将从json文件中读取的数据作为模型所需的文本输入数据。
26.步骤二、使用glove词嵌入对文本进行编码。
27.为了将具有相似意义的词具有相似的表示，将词汇映射到实数向量，本发明使用glove词嵌入对查询词集合以及查询词集合对应的支撑段落文本句集合进行词嵌入编码。传统的word2vec在词编码的时候基于局部窗口信息，而glove联系篇章全局信息，这样在信息检索时经glove编码的词向量更多地关注与整个段落的关系。另外对于glove不同维度的嵌入，低维度编码捕获上下文语义信息，高维度编码关注词汇信息。本发明使用的200维度编码效果达到最好，其在两者之间做了一个平衡，集成了二者的编码优势。
28.具体的使用预训练完成的glove的200维词嵌入获得查询词嵌入矩阵和支撑文本的词嵌入矩阵，，
29.。
30.式中为待检索的查询词集合，为查询集词嵌入矩阵，为查询词集合中单词数量，为支撑文本中第句的词嵌入矩阵，为支撑文本中第句的单词数量，为支撑文本中第句的词集合。
31.步骤三、对查询词嵌入矩阵和支撑文本的词嵌入矩阵进行person相关性计算得到相关性矩阵。
32.本发明使用pearson相关系数作为衡量查询词嵌入矩阵和支撑文本的词嵌入矩阵相似度的算法，其在余弦相似度上做出了优化，对矩阵向量的值进行中心化处理，即对查询词嵌入矩阵和支撑文本的词嵌入矩阵中的所有维度都减去元素的平均值，中心化后所有维度的平均值为0，另外对中心化结果中所有空值位置赋值为0，再对结果进行余弦计算。
33.具体为，对查询词嵌入矩阵中某一特征词向量与支撑文本的词嵌入矩阵中单句的词嵌入矩阵计算pearson相关性，。
34.然后逐行最大池化得到特征词与支撑文本的第句相关性矩阵，。
35.为查询词嵌入矩阵中单词的特征词向量。
36.步骤四、idf编码加权。
37.传统文本挖掘计算中将所有特征词的权重看作是相同的，而在实际应用中并不相等。若某些特征词在其他文档中很少出现或不出现，那么这个词有较好的类别区分性。
38.本步骤首先在语料训练集中离线计算得出每个词的idf值，由相关性矩阵与每个词的idf值对齐结果加权，
39.。
40.得到查询词集合与支撑段落文本句集合中一个句子匹配结果向量，全部计算完成后取最大对齐分数即为本次迭代检索的最佳推理句，
41.。
42.其中为支撑段落文本句集合中候选句数量，为迭代轮数。
43.步骤五、重构查询词嵌入矩阵。
44.确定本次迭代哪些词被句涵盖，从查询词集合去除当前最佳推理句所包含的词构建新一轮检索的查询词集合及对应查询词嵌入矩阵，以驱动剩余词进行下一次迭代。具体的，设置相似度阈值threshold，某项对齐结果若大于阈值，则表示涵盖该词，。
45.将对齐分数结果二值化后，获取值为1位置的索引，该索引即为被覆盖词所在位置，。
46.去除当前最佳推理句所包含的词，构建新一轮待检索查询集，。
47.如图3所示，第一次检索出的推理句包含[happens, turn, color, fall]，除去已检索得到的推理句所覆盖的词，构建新一轮的查询集[leaf, autumn, many, part, world]。
[0048]
步骤六、重复步骤三至五进行迭代检索至迭代结束获得所有支撑针对问题所给出答案的推理句。
[0049]
迭代检索设置如下两个停止条件，一种情况是，检索出的推理句中包含全部的最初查询词，即当查询集为空时。另一种情况是，当判定最近一轮的检索中查询集未发生改变，
。
[0050]
如图3所示，第三轮迭代后查询集中只包含[happens]，因支撑文本中未包含该词，无法在新一轮迭代中覆盖该词，查询集未发生改变，迭代结束。以上步骤完成了对阅读理解类多跳问题推理过程的检索，提取出用于解释给定答案的推理句，便于细致解读答案推理的整个过程。
[0051]
应当指出的是，上述实施例的具体方法可形成计算机程序产品，因此，本技术实施的计算机程序产品可存储在一个或多个计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上。
[0052]
本发明的另一实施例为解析问答推理过程的迭代检索装置，其包括：预处理模块、词嵌入模块、相关性计算模块、加权匹配模块、重构模块和迭代模块。
[0053]
其中，预处理模块用于实现前述实施例的步骤一，将串联的问题和答案进行词切分构成查询词集合。词嵌入模块用于实现前述实施例的步骤二，使用glove词嵌入对查询词集合以及查询词集合对应的支撑段落文本句集合进行词嵌入获得查询词向量和支撑文本向量。相关性计算模块用于实现前述实施例的步骤三，对查询词向量和支撑文本向量进行person相关性计算得到相关性矩阵。加权匹配模块用于实现前述实施例的步骤四，由相关性矩阵与每个词的idf值对齐结果加权得到查询词集合与支撑段落文本句集合中一个句子匹配结果向量，取最大对齐分数即为本次迭代检索的最佳推理句。重构模块用于实现前述实施例的步骤五，从查询词集合去除当前最佳推理句所包含的词构建新一轮检索的查询词集合及对应查询词嵌入矩阵。迭代模块用于实现前述实施例的步骤六，重复调用相关性计算模块、加权匹配模块和重构模块进行迭代检索至迭代结束获得所有支撑针对问题所给出答案的推理句。
[0054]
为了验证本发明的技术效果，进行以下实验。
[0055]
实验环境本发明的实验环境：ubuntu 16.04，处理器型号为intel core i5-11400f，内存大小为16gb，gpu为4块p100，显存大小为64gb。本发明实验代码基于python实现。
[0056]
实验结果本发明为更好比较算法的优势，使用四种对比方法实验，均为无监督检索算法，包括用来做相似度评分的bm25算法，包括以无监督、非参数策略检索相似文本的autorocc算法，包括以无监督方式计算答案和每个段落句子之间词的相关性作为查找最相似句子关键的mss算法，包括msswq算法，类似于mss的设置，但使用问题文本和答案作为查找最相似段落句子的关键。
[0057]
本发明在检索阶段采用国际通用评价标准精确率p（precision）、召回率r（recall）、f值（f-measure）对实验结果进行评价。
[0058]
表1 推理句检索实验结果
[0059]
从表1可以看出，本发明与其他四种方法相比，展现出较优的性能，在multirc数据集上三项指标分别高出对比模型msswq 2.4%、1.8%和2.1%，说明本发明方法在检索问答推理句方面是有效的，另外autorocc特有的句子选择策略在召回率r上效果较优，但缺少与监督模型的结合造成了在f1和精确率p上的失衡。在hotpotqa数据集上可以看到，三项指标平均高出对比模型msswq 4.7%、2.6%和3.7%，另外检索模型在5跳语料的检索召回率指标上逊于autorocc性能。除此之外，检索模型在2-4跳表现出更好的性能，由于autorocc在精确率和调和平均值指标性能上远不及本发明方法，本发明方法在三项指标上具有良好的平衡性。
[0060]
为验证检索得到的multirc推理句对回答问题的有效性，将预训练模型改造成mrpc（the microsoft research paraphrase corpus）相似性和释义的二分类任务，判断问答文本和推理句文本是否在句子层面上同义，即当给定问题时，判断答案能否根据推理句得出，实验模型如图4所示。为验证检索得到的hotpotqa推理句的有效性，使用预训练语言模型进行初始化，在输出端应用一个全连接网络来预测每个词作为答案开始和结束位置的概率，训练中的损失是这些预测的交叉熵开始和结束的真实位置，实验模型如图5所示。
[0061]
为验证检索得到的推理句在问答任务中的有效性，本发明选用的深度学习模型包括multee（glove）、multee（elmo）、rs、xlnet 以及bert系列。采用国际通用评价标准f1、宏f1、微f1、em（exact match）对实验结果进行评价。
[0062]
训练阶段的语料文本采用标准的推理句及答案，测试阶段的推理句取自前一阶段模型的检索文本，实验结果如表2、3所示，表3中两指标的结果是2-5跳数据集结果的平均值。另外预训练语言模型（如bert系列）在两类实验中都有使用，为在后续评价分析中有效区分，在模型后加以标注[m/h]，m表示multirc数据集，h表示hotpotqa数据集。
[0063]
表2 multirc数据集推理句判断实验结果
[0064]
表3 hotpotqa数据集推理句判断实验结果
[0065]
表2显示bertlarge[m]模型以相似性或释义任务格式判断问题|答案与前一阶段
检索得到的推理句是否在语义上等效，结果达到了较高的分数， 和两项指标分别超过模型roberta 2.0%和0.5%，说明推理句被应用于正确回答问题方面的有效性。表3显示使用预训练语言模型验证推理句在答案推理方面的性能，em的可观结果表明，预训练语言模型根据推理句能够完全正确地回答超过半数的问题，bertlarge[h]模型完全正确回答问题的数量到达三分之二，另外所使用的预训练语言模型在f1指标上均超过69%，说明通过高效地聚合多个推理句子，利用其中逻辑性、关联性，有助于正确、可靠地推导出问题答案。
[0066]
因此，本发明提出的一种解析问答推理过程的多轮迭代检索算法能够很好地检索回答问答的推理句，所得文本句之间具备关联性，增加问答的可解释性。

技术特征：
1.一种解析问答推理过程的迭代检索方法，其特征在于，包括以下步骤：步骤一、将串联的问题和答案进行词切分构成查询词集合；步骤二、使用glove词嵌入对所述查询词集合以及所述查询词集合对应的支撑段落文本句集合进行词嵌入获得查询词嵌入矩阵和支撑文本的词嵌入矩阵；步骤三、对所述查询词嵌入矩阵和支撑文本的词嵌入矩阵进行person相关性计算得到相关性矩阵；步骤四、由所述相关性矩阵与每个词的idf值对齐结果加权得到查询词集合与支撑段落文本句集合中一个句子匹配结果向量，取最大对齐分数即为本次迭代检索的最佳推理句；步骤五、从查询词集合去除当前最佳推理句所包含的词构建新一轮检索的查询词集合及对应查询词嵌入矩阵；步骤六、重复步骤三至五进行迭代检索至迭代结束获得所有支撑针对问题所给出答案的推理句。2.根据权利要求1所述的解析问答推理过程的迭代检索方法，其特征在于，所述步骤二中使用glove词嵌入是使用预训练完成的glove进行200维词嵌入。3.根据权利要求1所述的解析问答推理过程的迭代检索方法，其特征在于，所述步骤三进行person相关性计算得到相关性矩阵包括：首先对查询词嵌入矩阵中某一特征词向量与支撑文本的词嵌入矩阵中单句的词嵌入矩阵计算pearson相关性，然后逐行最大池化得到所述相关性矩阵，为查询词嵌入矩阵中单词的特征词向量，为支撑文本中第句的词嵌入矩阵，为支撑文本中第句的词集合。4.根据权利要求1所述的解析问答推理过程的迭代检索方法，其特征在于，所述步骤四中匹配结果向量为，取最大对齐分数为，其中为查询词嵌入矩阵，为支撑文本中第句的词嵌入矩阵，为查询词嵌入矩阵中单词的特征词向量，为查询词嵌入矩阵中单词数量，为支撑段落文本句集合中候选句数量，为迭代轮数。5.根据权利要求1所述的解析问答推理过程的迭代检索方法，其特征在于，所述步骤五中从查询词集合去除当前最佳推理句所包含的词是通过设定相似度阈值，当某个词的相关性矩阵结果大于等于所述相似度阈值时表示被当前最佳推理句所包含。6.一种解析问答推理过程的迭代检索装置，其特征在于，包括：预处理模块：所述预处理模块用于将串联的问题和答案进行词切分构成查询词集合；词嵌入模块：所述词嵌入模块用于使用glove词嵌入对所述查询词集合以及所述查询词集合对应的支撑段落文本句集合进行词嵌入获得查询词向量和支撑文本向量；相关性计算模块：所述相关性计算模块用于对所述查询词向量和支撑文本向量进行person相关性计算得到相关性矩阵；加权匹配模块：所述加权匹配模块用于由所述相关性矩阵与每个词的idf值对齐结果加权得到查询词集合与支撑段落文本句集合中一个句子匹配结果向量，取最大对齐分数即为本次迭代检索的最佳推理句；重构模块：所述重构模块用于从查询词集合去除当前最佳推理句所包含的词构建新一轮检索的查询词集合及对应查询词嵌入矩阵；以及，
迭代模块：所述迭代模块用于重复调用相关性计算模块、加权匹配模块和重构模块进行迭代检索至迭代结束获得所有支撑针对问题所给出答案的推理句。7.根据权利要求6所述的解析问答推理过程的迭代检索装置，其特征在于，所述词嵌入模块中使用glove词嵌入是使用预训练完成的glove进行200维词嵌入。8.根据权利要求6所述的解析问答推理过程的迭代检索装置，其特征在于，所述相关性计算模块进行person相关性计算得到相关性矩阵包括：首先对查询词嵌入矩阵中某一特征词向量与支撑文本的词嵌入矩阵中单句的词嵌入矩阵计算pearson相关性，然后逐行最大池化得到所述相关性矩阵，为查询词嵌入矩阵中单词的特征词向量，为支撑文本中第句的词嵌入矩阵。9.根据权利要求6所述的解析问答推理过程的迭代检索装置，其特征在于，所述加权匹配模块中所述匹配结果向量为，取最大对齐分数为，其中为查询词嵌入矩阵，为支撑文本中第句的词嵌入矩阵，为查询词嵌入矩阵中单词的特征词向量，为查询词嵌入矩阵中单词数量，为支撑段落文本句集合中候选句数量，为迭代轮数。10.根据权利要求6所述的解析问答推理过程的迭代检索装置，其特征在于，所述重构模块中从查询词集合去除当前最佳推理句所包含的词是通过设定相似度阈值，当某个词的相关性矩阵结果大于等于所述相似度阈值时表示被当前最佳推理句所包含。11.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至5中任意一项所述的解析问答推理过程的迭代检索方法。

技术总结
本发明公开了一种解析问答推理过程的迭代检索方法，包括：将串联的问题和答案进行词切分构成查询词集合；使用GloVe词嵌入对查询词集合以及查询词集合对应的支撑段落文本句集合进行词嵌入；对查询词和支撑文本进行Person相关性计算得到相关性矩阵；由相关性矩阵与每个词的IDF值加权融合，获得最佳推理句；去除最佳推理句包含的词进行迭代检索至迭代结束获得所有支撑针对问题所给出答案的推理句。本发明还公开了解析问答推理过程的迭代检索装置以及计算机存储介质。本发明可针对多跳问答数据集解析其响应答案的推理过程，在保证准确率的同时增加问答的可解释性。准确率的同时增加问答的可解释性。准确率的同时增加问答的可解释性。


技术研发人员：吴晓宇 周长顺 闫海英 应文豪
受保护的技术使用者：常熟理工学院
技术研发日：2023.08.02
技术公布日：2023/8/31