面向文本语义推理的标签感知去偏因果推断方法和系统

1.本发明涉及自然语言推理技术领域，具体涉及一种面向文本语义推理的标签感知去偏因果推断方法、系统、存储介质和电子设备。


背景技术：

2.自然语言推理是自然语言理解中的一个代表性任务，主要关注于从前提句子到假设句子的语义推理关系(蕴涵，矛盾，以及中立)。大量研究工作已经被提出来用于文本语义的准确表示以及语义推理关系的准确预测。然而，以深度学习为代表的方法会在训练过程中被数据中的有偏信息所影响，造成模型过渡关注训练数据中的虚假关联，最终导致模型并未真正理解文本语义，在具体应用过程中出现泛化性能差的问题。因此，如何从有偏的训练数据中学习到无偏的文本语义表征成为当前自然语言处理一个重要的研究方向。本技术专利主要通过引入因果推断相关技术，同时对标签信息进行深入挖掘，从而实现更好的无偏表示和无偏语义推理。
3.目前该方向的已有工作可以总结如下：
4.1.人工生成无偏的数据，用于模型训练
5.该类方法主要从数据的角度展开研究，主要关注于如何生成无偏的训练数据。具体方法可以一般化为如下步骤，首先人工定义偏见类别(例如针对矛盾关系的否定表达，针对蕴涵关系的词重复表达等)；在此基础上，通过人工标注的形式消除预定义的偏见类型与标签之间的虚假关联；然后，使用新标注的数据进行模型训练和测试。
6.该类方法是当前的一个重要研究方向，主要关注如何将有偏信息从语义表示模型中删除。具体可以通过对抗学习的方法，集成学习的方法，以及基于因果推断的方法。第三种与本技术专利有比较直接的关系，但已有的方法仍然是将不同的偏见信息作为未观测的偏见进行统一处理，未能实现对偏见信息的精细化建模。
7.然而，原有的基于因果推断的方法在对偏见信息的建模和分析上仍然有很多不足，这些方法主要通过人工方式定义偏见信息或者直接将所有未观测到的偏见信息作为整体进行分析，这样对偏见信息的建模精细度是不足的，造成了在模型学习和实际应用过程中或者对偏见信息的去除程度不足，造成去偏效果未达到预期；或者过于关注去除偏见信息，造成在语义推断关系的预测准确率上有较大的下降。


技术实现要素：

8.(一)解决的技术问题
9.针对现有技术的不足，本发明提供了一种面向文本语义推理的标签感知去偏因果推断方法、系统、存储介质和电子设备，解决了对偏见信息的建模精细度不足或者过于关注去除偏见信息的技术问题。
10.(二)技术方案
11.为实现以上目的，本发明通过以下技术方案予以实现：
12.一种面向文本语义推理的标签感知去偏因果推断方法，包括：
13.s1、根据训练数据，构建因果图；其中，所述因果图包括输入和输出之间的因果关系路径和虚假关联关系路径，所述虚假关联关系路径引入标签信息；
14.s2、获取标签中的有偏信息表示；以及分别描述所述因果关系路径和虚假关联关系路径，获取融合后的输出结果；
15.s3、根据所述有偏信息表示，基于平均因果效应获取输入到输出的总效应、虚假关联关系路径上所描述的直接效应；根据所述总效应和直接效应对应的融合后的输出结果，获取输入到输出的去偏因果效应；
16.s4、采用预先构建的总损失函数训练模型直至收敛；
17.s5、将待推理数据作为收敛后的模型的输入，进行文本语义的无偏推理。
18.优选的，所述s2中获取标签中的有偏信息表示，包括：
19.通过统计所述训练数据中针对每个标签的输入文本的词频分布，为每个标签选择top-k个词作为描述与该标签有关联的有偏信息，采用语义表示模型对选出来的词进行编码，并将得到的编码表示进行平均池化，最终作为所述标签中的有偏信息表示；表示为如下形式：
[0020][0021]
l＝{l1，.l2，...，ln}
[0022]
其中，avg()表示平均池化；表示与第i个标签对应的第k个词的向量表示；li为第i个标签中的有偏信息表示；{}表示将所有的向量表示堆叠到一起，成为一个矩阵表示；n表示标签的数量。
[0023]
优选的，所述s2中分别描述所述因果关系路径和虚假关联关系路径，获取融合后的输出结果，通过以下方式实现：
[0024]yp，h，m
＝f
p，h，m
(p，h)，y
h，c
＝f
h，c
(h，l)
[0025]yp，h，m，c
＝g(y
p，h，m
，y
h，c
)
[0026]
其中，定义p、h分别表示输入的前提句子、假设句子；l表示标签中的有偏信息表示；y表示模型的输出，即预测的语义推理关系；m、c分别表示因果关系路径、虚假关联关系路径上的中介变量；
[0027]
当p＝p，h＝h，m＝m，c＝c时，y
p，h，m
表示对因果关系路径(p，h)
→m→
y的对应描述，y
h，c
表示对虚假关联关系路径(h，l)
→c→
y的对应描述；y
p，h，m，c
表示对输入到输出的对应描述；
[0028]
f(
·
)函数表示语义表示模型，括号中的内容表示模型的输入；g(
·
)表示对输出结果的融合。
[0029]
优选的，所述语义表示模型为预训练模型bert、roberta或者simcse；
[0030]
和/或采用求和作为融合操作。
[0031]
优选的，所述s3具体包括：
[0032]
定义p和h表示干预之后的输入，p
*
和h
*
表示未干预的输入；
[0033]
获取输入到输出的总效应te，通过如下形式计算：
[0034][0035]
其中，c＝c(l，h＝h)，m＝m(p＝p，h＝h)，c
*
＝c(l，h＝h
*
)，m
*
＝m(p＝p
*
，h＝h
*
)；当p＝p
*
，h＝，h
*
，m＝m
*
，c＝c
*
时，表示输入到输出的对应描述；
[0036]
获取虚假关联关系路径上所描述的直接效应de，通过如下形式计算：
[0037][0038]
其中，当p＝p
*
，h＝，h，m＝m
*
，c＝c时，表示输入到输出的对应描述；
[0039]
根据所述总效应和直接效应对应的输出结果，获取输入到输出的去偏因果效应tie，通过如下形式得到：
[0040][0041]
其中，当p＝p
*
，h＝，h，m＝m
*
，c＝c时，表示对因果关系路径(p，h)
→m→
y的对应描述；分别表示总效应和直接效应对应的融合后的输出结果。
[0042]
优选的，所述s4中的总损失函数loss表示为：
[0043]
loss＝l
p，h，m
+λl
h，c
+(1-λ)l
p，h，m，c
[0044][0045][0046][0047]
其中，λ为超参数；crossentropy()表示交叉熵函数；为真实标签表示；l
p，h，m
、l
h，c
、l
p，h，m，c
分别表示使用不同输入y
p，h，m
、y
h，c
、y
p，h，m，c
所对应的交叉熵损失。
[0048]
一种面向文本语义推理的标签感知去偏因果推断系统，包括：
[0049]
构建模块，用于根据训练数据，构建因果图；其中，所述因果图包括输入和输出之间的因果关系路径和虚假关联关系路径，所述虚假关联关系路径引入标签信息；
[0050]
描述模块，用于获取标签中的有偏信息表示；以及分别描述所述因果关系路径和虚假关联关系路径，获取融合后的输出结果；
[0051]
获取模块，用于根据所述有偏信息表示，基于平均因果效应获取输入到输出的总效应、虚假关联关系路径上所描述的直接效应；根据所述总效应和直接效应对应的融合后的输出结果，获取输入到输出的去偏因果效应；
[0052]
训练模块，采用预先构建的总损失函数训练模型直至收敛；
[0053]
推理模块，用于将待推理数据作为收敛后的模型的输入，进行文本语义的无偏推理。
[0054]
一种存储介质，其存储有用于面向文本语义推理的标签感知去偏因果推断的计算机程序，其中，所述计算机程序使得计算机执行如上所述的标签感知去偏因果推断方法。
[0055]
一种电子设备，包括：
[0056]
一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的标签感知去偏因果推断方法。
[0057]
(三)有益效果
[0058]
本发明提供了一种面向文本语义推理的标签感知去偏因果推断方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：
[0059]
本发明利用因果推断技术方法进行文本语义无偏推理时，通过对标签中所蕴含的有偏信息进行细粒度建模，利用该建模信息辅助分析输入和输出之间的虚假关联，保证了对虚假关联的准确建模分析，能够在保证推理准确性的基础上，提升模型的无偏推理效果。此外，该方法是模型无关的，能够适用于各类文本语义表示和推理方法，具有良好的泛化性能和适用性。
附图说明
[0060]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0061]
图1为本发明实施例提供的一种面向文本语义推理的标签感知去偏因果推断方法的方框图；
[0062]
图2为本发明实施例提供的一种面向自然语言推理的因果图。
具体实施方式
[0063]
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0064]
本技术实施例通过提供一种面向文本语义推理的标签感知去偏因果推断方法、系统、存储介质和电子设备，解决了对偏见信息的建模精细度不足或者过于关注去除偏见信息的技术问题，在自然语言推理任务上实现了更精细化的文本语义表示以及语义关系的无偏推理。
[0065]
本技术实施例中的技术方案为解决上述技术问题，总体思路如下：
[0066]
本发明实施例构建了一个面向文本语义推理的标签感知去偏因果推断框架，该框架主要关注于利用因果推断方法进行文本语义表示和推理去偏时，如何更准确，更细粒度地对文本中的偏见信息进行建模去除，同时如何利用标签信息实现对偏见信息的更准确分析。该方法是模型无关的，可以针对不同的语义表示模型进行去偏学习，具有较好的灵活性和适应性。
[0067]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0068]
实施例：
[0069]
如图1所示，本发明实施例提供了一种面向文本语义推理的标签感知去偏因果推断方法，包括：
[0070]
s1、根据训练数据，构建因果图；其中，所述因果图包括输入和输出之间的因果关系路径和虚假关联关系路径，所述虚假关联关系路径引入标签信息；
[0071]
s2、获取标签中的有偏信息表示；以及分别描述所述因果关系路径和虚假关联关系路径，获取融合后的输出结果；
[0072]
s3、根据所述有偏信息表示，基于平均因果效应获取输入到输出的总效应、虚假关联关系路径上所描述的直接效应；根据所述总效应和直接效应对应的融合后的输出结果，获取输入到输出的去偏因果效应；
[0073]
s4、采用预先构建的总损失函数训练模型直至收敛；
[0074]
s5、将待推理数据作为收敛后的模型的输入，进行文本语义的无偏推理。
[0075]
本发明实施例利用因果推断技术方法进行文本语义无偏推理时，通过对标签中所蕴含的有偏信息进行细粒度建模，利用该建模信息辅助分析输入和输出之间的虚假关联，保证了对虚假关联的准确建模分析，能够在保证推理准确性的基础上，提升模型的无偏推理效果。此外，该方法是模型无关的，能够适用于各类文本语义表示和推理方法，具有良好的泛化性能和适用性。
[0076]
接下来将详细介绍上述技术方案的各个步骤：
[0077]
在步骤s1中，根据训练数据，构建因果图；其中，所述因果图包括输入和输出之间的因果关系路径和虚假关联关系路径，所述虚假关联关系路径引入标签信息。
[0078]
对训练数据进行深入分析，根据训练数据构建如图2所示的因果图，用于表示输入和输出之间的不同关系(因果关系，虚假关联关系等)，即所述因果图包括输入和输出之间的因果关系路径和虚假关联关系路径。
[0079]
其中，h表示输入的前提句子和假设句子；l表示标签中的有偏信息的表示；y表示模型的输出，即预测的语义推理关系；m和c分别表示模型输入和输出之间的处于不同关系路径上的中介变量。据此，将因果关系路径定义为(p，h)
→m→
y，以及将虚假关联关系路径定义为(h，l)
→c→
y。
[0080]
本发明实施例通过在建模文本中的有偏信息时引入标签信息，后续利用标签信息实现对文本有偏信息的细粒度建模，在保证推理准确性的基础上实现了更好的模型去偏，具体参见后文，本步骤不过多描述。
[0081]
在步骤s2中，获取标签中的有偏信息表示；以及分别描述所述因果关系路径和虚假关联关系路径，获取融合后的输出结果。
[0082]
本发明实施例的一个突出贡献是引入标签信息进行偏见信息更准确的建模(即对路径(h，l)
→c→
y更精细化的分析)。已有研究证明，在数据标注过程中，标注人员会根据标签选择特定的词或者特定的表达方式(例如利用否定表达构建两个句子之间的矛盾语义关系)，该现象被称之为语言偏见。
[0083]
为此，本步骤通过统计所述训练数据中针对每个标签的输入文本的词频分布，为每个标签选择top-k个词作为描述与该标签有关联的有偏信息，采用语义表示模型对选出来的词进行编码，并将得到的编码表示进行平均池化，最终作为所述标签中的有偏信息表
示；表示为如下形式：
[0084][0085]
l＝{l1，.l2，...，ln}
[0086]
其中，avg()表示平均池化；表示与第i个标签对应的第k个词的向量表示；li为第i个标签中的有偏信息表示；{}表示将所有的向量表示堆叠到一起，成为一个矩阵表示；n表示标签的数量；。
[0087]
通过对标签中的有偏信息进行精细化建模表示，本发明实施例能够实现对偏见信息的精细化建模。
[0088]
在获取标签中的有偏信息表示以后，本步骤还基于前述因果图结构以及因果推断技术中的平均因果效应(average treatment effect，ate)方法，分别描述所述因果关系路径和虚假关联关系路径，获取融合后的输出结果，具体通过以下方式实现：
[0089]yp，h，m
＝f
p，h，m
(p，h)，y
h，c
＝f
h，c
(h，l)
[0090]yp，h，m，c
＝g(y
p，h，m
，y
h，c
)
[0091]
其中，定义p、h分别表示输入的前提句子、假设句子；l表示标签中的有偏信息表示；y表示模型的输出，即预测的语义推理关系；m、c分别表示因果关系路径、虚假关联关系路径上的中介变量；
[0092]
当p＝p，h＝h，m＝m，c＝c时，y
p，h，m
表示对因果关系路径(p，h)
→m→
y的对应描述，y
h，c
表示对虚假关联关系路径(h，l)
→c→
y的对应描述；y
p，h，m，c
表示对输入到输出的对应描述；
[0093]
f(
·
)函数表示语义表示模型，括号中的内容表示模型的输入。
[0094]
特别说明，本发明实施例提供的方法是模型无关的，可以适用于各类文本语义表示和推理方法。换言之，上述语义表示模型可以是任意的语义表示模型类别。示例性的，本发明实施例限于篇幅仅给出几种可能的选择，例如可以为预训练模型bert、roberta或者simcse等。
[0095]
g(
·
)表示对输出结果的融合。示例性的，本发明实施例采用求和作为融合操作。
[0096]
在步骤s3中，根据所述有偏信息表示，基于平均因果效应获取输入到输出的总效应、虚假关联关系路径上所描述的直接效应；根据所述总效应和直接效应对应的融合后的输出结果，获取输入到输出的去偏因果效应；具体包括：
[0097]
定义p和h表示干预之后的输入，p
*
和h
*
表示未干预的输入；
[0098]
获取输入到输出的总效应te，通过如下形式计算：
[0099][0100]
其中，c＝c(l，h＝h)，m＝m(p＝p，h＝h)，c
*
＝c(l，h＝h
*
)，m
*
＝m(p＝p
*
，h＝h
*
)；当p＝p
*
，h＝，h
*
，m＝m
*
，c＝c
*
时，表示输入到输出的对应描述；
[0101]
获取虚假关联关系路径上所描述的直接效应de，通过如下形式计算：
[0102][0103]
其中，当p＝p
*
，h＝，h，m＝m
*
，c＝c时，表示输入到输出的对应描述；
[0104]
根据所述总效应和直接效应对应的输出结果，获取输入到输出的去偏因果效应tie，通过如下形式得到：
[0105][0106]
其中，当p＝p
*
，h＝，h，m＝m
*
，c＝c时，表示对因果关系路径(p，h)
→m→
y的对应描述；分别表示总效应和直接效应对应的融合后的输出结果。
[0107]
在步骤s4中，采用预先构建的总损失函数训练模型直至收敛。
[0108]
针对模型训练，本发明实施例利用多任务学习框架，分别要求步骤三中对每条路径的计算都能够预测出正确的结果。具体而言，本发明实施例采用交叉熵损失函数作为优化目标，分别使用y
p，h，m
，y
h，c
和y
p，h，m，c
进行最终结果的计算，具体可以表示为如下形式：
[0109]
loss＝l
p，h，m
+λl
h，c
+(1-λ)l
p，h，m，c
[0110][0111][0112][0113]
其中，loss表示总损失函数；λ为超参数，用于控制不同优化目标对最终效果的影响；crossentropy()表示交叉熵函数；为真实标签表示；l
p，h，m
、l
h，c
、l
p，h，m，c
分别表示使用不同输入y
p，h，m
、y
h，c
、y
p，h，m，c
所对应的交叉熵损失。
[0114]
在步骤s5中，将待推理数据作为收敛后的模型的输入，进行文本语义的无偏推理。
[0115]
本步骤中将所述待推理数据输入收敛后的模型，能够实现在自然语言推理任务上的文本语义无偏表示和无偏推理应用。
[0116]
本发明实施例提供了一种面向文本语义推理的标签感知去偏因果推断系统，包括：
[0117]
构建模块，用于根据训练数据，构建因果图；其中，所述因果图包括输入和输出之间的因果关系路径和虚假关联关系路径，所述虚假关联关系路径引入标签信息；
[0118]
描述模块，用于获取标签中的有偏信息表示；以及分别描述所述因果关系路径和虚假关联关系路径，获取融合后的输出结果；
[0119]
获取模块，用于根据所述有偏信息表示，基于平均因果效应获取输入到输出的总效应、虚假关联关系路径上所描述的直接效应；根据所述总效应和直接效应对应的融合后的输出结果，获取输入到输出的去偏因果效应；
[0120]
训练模块，采用预先构建的总损失函数训练模型直至收敛；
[0121]
推理模块，用于将待推理数据作为收敛后的模型的输入，进行文本语义的无偏推理。
[0122]
本发明实施例提供了一种存储介质，其存储有用于面向文本语义推理的标签感知
去偏因果推断的计算机程序，其中，所述计算机程序使得计算机执行如上所述的标签感知去偏因果推断方法。
[0123]
本发明实施例提供了一种电子设备，包括：
[0124]
一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的标签感知去偏因果推断方法。
[0125]
可理解的是，本发明实施例提供的面向文本语义推理的标签感知去偏因果推断系统、存储介质和电子设备与本发明实施例提供的面向文本语义推理的标签感知去偏因果推断方法相对应，其有关内容的解释、举例和有益效果等部分可以参考标签感知去偏因果推断方法中的相应部分，此处不再赘述。
[0126]
综上所述，与现有技术相比，具备以下有益效果：
[0127]
本发明实施例利用因果推断技术方法进行文本语义无偏推理时，通过对标签中所蕴含的有偏信息进行细粒度建模，利用该建模信息辅助分析输入和输出之间的虚假关联，保证了对虚假关联的准确建模分析，能够在保证推理准确性的基础上，提升模型的无偏推理效果。此外，该方法是模型无关的，能够适用于各类文本语义表示和推理方法，具有良好的泛化性能和适用性。
[0128]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0129]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种面向文本语义推理的标签感知去偏因果推断方法，其特征在于，包括：s1、根据训练数据，构建因果图；其中，所述因果图包括输入和输出之间的因果关系路径和虚假关联关系路径，所述虚假关联关系路径引入标签信息；s2、获取标签中的有偏信息表示；以及分别描述所述因果关系路径和虚假关联关系路径，获取融合后的输出结果；s3、根据所述有偏信息表示，基于平均因果效应获取输入到输出的总效应、虚假关联关系路径上所描述的直接效应；根据所述总效应和直接效应对应的融合后的输出结果，获取输入到输出的去偏因果效应；s4、采用预先构建的总损失函数训练模型直至收敛；s5、将待推理数据作为收敛后的模型的输入，进行文本语义的无偏推理。2.如权利要求1所述的面向文本语义推理的标签感知去偏因果推断方法，其特征在于，所述s2中获取标签中的有偏信息表示，包括：通过统计所述训练数据中针对每个标签的输入文本的词频分布，为每个标签选择top-k个词作为描述与该标签有关联的有偏信息，采用语义表示模型对选出来的词进行编码，并将得到的编码表示进行平均池化，最终作为所述标签中的有偏信息表示；表示为如下形式：l＝{l1,.l2,
…
,l
n
}其中，avg()表示平均池化；表示与第i个标签对应的第k个词的向量表示；l
i
为第i个标签中的有偏信息表示；{}表示将所有的向量表示堆叠到一起，成为一个矩阵表示；n表示标签的数量。3.如权利要求2所述的面向文本语义推理的标签感知去偏因果推断方法，其特征在于，所述s2中分别描述所述因果关系路径和虚假关联关系路径，获取融合后的输出结果，通过以下方式实现：y
p,h,m
＝f
p,h,m
(p,h),y
h,c
＝f
h,c
(h,l)y
p,h,m,c
＝g(y
p,h,m
,y
h,c
)其中，定义p、h分别表示输入的前提句子、假设句子；l表示标签中的有偏信息表示；y表示模型的输出，即预测的语义推理关系；m、c分别表示因果关系路径、虚假关联关系路径上的中介变量；当p＝p,h＝h,m＝m,c＝c时，y
p,h,m
表示对因果关系路径(p,h)
→
m
→
y的对应描述，y
h,c
表示对虚假关联关系路径(h,l)
→
c
→
y的对应描述；y
p,h,m,c
表示对输入到输出的对应描述；f(
·
)函数表示语义表示模型，括号中的内容表示模型的输入；g(
·
)表示对输出结果的融合。4.如权利要求3所述的面向文本语义推理的标签感知去偏因果推断方法，其特征在于，所述语义表示模型为预训练模型bert、roberta或者simcse；和/或采用求和作为融合操作。5.如权利要求3所述的面向文本语义推理的标签感知去偏因果推断方法，其特征在于，所述s3具体包括：定义p和h表示干预之后的输入，p
*
和h
*
表示未干预的输入；
获取输入到输出的总效应te，通过如下形式计算：其中，c＝c(l,h＝h)，m＝m(p＝p,h＝h)，c
*
＝c(l,h＝h
*
)，m
*
＝m(p＝p
*
,h＝h
*
)；当p＝p
*
,h＝,h
*
,m＝m
*
,c＝c
*
时，表示输入到输出的对应描述；获取虚假关联关系路径上所描述的直接效应de，通过如下形式计算：其中，当p＝p
*
,h＝,h,m＝m
*
,c＝c时，表示输入到输出的对应描述；根据所述总效应和直接效应对应的输出结果，获取输入到输出的去偏因果效应tie，通过如下形式得到：其中，当p＝p
*
,h＝,h,m＝m
*
,c＝c时，表示对因果关系路径(p,h)
→
m
→
y的对应描述；分别表示总效应和直接效应对应的融合后的输出结果。6.如权利要求3所述的面向文本语义推理的标签感知去偏因果推断方法，其特征在于，所述s4中的总损失函数loss表示为：loss＝l
p,h,m
+λl
h,c
+(1-λ)l
p,h,n,cp,h,n,cp,h,n,c
其中，λ为超参数；crossentropy()表示交叉熵函数；为真实标签表示；l
p,h,m
、l
h,c
、l
p,h,m,c
分别表示使用不同输入y
p,h,m
、y
h,c
、y
p,h,m,c
所对应的交叉熵损失。7.一种面向文本语义推理的标签感知去偏因果推断系统，其特征在于，包括：构建模块，用于根据训练数据，构建因果图；其中，所述因果图包括输入和输出之间的因果关系路径和虚假关联关系路径，所述虚假关联关系路径引入标签信息；描述模块，用于获取标签中的有偏信息表示；以及分别描述所述因果关系路径和虚假关联关系路径，获取融合后的输出结果；获取模块，用于根据所述有偏信息表示，基于平均因果效应获取输入到输出的总效应、虚假关联关系路径上所描述的直接效应；根据所述总效应和直接效应对应的融合后的输出结果，获取输入到输出的去偏因果效应；训练模块，采用预先构建的总损失函数训练模型直至收敛；推理模块，用于将待推理数据作为收敛后的模型的输入，进行文本语义的无偏推理。8.一种存储介质，其特征在于，其存储有用于面向文本语义推理的标签感知去偏因果推断的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1～6任一项所述的
标签感知去偏因果推断方法。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1～6任一项所述的标签感知去偏因果推断方法。

技术总结
本发明提供一种面向文本语义推理的标签感知去偏因果推断方法、系统、存储介质和电子设备，涉及自然语言推理技术领域。本发明利用因果推断技术方法进行文本语义无偏推理时，通过对标签中所蕴含的有偏信息进行细粒度建模，利用该建模信息辅助分析输入和输出之间的虚假关联，保证了对虚假关联的准确建模分析，能够在保证推理准确性的基础上，提升模型的无偏推理效果。此外，该方法是模型无关的，能够适用于各类文本语义表示和推理方法，具有良好的泛化性能和适用性。化性能和适用性。化性能和适用性。


技术研发人员：张琨 张大操 吴乐 汪萌
受保护的技术使用者：合肥工业大学
技术研发日：2023.07.19
技术公布日：2023/10/19