一种基于触发词增强的标签信号指导事件检测方法

1.本发明涉及自然语言处理中信息抽取技术，主要涉及事件抽取，具体为一种基于触发词增强的标签信号指导事件检测方法。


背景技术：

2.近年来，随着信息技术的不断发展，互联网的信息量日益膨胀。自动化地从海量信息中准确地抽取用户感兴趣的信息成为一个亟待解决的问题。在这种背景下，面向大数据的信息抽取技术成为一个尤为重要的研究方向。事件抽取作为信息抽取的重要子任务，旨在从大量非结构化文本中抽取用户感兴趣的事件，包括触发事件的词(称为触发词)，事件中包含的论元(什么人、什么地方、什么时候，什么事)，以及这些论元所扮演的角色(参与者、地点、时间等等)。事件抽取对其他研究有极大的促进作用。例如在信息检索领域中，事件抽取技术能够帮助用户快速得到需要的事件信息，进而提高用户接收信息的效率；在自动文摘领域中，结合事件抽取技术能够更全面地涵盖文章中所发生的事件，以得到比较完整的摘要内容。此外，事件抽取技术在实际应用场景中也具有很重要的研究意义，例如从新闻报道中抽取出地震事件的基本情况：时间、地点、震级、遇害情况等，能够帮助人们方便快速地了解到所关注事件的重要信息。
3.事件抽取可以进一步分为两个子任务，事件检测和事件论元抽取。前者旨在从候选文本中识别出触发事件的关键词(通常动词和名词居多)，并判断其事件类型；后者则是从已识别的事件中标注事件的论元及其扮演的角色(包括事件发生的时间，地点和人物等信息)。由于事件检测依然面临着严峻挑战，本发明主要专注于事件检测。比如：在句子“he lost an election to a dead man.”中，模型需要识别单词“election”触发了“personnel.elect”事件，其中“personnel”是事件类型，“elect”是事件子类型。
4.到目前为止，针对事件检测研究已经提出了很多方法，从基于特征到基于表示。尽管之前的方法在很多方面也取得了很大成功，数据稀缺随着主流监督模型越来越大变得越来越严重。这里以事件检测常用的ace2005语料库举例：
5.ace2005一共定义了8个事件类型，共包括33个事件子类型。然而，70％的事件子类型的样本数目小于100，甚至有3个事件子类型的样例数小于10。训练数据的缺乏严重阻碍了现存监督方法的性能，它们需要大量的训练数据来完成模型训练。为了缓解这一问题，liu等人
4.提出一个多语料方法，通过机器翻译来增强源数据。然而，确保多语言之间单词和标签的对应关系是复杂的，而且可能存在偏差。也有一些工作
[3][5][9]
通过远程监督机制来扩大训练数据。此外，veyseh等人
[12]
利用预训练语言模型gpt-2来自动生成训练数据。这些方法的共同点是生成包含事件的句子。然而主要存在两个缺点：1)生成的句子里面有噪声，需要额外的机制(知识蒸馏)去控制；2)事件检测是一个单词级别的分类任务，确定生成句子中触发词的位置以及事件类型是困难的，而且可能存在偏差(位置或标签偏差)。


技术实现要素：

[0006]
本发明的目的是为了克服现有技术中的不足，提供一种基于触发词增强的标签信号指导事件检测。
[0007]
本发明提供一种新的触发词增强方法，在不改变上下文的情况下直接掩码触发词，通过预训练掩码语言模型知识直接生成合适的候选触发词，从源头上控制噪声。为了保证生成触发词的质量，每次只掩码一个单词，同时加入句子的上下文作为提示以丰富当前句子的语义。为了控制生成数据的噪声，本发明提出了标签信号指导的分类机制并设计了事件类型-子类型指导分类网络，先进行事件类型分类，再进行事件子类型分类，事件类型分类结果作为信号指导事件子类型分类。通过事件类型分类作为媒介，多次搜索计算事件子类型分类并依据事件类型分类和事件子类型分类乘积结果的最大值进行最终的分类。此外，为了进一步控制生成触发词的质量，提出句子语义一致性来进行联合训练。
[0008]
本发明的目的是通过以下技术方案实现的：
[0009]
一种基于触发词增强的标签信号指导事件检测方法，包括以下步骤：
[0010]
(1)触发词增强，在不改变触发词上下文的前提下，对触发词进行掩码并通过预训练掩码语言模型生成候选触发词；
[0011]
(2)标签信号指导的事件检测，包括事件类型和子类型分类，采用(1)中候选触发词进行事件类型分类，分类结果作为信号指导事件子类型分类，进行多次事件子类型分类，依据事件类型和子类型分类结果乘积的最大值进行最终的分类；
[0012]
(3)句子语义一致性，原句子和生成候选句子语义尽可能相似，以进一步保证生成触发词的质量。
[0013]
进一步的，步骤(1)具体包括：
[0014]
本发明采用触发词增强获取合适的候选触发词，其实现策略为掩码触发词并通过预训练掩码语言模型生成候选词；具体地，给定输入x＝[x1，
…
，xi，
…
，xn]，其中x表示句子，n是输入单词的个数，xi是第i个单词；假定xi是句子x的唯一触发词，则掩码后句子的形式如下：
[0015]
x
′
＝[x1，
…
，[mask]，
…
，xn]
ꢀꢀꢀ
(1)
[0016]
其中x
′
表示掩码后的句子，[mask]是用来代表触发词的特殊符号；x
′
接下来作为预训练掩码语言模型的输入来获取[mask]的表示：
[0017]hmask
＝pmlm(x
′
)∈rdꢀꢀꢀꢀ
(2)
[0018]
其中h
mask
指[mask]的表示，pmlm表示预训练掩码语言模型，在实施过程中，可根据具体情况进行选择，如roberta，d表示预训练掩码语言模型隐层的输出维度；然后利用预训练掩码语言模型头，即pmlm head来获取得分最高的k个候选触发词集合t＝[t1，
…
，ti，
…
，tk]以及对应的得分集合s＝[s1，
…
，si，
…
，sk]：
[0019]
(t，s)＝pmlm head(h
mask
)(3)
[0020]
其中t代表候选触发词集合，k表示集合内元素的个数，ti表示第i个候选触发词；s表示候选触发词得分集合，si表示第i个候选触发词ti的得分，触发词的得分在集合s降序排列；pmlm head是一个预训练的带有dropout和layer normalization的两层非线性分类器，其输出维度对应预训练掩码语言模型词库；候选触发词的得分为pmlm head在对应词库单词上的概率；值得注意的是s中元素的和小于1，然后通过下面的方式进行归一化：
[0021][0022]
然后将t中的候选触发词填入[mask]，可以得到k个候选句子；不同的候选句子除了触发词不同，其他的单词都相同；在填入之前，本发明通过xi∈t是否成立来初步判断生成触发词集合t的质量，这里xi表示被掩码之前的触发词；如果不成立，本发明认为t的质量不可靠，进而放弃进行触发词增强；
[0023]
考虑到触发词通常是句子中的核心词，并且在预训练语言模型巨大的词库范围下将有很多可选的单词；为了帮助预训练掩码语言模型正确理解掩码后的句子，生成合适的候选触发词，本发明将当前句子x的前一和后一句子作为提示加入到x
′
中以丰富当前句子的语义，增强后的x
′
形式如下：
[0024]
x
′
＝[sent1，[sep]，x1，
…
，[mask]，
…
，xn，[sep]，sent2]
ꢀꢀꢀꢀ
(5)
[0025]
这里sent1和sent2分别表示当前句子x的前一和后一句子，[sep]是用来区分不同句子的特殊符号；如果当前句子是文档的第一个句子，则添加后面两句，如果是最后一句，则添加前面两句；
[0026]
为了进一步帮助预训练掩码语言模型理解掩码后的句子，x
′
只包含一个[mask]单词，尽管x可能包含多个触发词；为了解决这个问题，本发明每次只掩码一个触发词并且获得候选的触发词集合和得分，最终通过笛卡尔积获取多个触发词的候选序列和其对应的得分，序列的得分是序列里每个触发词得分的乘积；因此，如果一个句子包含q个触发词，理论上最多可以获得kq个候选句子。
[0027]
进一步的，步骤(2)具体包括：
[0028]
(201)标签信号指导的分类机制
[0029]
考虑到一个事件类型包含一个或多个事件子类型，本发明设计一种标签信号指导的分类机制，首先进行事件类型分类，然后进行事件子类型分类；具体地，根据预定义的事件模式，有一个事件类型集合c和事件子类型集合y；总体的目标是预测句子x中定义的所有事件集合ε
x
，旨在最大化下面的似然函数：
[0030][0031]
其中d表示所有的训练语料，x表示训练语料中的句子，ε
x
表示句子x中定义的所有事件，t
x
表示句子x中的触发词集合，t表示触发词集合t
x
中的触发词，c表示触发词t的事件类型，y表示触发词t的事件子类型；事件类型分类结果作为信号来指导事件子类型分类；分类机制是一个高度为3的树，根节点为触发词，第二层和第三层分别代表事件类型和子类型，第二层节点的孩子节点即为其包含的事件子类型，边上的权重为触发词在对应事件类型和子类型上的分类概率；在分类过程中，基于边的权重以深度优先搜索(depth search first,dfs)选择一条从根到叶子节点的路径，确定触发词对应的事件类型和子类型；
[0032]
为了控制触发词增强中的噪声，本发明在选择路径进行dfs时，不是仅选择一条路径，而是选择多条路径，从每个节点出发时，根据边的权重选择m条路径，考虑树高为3，因此总的路径数为m2，最终通过路径上边的权重乘积的最大值确定事件类型和子类型；相较于仅根据一条路径进行贪心搜索，选择多条路径进行搜索可以避免局部最优的情况，即使事
件类型的分类结果错误，最终仍有可能通过多次搜索获取正确结果；具体到事件类型和子类型分类过程中，即为在信号传递过程中不是仅将事件类型分类概率分布的最大值对应的事件类型作为信号，而是选择前m大结果，依次进行多次搜索，以控制触发词增强过程中的噪声，从而使得分类结果最优；
[0033]
(202)事件类型-子类型指导分类网络
[0034]
根据上面的分类机制，本发明设计一个事件类型-子类型指导分类网络，包括事件类型和子类型分类；事件类型和子类型分类的思想类似，不同的是事件类型分类在候选句子上进行训练，进而通过预测得到事件类型结果，事件子类型分类根据事件类型分类结果在原句子上进行训练，进而得到事件子类型分类结果；假定原句子x经过触发词增强后获得z个候选句子其中z≤kq，q是句子x中的触发词数量；然后将x和送入预训练掩码语言模型获取句子中单词的表示：
[0035]
h＝pmlm(x)
ꢀꢀ
(7)
[0036][0037]
其中pmlm表示预训练掩码语言模型，和公式2中的pmlm相同，二者共享权重，h表示原句子x中单词的词嵌入，表示候选句子中单词的词嵌入；接下来作为事件类型分类的输入获得事件类型结果
[0038][0039]
其中etc表示事件类型分类，是一个两层的带有dropout和layernormalization的非线性分类器，分类器的输出维度大小为事件类型的个数；此外，通过公式(3)和(4)可以得到候选句子的得分s；接下来通过加权求和得到加权的事件类型分类结果：
[0040][0041]
其中表示加权后的事件类型分类结果，softmax表示归一化函数；然后由的前m大概率v和对应标签l组成信号来指导事件子类型分类：
[0042][0043]
其中esc表示事件子类型分类，共包含|c|个分类器，每个都是带有dropout和layer normalization的两层非线性分类器；|c|表示事件类型集合元素的个数，表示根据li的值选择第li个分类器，vi表示第i个信号对应的概率值，li表示第i个信号对应的事件类型标签，softmax表示归一化函数，表示事件类型和子类型分类概率的乘积，max表示取集合中的最大值，y表示x中单词的最终事件子类型标签。
[0044]
进一步的，步骤(3)具体包括：
[0045]
本发明提出句子语义一致性机制，以进一步保证生成触发词的质量；考虑到候选句子和原句子只有触发词不同，因此本发明尝试让原句子和生成候选句子的语义尽可能相似；在本发明中，使用h
cls
和的均方误差损失作为监督目标加入到最终优化的损失函数中：
[0046][0047]
其中ls表示原句子和候选句子的均方误差损失，h
cls
和分别表示原句子和候选句子中第一个单词[cls]经过预训练掩码语言模型编码后的表示，本发明将其作为各自句子的语义表示，|h
cls
|表示h
cls
的维度大小，h
cls,i
和分别表示h
cls
和中的第i个元素；
[0048]
为了优化模型，联合训练采用如下的损失函数：
[0049]
l＝l
etc
+αl
esc
+βlsꢀꢀꢀꢀ
(13)
[0050]
其中l表示最终的损失，l
etc
和l
esc
分别表示事件类型和子类型分类的损失，其中l
etc
表示真实事件类型标签和预测之间的交叉熵损失，l
esc
表示真实事件子类型标签和预测之间的交叉熵损失，α和β表示权衡参数；值得注意的是，在esc分类阶段，h会根据l计算m次前向传播，但l
esc
只会在li等于h中触发词的真实事件类型时才计算损失，如果真实的事件类型不在信号中，此时esc将会被剪枝。
[0051]
与现有技术相比，本发明的技术方案所带来的有益效果是：
[0052]
(1)提出使用预训练语言模型知识直接生成候选触发词，进而增强事件检测任务中的触发词；
[0053]
(2)设计一个标签信号指导的事件类型-子类型分类机制用来控制触发词增强的噪声；
[0054]
(3)采用句子语义一致性来保证生成触发词的质量；
[0055]
(4)在多个数据集上的实验结果证明本发明的有效性。
附图说明
[0056]
图1为本发明提供的一种基于触发词增强的标签信号指导事件检测方法架构图。包含两个子模块，分别是：1)触发词增强，2)标签信号指导的事件检测。
具体实施方式
[0057]
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0058]
本发明提供一种基于触发词增强的标签信号指导事件检测方法，该方法整体框架如图1所示。整个系统包括数据预处理、触发词增强、标签信号指导的事件检测和句子语义一致性这几个步骤。
[0059]
具体步骤如下：
[0060]
(1)为了验证本发明的有效性，在多个数据集上进行实验，包括ace2005
[1]
和fewevent
[2]
数据集。
[0061]
ace2005定义了8个事件类型，33个事件子类型，共标注了599篇英文文档。此外，ace2005采用和前人工作相同的划分方式。
[0062]
fewevent是另一个事件检测数据集，定义了19个事件类型，100个事件子类型，包括70852个句子。但是fewevent中不同事件的分布差距十分悬殊。出现次数最多的事件出现了26135次，大部分的事件仅出现了30次。为了验证模型的性能，本发明每次实验中每个事
件子类型选取30个训练样本，训练集、验证集、测试集的比例分别是70％、10％，20％，5次实验结果的平均值作为最终的结果。
[0063]
(2)触发词增强
[0064]
本发明采用触发词增强获取合适的候选触发词，其实现策略为掩码触发词并通过预训练掩码语言模型生成候选词；具体地，给定输入x＝[x1，
…
，xi，
…
，xn]，其中x表示句子，n是输入单词的个数，xi是第i个单词；假定xi是句子x的唯一触发词，则掩码后句子的形式如下：
[0065]
x
′
＝[x1，
…
，[mask]，
…
，xn]
ꢀꢀꢀꢀ
(1)
[0066]
其中x
′
表示掩码后的句子，[mask]是用来代表触发词的特殊符号；x
′
接下来作为预训练掩码语言模型的输入来获取[mask]的表示：
[0067]hmask
＝pmlm(x
′
)∈rdꢀꢀꢀꢀ
(2)
[0068]
其中h
mask
指[mask]的表示，pmlm表示预训练掩码语言模型，在实施过程中，可根据具体情况进行选择，如roberta，d表示预训练掩码语言模型隐层的输出维度；然后利用预训练掩码语言模型头，即pmlm head来获取得分最高的k个候选触发词集合t＝[t1，
…
，ti，
…
，tk]以及对应的得分集合s＝[s1，
…
，si，
…
，sk]：
[0069]
(t，s)＝pmlm head(h
mask
)
ꢀꢀ
(3)
[0070]
其中t代表候选触发词集合，k表示集合内元素的个数，ti表示第i个候选触发词；s表示候选触发词得分集合，si表示第i个候选触发词ti的得分，触发词的得分在集合s降序排列；pmlm head是一个预训练的带有dropout和layer normalization的两层非线性分类器，其输出维度对应预训练掩码语言模型词库；候选触发词的得分为pmlm head在对应词库单词上的概率；值得注意的是s中元素的和小于1，然后通过下面的方式进行归一化：
[0071][0072]
然后将t中的候选触发词填入[mask]，可以得到k个候选句子；不同的候选句子除了触发词不同，其他的单词都相同；在填入之前，本发明通过xi∈t是否成立来初步判断生成触发词集合t的质量，这里xi表示被掩码之前的触发词；如果不成立，本发明认为t的质量不可靠，进而放弃进行触发词增强；
[0073]
考虑到触发词通常是句子中的核心词，并且在预训练语言模型巨大的词库范围下将有很多可选的单词；为了帮助预训练掩码语言模型正确理解掩码后的句子，生成合适的候选触发词，本发明将当前句子x的前一和后一句子作为提示加入到x
′
中以丰富当前句子的语义，增强后的x
′
形式如下：
[0074]
x
′
＝[sent1，[sep]，x1，
…
，[mask]，
…
，xn，[sep]，sent2]
ꢀꢀꢀꢀ
(5)
[0075]
这里sent1和sent2分别表示当前句子x的前一和后一句子，[sep]是用来区分不同句子的特殊符号；如果当前句子是文档的第一个句子，则添加后面两句，如果是最后一句，则添加前面两句；
[0076]
为了进一步帮助预训练掩码语言模型理解掩码后的句子，x
′
只包含一个[mask]单词，尽管x可能包含多个触发词；为了解决这个问题，本发明每次只掩码一个触发词并且获得候选的触发词集合和得分，最终通过笛卡尔积获取多个触发词的候选序列和其对应的得分，序列的得分是序列里每个触发词得分的乘积；因此，如果一个句子包含q个触发词，理论
上最多可以获得kq个候选句子。
[0077]
(3)标签信号指导的事件检测
[0078]
(301)标签信号指导的分类机制
[0079]
考虑到一个事件类型包含一个或多个事件子类型，本发明设计一种标签信号指导的分类机制，首先进行事件类型分类，然后进行事件子类型分类；具体地，根据预定义的事件模式，有一个事件类型集合c和事件子类型集合y；总体的目标是预测句子x中定义的所有事件集合ε
x
，旨在最大化下面的似然函数：
[0080][0081]
其中d表示所有的训练语料，x表示训练语料中的句子，ε
x
表示句子x中定义的所有事件，t
x
表示句子x中的触发词集合，t表示触发词集合t
x
中的触发词，c表示触发词t的事件类型，y表示触发词t的事件子类型；事件类型分类结果作为信号来指导事件子类型分类；分类机制是一个高度为3的树，根节点为触发词，第二层和第三层分别代表事件类型和子类型，第二层节点的孩子节点即为其包含的事件子类型，边上的权重为触发词在对应事件类型和子类型上的分类概率；在分类过程中，基于边的权重以深度优先搜索(depth search first，dfs)选择一条从根到叶子节点的路径，确定触发词对应的事件类型和子类型；
[0082]
为了控制触发词增强中的噪声，本发明在选择路径进行dfs时，不是仅选择一条路径，而是选择多条路径，从每个节点出发时，根据边的权重选择m条路径，考虑树高为3，因此总的路径数为m2，最终通过路径上边的权重乘积的最大值确定事件类型和子类型；相较于仅根据一条路径进行贪心搜索，选择多条路径进行搜索可以避免局部最优的情况，即使事件类型的分类结果错误，最终仍有可能通过多次搜索获取正确结果；具体到事件类型和子类型分类过程中，即为在信号传递过程中不是仅将事件类型分类概率分布的最大值对应的事件类型作为信号，而是选择前m大结果，依次进行多次搜索，以控制触发词增强过程中的噪声，从而使得分类结果最优；
[0083]
(302)事件类型-子类型指导分类网络
[0084]
根据上面的分类机制，本发明设计一个事件类型-子类型指导分类网络，包括事件类型和子类型分类；事件类型和子类型分类的思想类似，不同的是事件类型分类在候选句子上进行训练，进而通过预测得到事件类型结果，事件子类型分类根据事件类型分类结果在原句子上进行训练，进而得到事件子类型分类结果；假定原句子x经过触发词增强后获得z个候选句子其中z≤kq，q是句子x中的触发词数量；然后将x和送入预训练掩码语言模型获取句子中单词的表示：
[0085]
h＝pmlm(x)(7)
[0086][0087]
其中pmlm表示预训练掩码语言模型，和公式2中的pmlm相同，二者共享权重，h表示原句子x中单词的词嵌入，表示候选句子中单词的词嵌入；接下来作为事件类型分类的输入获得事件类型结果
[0088][0089]
其中etc表示事件类型分类，是一个两层的带有dropout和layernormalization的
非线性分类器，分类器的输出维度大小为事件类型的个数；此外，通过公式(3)和(4)可以得到候选句子的得分s；接下来通过加权求和得到加权的事件类型分类结果：
[0090][0091]
其中表示加权后的事件类型分类结果，softmax表示归一化函数；然后由的前m大概率v和对应标签l组成信号来指导事件子类型分类：
[0092][0093]
其中esc表示事件子类型分类，共包含|c|个分类器，每个都是带有dropout和layer normalization的两层非线性分类器；|c|表示事件类型集合元素的个数，表示根据li的值选择第li个分类器，vi表示第i个信号对应的概率值，li表示第i个信号对应的事件类型标签，softmax表示归一化函数，表示事件类型和子类型分类概率的乘积，max表示取集合中的最大值，y表示x中单词的最终事件子类型标签。
[0094]
(4)句子语义一致性
[0095]
本发明提出句子语义一致性机制，以进一步保证生成触发词的质量；考虑到候选句子和原句子只有触发词不同，因此本发明尝试让原句子和生成候选句子的语义尽可能相似；在本发明中，使用h
cls
和的均方误差损失作为监督目标加入到最终优化的损失函数中：
[0096][0097]
其中ls表示原句子和候选句子的均方误差损失，h
cls
和分别表示原句子和候选句子中第一个单词[cls]经过预训练掩码语言模型编码后的表示，本发明将其作为各自句子的语义表示，|h
cls
|表示h
cls
的维度大小，h
cls,i
和分别表示h
cls
和中的第i个元素；
[0098]
为了优化模型，联合训练采用如下的损失函数：
[0099]
l＝l
etc
+αl
esc
+βlsꢀꢀꢀꢀ
(13)
[0100]
其中l表示最终的损失，l
etc
和l
esc
分别表示事件类型和子类型分类的损失，其中l
etc
表示真实事件类型标签和预测之间的交叉熵损失，l
esc
表示真实事件子类型标签和预测之间的交叉熵损失，α和β表示权衡参数；值得注意的是，在esc分类阶段，h会根据l计算m次前向传播，但l
esc
只会在li等于h中触发词的真实事件类型时才计算损失，如果真实的事件类型不在信号中，此时esc将会被剪枝。
[0101]
在具体实施过程中，本发明采用roberta作为预训练掩码语言模型进行实验。通过提前设定各种超参数，事件类型分类和事件子类型分类的隐层和dropout分别设置为768和0.1，权衡参数α和β分别设置为0.6和0.4，学习率设置为1e-5，优化器采用adam，batch size设置为4。k设置为4表明触发词增强会生成4个候选句子，z设置为4表明一个包含触发词的句子会获得4个候选句子，对于包含多个触发词的句子，本发明选取得分最高的前4个候选句子。m设置为2表明事件子类型分类会根据事件类型分类结果计算2次。epoch设置为50，early stop设置为8。
[0102]
为了验证本发明方法的有效性，对于ace2005数据集，将本发明方法(lsedta)与当
前先进并具有代表性的模型(dmcnn、gmlatt、dmbert、eeqa、rcee_er、drmm、ekd、mlbinet、ed3c、gptedot)进行比较；对于fewevent数据集，由于数据划分方式不一致，本节选择手动实现或论文代码公开的工作作为对比模型，包括plmee、dmbert和eeqa。大致可以分为三类：
[0103]
基于多标签分类的方法：
[0104]
1)plmee：yang等人
[13]
借助预训练语言模型直接对句子中的单词进行分类，完成事件检测任务。
[0105]
2)mlbinet：lou等人
[10]
提出了一种多层双向网络，以同时捕获事件和语义信息的关联。
[0106]
3)ed3c：veyseh等人
[11]
提出了一种建模文档级上下文的新方法，该方法动态地选择文档中的相关句子以对目标句子进行事件预测。
[0107]
基于问答的方法：
[0108]
4)eeqa：du等人
[6]
引入了一种新的事件抽取范式，将其转化为问答任务，以端到端的方式解决。
[0109]
5)rcee_er：liu等人
[7]
将事件抽取转化为机器阅读理解问题，其中包括一个无监督的问题生成过程，然后是基于bert的问答以检索答案作为结果。
[0110]
基于数据增强的方法：
[0111]
6)dmcnn：chen等人
3.利用世界知识和语言知识来检测每种事件类型的论元和触发词，进而自动标记文本中的事件，进行数据增强。
[0112]
7)gmlatt：liu等人
4.提出了一个多语料方法，通过机器翻译方法来增强源数据。
[0113]
8)dmbert：wang等人
[5]
构建了一个覆盖率良好的大型事件相关候选集，并通过对抗训练机制从候选集中迭代的识别事件并过滤掉有噪声的事件。
[0114]
9)drmm：tong等人
[8]
提出了一种新颖的双循环多模态模型，用于图像和句子之间进行深度交互，进而完成事件检测。
[0115]
10)ekd：tong等人
[9]
通过wordnet进行知识收集，然后借助teacher-student模型来从有标注和无标注的数据中蒸馏开放域触发词知识，进而完成事件检测。
[0116]
11)gptedot：veyseh等人
[12]
利用gpt-2来生成包含事件的句子，实现数据增强。
[0117]
具体评价指标采用精准率(precision，p)、召回率(recall，r)、f1值进行实验性能的评价。
[0118]
表1和2分别展示了模型和所有比较方法在ace2005和fewevent上的实验结果，f1分数值越高表示该模型性能越好。“*”表示该模型利用了预训练语言模型。表3展示了模型以及退化模型在fewevent上的实验结果。其中ed表示直接进行多分类，完成事件检测，lsed表示基于ed，添加额外的标签信号指导，edta表示进行触发词增强，但不采用标签信号指导的事件分类。表4展示了模型在ace2005数据集上的退化实验结果。其中ed、lsed、edta、lsedta和前面介绍的一致，
“‑
cp”表示移除上下文提示，
“‑
ssc”表示移除句子语义一致性，
“‑
all”表示移除上下文提示和句子语义一致性。
[0119]
表1：本发明方法与其他方法在ace2005同一测试集上的性能比较
[0120]
[0121][0122]
表2：本发明方法与其他方法在fewevent同一测试集上的性能比较
[0123]
模型prf1plmee60.158.259.1dmbert60.358.459.3eeqa61.259.360.2lsedta62.060.361.1
[0124]
表3：本发明方法在fewevent数据集上的退化实验结果
[0125]
模型prf1ed60.253.356.5lsed60.754.157.2edta57.459.658.5lsedta62.060.361.1
[0126]
表4：本发明在方法在ace2005数据集上的退化实验结果
[0127]
language technologies,volume 1(long andshort papers).2019:998-1008.
[0141]
[6]du x,cardie c.event extraction by answering(almost)naturalquestions[c]//proceedings of the 2020 conference on empirical methods in natural languageprocessing(emnlp).2020:671-683.
[0142]
[7]liu j,chen y,liu k,et al.event extraction as machine readingcomprehension[c]//proceedings of the 2020 conference on empirical methods in naturallanguage processing(emnlp).2020:1641-1651.
[0143]
[8]tong m,wang s,cao y,et al.image enhanced event detection in newsarticles[c]//proceedings of the aaai conference on artificial intelligence.2020,34(05):9040-9047.
[0144]
[9]tong m,xu b,wang s,et al.improving event detection via open-domain triggerknowledge[c]//proceedings of the 58th annual meeting of the association for computationallinguistics.2020:5887-5897.
[0145]
[10]lou d,liao z,deng s,et al.mlbinet:a cross-sentence collective event detectionnetwork[c]//proceedings of the 59th annual meeting of the association for computationallinguistics and the 11th international joint conference on natural language processing(volume 1:long papers).2021:4829-4839.
[0146]
[11]veyseh a p b,van nguyen m,trung n n,et al.modeling document-level context forevent detection via important context selection[c]//proceedings of the 2021 conference onempirical methods in natural language processing.2021:5403-5413.
[0147]
[12]veyseh a p b,lai v,dernoncourt f,et al.unleash gpt-2 power for eventdetection[c]//proceedings of the 59th annual meeting of the association for computationallinguistics and the 11th international joint conference on natural language processing(volume 1:long papers).2021:6271-6282.
[0148]
[13]yang s,feng d,qiao l,et al.exploring pre-trained language models for event extractionand generation[c]//proceedings of the 57th annual meeting of the association for computationallinguistics.2019:5284-5294.

技术特征：
1.一种基于触发词增强的标签信号指导事件检测方法，其特征在于，包括以下步骤：(1)触发词增强，在不改变触发词上下文的前提下，对触发词进行掩码并通过预训练掩码语言模型生成候选触发词；(2)标签信号指导的事件检测，包括事件类型和子类型分类，采用(1)中候选触发词进行事件类型分类，分类结果作为信号指导事件子类型分类，进行多次事件子类型分类，依据事件类型和子类型分类结果乘积的最大值进行最终的分类；(3)句子语义一致性，原句子和生成候选句子语义尽可能相似，以进一步保证生成触发词的质量。2.根据权利要求1所述一种基于触发词增强的标签信号指导事件检测方法，其特征在于，步骤(1)具体包括：本发明采用触发词增强获取合适的候选触发词，其实现策略为掩码触发词并通过预训练掩码语言模型生成候选词；具体地，给定输入x＝[x1，
…
，x
i
，
…
，x
n
]，其中x表示句子，n是输入单词的个数，x
i
是第i个单词；假定x
i
是句子x的唯一触发词，则掩码后句子的形式如下：x
′
＝[x1，
…
，[mask]，
…
，x
n
]
ꢀꢀꢀꢀ
(1)其中x
′
表示掩码后的句子，[mask]是用来代表触发词的特殊符号；x
′
接下来作为预训练掩码语言模型的输入来获取[mask]的表示：h
mask
＝pmlm(x
′
)∈r
d
ꢀꢀꢀꢀ
(2)其中h
mask
指[mask]的表示，pmlm表示预训练掩码语言模型，在实施过程中，可根据具体情况进行选择，如roberta，d表示预训练掩码语言模型隐层的输出维度；然后利用预训练掩码语言模型头，即pmlm head来获取得分最高的k个候选触发词集合t＝[t1，
…
，t
i
，
…
，t
k
]以及对应的得分集合s＝[s1，
…
，s
i
，
…
，s
k
]：(t，s)＝pmlm head(h
mask
)
ꢀꢀꢀꢀꢀꢀ
(3)其中t代表候选触发词集合，k表示集合内元素的个数，t
i
表示第i个候选触发词；s表示候选触发词得分集合，s
i
表示第i个候选触发词t
i
的得分，触发词的得分在集合s降序排列；pmlm head是一个预训练的带有dropout和layer normalization的两层非线性分类器，其输出维度对应预训练掩码语言模型词库；候选触发词的得分为pmlm head在对应词库单词上的概率；值得注意的是s中元素的和小于1，然后通过下面的方式进行归一化：然后将t中的候选触发词填入[mask]，可以得到k个候选句子；不同的候选句子除了触发词不同，其他的单词都相同；在填入之前，本发明通过x
i
∈t是否成立来初步判断生成触发词集合t的质量，这里x
i
表示被掩码之前的触发词；如果不成立，本发明认为t的质量不可靠，进而放弃进行触发词增强；考虑到触发词通常是句子中的核心词，并且在预训练语言模型巨大的词库范围下将有很多可选的单词；为了帮助预训练掩码语言模型正确理解掩码后的句子，生成合适的候选触发词，本发明将当前句子x的前一和后一句子作为提示加入到x
′
中以丰富当前句子的语义，增强后的x
′
形式如下：x
′
＝[sent1，[sep]，x1，
…
，[mask]，
…
，x
n
，[sep]，sent2]
ꢀꢀꢀꢀ
(5)这里sent1和sent2分别表示当前句子x的前一和后一句子，[sep]是用来区分不同句子
的特殊符号；如果当前句子是文档的第一个句子，则添加后面两句，如果是最后一句，则添加前面两句；为了进一步帮助预训练掩码语言模型理解掩码后的句子，x
′
只包含一个[mask]单词，尽管x可能包含多个触发词；为了解决这个问题，本发明每次只掩码一个触发词并且获得候选的触发词集合和得分，最终通过笛卡尔积获取多个触发词的候选序列和其对应的得分，序列的得分是序列里每个触发词得分的乘积；因此，如果一个句子包含q个触发词，理论上最多可以获得k
q
个候选句子。3.根据权利要求1所述一种基于触发词增强的标签信号指导事件检测方法，其特征在于，步骤(2)具体包括：(201)标签信号指导的分类机制考虑到一个事件类型包含一个或多个事件子类型，本发明设计一种标签信号指导的分类机制，首先进行事件类型分类，然后进行事件子类型分类；具体地，根据预定义的事件模式，有一个事件类型集合c和事件子类型集合y；总体的目标是预测句子x中定义的所有事件集合ε
x
，旨在最大化下面的似然函数：其中d表示所有的训练语料，x表示训练语料中的句子，ε
x
表示句子x中定义的所有事件，t
x
表示句子x中的触发词集合，t表示触发词集合t
x
中的触发词，c表示触发词t的事件类型，y表示触发词t的事件子类型；事件类型分类结果作为信号来指导事件子类型分类；分类机制是一个高度为3的树，根节点为触发词，第二层和第三层分别代表事件类型和子类型，第二层节点的孩子节点即为其包含的事件子类型，边上的权重为触发词在对应事件类型和子类型上的分类概率；在分类过程中，基于边的权重以深度优先搜索，depth search first，dfs，选择一条从根到叶子节点的路径，确定触发词对应的事件类型和子类型；为了控制触发词增强中的噪声，本发明在选择路径进行dfs时，不是仅选择一条路径，而是选择多条路径，从每个节点出发时，根据边的权重选择m条路径，考虑树高为3，因此总的路径数为m2，最终通过路径上边的权重乘积的最大值确定事件类型和子类型；相较于仅根据一条路径进行贪心搜索，选择多条路径进行搜索可以避免局部最优的情况，即使事件类型的分类结果错误，最终仍有可能通过多次搜索获取正确结果；具体到事件类型和子类型分类过程中，即为在信号传递过程中不是仅将事件类型分类概率分布的最大值对应的事件类型作为信号，而是选择前m大结果，依次进行多次搜索，以控制触发词增强过程中的噪声，从而使得分类结果最优；(202)事件类型-子类型指导分类网络根据上面的分类机制，本发明设计一个事件类型-子类型指导分类网络，包括事件类型和子类型分类；事件类型和子类型分类的思想类似，不同的是事件类型分类在候选句子上进行训练，进而通过预测得到事件类型结果，事件子类型分类根据事件类型分类结果在原句子上进行训练，进而得到事件子类型分类结果；假定原句子x经过触发词增强后获得z个候选句子其中z≤k
q
，q是句子x中的触发词数量；然后将x和送入预训练掩码语言模型获取句子中单词的表示：
h＝pmlm(x)
ꢀꢀꢀꢀꢀꢀ
(7)其中pmlm表示预训练掩码语言模型，和公式2中的pmlm相同，二者共享权重，h表示原句子x中单词的词嵌入，表示候选句子中单词的词嵌入；接下来作为事件类型分类的输入获得事件类型结果入获得事件类型结果其中etc表示事件类型分类，是一个两层的带有dropout和layer normalization的非线性分类器，分类器的输出维度大小为事件类型的个数；此外，通过公式(3)和(4)可以得到候选句子的得分s；接下来通过加权求和得到加权的事件类型分类结果：其中表示加权后的事件类型分类结果，softmax表示归一化函数；然后由的前m大概率v和对应标签l组成信号来指导事件子类型分类：其中esc表示事件子类型分类，共包含|c|个分类器，每个都是带有dropout和layer normalization的两层非线性分类器；|c|表示事件类型集合元素的个数，表示根据l
i
的值选择第l
i
个分类器，v
i
表示第i个信号对应的概率值，l
i
表示第i个信号对应的事件类型标签，softmax表示归一化函数，表示事件类型和子类型分类概率的乘积，max表示取集合中的最大值，y表示x中单词的最终事件子类型标签。4.根据权利要求1所述一种基于触发词增强的标签信号指导事件检测方法，其特征在于，步骤(3)具体包括：本发明提出句子语义一致性机制，以进一步保证生成触发词的质量；考虑到候选句子和原句子只有触发词不同，因此本发明尝试让原句子和生成候选句子的语义尽可能相似；在本发明中，使用h
cls
和的均方误差损失作为监督目标加入到最终优化的损失函数中：其中l
s
表示原句子和候选句子的均方误差损失，h
cls
和分别表示原句子和候选句子中第一个单词[cls]经过预训练掩码语言模型编码后的表示，本发明将其作为各自句子的语义表示，|h
cls
|表示h
cls
的维度大小，h
cls,i
和分别表示h
cls
和中的第i个元素；为了优化模型，联合训练采用如下的损失函数：l＝l
etc
+αl
esc
+βl
s
ꢀꢀꢀꢀ
(13)其中l表示最终的损失，l
erc
和l
esc
分别表示事件类型和子类型分类的损失，其中l
etc
表示真实事件类型标签和预测之间的交叉熵损失，l
esc
表示真实事件子类型标签和预测之间的交叉熵损失，α和β表示权衡参数；值得注意的是，在esc分类阶段，h会根据l计算m次前向传播，但l
esc
只会在l
i
等于h中触发词的真实事件类型时才计算损失，如果真实的事件类型不在信号中，此时esc将会被剪枝。

技术总结
本发明公开一种基于触发词增强的标签信号指导事件检测方法，包括以下步骤：(1)触发词增强，在不改变上下文的前提下利用预训练掩码语言模型知识通过掩码触发词来生成候选触发词；(2)标签信号指导的事件检测，为了控制触发词增强的噪声，提出标签信号指导的事件分类，先进行事件类型分类，再进行事件子类型分类，事件类型分类结果作为信号指导事件子类型分类，可以多次搜索计算，最终依据事件类型和子类型分类结果乘积的最大值进行最终的分类；(3)句子语义一致性，为了进一步保证生成触发词的质量，提出句子语义一致性进行联合训练。提出句子语义一致性进行联合训练。提出句子语义一致性进行联合训练。


技术研发人员：贺瑞芳 肖梦南
受保护的技术使用者：天津大学
技术研发日：2023.04.14
技术公布日：2023/9/22