一种结合类型感知注意力的少样本知识图谱补全方法

1.本发明属于自然语言处理技术与知识工程交叉领域，具体涉及一种结合类型感知注意力的少样本知识图谱补全方法。


背景技术：

2.知识图谱补全(knowledge graph completion，kgc)旨在通过机器学习方法来自动寻找补全缺失的三元组。通过知识图谱补全，能够缓解知识图谱中数据稀疏的问题，使得知识图谱更加完整，从而更好的应用于相应的领域中，因此知识图谱补全成为了新的研究热点之一，其中最常见的方法为基于知识表示学习的方法，又称知识图谱嵌入。
3.传统基于知识表示学习的方法通常需要对所有关系有足够多的训练三元组，但在实际应用数据中，往往存在着大量出现频次很低的关系，即少样本关系，这些关系只出现在很少的三元组中，越是这些少样本关系，越有可能需要进行补全。因此，传统基于知识表示学习的方法在处理这些长尾关系时，会因缺乏足够的训练数据导致模型性能降低。
4.先前的少样本学习研究主要集中在计算机视觉、模仿学习和情感分析等领域，受此启发，最近的一些工作试图在知识图谱中对长尾关系运用少样本学习的方法来进行少样本情况下的知识图谱补全，主要任务为通过给出与任务关系相关的少量实体对作为参考集，来预测查询对中的尾实体。gmatching利用邻居编码器编码实体的单跳邻居来增强实体嵌入，并使用一个lstm匹配处理器通过lstm块执行多步匹配；b-gmatching引入bert预训练语言表示模型来增强gmatching中实体和关系的语义表示；metar通过在任务之间提取共享知识并将其从一些现有事实转移到不完整的事实；fsrl通过注意力机制进一步捕获局部图结构信息；faan通过一个自适应邻居编码器动态调整实体的表示以适应不同的任务关系，并通过transformer编码器使参考集表示适应不同的查询。
5.以往的少样本知识图谱补全方法对实体邻居进行编码，通过注意力机制改进图结构信息的学习过程，并进一步考虑实体的动态特性，从而增强实体的嵌入表示。虽然能够从很少的样本中学到有效的信息，并取得了可观的效果，但这些工作仍没有考虑到邻居实体中包含的隐含类别信息，从而在面对一对多、多对多等复杂情况时，不能很好的区分不同邻居的重要性。


技术实现要素：

6.为了解决上述技术问题，本发明提供了一种结合类型感知注意力的少样本知识图谱补全方法，该方法基于公共数据集，首先通过一个类型感知邻居编码器，在给定任务关系及其参考和查询三元组的情况下，学习邻居实体中隐含的类型信息，进一步区分不同实体邻居的重要性，从而增强实体嵌入表示，然后将实体对与任务关系输入transformer编码器进一步学习任务关系在不同实体对中表现出的不同含义，得到实体对表示，最后通过联合匹配原型网络计算实体级原型和关系级原型以共同帮助查询对选择与其更相似的参考集。
7.为了达到上述技术效果，本发明是通过以下技术方案实现的：
8.一种结合类型感知注意力的少样本知识图谱补全方法，包括以下步骤：
9.s1：首先利用transe模型对实体和关系进行预训练得到预训练嵌入，将其输入到类型感知编码器中，对于给定与任务关系r相关的实体对(h,t)，通过学习实体h的邻居关系er和邻居实体e
t
的特征，得到类型表示，并根据类型表示生成类型感知注意力来分配邻居权重，从而增强h的嵌入表示；
10.s2：重复s1流程，得到增强后的实体t嵌入表示；
11.s3：将由类型感知编码器增强后的实体嵌入表示h和t，与任务关系r拼接成序列x，然后输入到transformer编码器中进行编码，得到实体对表示；
12.s4：通过一种联合匹配原型网络，在原型网络的基础上，分别将参考对的类型感知编码器输出和transformer编码器输出进行聚合得到实体级原型和关系级原型，作为少样本参考集表示；
13.s5：通过计算查询对和参考集表示的相似性，对候选实体进行评分；
14.s6：结合正样本和负样本的得分，使用边际排名损失和adam优化器反向传播优化类型感知编码器、transformer编码器和联合匹配原型网络；
15.优选的，所述s1中具体步骤为：
16.s1.1：给定与任务关系r相关的实体对(h,t)，记
17.nh＝{(er,e
t
)|(h,er,e
t
)∈g
′
}为头实体h的单跳邻居，er和e
t
分别表示h的邻居关系和邻居实体；首先需要计算邻居实体特定于邻居关系的类型表示，如式(1)所示：
[0018][0019]
其中，为向量拼接操作，w1∈r
2d
×d与b1为可训练参数，则ci为第i个邻居实体特定于与其对应邻居关系的类型表示；
[0020]
s1.2：对于给定的实体对(h,t)，首先通过trasne模型将任务关系r进行表示，进而得到头实体h特定于任务关系r的类型表示，计算过程如式(2)-式(3)所示：
[0021]
r＝t-h
ꢀꢀ
(2)
[0022][0023]
其中，w2∈r
2d
×d与b2为可训练参数，则c为头实体特定于任务关系的类型表示；
[0024]
s1.3：对于一个事实三元组，其整体上下文信息应具有同一类型的语义环境，因此，得到头实体及其邻居实体的类型表示c和ci后，第i个邻居的类型得分定义为：
[0025]di
＝||c+r-ci||2ꢀꢀꢀ
(4)
[0026]
对不同邻居的类型得分通过softmax函数获得类型注意力，用以区分不同邻居的重要性。实体的聚合表示由式(5)-式(7)得到：
[0027][0028][0029][0030]
其中，e
(k)
为第k个头得到的实体聚合表示，e为最终的实体聚合表示；
[0031]
s1.4：通过定义一个参数a来调整预训练实体嵌入表示和编码得到的实体聚合表
示的权重，并将其相加作为最终的实体增强表示，如式(8)-式(9)所示：
[0032][0033]
h＝relu(a*e+(1-a)*h)
ꢀꢀꢀ
(9)
[0034]
其中，σ为sigmoid激活函数，w3∈rd×d为权重矩阵；
[0035]
优选的，所述s2中将尾实体t及其邻居关系和邻居实体按照s1的流程，经过类型感知编码器进行编码，得到尾实体t最终的实体增强表示；
[0036]
优选的，所述s3的具体步骤为：
[0037]
s3.1：对由类型感知邻居编码器得到的与任务关系r相关的实体对(h,t)∈rr，将其与任务关系r拼接成序列x＝(x1,x2,x3)。对于每个x中的元素xi，其对应的输入为：
[0038][0039]
其中，由类型感知邻居编码器获得，为相应的位置嵌入；
[0040]
s3.2：得到输入的表示后，将其输入到一个l层transformer编码器中来对x进行编码以得到实体对的表示，如式(11)所示：
[0041][0042]
其中，是第l层的元素xi对应的隐藏状态，transformer编码器采用多头自注意力机制；
[0043]
为了进行少样本知识图谱补全任务，将掩码作用于任务关系x2上，以获得有意义的实体对嵌入表示；取最终的隐藏状态作为当前实体对的表示；通过transformer编码器编码实体对特定于任务关系的表示，学习三元组整体的上下文类型信息，从而使任务关系在面对不同实体对时，能表现出不同的类型信息；
[0044]
优选的，所述s4中通过一个联合匹配原型网络，在原型网络的基础上，分别将参考对的类型感知编码器输出和transformer编码器输出进行聚合得到实体级原型和关系级原型，作为少样本参考集表示。具体而言，实体级原型，关系级原型通过式(12)-式(15)得到：
[0045][0046][0047][0048][0049]
其中，
·
为逐元素点积，s
ri,entity
为参考集sr中第i个参考对的实体表示，q
entity
为查询对的实体表示，两者由式(9)得到；s
ri,rel
为参考集sr中第i个参考对的表示，q
rel
为查询对的表示，两者由式(11)得到；则g
rel
(sr)和g
entity
(sr)即为关系级原型和实体级原型，作为参考集的聚合表示；
[0050]
优选的，所述s5中为了进行预测，需要进一步计算查询对q和参考集表示g(sr)的相似性，如式(16)-式(17)所示：
[0051]sentity
＝cos(q
entity
,g
entity
(sr))
ꢀꢀꢀ
(16)
[0052]srel
＝q
rel
·grel
(sr)
ꢀꢀꢀ
(17)
[0053]
由式(16)和式(17)可知，当查询对和参考集的实体级表示和关系级表示更相似时，说明该查询对更有可能真实存在；
[0054]
优选的，所述s6中通过元训练集t
mtr
在模型上进行训练，对于每个少样本任务关系r，从训练集中随机采样k个实体对作为参考集sr，训练集剩余的实体对作为正例查询对qr＝{(h
p
,t
p
)}；然后通过随机破坏(h
p
,t
p
)的尾实体，构造负例实体对q
r—
＝{(h
p
,tf)}，其中tf≠t
p
；sr、qr和q
r—
构成元训练集t
mtr
；相应的损失为：
[0055][0056][0057][0058]
其中，对于l
entity
将其细分为l
head
和l
tail
，[
·
]
+
为最大值函数，γ
rel
和γ
entity
为正负例间的边界，λ1和λ2为相应的权重参数，同时进一步对模型参数进行l2正则化避免过拟合。
[0059]
本发明的有益效果是：
[0060]
1)本发明通过研究少样本情况下实体邻居对当前实体的影响，在邻居编码阶段结合了邻居类型来为邻居分配权重，使得权重在随任务关系动态调整的同时，能够进一步区分相同邻居关系的不同邻居的重要性；
[0061]
2)在参考集聚合阶段，通过提供了实体级聚合和关系级聚合，进一步帮助查询对选择更相似的参考集；
[0062]
3)与现有知识图谱补全方法相比，本方法取得了一定的效果提升，并且在公共数据集上的大部分评价指标优于现有的少样本知识图谱补全方法。
附图说明
[0063]
图1为本发明一种结合类型感知注意力的少样本知识图谱补全方法对应的模型结构示意图。
[0064]
图2为本发明中的详细的实施流程图。
具体实施方式
[0065]
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0066]
实施例1
[0067]
如图1所示，一种结合类型感知注意力的少样本知识图谱补全方法，所述方法的具体步骤如下：
[0068]
s1：从网上下载公开的少样本知识图谱补全数据集，具体采用nell个wiki两个数
据集，并下载两个数据集对应的预训练嵌入文件；
[0069]
上述得到的数据集如表1所示：
[0070]
表1数据集详情
[0071]
数据集实体数关系数三元组数任务数nell6854535818110967wiki48382448225859240183
[0072]
s2：首先利用transe模型对实体和关系进行预训练得到预训练嵌入，将其输入到类型感知编码器中，对于给定与任务关系r相关的实体对(h,t)，通过学习实体h的邻居关系er和邻居实体e
t
的特征，得到类型表示，并根据类型表示生成类型感知注意力来分配邻居权重，从而增强h的嵌入表示；
[0073]
s3：重复s2流程，得到增强后的实体t嵌入表示；
[0074]
s4：将由类型感知编码器增强后的实体嵌入表示h和t，与任务关系r拼接成序列x，然后输入到transformer编码器中进行编码，得到实体对表示；
[0075]
s5：通过一种联合匹配原型网络，在原型网络的基础上，分别将参考对的类型感知编码器输出和transformer编码器输出进行聚合得到实体级原型和关系级原型，作为少样本参考集表示；
[0076]
s6：通过计算查询对和参考集表示的相似性，对候选实体进行评分；
[0077]
s7：结合正样本和负样本的得分，使用边际排名损失和adam优化器反向传播优化类型感知编码器、transformer编码器和联合匹配原型网络；
[0078]
优选的，所述s2的具体步骤为：
[0079]
s2.1：给定与任务关系r相关的实体对(h,t)，记nh＝{(er,e
t
)|(h,er,e
t
)∈g
′
}为头实体h的单跳邻居，er和e
t
分别表示h的邻居关系和邻居实体；首先需要计算邻居实体特定于邻居关系的类型表示，如式(1)所示：
[0080][0081]
其中，为向量拼接操作，w1∈r
2d
×d与b1为可训练参数，则ci为第i个邻居实体特定于与其对应邻居关系的类型表示；
[0082]
s2.2：对于给定的实体对(h,t)，首先通过trasne模型将任务关系r进行表示，进而得到头实体h特定于任务关系r的类型表示，计算过程如式(2)-式(3)所示：
[0083]
r＝t-h
ꢀꢀ
(2)
[0084][0085]
其中，w2∈r
2d
×d与b2为可训练参数，则c为头实体特定于任务关系的类型表示；
[0086]
s2.3：对于一个事实三元组，其整体上下文信息应具有同一类型的语义环境，因此，得到头实体及其邻居实体的类型表示c和ci后，第i个邻居的类型得分定义为：
[0087]di
＝||c+r-ci||2ꢀꢀ
(4)
[0088]
对不同邻居的类型得分通过softmax函数获得类型注意力，用以区分不同邻居的重要性；实体的聚合表示由式(5)-式(7)得到：
[0089]
[0090][0091][0092]
其中，e
(k)
为第k个头得到的实体聚合表示，e为最终的实体聚合表示；
[0093]
s2.4：通过定义一个参数a来调整预训练实体嵌入表示和编码得到的实体聚合表示的权重，并将其相加作为最终的实体增强表示，如式(8)-式(9)所示：
[0094][0095]
h＝relu(a*e+(1-a)*h)
ꢀꢀ
(9)
[0096]
其中，σ为sigmoid激活函数，w3∈rd×d为权重矩阵；
[0097]
优选的，所述s3的具体步骤为：
[0098]
s3.1：将尾实体t及其邻居关系和邻居实体按照s1的流程，经过类型感知编码器进行编码，得到尾实体t最终的实体增强表示；
[0099]
优选的，所述s4的具体步骤为：
[0100]
s4.1：对由类型感知邻居编码器得到的与任务关系r相关的实体对(h,t)∈rr，将其与任务关系r拼接成序列x＝(x1,x2,x3)；对于每个x中的元素xi，其对应的输入为：
[0101][0102]
其中，由类型感知邻居编码器获得，为相应的位置嵌入；
[0103]
s4.2：得到输入的表示后，将其输入到一个l层transformer编码器中来对x进行编码以得到实体对的表示，如式(11)所示：
[0104][0105]
其中，是第l层的元素xi对应的隐藏状态，transformer编码器采用多头自注意力机制；
[0106]
为了进行少样本知识图谱补全任务，将掩码作用于任务关系x2上，以获得有意义的实体对嵌入表示；取最终的隐藏状态作为当前实体对的表示；通过transformer编码器编码实体对特定于任务关系的表示，学习三元组整体的上下文类型信息，从而使任务关系在面对不同实体对时，能表现出不同的类型信息；
[0107]
优选的，所述s5的具体步骤为：
[0108]
通过一个联合匹配原型网络，在原型网络的基础上，分别将参考对的类型感知编码器输出和transformer编码器输出进行聚合得到实体级原型和关系级原型，作为少样本参考集表示。具体而言，实体级原型，关系级原型通过式(12)-式(15)得到：
[0109][0110][0111][0112]
[0113]
其中，
·
为逐元素点积，s
ri,entity
为参考集sr中第i个参考对的实体表示，q
entity
为查询对的实体表示，两者由式(9)得到；s
ri,rel
为参考集sr中第i个参考对的表示，q
rel
为查询对的表示，两者由式(11)得到；则g
rel
(sr)和g
entity
(sr)即为关系级原型和实体级原型，作为参考集的聚合表示；
[0114]
优选的，所述s6的具体步骤为：
[0115]
为了进行预测，需要进一步计算查询对q和参考集表示g(sr)的相似性，如式(16)-式(17)所示：
[0116]sentity
＝cos(q
entity
,g
entity
(sr))
ꢀꢀꢀꢀ
(16)
[0117]srel
＝q
rel
·grel
(sr)
ꢀꢀꢀ
(17)
[0118]
由式(16)和式(17)可知，当查询对和参考集的实体级表示和关系级表示更相似时，说明该查询对更有可能真实存在；
[0119]
优选的，所述s7的具体步骤为：
[0120]
通过元训练集t
mtr
在模型上进行训练，对于每个少样本任务关系r，从训练集中随机采样k个实体对作为参考集sr，训练集剩余的实体对作为正例查询对qr＝{(h
p
,t
p
)}；然后通过随机破坏(h
p
,t
p
)的尾实体，构造负例实体对q
r—
＝{(h
p
,tf)}，其中tf≠t
p
。sr、qr和q
r—
构成元训练集t
mtr
；相应的损失为：
[0121][0122][0123][0124]
其中，对于l
entity
将其细分为l
head
和l
tail
，[
·
]
+
为最大值函数，γ
rel
和γ
entity
为正负例间的边界，λ1和λ2为相应的权重参数，同时进一步对模型参数进行l2正则化避免过拟合。
[0125]
实施例2
[0126]
为了说明本发明效果，设计了对比试验和消融实验；对比实验是与之前一些知识图谱补全方法以及少样本知识图谱补全方法进行对比；消融实验是对本发明不同模块的有效性进行比较；使用hits@k命中率和平均倒数排名(mrr)来评价这些方法的性能，k分别取1、5和10；hits@k命中率反映了方法将正确实体排在前k名的能力，mrr反映了方法对正确实体在候选实体中的排名能力；hits@k和mrr具体公式如下：
[0127][0128][0129]
其中，|s|是三元组集合的大小，ranki表示第i个三元组的排名，i(ranki≤k)表示当第i个三元组的排名小于k时值为1，否则值为0；
[0130]
1、对比试验
[0131]
将本方法在两个公共数据集上与其他知识图谱补全方法进行比较，实验结果如表
2和表3所示；
[0132]
表2 k＝5时不同模型在nell数据集上的实验结果
[0133][0134]
表3 k＝5时不同模型在wiki数据集上的实验结果
[0135][0136][0137]
由表2和表3可知，与传统基于知识表示学习的方法相比，少样本知识图谱补全方法取得了较好的性能，表明少样本知识图谱补全方法更能针对并解决知识图谱中存在的长尾问题。与目前效果最好的少样本知识图谱补全方法faan相比，本文方法较在nell数据集上，mrr指标提高了1.6％，hits@10指标提高了0.2％，hits@5指标提高了0.8％，hits@1指标提高了2.1％；在wiki数据集上，mrr指标提高了1.2％，hits@10指标提高了1.7％，hits@5指
标提高了0.9％，hits@1指标提高了1.2％。以上实现结果表明，同时利用邻居实体和邻居关系来挖掘实体隐含类型信息能够在复杂的邻居关系中学习到更好的表示，从而提高少样本知识图谱补全的性能。
[0138]
2、消融实验
[0139]
为了验证本方法中各部分的效果，在nell数据集上进行了相应的消融实验，实验结果如表4所示。其中，分别从整体方法中去掉调整预训练实体嵌入表示和编码得到的实体聚合表示的权重参数；去掉实体级原型(-ep)；去掉关系级原型(-rp)；去掉类型感知注意力，即将邻居实体特定于邻居关系的表示求平均作为邻居编码器的输出(-taa)；将整个类型感知编码器替换为faan的自适应邻居编码器，保留联合匹配原型网络(faan+)。
[0140]
表4消融实验结果
[0141][0142][0143]
由表4可知，在去除实体级原型和关系级原型后，方法性能有所下降，特别是去除关系级原型，即不经过transformer编码器进行编码，而直接使用依据邻居编码器的输出得到的实体级原型进行预测，导致方法性能下降7.1％；在去除类型感知注意力后，方法性能下降了1.7％；去除权重参数a后，方法性能下降了0.6％；使用faan方法的自适应邻居编码器和实体级原型与关系级原型，相比faan模型提升了1％。
[0144]
综上所述，本方法能够通过类型感知编码器学习邻居实体的特定类型表示，得到类型感知注意力，用来增强实体嵌入的表示，通过transformer编码器使任务关系能捕获不同三元组的上下文信息，最后通过联合匹配原型网络聚合参考集得到实体级原型和关系级原型进行预测，并取得了较好的效果。

技术特征：
1.一种结合类型感知注意力的少样本知识图谱补全方法，其特征在于，包括以下步骤：s1：首先利用transe模型对实体和关系进行预训练得到预训练嵌入，将其输入到类型感知编码器中，对于给定与任务关系r相关的实体对(h,t)，通过学习实体h的邻居关系e
r
和邻居实体e
t
的特征，得到类型表示，并根据类型表示生成类型感知注意力来分配邻居权重，从而增强h的嵌入表示；s2：重复s1流程，得到增强后的实体t嵌入表示；s3：将由类型感知编码器增强后的实体嵌入表示h和t，与任务关系r拼接成序列x，然后输入到transformer编码器中进行编码，得到实体对表示；s4：通过一种联合匹配原型网络，在原型网络的基础上，分别将参考对的类型感知编码器输出和transformer编码器输出进行聚合得到实体级原型和关系级原型，作为少样本参考集表示；s5：通过计算查询对和参考集表示的相似性，对候选实体进行评分；s6：结合正样本和负样本的得分，使用边际排名损失和adam优化器反向传播优化类型感知编码器、transformer编码器和联合匹配原型网络。2.根据权利要求1所述一种结合类型感知注意力的少样本知识图谱补全方法，其特征在于，所述s1中具体步骤为：s1.1：给定与任务关系r相关的实体对(h,t)，记n
h
＝{(e
r
,e
t
)|(h,e
r
,e
t
)∈g
′
}为头实体h的单跳邻居，e
r
和e
t
分别表示h的邻居关系和邻居实体；首先需要计算邻居实体特定于邻居关系的类型表示，如式(1)所示：其中，为向量拼接操作，w1∈r
2d
×
d
与b1为可训练参数，则c
i
为第i个邻居实体特定于与其对应邻居关系的类型表示；s1.2：对于给定的实体对(h,t)，首先通过trasne模型将任务关系r进行表示，进而得到头实体h特定于任务关系r的类型表示，计算过程如式(2)-式(3)所示：r＝t-h (2)其中，w2∈r
2d
×
d
与b2为可训练参数，则c为头实体特定于任务关系的类型表示；s1.3：对于一个事实三元组，其整体上下文信息应具有同一类型的语义环境，因此，得到头实体及其邻居实体的类型表示c和c
i
后，第i个邻居的类型得分定义为：d
i
＝||c+r-c
i
||
2 (4)对不同邻居的类型得分通过softmax函数获得类型注意力，用以区分不同邻居的重要性；实体的聚合表示由式(5)-式(7)得到：式(7)得到：式(7)得到：其中，e
(k)
为第k个头得到的实体聚合表示，e为最终的实体聚合表示；
s1.4：通过定义一个参数a来调整预训练实体嵌入表示和编码得到的实体聚合表示的权重，并将其相加作为最终的实体增强表示，如式(8)-式(9)所示：a＝σ(w
3t
e) (8)h＝relu(a*e+(1-a)*h) (9)其中，σ为sigmoid激活函数，w3∈r
d
×
d
为权重矩阵。3.根据权利要求1所述一种结合类型感知注意力的少样本知识图谱补全方法，其特征在于，所述s2中将尾实体t及其邻居关系和邻居实体按照s1的流程，经过类型感知编码器进行编码，得到尾实体t最终的实体增强表示。4.根据权利要求1所述一种结合类型感知注意力的少样本知识图谱补全方法，其特征在于，所述s3的具体步骤为：s3.1：对由类型感知邻居编码器得到的与任务关系r相关的实体对(h,t)∈r
r
，将其与任务关系r拼接成序列x＝(x1,x2,x3)；对于每个x中的元素x
i
，其对应的输入为：其中，由类型感知邻居编码器获得，为相应的位置嵌入；s3.2：得到输入的表示后，将其输入到一个l层transformer编码器中来对x进行编码以得到实体对的表示，如式(11)所示：其中，是第l层的元素x
i
对应的隐藏状态，transformer编码器采用多头自注意力机制；为了进行少样本知识图谱补全任务，将掩码作用于任务关系x2上，以获得有意义的实体对嵌入表示；取最终的隐藏状态作为当前实体对的表示；通过transformer编码器编码实体对特定于任务关系的表示，学习三元组整体的上下文类型信息，从而使任务关系在面对不同实体对时，能表现出不同的类型信息。5.根据权利要求1所述一种结合类型感知注意力的少样本知识图谱补全方法，其特征在于，所述s4中通过一个联合匹配原型网络，在原型网络的基础上，分别将参考对的类型感知编码器输出和transformer编码器输出进行聚合得到实体级原型和关系级原型，作为少样本参考集表示；具体而言，实体级原型，关系级原型通过式(12)-式(15)得到：式(15)得到：式(15)得到：式(15)得到：其中，
·
为逐元素点积，s
ri,entity
为参考集s
r
中第i个参考对的实体表示，q
entity
为查询对的实体表示，两者由式(9)得到；s
ri,rel
为参考集s
r
中第i个参考对的表示，q
rel
为查询对的表示，两者由式(11)得到；则g
rel
(s
r
)和g
entity
(s
r
)即为关系级原型和实体级原型，作为参考集的聚合表示。
6.根据权利要求1所述一种结合类型感知注意力的少样本知识图谱补全方法，其特征在于，所述s5中为了进行预测，需要进一步计算查询对q和参考集表示g(s
r
)的相似性，如式(16)-式(17)所示：s
entity
＝cos(q
entity
,g
entity
(s
r
))
ꢀꢀ
(16)s
rel
＝q
rel
·
g
rel
(s
r
)
ꢀꢀꢀ
(17)由式(16)和式(17)可知，当查询对和参考集的实体级表示和关系级表示更相似时，说明该查询对更有可能真实存在。7.根据权利要求1所述一种结合类型感知注意力的少样本知识图谱补全方法，其特征在于，所述s6中通过元训练集t
mtr
在模型上进行训练，对于每个少样本任务关系r，从训练集中随机采样k个实体对作为参考集s
r
，训练集剩余的实体对作为正例查询对q
r
＝{(h
p
,t
p
)}；然后通过随机破坏(h
p
,t
p
)的尾实体，构造负例实体对q
r—
＝{(h
p
,t
f
)}，其中t
f
≠t
p
；s
r
、q
r
和q
r—
构成元训练集t
mtr
；相应的损失为：；相应的损失为：；相应的损失为：其中，对于l
entity
将其细分为l
head
和l
tail
，[
·
]
+
为最大值函数，γ
rel
和γ
entity
为正负例间的边界，λ1和λ2为相应的权重参数，同时进一步对模型参数进行l2正则化。

技术总结
本发明公开了一种结合类型感知注意力的少样本知识图谱补全方法。该方法首先在实体编码阶段，通过一个新的类型感知注意力邻居编码器来学习实体邻居中包含的隐含类型信息，并结合注意力机制得到类型感知注意力，从而增强实体的表示，然后将实体与关系拼接成序列输入Transformer编码器捕获任务关系的不同含义，最后通过联合匹配原型网络聚合参考集来获得参考集的通用表示并进行预测。所提方法在NELL和Wiki两个公共数据集上通过链接预测任务进行了实验验证，实验结果表明，本文方法能够通过学习更丰富的实体邻居信息来有效提高少样本知识图谱补全的性能。本知识图谱补全的性能。本知识图谱补全的性能。


技术研发人员：王红斌 普祥和 线岩团
受保护的技术使用者：昆明理工大学
技术研发日：2022.09.07
技术公布日：2023/9/23