基于图神经网络的节点关系空间对比学习社区发现方法

1.本发明属于社区发现技术领域，涉及一种基于图神经网络的节点关系空间对比学习社区发现方法。


背景技术：

2.随着经济技术的发展，越来越多的社区发现技术被应用到生活的方方面面，通过这一技术，不仅能够向目标用户更好的推荐，还能帮助引文网络更好的检测研究主题的重要性、相互关联性、演变以及研究趋势。
3.传统的社区发现主要包括图划分、统计推断、层次聚类以及谱聚类等方法，但是随着数据量的增大，传统方法已经没有办法很好的处理大型复杂的图数据。面对这一问题，图神经网络可以更好的利用节点、邻域、边以及子图等信息编码数据特征。
4.一些基于图神经网络的社区发现方法主要是针对同构图来进行实现的。gcn通过引入传统机器学习中卷积的思想，对拉普拉斯矩阵进行对称归一化，从而学习到节点表征；gat通过简单的使用注意力机制解决了gcn的贡献度过于单一、不灵活的问题，并且这样做在一定程度上摆脱了gcn完全依赖于邻接矩阵的问题，使得空间复杂度大大降低。graphsage采用了采样的方式，选取部分邻居，并且它也解决了gcn过分依赖图结构的问题。但是现在生活中大多数面临的都是异构图，上面的方法在面对异构图的时候，表现并不理想。当前对异构图上的研究大多基于元路径来实现，magnn作为一种生成异构图的嵌入的方法通过封装输入节点的属性嵌入，分别在元路径内和元路径间使用注意力机制从而学习到最终的节点嵌入。但是很多时候元路径需要专家法进行定义，cp-gnn引入上下文路径概率来对学习目标函数进行建模，从而捕获高阶信息，通过这样的方式能够自动生成元路径，针对不同长度的元路径，它使用一次注意力机制使得社区发现的效果得到了进一步的提升。上述的方法都是有监督的，这样就需要对数据标签进行人工标注，这在现实生活中大多数时候是无法达到的，所以heco通过对一阶邻居下学习到的节点特征和元路径下学习到的节点特征进行对比学习从而实现了从有监督到自监督的转变，并且取得了更好的效果。但是这样忽略了关系空间下的节点信息，并且大多没有考虑关系之间的交互信息，在节点空间下，大多数文章忽略了节点中心性的问题，以及元路径长度和覆盖数量对目标节点的影响，通过一阶和高阶邻居信息之间的差异性最小化能够对模型进行优化，但是在节点空间和关系空间学习到的节点表征具有更大的差异性，通过对比学习能够更好的对模型进行优化，从而学习到更为优秀的节点特征应用于社区发现。


技术实现要素：

5.发明目的：为克服现有技术中存在的不足，本发明在于提供一种基于图神经网络的节点关系空间对比学习社区发现方法，解决以前模型大多是有监督并且没有考虑节点和关系之间相似度的问题，通过最大化节点空间与关系空间学习到的节点特征之间的相似度来设计损失函数，并且改进了以前的对比学习方法，使用节点空间和关系空间进行对比学
习从而得到更好的优化模型，考虑了元路径长度和覆盖数量对节点特征的影响，并通过不同关系之间的交互学习，得到最终的节点表征，更好的进行社区发现。
6.技术法案：基于图神经网络的节点关系空间对比学习社区发现方法，包括如下步骤：
7.1.对初始数据进行预处理，确定超参数，将数据集划分成训练集、验证集和测试集进行训练；
8.2.使用一个局部注意力机制和全局注意力机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征，再和通过元路径长度和覆盖次数下得到的one-hot向量拼接从而学习到节点中心性，最后通过mlp学习到节点空间下的特征；
9.3.使用注意力机制分别从不同的关系中学习节点表示，然后建立连接以改善跨不同关系的节点表示的交互，最后通过基于语义的注意感知将节点特征聚合到一起从而得到最终关系空间下的节点特征；
10.4.将上述两个空间下学习到的表征映射到计算对比损失的空间中；
11.5.定义正负样本，并通过最大化两个空间之间表征的余弦相似度来设计损失函数，优化节点空间下学习到的节点表征；
12.6.需要通过对最终的节点特征进行一次高斯混合模型的期望最大化聚类来进行划分，从而分成不同的社区。
13.进一步，所述步骤1中，需要对初始数据进行预处理，确定超参数，将数据集划分成训练集、验证集和测试集进行训练。具体步骤如下：
14.步骤1-1：将用于社区发现的异构网络定义为g＝(v,e,a,r)，其中v，e，a以及r分别表示节点集合，边的集合，节点的类型以及边的类型，每个节点属于一种a中的一种类型，每条边属于r中的一种类型，并且|a|+|r|》2；
15.步骤1-2：确定超参数，将数据集划分成训练集、验证集和测试集进行训练。
16.进一步，所述步骤2中，需要使用一个局部注意力机制和全局注意力机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征，再和通过元路径长度和覆盖次数下得到的one-hot向量拼接从而学习到节点中心性，最后通过mlp学习到节点空间下的特征，具体步骤如下：
17.步骤2-1：将不同类型的节点映射到相同的嵌入层维度：
[0018][0019]
其中，wa表示可学习的权重矩阵，表示映射前节点的维度，hv表示映射后节点的维度；
[0020]
步骤2-2：先使用一个局部关注机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征：
[0021][0022]
[0023]
其中，leakyrelu()表示激活函数，表示目标节点通过pk元路径连接的邻居集合，表示节点v和节点u之间的注意力系数，表示可学习的参数化向量，||表示向量拼接算子；
[0024]
步骤2-3：使用全局注意力机制来衡量不同元路径下得到的节点特征，先对先前得到的节点局部表示进行一次线性变换，然后通过一个全局注意力机制计算元路径的重要性：
[0025][0026][0027][0028]
其中，q
t
表示的可学习参数化注意向量，tanh表示激活函数，w和b表示可学习的参数向量，v表示每种类型的元路径下学习到的目标节点向量集合，表示注意力参数向量，表示归一化后的注意力向量，n表示元路径类型的数量，表示聚合多种类型的元路径后的节点特征向量；
[0029]
步骤2-4：计算异构图中元路径实例覆盖一个节点的次数，分别根据元路径长度和元路径覆盖的次数来分配一个向量：
[0030][0031]
其中，z
c(v)
表示经过目标节点的元路径数量的one-hot向量，z
m(v)
表示不同长度元路径数量的one-hot向量，||表示向量拼接算子；
[0032]
步骤2-5：将上面得到的两个节点特征进行一次拼接，然后通过mlp映射到用于对比的维度：
[0033][0034]
其中，w为可学习的权重矩阵，||表示向量拼接算子。
[0035]
进一步，所述步骤3中，需要使用注意力机制分别从不同的关系中学习节点表示，然后建立连接以改善跨不同关系的节点表示的交互并加权聚合不同关系下的节点特征，具体步骤如下：
[0036]
步骤3-1：首先通过节点类型和关系类型的特定变换矩阵将源节点u、目标节点v和关系投影到它们的潜在空间中：
[0037][0038][0039][0040]
其中，和表示可学习的变换矩阵，和表示节点u，节点v和边表示映射前的特征表示，和表示节点u，节点v和边表示映射后的特征表示；
[0041]
步骤3-2：然后计算源节点u对目标节点v的归一化重要度：
[0042][0043][0044]
其中，表示节点v在关系下的邻居，leakyrelu表示激活函数，表示注意力系数，表示归一化后的注意力系数；
[0045]
步骤3-3：将目标节点v关系为的邻居信息进行加权聚合：
[0046][0047]
其中，表示目标节点v在关系下的邻居集合，relu表示激活函数；
[0048]
步骤3-4：通过残差连接将目标节点特征和聚集的邻居信息与可训练的权重参数结合起来：
[0049][0050]
其中，是可学习的参数，用于将的维度投射到的维度；
[0051]
步骤3-5：建立不同关系下节点特征之间的交互，从而区分关系的重要性：
[0052][0053][0054]
其中，表示归一化后的注意力系数，是可训练的注意向量，r(v)表示边类型集合，表示关系r下节点v的特征向量；
[0055]
进一步，所述步骤4中，需要将上述两个空间下学习到的表征映射到计算对比损失的空间中，具体步骤如下：
[0056][0057][0058]
其中，w
(1)
,b
(1)
,w
(2)
,b
(2)
为可学习的参数，分别为关系空间和节点空间下学习到的节点表征，分别为映射后的节点表征。
[0059]
进一步，所述步骤5中，需要定义正负样本，并通过最大化两个空间之间表征的余弦相似度来设计损失函数，优化节点空间下学习到的节点表征，具体步骤如下：
[0060]
步骤5-1：根据两个节点间元路径连接的个数来判断它们是否为正样本，根据元路径连接的个数进行排序，设置一个阈值，如果个数大于这个阈值，那么就是正样本，如果小于这个阈值，则为负样本：
[0061]
[0062]
其中，i(
·
)表示指示函数,表示节点间元路径的连接集合；
[0063]
步骤5-2：通过最大化两个空间之间学习到节点表征的余弦相似度来设计损失函数：
[0064][0065]
其中，sim(u，v)表示u和v两个向量的余弦相似度，τ表示可学习参数，pi和ni分别表示正负样本。
[0066]
进一步，所述步骤6中，需要通过对最终的节点特征进行一次高斯混合模型的期望最大化聚类来进行划分，从而分成不同的社区，具体步骤如下：
[0067]
步骤6-1：首先选取社区的数量并初始化每个社区的高斯分布；
[0068]
步骤6-2：然后通过计算每个数据点距离高斯分布中心的远近来得出属于这个社区的概率；
[0069]
步骤6-3：然后对第二步得出的概率进行加权并使得概率最大化；
[0070]
步骤6-4：不断重复第2第3个步骤，直到数据点属于每个社区的变化不大为止。
[0071]
有益效果：本发明通过节点空间与关系空间之间的对比学习来优化模型，从而更好的学习节点表征，应用于社区发现；现有的大多数模型忽略了关系空间下的节点信息，并且没有考虑关系之间的交互信息，本发明不仅使用注意力机制学习到了不同关系的特征，并且将关系间的影响也考虑了进来，完善了学习到的特征；在节点空间下，考虑了元路径长度和覆盖数量对目标节点的影响；通过考虑节点空间和关系空间学习到的节点表征从而能够具有更大的差异性，通过对比学习更好的对模型进行优化，从而学习到更为优秀的节点特征应用于社区发现。
附图说明
[0072]
图1是本发明的总体模型流程图。
[0073]
图2是本发明节点空间下的节点拓扑结构图。
[0074]
图3是本发明节点空间下的流程图。
[0075]
图4是本发明关系空间下的结构图。
[0076]
图5是本发明优化模型的结构图。
具体实施方式
[0077]
下面结合附图对本发明进一步说明。
[0078]
整体流程如图1所示，一种基于图神经网络的节点关系空间对比学习社区发现方法，该方法包括如下步骤：
[0079]
步骤1：对初始数据进行预处理，确定超参数，将数据集划分成训练集、验证集和测试集进行训练。具体步骤如下：
[0080]
步骤1-1：将用于社区发现的异构网络定义为g＝(v,e,a,r)，其中v，e，a以及r分别表示节点集合，边的集合，节点的类型以及边的类型，每个节点属于一种a中的一种类型，每条边属于r中的一种类型，并且|a|+|r|》2；
[0081]
步骤1-2：确定超参数，将数据集划分成训练集、验证集和测试集进行训练。
[0082]
步骤2：该部分节点拓扑图如图2所示，流程图如图3所示，使用一个局部注意力机制和全局注意力机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征，再和通过元路径长度和覆盖次数下得到的one-hot向量拼接从而学习到节点中心性，最后通过mlp学习到节点空间下的特征，具体步骤如下：
[0083]
步骤2-1：将不同类型的节点映射到相同的嵌入层维度：
[0084][0085]
其中，wa表示可学习的权重矩阵，表示映射前节点的维度，hv表示映射后节点的维度；
[0086]
步骤2-2：先使用一个局部关注机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征：
[0087][0088][0089]
其中，leakyrelu()表示激活函数，表示目标节点通过pk元路径连接的邻居集合，表示节点v和节点u之间的注意力系数，表示可学习的参数化向量，||表示向量拼接算子；
[0090]
步骤2-3：使用全局注意力机制来衡量不同元路径下得到的节点特征，先对先前得到的节点局部表示进行一次线性变换，然后通过一个全局注意力机制计算元路径的重要性：
[0091][0092][0093][0094]
其中，q
t
表示的可学习参数化注意向量，tanh表示激活函数，w和b表示可学习的参数向量，v表示每种类型的元路径下学习到的目标节点向量集合，表示注意力参数向量，表示归一化后的注意力向量，n表示元路径类型的数量，表示聚合多种类型的元路径后的节点特征向量；
[0095]
步骤2-4：计算异构图中元路径实例覆盖一个节点的次数，分别根据元路径长度和元路径覆盖的次数来分配一个向量：
[0096][0097]
其中，z
c(v)
表示经过目标节点的元路径数量的one-hot向量，z
m(v)
表示不同长度元路径数量的one-hot向量，||表示向量拼接算子；
[0098]
步骤2-5：将上面得到的两个节点特征进行一次拼接，然后通过mlp映射到用于对比的维度：
[0099][0100]
其中，w为可学习的权重矩阵，||表示向量拼接算子。
[0101]
步骤3：该部分结构图如图4所示，使用注意力机制分别从不同的关系中学习节点表示，然后建立连接以改善跨不同关系的节点表示的交互并加权聚合不同关系下的节点特征，具体步骤如下：
[0102]
步骤3-1：首先通过节点类型和关系类型的特定变换矩阵将源节点u、目标节点v和关系投影到它们的潜在空间中：
[0103][0104][0105][0106]
其中，和表示可学习的变换矩阵，和表示节点u，节点v和边表示映射前的特征表示，和表示节点u，节点v和边表示映射后的特征表示；
[0107]
步骤3-2：然后计算源节点u对目标节点v的归一化重要度：
[0108][0109][0110]
其中，表示节点v在关系下的邻居，leakyrelu表示激活函数，表示注意力系数，表示归一化后的注意力系数；
[0111]
步骤3-3：将目标节点v关系为的邻居信息进行加权聚合：
[0112][0113]
其中，表示目标节点v在关系下的邻居集合，relu表示激活函数；
[0114]
步骤3-4：通过残差连接将目标节点特征和聚集的邻居信息与可训练的权重参数结合起来：
[0115][0116]
其中，是可学习的参数，用于将的维度投射到的维度；
[0117]
步骤3-5：建立不同关系下节点特征之间的交互，从而区分关系的重要性：
[0118][0119][0120]
其中，表示归一化后的注意力系数，是可训练的注意向量，r(v)表示边
类型集合，表示关系r下节点v的特征向量；
[0121]
步骤4：将上述两个空间下学习到的表征映射到计算对比损失的空间中，具体步骤如下：
[0122][0123][0124]
其中，w
(1)
,b
(1)
,w
(2)
,b
(2)
为可学习的参数，分别为关系空间和节点空间下学习到的节点表征，分别为映射后的节点表征。
[0125]
步骤5：该部分结构图如图5所示，先定义正负样本，并通过最大化两个空间之间表征的余弦相似度来设计损失函数，优化节点空间下学习到的节点表征，具体步骤如下：
[0126]
步骤5-1：根据两个节点间元路径连接的个数来判断它们是否为正样本，根据元路径连接的个数进行排序，设置一个阈值，如果个数大于这个阈值，那么就是正样本，如果小于这个阈值，则为负样本：
[0127][0128]
其中，i(
·
)表示指示函数,表示节点间元路径的连接集合；
[0129]
步骤5-2：通过最大化两个空间之间学习到节点表征的余弦相似度来设计损失函数：
[0130][0131]
其中，sim(u，v)表示u和v两个向量的余弦相似度，τ表示可学习参数，pi和ni分别表示正负样本。
[0132]
步骤6：通过对最终的节点特征进行一次高斯混合模型的期望最大化聚类来进行划分，从而分成不同的社区，具体步骤如下：
[0133]
步骤6-1：首先选取社区的数量并初始化每个社区的高斯分布；
[0134]
步骤6-2：然后通过计算每个数据点距离高斯分布中心的远近来得出属于这个社区的概率；
[0135]
步骤6-3：然后对第二步得出的概率进行加权并使得概率最大化；
[0136]
步骤6-4：不断重复第2第3个步骤，直到数据点属于每个社区的变化不大为止。

技术特征：
1.一种基于图神经网络的节点关系空间对比学习社区发现方法，其特征在于，所述方法包括如下步骤：步骤1：对初始数据进行预处理，确定超参数，将数据集划分成训练集、验证集和测试集进行训练；步骤2：使用一个局部注意力机制和全局注意力机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征，再和通过元路径长度和覆盖次数下得到的one-hot向量拼接从而学习到节点中心性，最后通过mlp学习到节点空间下的特征；步骤3：使用注意力机制分别从不同的关系中学习节点表示，然后建立连接以改善跨不同关系的节点表示的交互，最后通过基于语义的注意感知将节点特征聚合到一起从而得到最终关系空间下的节点特征；步骤4：将上述节点空间和关系空间下学习到的表征映射到计算对比损失的空间中；步骤5：定义正负样本，并通过最大化节点空间和关系空间之间表征的余弦相似度来设计损失函数，优化节点空间下学习到的节点表征；步骤6：通过对最终的节点特征进行一次高斯混合模型的期望最大化聚类来进行划分，从而分成不同的社区。2.根据权利要求1所述的基于图神经网络的节点关系空间对比学习社区发现方法，其特征在于：所述步骤1的具体步骤如下：步骤1-1：将用于社区发现的异构网络定义为g＝(v,e,a,r)，其中v，e，a以及r分别表示节点集合，边的集合，节点的类型以及边的类型，每个节点属于一种a中的一种类型，每条边属于r中的一种类型，并且|a|+|r|>2；步骤1-2：确定超参数，将数据集划分成训练集、验证集和测试集进行训练。3.根据权利要求2所述的基于图神经网络的节点关系空间对比学习社区发现方法，其特征在于：所述步骤2的具体步骤如下：步骤2-1：将不同类型的节点映射到相同的嵌入层维度：其中，w
a
表示可学习的权重矩阵，表示映射前节点的维度，h
v
表示映射后节点的维度；步骤2-2：先使用一个局部关注机制来计算通过元路径连接的节点v与节点u之间的注意力系数，然后通过一个加权聚合得到最终目标节点的特征：意力系数，然后通过一个加权聚合得到最终目标节点的特征：其中，leakyrelu()表示激活函数，表示目标节点通过p
k
元路径连接的邻居集合，表示节点v和节点u之间的注意力系数，表示可学习的参数化向量，||表示向量拼接算子；步骤2-3：使用全局注意力机制来衡量不同元路径下得到的节点特征，先对先前得到的节点局部表示进行一次线性变换，然后通过一个全局注意力机制计算元路径的重要性：
其中，q
t
表示的可学习参数化注意向量，tanh表示激活函数，w和b表示可学习的参数向量，v表示每种类型的元路径下学习到的目标节点向量集合，表示注意力参数向量，表示归一化后的注意力向量，n表示元路径类型的数量，表示聚合多种类型的元路径后的节点特征向量；步骤2-4：计算异构图中元路径实例覆盖一个节点的次数，分别根据元路径长度和元路径覆盖的次数来分配一个向量：其中，z
c(v)
表示经过目标节点的元路径数量的one-hot向量，z
m(v)
表示不同长度元路径数量的one-hot向量，||表示向量拼接算子；步骤2-5：将上面得到的两个节点特征进行一次拼接，然后通过mlp映射到用于对比的维度：其中，w为可学习的权重矩阵，||表示向量拼接算子。4.根据权利要求3所述的基于图神经网络的节点关系空间对比学习社区发现方法，其特征在于：所述步骤3具体步骤如下：步骤3-1：首先通过节点类型和关系类型的特定变换矩阵将源节点u、目标节点v和关系投影到它们的潜在空间中：投影到它们的潜在空间中：投影到它们的潜在空间中：其中，和表示可学习的变换矩阵，和表示节点u，节点v和边表示映射前的特征表示，和表示节点u，节点v和边表示映射后的特征表示；步骤3-2：然后计算源节点u对目标节点v的归一化重要度：2：然后计算源节点u对目标节点v的归一化重要度：其中，表示节点v在关系下的邻居，leakyrelu表示激活函数，表示注意力系数，表示归一化后的注意力系数；
步骤3-3：将目标节点v关系为的邻居信息进行加权聚合：其中，表示目标节点v在关系下的邻居集合，relu表示激活函数；步骤3-4：通过残差连接将目标节点特征和聚集的邻居信息与可训练的权重参数结合起来：其中，是可学习的参数，用于将的维度投射到的维度；步骤3-5：建立不同关系下节点特征之间的交互，从而区分关系的重要性：5：建立不同关系下节点特征之间的交互，从而区分关系的重要性：其中，表示归一化后的注意力系数，是可训练的注意向量，r(v)表示边类型集合，表示关系r下节点v的特征向量。5.根据权利要求4所述的基于图神经网络的节点关系空间对比学习社区发现方法，其特征在于：所述步骤4中，需要将上述两个空间下学习到的表征映射到计算对比损失的空间中，具体步骤如下：中，具体步骤如下：其中，w
(1)
,b
(1)
,w
(2)
,b
(2)
为可学习的参数，分别为关系空间和节点空间下学习到的节点表征，分别为映射后的节点表征。6.根据权利要求5所述的基于图神经网络的节点关系空间对比学习社区发现方法，其特征在于：所述步骤5中，需要定义正负样本，并通过最大化两个空间之间表征的余弦相似度来设计损失函数，优化关系空间下学习到的节点表征，具体步骤如下：步骤5-1：根据两个节点间元路径连接的个数来判断它们是否为正样本，根据元路径连接的个数进行排序，设置一个阈值，如果个数大于这个阈值，那么就是正样本，如果小于这个阈值，则为负样本：其中，i(
·
)表示指示函数,表示节点间元路径的连接集合；步骤5-2：通过最大化两个空间之间学习到节点表征的余弦相似度来设计损失函数：其中，sim(u，v)表示u和v两个向量的余弦相似度，τ表示可学习参数，p
i
和n
i
分别表示正负样本。
7.根据权利要求6所述的基于图神经网络的节点关系空间对比学习社区发现方法，其特征在于：所述步骤6中，需要通过对最终的节点特征进行一次高斯混合模型的期望最大化聚类来进行划分，从而分成不同的社区，具体步骤如下：步骤6-1：首先选取社区的数量并初始化每个社区的高斯分布；步骤6-2：然后通过计算每个数据点距离高斯分布中心的远近来得出属于这个社区的概率；步骤6-3：然后对第二步得出的概率进行加权并使得概率最大化；步骤6-4：不断重复第2第3个步骤，直到数据点属于每个社区的变化不大为止。

技术总结
本发明在于提供一种基于图神经网络的节点关系空间对比学习社区发现方法，解决以前模型大多是有监督并且没有考虑节点和关系之间相似度的问题，通过最大化节点空间与关系空间学习到的节点特征之间的相似度来设计损失函数，并且改进了以前的对比学习方法，使用节点空间和关系空间进行对比学习从而得到更好的优化模型，考虑了元路径长度和覆盖数量对节点特征的影响，并通过不同关系之间的交互学习，得到最终的节点表征，更好的进行社区发现。更好的进行社区发现。更好的进行社区发现。


技术研发人员：施振佺 王博文 施佺 罗奇才 张翁坚 黄子玲 冯季 孙凡
受保护的技术使用者：南通大学
技术研发日：2023.05.22
技术公布日：2023/8/24