一种采用异构图神经网络的社交兴趣嵌入方法

1.本技术涉及图神经网络技术领域，且更为具体地，涉及一种采用异构图神经网络的社交兴趣嵌入方法。


背景技术：

2.会话推荐是一种根据用户当前会话中的行为序列来预测用户下一步可能感兴趣的物品的推荐方法，它可以有效地捕捉用户的短期兴趣变化。
3.但会话推荐任务中的用户序列通常存在较多噪音以及回环结构，这样的数据将会明显降低cnn和rnn的学习效果。此外，推荐领域存在复杂的用户-物品交互关系、物品转移关系以及用户之间的社交网络关系，传统的会话推荐算法以及基于深度神经网络的会话推荐算法难以处理包含图结构在内的非欧氏空间数据。
4.因此，期待一种优化的方案。


技术实现要素：

5.本技术提供一种采用异构图神经网络的社交兴趣嵌入方法，其引入用户社交关系并对图数据中的部分连接边进行改造，进而改善强关联节点之间的信息连通性，弥补中存在的信息缺失问题，减少模型学习的难度。通过这样的方式来使得嵌入表示学习引入了用户社交影响以及用户和物品的交互信息，可以帮助提升下游模型的鲁棒性。
6.第一方面，提供了一种采用异构图神经网络的社交兴趣嵌入方法，所述采用异构图神经网络的社交兴趣嵌入方法，包括：获取会话序列，其中表示用户在会话中点击的物品，以及，用户社交网络；以及，使用基于图神经网络的嵌入模块对所述会话序列和所述用户社交网络进行处理以得到包含社交兴趣信息的用户和物品嵌入表示。
7.结合第一方面，在第一方面的一种实现方式中，使用基于图神经网络的嵌入模块对所述会话序列和所述用户社交网络进行处理以得到包含社交兴趣信息的用户和物品嵌入表示，包括：基于所述会话序列和所述用户社交网络，构建异构图，其中，所述异构图的节点包括用户和物品，所述异构图的边包括用户对用户的关注关系、用户对物品的点击关系、物品与用户的被点击关系以及物品对物品的转移关系；以及，对所述异构图进行图消息传递以得到所述异构图中各个节点的嵌入表示，其中，所述异构图中各个节点的嵌入表示为包含社交兴趣信息的用户和物品嵌入表示。
8.结合第一方面，在第一方面的一种实现方式中，对所述异构图进行图消息传递以得到所述异构图中各个节点的嵌入表示，其中，所述异构图中各个节点的嵌入表示为包含社交兴趣信息的用户和物品嵌入表示，包括：提取所述异构图中待处理节点的节点信息，其中，所述节点信息为用户信息或物品信息；将所述异构图中待处理节点的节点信息通过词嵌入层以得到节点嵌入表示；构造所述异构图中待处理节点的第一邻接矩阵、第二邻接矩阵、第三邻接矩阵和第四邻接矩阵，其中，所述第一邻接矩阵中对角线位置上各个位置的值
用于表示所述待处理节点与其他节点之间的用户对用户的关注关系、所述第二邻接矩阵中对角线位置上各个位置的值用于表示所述待处理节点与其他节点之间的用户对物品的点击关系、所述第三邻接矩阵中对角线位置上各个位置的值用于表示待处理节点与其他节点之间的物品与用户的被点击关系、所述第三邻接矩阵中对角线位置上各个位置的值用于表示物品对物品的转移关系；分别将所述第一邻接矩阵、所述第二邻接矩阵、所述第三邻接矩阵和所述第四邻接矩阵通过基于卷积神经网络模型的特征提取器以得到第一邻接特征向量、第二邻接特征向量、第三邻接特征向量、第四邻接特征向量；和融合所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示以得到所述异构图中待处理节点的嵌入表示。
9.第二方面，提供了一种芯片，该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线，该至少一个存储器用于存储指令，该至少一个处理器用于调用该至少一个存储器中的指令，以执行第一方面中的方法。
10.第三方面，提供了一种计算机可读介质，用于存储计算机程序，所述计算机程序包括用于执行上述第一方面中的方法。
11.第四方面，提供了一种包括指令的计算机程序产品，当计算机运行所述计算机程序产品的所述指时，所述计算机执行上述第一方面中的方法。
12.本技术提供的一种采用异构图神经网络的社交兴趣嵌入方法，其引入用户社交关系并对图数据中的部分连接边进行改造，进而改善强关联节点之间的信息连通性，弥补中存在的信息缺失问题，减少模型学习的难度。通过这样的方式来使得嵌入表示学习引入了用户社交影响以及用户和物品的交互信息，可以帮助提升下游模型的鲁棒性。
附图说明
13.图1为本技术实施例提供的采用异构图神经网络的社交兴趣嵌入方法的示意性流程图。
14.图2为本技术实施例提供的使用基于图神经网络的嵌入模块对所述会话序列和所述用户社交网络进行处理以得到包含社交兴趣信息的用户和物品嵌入表示的示意性流程图。
15.图3为本技术实施例提供的使用基于图神经网络的嵌入模块对所述会话序列和所述用户社交网络进行处理以得到包含社交兴趣信息的用户和物品嵌入表示的示意性流程图。
16.图4为本技术实施例提供的分别将所述第一邻接矩阵、所述第二邻接矩阵、所述第三邻接矩阵和所述第四邻接矩阵通过基于卷积神经网络模型的特征提取器以得到第一邻接特征向量、第二邻接特征向量、第三邻接特征向量、第四邻接特征向量的示意性流程图。
17.图5为本技术实施例提供的异构图神经网络消息聚合传递算的示意图。
具体实施方式
18.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
19.针对上述技术问题，本技术的构思为充分利用用户-物品交互会话中的拓扑结构信息，并引入用户社交关系并对图数据中的部分连接边进行改造，进而改善强关联节点之间的信息连通性，弥补中存在的信息缺失问题，减少模型学习的难度。通过这样的方式来使得嵌入表示学习引入了用户社交影响以及用户和物品的交互信息，可以帮助提升下游模型的鲁棒性。
20.图1为本技术实施例提供的采用异构图神经网络的社交兴趣嵌入方法的示意性流程图。如图1所示，所述采用异构图神经网络的社交兴趣嵌入方法，包括：步骤s110，获取会话序列，以及，用户社交网络。其中会话序列为，其中表示用户在会话中点击的物品。应理解，按照是否使用用户信息，通常的会话推荐又分为匿名会话和个性化推荐，其中匿名会话推荐适用于用户信息不可知的场景，仅仅依靠会话中的物品浏览/点击记录进行下个物品推荐，由于缺乏必要的用户标识，其个性化推荐能力普遍较差。个性化推荐在进行下个物品推荐时可以获取用户标识，从而利用该用户历史的会话信息辅助当前会话下的智能决策。在用户信息已知的情况下，利用用户的社交关系来增强建模用户兴趣是当下比较热门的技术领域之一。通常，利用用户社交网络中复杂交错的社交关系对用户节点进行嵌入表示，则最终学习得到的用户嵌入表示将受到其社交网络中好友的影响，对会话推荐任务的性能提升具有重要意义。
21.步骤s120，使用基于图神经网络的嵌入模块对所述会话序列和所述用户社交网络进行处理以得到包含社交兴趣信息的用户和物品嵌入表示。应理解，本技术期待基于图神经网络来对用户的社交关系、用户与物品节点的交互信息和物品转移关系等错综复杂的非欧式空间数据进行建模和分析。具体而言，本技术提出了自适应边连接的复杂异构图节点嵌入方法，该异构图中不仅包含用户的社交关系，同时包含用户与物品节点的交互信息，通过在节点之间自适应构建边连接，可以改善强关联节点之间的信息连通性，减少模型学习的难度。异构图学得的用户和物品的嵌入向量可以作为下游模型，例如推荐模块的初始向量值，由于前置嵌入表示学习引入了用户社交影响以及用户和物品的交互信息，因此可以帮助提升下游模型的鲁棒性。
22.具体地，图2为本技术实施例提供的使用基于图神经网络的嵌入模块对所述会话序列和所述用户社交网络进行处理以得到包含社交兴趣信息的用户和物品嵌入表示的示意性流程图。如图2所示，在本技术一实施例中，所述步骤s120，包括：步骤s210，基于所述会话序列和所述用户社交网络，构建异构图，其中，所述异构图的节点包括用户和物品，所述异构图的边包括用户对用户的关注关系、用户对物品的点击关系、物品与用户的被点击关系以及物品对物品的转移关系。应理解，所述异构图包含两类节点即用户和物品，其中 表示异构图中的节点类别。所述异构图的边分别为用户对用户的关注关系、用户对物品的点击关系、物品与用户的被点击关系以及物品对物品的转移关系，每种类型的关系在图中形成一种类型的有向边，表示图中的边类型集合。
23.其中，用户与用户之间的边连接由被关注者指向其关注者，因为关注者往往会受
其关注对象的影响而非相反；当用户点击某个物品时，将同时生成用户指向物品的边和物品指向物品的边，因为一方面用户的嵌入表示应该包含其对物品的偏好信息，同时物品的嵌入表示也应该包含偏好该物品的人群信息；在用户的会话序列内，如果物品在序列中的后一个序列信息是物品，那么在图中将生成由物品指向物品的边，以此体现物品之间的前后关系。以上用户-物品以及物品-物品边的权重为两节点该关系出现的次数。以上方式构建的异构图包含了个性化会话推荐任务中的所有关系，包括用户社交网络、用户-物品点击信息以及物品转移信息。
24.此外，考虑到用户社交网络通常存在较为严重的信息缺失问题，以及物品转移关系序列存在消息通路距离过远的问题，本技术根据图结构特点提出一种自适应辅助连接边的方法。即，向原始异构图中添加入一些辅助边，目的是增加具有相似特征的用户节点之间以及共现次数较多的物品节点之间的连通性。例如，若用户a的历史点击物品和用户b的历史点击物品具有较大程度的重叠，可以认为两人具有相似的物品浏览兴趣，因此，可以在用户a和用户b两个节点之间添加两条辅助连接边，其中一条由a指向b，另一条则相反。另一方面，在会话序列中往往存在共现次数较多的物品对，但往往这两个物品并非直接相邻，导致在异构图中两个物品之间没有连接边，这种强关联的物品之间可以添加辅助边以减少联通距离，提高两个节点之间信息传递的直接性和高效性。这种依据结构相似性以及共现关系进行辅助边构建的做法也符合协同过滤算法的理念。
25.步骤s220，对所述异构图进行图消息传递以得到所述异构图中各个节点的嵌入表示，其中，所述异构图中各个节点的嵌入表示为包含社交兴趣信息的用户和物品嵌入表示。
26.图3为本技术实施例提供的使用基于图神经网络的嵌入模块对所述会话序列和所述用户社交网络进行处理以得到包含社交兴趣信息的用户和物品嵌入表示的示意性流程图。如图3所示，具体地，在本技术实施例中，步骤s220，包括：步骤s310，提取所述异构图中待处理节点的节点信息，其中，所述节点信息为用户信息或物品信息。应理解，在异构图中，每个节点可能代表不同的实体，例如用户、物品、品牌等等。当进行机器学习任务时，需要从这些节点中提取信息，以便进行训练和预测。特别地，提取待处理节点的信息对于构建精确的预测模型非常重要。
27.步骤s320，将所述异构图中待处理节点的节点信息通过词嵌入层以得到节点嵌入表示。应理解，计算机处理数据的方式通常是数值计算，而节点信息与计算机可以直接处理的数字不同。节点信息是文本数据，文本数据很难被计算机直接处理。而将节点信息映射到向量空间中，可以将其数字化并用数字表示，使得计算机可以处理这些数据。此外，词嵌入技术可以将节点信息压缩到更低维度的向量空间中，并保留其语义信息，因此可以更方便地使用机器学习算法对节点进行处理和分析。这些向量可以用于图形上的许多任务，如节点分类、聚类和推荐等。因此，通过词嵌入层将节点信息映射到向量空间中，可以使得计算机更好地理解和处理节点信息，以便用于各种机器学习任务。具体地，通过词嵌入层，可以将待处理节点中的节点信息映射到一个连续的向量空间中，也就是，将用户和物品的属性特征转化为向量形式，便于嵌入表示的计算。
28.步骤s330，构造所述异构图中待处理节点的第一邻接矩阵、第二邻接矩阵、第三邻接矩阵和第四邻接矩阵，其中，所述第一邻接矩阵中对角线位置上各个位置的值用于表示所述待处理节点与其他节点之间的用户对用户的关注关系、所述第二邻接矩阵中对角线位
置上各个位置的值用于表示所述待处理节点与其他节点之间的用户对物品的点击关系、所述第三邻接矩阵中对角线位置上各个位置的值用于表示待处理节点与其他节点之间的物品与用户的被点击关系、所述第三邻接矩阵中对角线位置上各个位置的值用于表示物品对物品的转移关系。应理解，邻接矩阵是一种用于表示图结构的矩阵，它的行和列都对应图中的节点，而每个元素表示两个节点之间是否有边相连。如果有边相连，那么元素的值为1或者边的权重；如果没有边相连，那么元素的值为0。在本应用场景中，由于在推荐系统中，物品节点和用户节点之间存在多种关系，如用户对用户的关注关系、用户对物品的点击关系、物品与用户的被点击关系以及物品对物品的转移关系等。为了更好地对这些关系进行建模和学习，本技术期待利用邻接矩阵来分别来表示不同类型的关系。使用邻接矩阵的方式可以将异构图中节点之间的关系编码为带权重的边，从而更好地体现节点之间的联系。
29.步骤s340，分别将所述第一邻接矩阵、所述第二邻接矩阵、所述第三邻接矩阵和所述第四邻接矩阵通过基于卷积神经网络模型的特征提取器以得到第一邻接特征向量、第二邻接特征向量、第三邻接特征向量、第四邻接特征向量。应可以理解，利用所述基于卷积神经网络模型的特征提取器来提取各个邻接矩阵中的空间局部关联模式特征，使得各个不同节点之间的关系能够得到更好地表达。
30.具体地，在本技术一实施例中，所述基于卷积神经网络模型的特征提取器的网络结构是输入层-》conv2d层-》batchnormalization层-》maxpooling2d层-》conv2d层-》batchnormalization层-》maxpooling2d层-》flatten层-》输出层。也就是，所述基于卷积神经网络模型的特征提取器包括：输入层、第一卷积层、第一批归一化层、第一池化层、第二卷积层、第二批归一化层、第二池化层、展平层和输出层。
31.其中，所述第一卷积层使用32个卷积核和3x3的卷积核大小，填充方式为same，激活函数为relu，所述第二卷积层使用64个卷积核和3x3的卷积核大小，填充方式为same，激活函数为relu。应理解，卷积核是一种可以从输入数据中提取特征信息的滤波器，它从输入的数据中滑动运行，遍历所有可能的位置，并在每个位置上进行内积运算以提取特征信息，但随着卷积处理输入的尺寸会变小，因此，需要进行填充处理。具体地，在卷积运算时，使用填充方式为same，则表示对输入数据进行0填充，使得输出与输入大小相同。这样做的目的是为了确保输出具有与输入相同的大小，从而使得在后续的计算中更易于处理。relu激活函数是一个非线性函数，它在输入为负数时输出为0，在输入为正数时输出与输入值相同，这样可以使得神经网络模型具有更好的非线性表达能力，并且加速模型的收敛速度。这里，第一卷积层的作用是提取输入的低级特征，通过卷积运算将原始的输入转化为相应的特征映射。第二卷积层的作用是进一步提取输入的高级特征，通过卷积运算将第一层卷积特征映射转化为更加丰富和有用的特征信息。通过这种方式，第二卷积层可以使得模型具有更强的特征提取和表达能力，帮助提高分类、识别和检测等任务的准确率和鲁棒性。
32.其中，所述第一批归一化层和所述第二批归一化层通过对输入的每个通道进行分别归一化处理，即对输入张量的每个通道进行归一化，然后将结果加权并平移得到最终的输出变换。具体地，首先，对每个通道的元素进行零中心化，即每个元素减去该通道的均值。然后，对零中心化结果进行标准差缩放，即用零中心化结果除以该通道的标准差，然后再乘以一个可训练的系数，最后再加上一个可训练的偏置。这样，归一化层可以增加网络的非线性表达能力，帮助解决梯度消失和梯度爆炸的问题，提高模型的泛化能力。
33.所述第一池化层和所述第二池化层采用池化核为2x2的最大值池化操作，所述展平层的作用是将输入数据沿着它的一个轴（通常是通道维度，即高度、宽度、通道数量）进行“展平”，然后将其转换为一维向量。
34.图4为本技术实施例提供的分别将所述第一邻接矩阵、所述第二邻接矩阵、所述第三邻接矩阵和所述第四邻接矩阵通过基于卷积神经网络模型的特征提取器以得到第一邻接特征向量、第二邻接特征向量、第三邻接特征向量、第四邻接特征向量的示意性流程图。如图4所示，可选地，在本技术一实施例中，分别将所述第一邻接矩阵、所述第二邻接矩阵、所述第三邻接矩阵和所述第四邻接矩阵通过基于卷积神经网络模型的特征提取器以得到第一邻接特征向量、第二邻接特征向量、第三邻接特征向量、第四邻接特征向量，包括：s410，对输入数据进行第一卷积处理以得到第一卷积特征图；s420，对所述第一卷积特征图进行第一批归一化处理以得到第一批归一化特征图；s430，对所述第一批归一化特征图进行第一池化处理以得到第一池化特征图；s440，对所述第一池化特征图进行第二卷积处理以得到第二卷积特征图；s450，对所述第二卷积特征图进行第二批归一化处理以得到第二批归一化特征图；s460，对所述第二批归一化特征图进行第二池化处理以得到第二池化特征图；s440，对所述第二池化特征图进行展平处理以得到输出特征向量。其中，所述基于卷积神经网络模型的特征提取器的输出特征向量分别为所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量。其中，所述基于卷积神经网络模型的特征提取器的输出特征向量分别为所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量。
35.步骤s350，融合所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示以得到所述异构图中待处理节点的嵌入表示。应理解，在本技术的技术方案中，期待将各个节点之间的不同的关系融合嵌入，也就是使得图中节点的信息传播和更新具有更广的感受野和更高效的性能。因此，本技术的做法是融合所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示以得到所述异构图中待处理节点的嵌入表示。通过这样的方式得到的所述异构图中待处理节点的嵌入表示可以降低下游任务的学习难度，提高序列建模的准确度。
36.具体地，在本技术实施例中，步骤s350，包括：对所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示分别进行多源信息融合验前分布评估优化以获得优化后第一邻接特征向量、优化后第二邻接特征向量、优化后第三邻接特征向量、优化后第四邻接特征向量和优化后节点嵌入表示；将所述优化后第一邻接特征向量、所述优化后第二邻接特征向量、所述优化后第三邻接特征向量、所述优化后第四邻接特征向量和所述优化后节点嵌入表示进行融合以得到所述异构图中待处理节点的嵌入表示。
37.应理解，在融合所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示时，由于所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量均为异构图中待处理节点间的交互行为关系特征，而所述节点嵌入表示是待处理节点的节点数据文本语义，因此，所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻
接特征向量和所述节点嵌入表示均可以看作为所述异构图的图结构特征表示的整体组合特征集合中的局部特征集合。
38.并且，由于所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示各自的特征分布信息是所述异构图整体的图结构特征信息的一部分，因此所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示除了具有相互关联的邻域分布关系外，其间还具有对应于所述异构图的整体图结构特征信息的各个部分的多源信息关联关系。
39.因此，为了提升所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示作为整体的关联分布表达效果，以提升所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示的融合效果，本技术的申请人对所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示，例如记为 进行多源信息融合验前分布评估优化，以获得优化后的各自对应的特征向量。
40.具体地，在本技术实施例中，对所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示分别进行多源信息融合验前分布评估优化以获得优化后第一邻接特征向量、优化后第二邻接特征向量、优化后第三邻接特征向量、优化后第四邻接特征向量和优化后节点嵌入表示，包括：以如下分布评估优化公式对所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示分别进行多源信息融合验前分布评估优化以获得所述优化后第一邻接特征向量、所述优化后第二邻接特征向量、所述优化后第三邻接特征向量、所述优化后第四邻接特征向量和所述优化后节点嵌入表示；其中，所述分布评估优化公式为：，其中， 是所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示中的第个向量，是所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示中的第 个向量， 是均值特征向量， 为邻域设置超参数，表示以2为底的对数函数值，表示按位置减法，是所述优化后第一邻接特征向量、所述优化后第二邻接特征向量、所述优化后第三邻接特征向量、所述优化后第四邻接特征向量和所述优化后节点嵌入表示中的第个向量。
41.这里，所述多源信息融合验前分布评估优化可以对于由多个相互关联的邻域部分组成的特征局部集合，基于特征分布融合稳健性的类极大似然估计，来实现特征向量各自
的验前信息在局部合成分布上的有效折合，并通过多源情况下的验前分布构建，来获得能够用于评估集合内内部关联与集合间变动关系之间的标准期望融合信息的优化范式，以提升特征向量基于多源信息关联融合的信息表达效果。由此，再将优化后的所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示进行融合，就可以提升所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示的融合效果。
42.更为具体地，在本技术的另一个实施例中，还提供一种通过图节点之间的消息聚合传递算法进行节点的嵌入表示学习的算法，也就是异构图神经网络消息聚合传递算法。所述异构图神经网络消息聚合传递算法分为两部分：第一部分是依据异构图中不同的边类型将图划分为不同的子图，并在各个子图中进行消息聚合和传播，得到该子图下的节点嵌入表示；第二部分是利用基于注意力的方法将不同子图下获取的节点嵌入表示融合为最终的节点嵌入表示。具体的，首先给图中所有节点随机初始化一个向量表示，不同的初始化方式可能对模型效果由轻微影响，同时初始化值可以添加正则化限制减少过拟合现象。初始化之后将得到图节点的嵌入矩阵，其中，表示嵌入向量的维度。由于异构图中包含多种节点对关系，即多种连接边类型，其中，每种类型的边与其所连接的节点可以看作是异构图中的一张子图，由此，图嵌入算法可以针对每种类型的子图进行一次消息的传递和聚合，从而的到该子图视角下节点的嵌入表示。当对所有子图获取得到各自的节点嵌入向量之后，算法将利用注意力机制为每个节点融合各个连接边视图下的嵌入表示，从而得到异构图神经网络消息聚合传递算法的最终输出。
43.图5为本技术实施例提供的异构图神经网络消息聚合传递算的示意图。如图5所示，每种类型连接边视图下使用相同的图神经网络嵌入学习算法，这里以用户与物品的点击关系子图为例，介绍本节算法的第一部分，即单一连接边类型子图的节点嵌入方法。令 表示第层图神经网络中图节点的隐向量表示矩阵，其中为第层网络中第节点的隐向量表示，初始时图中节点的嵌入表示为。在第层网络中，对于目标节点物品，其有数条来自用户节点的边，其中，为所有目标节点为，边类型为节点集合，即节点在边上的邻居。首先，分别对与目标节点及其邻居节点做使用全连接层做线性转换：其中 ，为全连接层的可学习参数。
44.在得到目标节点及其邻居的隐向量之后，使用注意力机制计算目标几点与其邻居节点的注意力得分。其计算过程如式所示：其中
为可学习参数，表示sigmoid函数，计算得到的用于衡量目标节点与其某邻居节点的相关程度，相关程度越高，说明在更新目标节点时更应重视该邻居节点的影响。由于之间可能存在值差距过大的问题，可能引起梯度爆炸，为解决这一问题，利用softmax函数对目标节点与其邻居节点的注意力得分进行归一化处理，其计算过程如式（3.4）所示：其中，目标节点与其第个邻居节点的归一化后注意力分数如式所示：在得到目标节点与其邻居之间的注意力分数后，以注意力分数作为权重对目标节点邻居进行加权求和，聚合得到目标节点在以边所构建子图中的邻居信息，其计算过程如式所示：聚合得到的邻居节点信息将被用于更新目标节点的嵌入向量，该过程的数学过程如式所示：其中，为网络中的可学习网络。
45.将上述计算过程分别应用于异构图中不同类型连接边构成的子图，可以得到对应关系下节点的嵌入表示矩阵
ꢀꢀ
，其中。异构图神经网络最后输出的节点嵌入表示为各个类型边子图输出节点嵌入表示的和：通过该异构图神经网络节点嵌入算法得到的用户、物品嵌入向量将作为下个序列学习模块的初始嵌入向量，该嵌入表示包含了多种类型网络关系的知识，包含用户之间的社交网络关系、用户和物品的交互信息以及物品之间的转移信息。通过嵌入向量的方式引入序列学习模块中可以降低该下游任务的学习难度，提高序列建模的准确度。
46.综上，本技术提供的一种采用异构图神经网络的社交兴趣嵌入方法，引入用户社交关系并对图数据中的部分连接边进行改造，进而改善强关联节点之间的信息连通性，弥补中存在的信息缺失问题，减少模型学习的难度。通过这样的方式来使得嵌入表示学习引入了用户社交影响以及用户和物品的交互信息，可以帮助提升下游模型的鲁棒性。
47.本发明实施例还提供一种芯片系统，芯片系统包括至少一个处理器，当程序指令在该至少一个处理器中执行时，使得本技术实施例提供的方法得以实现。
48.本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上述方法实施例的方法。
49.本发明实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
50.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
51.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
52.在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
53.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
54.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

技术特征：
1.一种采用异构图神经网络的社交兴趣嵌入方法，其特征在于，包括：获取会话序列，其中表示用户在会话中点击的物品，以及，用户社交网络；以及使用基于图神经网络的嵌入模块对所述会话序列和所述用户社交网络进行处理以得到包含社交兴趣信息的用户和物品嵌入表示。2.根据权利要求1所述的采用异构图神经网络的社交兴趣嵌入方法，其特征在于，使用基于图神经网络的嵌入模块对所述会话序列和所述用户社交网络进行处理以得到包含社交兴趣信息的用户和物品嵌入表示，包括：基于所述会话序列和所述用户社交网络，构建异构图，其中，所述异构图的节点包括用户和物品，所述异构图的边包括用户对用户的关注关系、用户对物品的点击关系、物品与用户的被点击关系以及物品对物品的转移关系；以及对所述异构图进行图消息传递以得到所述异构图中各个节点的嵌入表示，其中，所述异构图中各个节点的嵌入表示为包含社交兴趣信息的用户和物品嵌入表示。3.根据权利要求2所述的采用异构图神经网络的社交兴趣嵌入方法，其特征在于，对所述异构图进行图消息传递以得到所述异构图中各个节点的嵌入表示，其中，所述异构图中各个节点的嵌入表示为包含社交兴趣信息的用户和物品嵌入表示，包括：提取所述异构图中待处理节点的节点信息，其中，所述节点信息为用户信息或物品信息；将所述异构图中待处理节点的节点信息通过词嵌入层以得到节点嵌入表示；构造所述异构图中待处理节点的第一邻接矩阵、第二邻接矩阵、第三邻接矩阵和第四邻接矩阵，其中，所述第一邻接矩阵中对角线位置上各个位置的值用于表示所述待处理节点与其他节点之间的用户对用户的关注关系、所述第二邻接矩阵中对角线位置上各个位置的值用于表示所述待处理节点与其他节点之间的用户对物品的点击关系、所述第三邻接矩阵中对角线位置上各个位置的值用于表示待处理节点与其他节点之间的物品与用户的被点击关系、所述第三邻接矩阵中对角线位置上各个位置的值用于表示物品对物品的转移关系；分别将所述第一邻接矩阵、所述第二邻接矩阵、所述第三邻接矩阵和所述第四邻接矩阵通过基于卷积神经网络模型的特征提取器以得到第一邻接特征向量、第二邻接特征向量、第三邻接特征向量、第四邻接特征向量；和融合所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示以得到所述异构图中待处理节点的嵌入表示。4.根据权利要求3所述的采用异构图神经网络的社交兴趣嵌入方法，其特征在于，将所述异构图中待处理节点的节点信息通过词嵌入层以得到节点嵌入表示，包括：用于使用所述词嵌入层将所述异构图中待处理节点的节点信息映射到一个连续的向量空间中以将所述待处理节点的节点信息中的用户和物品的属性特征转化为向量形式。5.根据权利要求4所述的采用异构图神经网络的社交兴趣嵌入方法，其特征在于，所述基于卷积神经网络模型的特征提取器包括：输入层、第一卷积层、第一批归一化层、第一池化层、第二卷积层、第二批归一化层、第二池化层、展平层和输出层。6.根据权利要求5所述的采用异构图神经网络的社交兴趣嵌入方法，其特征在于，所述第一卷积层使用32个卷积核和3x3的卷积核大小，填充方式为same，激活函数为relu，所述第二卷积层使用64个卷积核和3x3的卷积核大小，填充方式为same，激活函数为relu。7.根据权利要求6所述的采用异构图神经网络的社交兴趣嵌入方法，其特征在于，分别将所述第一邻接矩阵、所述第二邻接矩阵、所述第三邻接矩阵和所述第四邻接矩阵通过基
于卷积神经网络模型的特征提取器以得到第一邻接特征向量、第二邻接特征向量、第三邻接特征向量、第四邻接特征向量，包括：对输入数据进行第一卷积处理以得到第一卷积特征图；对所述第一卷积特征图进行第一批归一化处理以得到第一批归一化特征图；对所述第一批归一化特征图进行第一池化处理以得到第一池化特征图；对所述第一池化特征图进行第二卷积处理以得到第二卷积特征图；对所述第二卷积特征图进行第二批归一化处理以得到第二批归一化特征图；对所述第二批归一化特征图进行第二池化处理以得到第二池化特征图；对所述第二池化特征图进行展平处理以得到输出特征向量。8.根据权利要求7所述的采用异构图神经网络的社交兴趣嵌入方法，其特征在于，融合所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示以得到所述异构图中待处理节点的嵌入表示，包括：对所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示分别进行多源信息融合验前分布评估优化以获得优化后第一邻接特征向量、优化后第二邻接特征向量、优化后第三邻接特征向量、优化后第四邻接特征向量和优化后节点嵌入表示；将所述优化后第一邻接特征向量、所述优化后第二邻接特征向量、所述优化后第三邻接特征向量、所述优化后第四邻接特征向量和所述优化后节点嵌入表示进行融合以得到所述异构图中待处理节点的嵌入表示。9.根据权利要求8所述的采用异构图神经网络的社交兴趣嵌入方法，其特征在于，对所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示分别进行多源信息融合验前分布评估优化以获得优化后第一邻接特征向量、优化后第二邻接特征向量、优化后第三邻接特征向量、优化后第四邻接特征向量和优化后节点嵌入表示，包括：以如下分布评估优化公式对所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示分别进行多源信息融合验前分布评估优化以获得所述优化后第一邻接特征向量、所述优化后第二邻接特征向量、所述优化后第三邻接特征向量、所述优化后第四邻接特征向量和所述优化后节点嵌入表示；其中，所述分布评估优化公式为：，其中， 是所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示中的第个向量，是所述第一邻接特征向量、所述第二邻接特征向量、所述第三邻接特征向量、所述第四邻接特征向量和所述节点嵌入表示中的第 个向量， 是均值特征向量， 为邻域设置超参数，表示以2为底的对数函数值，表示按位置减法，是所述优化后第一邻接特征向量、所述优化后第二邻接特征向量、所述优化后第三邻接特征向量、所述优化后第四邻接特征向量和所述优化后节点嵌入表示中的第个向量。

技术总结
本申请涉及图神经网络技术领域，其具体地公开了一种采用异构图神经网络的社交兴趣嵌入方法，其包括，获取会话序列，以及，用户社交网络；以及，使用基于图神经网络的嵌入模块对所述会话序列和所述用户社交网络进行处理以得到包含社交兴趣信息的用户和物品嵌入表示。其引入用户社交关系并对图数据中的部分连接边进行改造，进而改善强关联节点之间的信息连通性，弥补中存在的信息缺失问题，减少模型学习的难度。通过这样的方式来使得嵌入表示学习引入了用户社交影响以及用户和物品的交互信息，可以帮助提升下游模型的鲁棒性。可以帮助提升下游模型的鲁棒性。可以帮助提升下游模型的鲁棒性。


技术研发人员：楼俊钢 金阳 覃荣臻 申情
受保护的技术使用者：湖州师范学院
技术研发日：2023.06.21
技术公布日：2023/8/31