一种用于时空数据建模的多头注意力时空图卷积模型

1.本发明涉及计算机科学中的机器学习和图神经网络技术领域，具体为用于时空数据建模、动态模式识别、时空关系建模。


背景技术：

2.当今世界中产生了大量的时空数据，包括传感器数据、社交媒体数据、气象数据等。这些数据通常具有时序性和空间关联性，因此需要专门的方法来进行建模和分析。传统的深度学习模型往往无法直接处理这种时空数据，并且忽略了数据中的时序和空间关系。
3.时空图卷积模型的发展正是为了解决这个问题。它结合了图卷积网络和时空数据建模的技术，能够有效地捕捉时空数据中的动态关系和模式。通过构建时空图结构并应用专门设计的时空图卷积操作，该模型能够在时空维度上进行特征提取和信息传递，从而实现对时空数据的准确建模。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了新型时空数据建模方法，解决了现有技术方案存在的模型复杂度高，时空挖掘效率低的问题。
6.(二)技术路线
7.为实现上述降低模型复杂度，在保证准确率的前提下提高效率，本发明提供如下技术方案：
8.多头注意力时空图卷积建模方法包括以下步骤：
9.1)数据准备：收集和准备时空数据，这可以是时间序列数据、动态图像数据或其他包含时序和空间关联的数据。确保数据格式和质量符合模型要求；
10.2)构建时空图结构：根据数据的特性和任务需求，构建时空图结构。时空图结构由节点和边组成，节点表示数据中的元素(如像素、空间位置、时间点)，边表示节点之间的关系(如空间邻接、时间顺序)。确保图结构能够准确反映时空数据中的关联性和依赖性；
11.3)特征提取和表示：设计适合时空图卷积的特征提取和表示方法。这包括定义节点特征和边特征，以及考虑时间维度的特征建模。可以利用传统的特征提取方法或深度学习方法来获取节点和边的特征表示；
12.4)时空图卷积操作：定义时空图卷积操作，以便在时空图上进行信息传递和特征更新。时空图卷积操作可以结合节点特征、邻接关系和时间特征，以捕捉时空数据中的动态模式和关系。包括空间卷积、时间卷积、时空注意力等操作；
13.(三)多头时空图卷积模型框架
14.该模型由时间卷积(temporal convolutional network,tcn)以及图注意力层(graph attention network,gat)和图卷积层(graph convolution network,gcn)组成，下面说明每个模块的作用。
15.时间卷积层的目的是充分挖掘数据在时间维度上的相关性，本发明对传统的tcn做了简化处理，假设输入数据序列为使用卷积核大小为1x1，以及卷积核大小为3x3的1维卷积组成时间卷积层。对于每一时刻的数据其中n代表节点个数，ct代表特征数量以及时间步长的乘积。在输入时对原始数据做转置操作目的是为了使卷积操作的参数匹配。ct为通道数量，可以理解为每个时间步长中其中一帧为一个通道，代表当前时刻的状态，具体结构如附图1所示。以输入特征的维度为(b,n,ct),输出的维度为(b,n,c_out)为卷积操作定义为：
[0016][0017]
其中
★
表示有效的互相关运算符，b是批大小(batch size)，c_out表示卷积产生的通道数。
[0018]
在传统的图神经网络中，每个节点的特征被视为等权重的，并且在图中的信息传递过程中，所有节点之间的关系都被平等地对待。然而，在实际应用中，不同节点之间的关系可能具有不同的重要性，有些节点在特定任务中可能比其他节点更有意义。图注意力层的关键点是通过学习可学习的注意力权重，根据节点之间的特征相似性和任务需求，来动态调整信息传递的权重，从而实现更加有效的特征聚合和信息传递。这种方法使得图神经网络能够在保留全局图结构信息的同时，更加关注重要的节点和边，从而在复杂的图数据中获得更好的性能。该层的输入为tcn的输出以及节点连接的邻接矩阵表示，若邻接矩阵元素大于0(代表节点之间有连接)保留注意力系数，否则需要mask，设置为非常小的值。之后得到周围节点对当前待更新节点的影响，然后根据注意力系数更新节点信息。计算公式如下：
[0019][0020][0021]
假设输入特征为n代表节点的数量,f是每个节点上的特征维度。经过注意力层产生新的特征,作为输出。采用一个共享的权重矩阵来对节点上的特征进行变换，计算出注意力系数，公式(2)中的
·
t表示转置运算符，||表示连接操作，它们表示了节点j的特征对节点i的重要性。公式(3)中表示第i个节点更新后的表示，表示i节点的邻居节点，是对应的输入线性变换的权重矩阵，为第k个计算出来的标准化之后的注意力系数，σ是非线性激活函数。具体操作附件图2所示。
[0022]
最后的图卷积层的作用是进一步挖掘数据的空间信息。给定一个图g＝(v,e)，图卷积网络(gcn)的输入包括：一个输入特征矩阵其中n是节点的数量，f是每个节点的输入特征数量；一个表示图结构的矩阵例如图g的邻接矩阵a。该滤波器在图的节点上进行操作，通过其一阶邻居捕捉节点之间的空间特征。然后，可以通过堆叠多个
卷积层来构建gcn模型，可以表示为：
[0023][0024]
其中，是添加了自连接的无向图g的邻接矩阵。in是单位矩阵，w
(l)
是特定层的可训练权重矩阵。σ(
·
)表示激活函数，例如relu(
·
)＝max(0,
·
)。是l
th
层中激活的矩阵，h
(0)
＝x。是图拉普拉茨标准化的表示。
[0025]
经过以上3个模块可以很好的挖掘数据的时间和空间信息完成特定任务例如交通流量预测、社交网络分析、金融时间序列预测等。
[0026]
(四)有益效果
[0027]
与现有技术相比，本发明提供了一种新的时空图卷积模型，具备以下有益效果：
[0028]
该方法用于数据挖掘中的各种任务，将时间卷积与注意力以及图卷积相结合，深度挖掘了数据的时间以及空间信息，降低了现有数据挖掘模型的复杂度，还可以在保证一定准确率的前提下提高效率，可以为处理海量复杂数据提供指导，且具有广阔的应用前景。
附图说明
[0029]
图1为本发明模块1结构图。
[0030]
图2为本发明的框架结构图。
具体实施方式
[0031]
下面结合本发明的实施例，对本发明实施例中的技术方案进行描述。
[0032]
多头注意力时空图卷积建模方法，其特征在于，包括以下步骤：
[0033]
1)数据准备：收集和准备时空数据，这可以是时间序列数据、动态图像数据或其他包含时序和空间关联的数据。确保数据格式和质量符合模型要求；
[0034]
2)构建时空图结构：根据数据的特性和任务需求，构建时空图结构。时空图结构由节点和边组成，节点表示数据中的元素(如像素、空间位置、时间点)，边表示节点之间的关系(如空间邻接、时间顺序)。确保图结构能够准确反映时空数据中的关联性和依赖性；
[0035]
3)特征提取和表示：设计适合时空图卷积的特征提取和表示方法。这包括定义节点特征和边特征，以及考虑时间维度的特征建模。可以利用传统的特征提取方法或深度学习方法来获取节点和边的特征表示；
[0036]
4)时空图卷积操作：定义时空图卷积操作，以便在时空图上进行信息传递和特征更新。时空图卷积操作可以结合节点特征、邻接关系和时间特征，以捕捉时空数据中的动态模式和关系。包括空间卷积、时间卷积、时空注意力等操作；
[0037]
多头时空图卷积模型运作的基本过程：首先，构建具有时序和空间关联的数据并完成数据预处理操作；其次，将数据输入到时间卷积层中，先挖掘数据在时间维度上的隐藏关系；再次，根据挖掘出来的中间表示送入到图注意力层挖掘节点之间的空间关系并分配注意力系数；最后，将带有注意力系数的邻接矩阵与中间表示进行图卷积操作进一步挖掘空间信息并完成输出。
[0038]
具体过程：
[0039]
第一步，基于时间卷积挖掘时间维度上的关系：
[0040][0041]
其中
★
表示有效的互相关运算符，b是批大小(batch size)，c_out表示卷积产生的通道数，ct为通道数量，可以理解为每个时间步长中其中一帧为一个通道，代表当前时刻的状态。。
[0042]
第二步，根据由时间卷积层得到的中间特征表示进一步挖掘数据空间信息：
[0043][0044][0045]
假设输入特征为n代表节点的数量,f是每个节点上的特征维度。经过注意力层产生新的特征,作为输出。采用一个共享的权重矩阵来对节点上的特征进行变换，计算出注意力系数，公式中
·
t表示转置运算符，||表示连接操作，它们表示了节点j的特征对节点i的重要性。公式中表示第i个节点更新后的表示，表示第i个节点更新后的表示，表示i节点的邻居节点，是对应的输入线性变换的权重矩阵，为第k个计算出来的标准化之后的注意力系数，σ是非线性激活函数。
[0046]
最后，由图卷积操作完成二跳节点的信息挖掘，并完成输出：
[0047][0048]
其中，是添加了自连接的无向图g的邻接矩阵。in是单位矩阵，w
(l)
是特定层的可训练权重矩阵。σ(
·
)表示激活函数，例如relu(
·
)＝max(0,
·
)。是l
th
层中激活的矩阵，h
(0)
＝x。是图拉普拉茨标准化的表示。
[0049]
尽管已经描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.多头注意力时空图卷积建模方法，其特征在于，包括以下步骤：1)数据准备，收集和准备时空数据，这可以是时间序列数据、动态图像数据或其他包含时序和空间关联的数据。确保数据格式和质量符合模型要求；2)构建时空图结构，根据数据的特性和任务需求，构建时空图结构。时空图结构由节点和边组成，节点表示数据中的元素(如像素、空间位置、时间点)，边表示节点之间的关系(如空间邻接、时间顺序)。确保图结构能够准确反映时空数据中的关联性和依赖性；3)特征提取和表示，设计适合时空图卷积的特征提取和表示方法。这包括定义节点特征和边特征，以及考虑时间维度的特征建模。可以利用传统的特征提取方法或深度学习方法来获取节点和边的特征表示；4)时空图卷积操作，定义时空图卷积操作，以便在时空图上进行信息传递和特征更新。时空图卷积操作可以结合节点特征、邻接关系和时间特征，以捕捉时空数据中的动态模式和关系。包括空间卷积、时间卷积、时空注意力等操作；多头时空图卷积模型运作的基本过程：首先，构建具有时序和空间关联的数据并完成数据预处理操作；其次，将数据输入到时间卷积层中，先挖掘数据在时间维度上的隐藏关系；再次，根据挖掘出来的中间表示送入到图注意力层挖掘节点之间的空间关系并分配注意力系数；最后，将带有注意力系数的邻接矩阵与中间表示进行图卷积操作进一步挖掘空间信息并完成输出。第一步，基于时间卷积挖掘时间维度上的关系：其中
★
表示有效的互相关运算符，b是批大小(batch size)，c_out表示卷积产生的通道数，ct为通道数量，可以理解为每个时间步长中其中一帧为一个通道，代表当前时刻的状态。第二步，根据由时间卷积层得到的中间特征表示进一步挖掘数据空间信息：第二步，根据由时间卷积层得到的中间特征表示进一步挖掘数据空间信息：假设输入特征为n代表节点的数量,f是每个节点上的特征维度。经过注意力层产生新的特征,作为输出。采用一个共享的权重矩阵来对节点上的特征进行变换，计算出注意力系数，公式中
·
t
表示转置运算符，||表示连接操作，它们表示了节点j的特征对节点i的重要性。公式中表示第i个节点更新后的表示，表示i节点的邻居节点，是对应的输入线性变换的权重矩阵，为第k个计算出来的标准化之后的注意力系数，σ是非线性激活函数。最后，由图卷积操作完成二跳节点的信息挖掘，并完成输出：
其中，是添加了自连接的无向图g的邻接矩阵。i
n
是单位矩阵，w
(l)
是特定层的可训练权重矩阵。σ(
·
)表示激活函数，例如relu(
·
)＝max(0,
·
)。是l
th
层中激活的矩阵，h
(0)
＝x。是图拉普拉茨标准化的表示。

技术总结
本发明涉及计算机科学、机器学习、图神经网络、以及相关的数据分析和模式识别领域，是典型的跨学科课题。本发明提出了深度学习框架时空多头注意力图卷积网络模型，它采用时间卷积层来提取时间特征，使用空间注意力以及多头注意力机制完成节点间的消息汇聚更好的提取空间的特征，得习更全面的信息，本发明从中具有较高的准确度，在效率上优于常规的基准模型，且在性能上也有更好表现。且在性能上也有更好表现。


技术研发人员：彭程 程媛
受保护的技术使用者：哈尔滨理工大学
技术研发日：2023.07.07
技术公布日：2023/9/20