基于TDenginer数据库的数据处理系统及其方法与流程

基于tdenginer数据库的数据处理系统及其方法
技术领域
1.本技术涉及智能化数据处理技术领域，并且更具体地，涉及一种基于tdenginer 数据库的数据处理系统及其方法。


背景技术：

2.随着物联网的不断发展，设备的使用增加，产生海量的数据需要收集存储，基于互联网的数据存储方案在海量的物联网数据下已不能满足需求。
3.使用范围最广的关系型数据库是mysql，对于复杂结构，相同设备需要存储不同数据，只能适用于相同的数据结构。对于海量数据还需要分表存储，对于查询的性能也很低。
4.因此，期待一种优化的数据库的数据处理方案。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于tdenginer 数据库的数据处理系统及其方法，其获取待写入tdenginer数据库的物联网设备时序数据；采用基于深度学习的人工智能技术，基于所述待写入tdenginer数据库的数据的自身数据分布特性来判断所述待写入tdenginer数据库的数据是否存在异常，以满足数据处理的需求。
6.第一方面，提供了一种基于tdenginer 数据库的数据处理系统，其包括：数据获取模块，用于获取待写入tdenginer数据库的物联网设备时序数据，其中，所述物联网设备时序数据为温度时序数据；向量排列模块，用于将所述物联网设备时序数据按照时间维度排列为温度时序输入向量；多尺度特征提取模块，用于将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量；高斯强化模块，用于使用高斯密度图对所述多尺度温度时序特征向量进行特征级数据表达强化以得到分类特征矩阵；以及物联网设备时序数据结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待写入tdenginer数据库的物联网设备时序数据是否正常。
7.在上述基于tdenginer 数据库的数据处理系统中，所述向量排列模块，用于：以时间先后顺序将所述物联网设备时序数据排列为所述温度时序输入向量。
8.在上述基于tdenginer 数据库的数据处理系统中，所述第一卷积神经网络模型和所述第二卷积神经网络模型分别使用具有不同尺度的一维卷积核。
9.在上述基于tdenginer 数据库的数据处理系统中，所述多尺度特征提取模块，包括：第一尺度特征提取单元，用于将所述温度时序输入向量输入所述多尺度特征感知器的第一卷积神经网络模型以得到第一尺度温度时序特征向量，其中，所述第一卷积神经网络模型具有第一尺度的一维卷积核；第二尺度特征提取单元，用于所述温度时序输入向量输入所述多尺度特征感知器的第二卷积神经网络模型以得到第二尺度温度时序特征向量，其中，所述第二卷积神经网络模型具有第二尺度的一维卷积核，所述第一尺度不同于所述第
二尺度；以及，融合单元，用于融合所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量以得到所述多尺度温度时序特征向量。
10.在上述基于tdenginer 数据库的数据处理系统中，所述第一尺度特征提取单元，用于：使用所述多尺度特征感知器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述多尺度特征感知器的第一卷积神经网络模型的最后一层的输出为所述第一尺度温度时序特征向量，其中，所述多尺度特征感知器的第一卷积神经网络模型的第一层的输入为所述温度时序输入向量。
11.在上述基于tdenginer 数据库的数据处理系统中，所述融合单元，用于：以如下融合公式融合所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量以得到所述多尺度温度时序特征向量；其中，所述融合公式为：其中，是所述第一尺度温度时序特征向量，是所述第二尺度温度时序特征向量，是所述第二尺度温度时序特征向量的转置向量，为所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量之间的距离矩阵，表示所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量之间的欧式距离，是所述第一尺度温度时序特征向量的第个位置的特征值，是所述第二尺度温度时序特征向量的第个位置的特征值，为掩码阈值超参数，且向量均为行向量，是掩码函数，、和分别表示按位置减法、点乘和加法，表示矩阵相乘。
12.在上述基于tdenginer 数据库的数据处理系统中，所述高斯强化模块，包括：高斯构造单元，用于以如下高斯公式构造所述多尺度温度时序特征向量的增强高斯密度图；其中，所述高斯公式为：其中，表示所述多尺度温度时序特征向量，且的每个位置的值表示所述多尺度温度时序特征向量中相应两个位置的特征值之间的方差；高斯离散化单元，用于对所述增强高斯密度图中各个位置的高斯分布进行高斯离散化处理以将所述增强高斯密度图中各个位置的高斯分布降维为一维的特征向量；以及，二维排列单元，用于将所述各个位置的一维的特征向量进行二维排列以得到所述分类特征矩阵。
13.在上述基于tdenginer 数据库的数据处理系统中，所述物联网设备时序数据结果生成模块，包括：矩阵展开单元，用于将所述分类特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
14.第二方面，提供了一种基于tdenginer 数据库的数据处理方法，其包括：获取待写入tdenginer数据库的物联网设备时序数据，其中，所述物联网设备时序数据为温度时序数据；将所述物联网设备时序数据按照时间维度排列为温度时序输入向量；将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量；使用高斯密度图对所述多尺度温度时序特征向量进行特
征级数据表达强化以得到分类特征矩阵；以及将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待写入tdenginer数据库的物联网设备时序数据是否正常。
15.在上述基于tdenginer 数据库的数据处理方法中，将所述物联网设备时序数据按照时间维度排列为温度时序输入向量，包括：以时间先后顺序将所述物联网设备时序数据排列为所述温度时序输入向量。
16.与现有技术相比，本技术提供的基于tdenginer 数据库的数据处理系统及其方法，其获取待写入tdenginer数据库的物联网设备时序数据；采用基于深度学习的人工智能技术，基于所述待写入tdenginer数据库的数据的自身数据分布特性来判断所述待写入tdenginer数据库的数据是否存在异常，以满足数据处理的需求。
附图说明
17.为了更清楚地说明本技术实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为根据本技术实施例的服务端示意图。
19.图2为根据本技术实施例的基于tdenginer 数据库的数据处理系统的应用场景图。
20.图3为根据本技术实施例的基于tdenginer 数据库的数据处理系统的框图。
21.图4为根据本技术实施例的基于tdenginer 数据库的数据处理系统中所述多尺度特征提取模块的框图。
22.图5为根据本技术实施例的基于tdenginer 数据库的数据处理系统中所述高斯强化模块的框图。
23.图6为根据本技术实施例的基于tdenginer 数据库的数据处理系统中所述物联网设备时序数据结果生成模块的框图。
24.图7为根据本技术实施例的基于tdenginer 数据库的数据处理方法的流程图。
25.图8为根据本技术实施例的基于tdenginer 数据库的数据处理方法的系统架构的示意图。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.除非另有说明，本技术实施例所使用的所有技术和科学术语与本技术的技术领域的技术人员通常理解的含义相同。本技术中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本技术的范围。
28.在本技术实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过
中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
29.需要说明的是，本技术实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本技术的实施例可以除了在这里图示或描述的那些以外的顺序实施。
30.针对上述技术问题，本技术的技术方案为基于 tdenginer 时序数据库替代传统的mysql数据库作为持久化存储方案，以解决存储和查询等方面的技术问题。
31.具体地，对比单机版本，所述 tdenginer 时序数据库支持集群，提供水平扩展能力。因此，如果当前的处理能力还不满足，可以增加节点即可。通过虚拟解决技术保证系统高可用。服务端通过连接器与 tdenginer 服务连接，可以对数据的存储与查询。终端与服务端连接，对采集到的数据上传到服务端，服务端对不同的设备按时间顺序持久化存储。存储方案采用一个采集点一张表的形式，对于维护多表的复杂，产生了超级表来统一管理子表，并对不可变的属性用标签管理。
32.与关系型数据库对比，所述tdenginer 时序数据库具有如下优势：1. 保证时序性。对相同的数据结构全部数据存在一张表，对不同设备在同一时刻采集的数据写入不能保证时序性，而所述tdenginer 时序数据库采用一个设备一张表，对一个设备按时间顺序采集的数据肯定按时间写入，保证了时序性。
33.2. 提高写入与查询的性能。通过技术上的性能测试，相同的数据量在写入和查询都是所述tdenginer 时序数据库优于mysql数据库等关系型数据库。
34.3. 减少磁盘存储。对于相同的采集量，所述tdenginer 时序数据库对数据的压缩比优于mysql数据库。说明相同的存储空间可以存储更多的数据。
35.在本技术一个具体地示例中，如图1所示，所述tdenginer 时序数据库的集群，按照高可用的最少原则，需要 3 台服务器部署组成，当性能达不到要求时，可根据实际要求增加节点已满足数据存储性能。服务端连接所述tdenginer 时序数据库，对到达的数据按设备写入对应的表中存储。已经接入的设备，假设现在在线设备一千万台，此时都采集了数据需要上报存储，数据全部通过协议到达服务端，服务端对处理后的数据写入所述tdenginer 时序数据库。
36.特别地，在服务器对待写入tdenginer数据库的数据进行处理的过程中，包括对所述待写入tdenginer数据库的数据进行校验以判断所述待写入tdenginer数据库的数据是否存在异常。相应地，在本技术的技术方案中，基于所述待写入tdenginer数据库的数据的自身数据分布特性来判断所述待写入tdenginer数据库的数据是否存在异常，也就是，基于所述待写入tdenginer数据库的数据的自身数据分布特征来进行数据校验。
37.具体地，首先获取待写入tdenginer数据库的物联网设备时序数据，其中，所述物联网设备时序数据为温度时序数据。也就是，在本技术一个具体的示例中，所述待写入tdenginer数据库的物联网设备时序数据，更具体地，为物联网设备的温度时序数据，即，物联网设备在预定时间段内多个预定时间点的温度值。值得一提的是，在本技术的技术方案中，所述物联网设备的类型并不为本技术所局限，其可以是任何物联网设备。
38.接着，将所述物联网设备时序数据按照时间维度排列为温度时序输入向量。也就
是，将所述物联网设备时序数据按照时间维度进行数据结构化以得到所述温度时序输入向量。例如，在本技术一个具体的示例中，以时间先后顺序将所述物联网设备时序数据排列为所述温度时序输入向量。
39.接着，将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量，其中，所述第一卷积神经网络模型和所述第二卷积神经网络模型分别使用具有不同尺度的一维卷积核。应可以理解，当物联网设备的工作状态正常时，其所产生的温度时序分布特征满足预定模式特征。相应地，在本技术的技术方案中，使用所述包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器分别对所述温度时序输入向量进行基于不同一维卷积核的一维卷积编码以捕捉不同时间窗口局部温度有向性分布的局部关联模式特征。
40.这里，考虑到所述温度时序数据的数据量可能不足，这会影响所述多尺度温度时序特征向量的特征表达的确定性和精准度。基于此，在本技术的技术方案中，考虑到高斯分布是深度学习的目标学习分布，故基于此先验信息，使用高斯密度图对所述多尺度温度时序特征向量进行特征级数据表达强化以得到分类特征矩阵。具体地，首先构造所述多尺度温度时序特征向量的自相关高斯密度图，其中，所述自相关高斯密度图的均值向量为所述多尺度温度时序特征向量，所述自相关高斯密度图的协方差矩阵中各个位置的值为所述多尺度温度时序特征向量中相应两个位置的特征值之间的方差。进而，对所述自相关高斯密度图中各个位置的高斯分布进行高斯离散化采样以得到所述分类特征矩阵。
41.进而，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待写入tdenginer数据库的物网设备时序数据是否正常。也就是，使用所述分类器确定所述分类特征矩阵所属的类概率标签，所述类概率标签用于待写入tdenginer数据库的物网设备时序数据是否正常，这样，在将数据写入所述tdenginer数据库之前，基于所述待写入tdenginer数据库的数据的自身数据分布特性来判断所述待写入tdenginer数据库的数据是否存在异常。
42.这里，将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量时，通过融合所述第一卷积神经网络模型输出的第一尺度温度时序特征向量和所述第二卷积神经网络模型输出的第二尺度温度时序特征向量来得到所述多尺度温度时序特征向量。但因所述第一卷积神经网络模型和所述第二卷积神经网络模型分别使用具有不同尺度的一维卷积核，因此，所述第一尺度温度时序特征向量的特征分布相对于所述第二尺度温度时序特征向量的特征分布在高维特征空间内会存在空间迁移。因此，期望提升在具有空间迁移情况下的所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量的融合效果。
43.因此，本技术的申请人采用类转换器空间迁移置换融合来融合所述第一尺度温度时序特征向量，例如记为和所述第二尺度温度时序特征向量，例如记为具体表示为：具体表示为：为向量之间的距离矩阵，
即其第位置的特征值是所述第一尺度温度时序特征向量的第个特征值与所述第二尺度温度时序特征向量的第个特征值之间的距离，表示向量间的欧式距离，为掩码阈值超参数，且向量均为行向量。
44.这里，所述类转换器空间迁移置换融合通过以所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量的特征值对的差分表征来对特征值对的空间距离进行类转换器机制的掩码预测，实现了多尺度温度时序特征向量在高维特征空间内的边仿射编码，并通过施加转换器的自注意力机制下的隐状态偏置，来通过所述多尺度温度时序特征向量相对于待融合的所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量在转换器机制下的全局旋转和平移不变形，实现所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量的特征分布的空间迁移可置换性，这样，就提升了多尺度温度时序特征向量对所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量的融合效果，从而提升了多尺度温度时序特征向量的表达效果。
45.图2为根据本技术实施例的基于tdenginer 数据库的数据处理系统的应用场景图。如图2所示，在该应用场景中，首先，获取待写入tdenginer数据库的物联网设备时序数据（例如，如图2中所示意的c），其中，所述物联网设备时序数据为温度时序数据；然后，将获取的物联网设备时序数据输入至部署有基于tdenginer 数据库的数据处理算法的服务器（例如，如图2中所示意的s）中，其中所述服务器能够基于tdenginer 数据库的数据处理算法对所述物联网设备时序数据进行处理，以生成用于表示待写入tdenginer数据库的物联网设备时序数据是否正常的分类结果。
46.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
47.在本技术的一个实施例中，图3为根据本技术实施例的基于tdenginer 数据库的数据处理系统的框图。如图3所示，根据本技术实施例的基于tdenginer 数据库的数据处理系统100，包括：数据获取模块110，用于获取待写入tdenginer数据库的物联网设备时序数据，其中，所述物联网设备时序数据为温度时序数据；向量排列模块120，用于将所述物联网设备时序数据按照时间维度排列为温度时序输入向量；多尺度特征提取模块130，用于将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量；高斯强化模块140，用于使用高斯密度图对所述多尺度温度时序特征向量进行特征级数据表达强化以得到分类特征矩阵；以及，物联网设备时序数据结果生成模块150，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待写入tdenginer数据库的物联网设备时序数据是否正常。
48.具体地，在本技术实施例中，所述数据获取模块110，用于获取待写入tdenginer数据库的物联网设备时序数据，其中，所述物联网设备时序数据为温度时序数据。在本技术一个具体地示例中，所述tdenginer 时序数据库的集群，按照高可用的最少原则，需要 3 台
服务器部署组成，当性能达不到要求时，可根据实际要求增加节点已满足数据存储性能。服务端连接所述tdenginer 时序数据库，对到达的数据按设备写入对应的表中存储。已经接入的设备，假设现在在线设备一千万台，此时都采集了数据需要上报存储，数据全部通过协议到达服务端，服务端对处理后的数据写入所述tdenginer 时序数据库。
49.特别地，在服务器对待写入tdenginer数据库的数据进行处理的过程中，包括对所述待写入tdenginer数据库的数据进行校验以判断所述待写入tdenginer数据库的数据是否存在异常。相应地，在本技术的技术方案中，基于所述待写入tdenginer数据库的数据的自身数据分布特性来判断所述待写入tdenginer数据库的数据是否存在异常，也就是，基于所述待写入tdenginer数据库的数据的自身数据分布特征来进行数据校验。
50.具体地，首先获取待写入tdenginer数据库的物联网设备时序数据，其中，所述物联网设备时序数据为温度时序数据。也就是，在本技术一个具体的示例中，所述待写入tdenginer数据库的物联网设备时序数据，更具体地，为物联网设备的温度时序数据，即，物联网设备在预定时间段内多个预定时间点的温度值。值得一提的是，在本技术的技术方案中，所述物联网设备的类型并不为本技术所局限，其可以是任何物联网设备。
51.具体地，在本技术实施例中，所述向量排列模块120，用于将所述物联网设备时序数据按照时间维度排列为温度时序输入向量。接着，将所述物联网设备时序数据按照时间维度排列为温度时序输入向量。也就是，将所述物联网设备时序数据按照时间维度进行数据结构化以得到所述温度时序输入向量。例如，在本技术一个具体的示例中，以时间先后顺序将所述物联网设备时序数据排列为所述温度时序输入向量。
52.其中，所述向量排列模块120，用于：以时间先后顺序将所述物联网设备时序数据排列为所述温度时序输入向量。
53.具体地，在本技术实施例中，所述多尺度特征提取模块130，用于将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量。接着，将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量，其中，所述第一卷积神经网络模型和所述第二卷积神经网络模型分别使用具有不同尺度的一维卷积核。
54.应可以理解，当物联网设备的工作状态正常时，其所产生的温度时序分布特征满足预定模式特征。相应地，在本技术的技术方案中，使用所述包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器分别对所述温度时序输入向量进行基于不同一维卷积核的一维卷积编码以捕捉不同时间窗口局部温度有向性分布的局部关联模式特征。
55.其中，所述第一卷积神经网络模型和所述第二卷积神经网络模型分别使用具有不同尺度的一维卷积核。
56.图4为根据本技术实施例的基于tdenginer 数据库的数据处理系统中所述多尺度特征提取模块的框图，如图4所示，所述多尺度特征提取模块130，包括：第一尺度特征提取单元131，用于将所述温度时序输入向量输入所述多尺度特征感知器的第一卷积神经网络模型以得到第一尺度温度时序特征向量，其中，所述第一卷积神经网络模型具有第一尺度的一维卷积核；第二尺度特征提取单元132，用于所述温度时序输入向量输入所述多尺度特
征感知器的第二卷积神经网络模型以得到第二尺度温度时序特征向量，其中，所述第二卷积神经网络模型具有第二尺度的一维卷积核，所述第一尺度不同于所述第二尺度；以及，融合单元133，用于融合所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量以得到所述多尺度温度时序特征向量。
57.值得一提的是，相较于传统的特征工程，所述多尺度特征感知器本质上是一个基于深度学习的深度神经网络模型，其能够通过预定训练策略来拟合任何函数功能，且具有更高的特征提取泛化能力。
58.所述多尺度特征感知器包含多个并行的一维卷积层，其中，在所述多尺度特征感知器进行特征提取的过程中，所述多个并行的一维卷积层分别以具有不同尺度的一维卷积核对输入数据进行一维卷积编码以捕捉序列局部隐含特征。
59.进一步地，所述第一尺度特征提取单元131，用于：使用所述多尺度特征感知器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述多尺度特征感知器的第一卷积神经网络模型的最后一层的输出为所述第一尺度温度时序特征向量，其中，所述多尺度特征感知器的第一卷积神经网络模型的第一层的输入为所述温度时序输入向量。
60.卷积神经网络(convolutional neural network，cnn)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
61.卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。
62.这里，将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量时，通过融合所述第一卷积神经网络模型输出的第一尺度温度时序特征向量和所述第二卷积神经网络模型输出的第二尺度温度时序特征向量来得到所述多尺度温度时序特征向量。但因所述第一卷积神经网络模型和所述第二卷积神经网络模型分别使用具有不同尺度的一维卷积核，因此，所述第一尺度温度时序特征向量的特征分布相对于所述第二尺度温度时序特征向量的特征分布在高维特征空间内会存在空间迁移。因此，期望提升在具有空间迁移情况下的所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量的融合效果。
63.因此，本技术的申请人采用类转换器空间迁移置换融合来融合所述第一尺度温度时序特征向量，例如记为和所述第二尺度温度时序特征向量，例如记为，具体表示为：以如下融合公式融合所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量以得到所述多尺度温度时序特征向量；其中，所述融合公式为：其中，是所述第一尺度温度时序
特征向量，是所述第二尺度温度时序特征向量，是所述第二尺度温度时序特征向量的转置向量，为所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量之间的距离矩阵，表示所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量之间的欧式距离，是所述第一尺度温度时序特征向量的第个位置的特征值，是所述第二尺度温度时序特征向量的第个位置的特征值，为掩码阈值超参数，且向量均为行向量，是掩码函数，、和分别表示按位置减法、点乘和加法，表示矩阵相乘。
64.这里，所述类转换器空间迁移置换融合通过以所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量的特征值对的差分表征来对特征值对的空间距离进行类转换器机制的掩码预测，实现了多尺度温度时序特征向量在高维特征空间内的边仿射编码，并通过施加转换器的自注意力机制下的隐状态偏置，来通过所述多尺度温度时序特征向量相对于待融合的所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量在转换器机制下的全局旋转和平移不变形，实现所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量的特征分布的空间迁移可置换性，这样，就提升了多尺度温度时序特征向量对所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量的融合效果，从而提升了多尺度温度时序特征向量的表达效果。
65.具体地，在本技术实施例中，所述高斯强化模块140，用于使用高斯密度图对所述多尺度温度时序特征向量进行特征级数据表达强化以得到分类特征矩阵。这里，考虑到所述温度时序数据的数据量可能不足，这会影响所述多尺度温度时序特征向量的特征表达的确定性和精准度。基于此，在本技术的技术方案中，考虑到高斯分布是深度学习的目标学习分布，故基于此先验信息，使用高斯密度图对所述多尺度温度时序特征向量进行特征级数据表达强化以得到分类特征矩阵。
66.具体地，首先构造所述多尺度温度时序特征向量的自相关高斯密度图，其中，所述自相关高斯密度图的均值向量为所述多尺度温度时序特征向量，所述自相关高斯密度图的协方差矩阵中各个位置的值为所述多尺度温度时序特征向量中相应两个位置的特征值之间的方差。进而，对所述自相关高斯密度图中各个位置的高斯分布进行高斯离散化采样以得到所述分类特征矩阵。
67.图5为根据本技术实施例的基于tdenginer 数据库的数据处理系统中所述高斯强化模块的框图，如图5所示，所述高斯强化模块140，包括：高斯构造单元141，用于以如下高斯公式构造所述多尺度温度时序特征向量的增强高斯密度图；其中，所述高斯公式为：其中，表示所述多尺度温度时序特征向量，且的每个位置的值表示所述多尺度温度时序特征向量中相应两个位置的特征值之间的方差；高斯离散化单元142，用于对
所述增强高斯密度图中各个位置的高斯分布进行高斯离散化处理以将所述增强高斯密度图中各个位置的高斯分布降维为一维的特征向量；以及，二维排列单元143，用于将所述各个位置的一维的特征向量进行二维排列以得到所述分类特征矩阵。
68.应可以理解，作为神经网络模型的学习目标，高斯密度图可以表示特征分布的单个特征值由于其概率密度而在多个特征值构成整体分布情况下的联合分布，也就是，以特征分布作为先验分布，来获得每个先验分布位置下由于其它先验分布位置的相关性作用下的概率密度以作为后验分布，从而在更高维度上更准确地描述特征分布。
69.具体地，在本技术实施例中，所述物联网设备时序数据结果生成模块150，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待写入tdenginer数据库的物联网设备时序数据是否正常。进而，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待写入tdenginer数据库的物网设备时序数据是否正常。
70.也就是，使用所述分类器确定所述分类特征矩阵所属的类概率标签，所述类概率标签用于待写入tdenginer数据库的物网设备时序数据是否正常，这样，在将数据写入所述tdenginer数据库之前，基于所述待写入tdenginer数据库的数据的自身数据分布特性来判断所述待写入tdenginer数据库的数据是否存在异常。
71.图6为根据本技术实施例的基于tdenginer 数据库的数据处理系统中所述物联网设备时序数据结果生成模块的框图，如图6所示，所述物联网设备时序数据结果生成模块150，包括：矩阵展开单元151，用于将所述分类特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元152，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元153，用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
72.综上，基于本技术实施例的基于tdenginer 数据库的数据处理系统100被阐明，其获取待写入tdenginer数据库的物联网设备时序数据；采用基于深度学习的人工智能技术，基于所述待写入tdenginer数据库的数据的自身数据分布特性来判断所述待写入tdenginer数据库的数据是否存在异常，以满足数据处理的需求。
73.如上所述，根据本技术实施例的基于tdenginer 数据库的数据处理系统100可以实现在各种终端设备中，例如用于基于tdenginer 数据库的数据处理的服务器等。在一个示例中，根据本技术实施例的基于tdenginer 数据库的数据处理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于tdenginer 数据库的数据处理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于tdenginer 数据库的数据处理系统100同样可以是该终端设备的众多硬件模块之一。
74.替换地，在另一示例中，该基于tdenginer 数据库的数据处理系统100与该终端设备也可以是分立的设备，并且该基于tdenginer 数据库的数据处理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
75.在本技术的一个实施例中，图7为根据本技术实施例的基于tdenginer 数据库的数据处理方法的流程图。如图7所示，根据本技术实施例的基于tdenginer 数据库的数据处理方法，其包括：210，获取待写入tdenginer数据库的物联网设备时序数据，其中，所述物联网设备时序数据为温度时序数据；220，将所述物联网设备时序数据按照时间维度排列为温
度时序输入向量；230，将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量；240，使用高斯密度图对所述多尺度温度时序特征向量进行特征级数据表达强化以得到分类特征矩阵；以及，250，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待写入tdenginer数据库的物联网设备时序数据是否正常。
76.图8为根据本技术实施例的基于tdenginer 数据库的数据处理方法的系统架构的示意图。如图8所示，在所述基于tdenginer 数据库的数据处理方法的系统架构中，首先，获取待写入tdenginer数据库的物联网设备时序数据，其中，所述物联网设备时序数据为温度时序数据；然后，将所述物联网设备时序数据按照时间维度排列为温度时序输入向量；接着，将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量；然后，使用高斯密度图对所述多尺度温度时序特征向量进行特征级数据表达强化以得到分类特征矩阵；以及，最后，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待写入tdenginer数据库的物联网设备时序数据是否正常。
77.在一个具体示例中，在上述基于tdenginer 数据库的数据处理方法中，将所述物联网设备时序数据按照时间维度排列为温度时序输入向量，包括：以时间先后顺序将所述物联网设备时序数据排列为所述温度时序输入向量。
78.在一个具体示例中，在上述基于tdenginer 数据库的数据处理方法中，所述第一卷积神经网络模型和所述第二卷积神经网络模型分别使用具有不同尺度的一维卷积核。
79.在一个具体示例中，在上述基于tdenginer 数据库的数据处理方法中，将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量，包括：将所述温度时序输入向量输入所述多尺度特征感知器的第一卷积神经网络模型以得到第一尺度温度时序特征向量，其中，所述第一卷积神经网络模型具有第一尺度的一维卷积核；所述温度时序输入向量输入所述多尺度特征感知器的第二卷积神经网络模型以得到第二尺度温度时序特征向量，其中，所述第二卷积神经网络模型具有第二尺度的一维卷积核，所述第一尺度不同于所述第二尺度；以及，融合所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量以得到所述多尺度温度时序特征向量。
80.在一个具体示例中，在上述基于tdenginer 数据库的数据处理方法中，将所述温度时序输入向量输入所述多尺度特征感知器的第一卷积神经网络模型以得到第一尺度温度时序特征向量，其中，所述第一卷积神经网络模型具有第一尺度的一维卷积核，包括：使用所述多尺度特征感知器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述多尺度特征感知器的第一卷积神经网络模型的最后一层的输出为所述第一尺度温度时序特征向量，其中，所述多尺度特征感知器的第一卷积神经网络模型的第一层的输入为所述温度时序输入向量。
81.在一个具体示例中，在上述基于tdenginer 数据库的数据处理方法中，融合所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量以得到所述多尺度温度时序特征向量，包括：以如下融合公式融合所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量以得到所述多尺度温度时序特征向量；其中，所述融合公式为：
其中，是所述第一尺度温度时序特征向量，是所述第二尺度温度时序特征向量，是所述第二尺度温度时序特征向量的转置向量，为所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量之间的距离矩阵，表示所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量之间的欧式距离，是所述第一尺度温度时序特征向量的第个位置的特征值，是所述第二尺度温度时序特征向量的第个位置的特征值，为掩码阈值超参数，且向量均为行向量，是掩码函数，、和分别表示按位置减法、点乘和加法，表示矩阵相乘。
82.在一个具体示例中，在上述基于tdenginer 数据库的数据处理方法中，使用高斯密度图对所述多尺度温度时序特征向量进行特征级数据表达强化以得到分类特征矩阵，包括：以如下高斯公式构造所述多尺度温度时序特征向量的增强高斯密度图；其中，所述高斯公式为：其中，表示所述多尺度温度时序特征向量，且的每个位置的值表示所述多尺度温度时序特征向量中相应两个位置的特征值之间的方差；对所述增强高斯密度图中各个位置的高斯分布进行高斯离散化处理以将所述增强高斯密度图中各个位置的高斯分布降维为一维的特征向量；以及，将所述各个位置的一维的特征向量进行二维排列以得到所述分类特征矩阵。
83.在一个具体示例中，在上述基于tdenginer 数据库的数据处理方法中，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待写入tdenginer数据库的物联网设备时序数据是否正常，包括：将所述分类特征矩阵按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
84.本领域技术人员可以理解，上述基于tdenginer 数据库的数据处理方法中的各个步骤的具体操作已经在上面参考图1到图6的基于tdenginer 数据库的数据处理系统的描述中得到了详细介绍，并因此，将省略其重复描述。
85.本技术还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。
86.在本技术的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
87.应可以理解，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等) 上实施的计算机程序产品的形式。
88.本技术实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。
89.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。
90.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。
91.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
92.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
93.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
94.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
95.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
96.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技
术人员将认识到其某些变型、修改、改变、添加和子组合。

技术特征：
1.一种基于tdenginer 数据库的数据处理系统，其特征在于，包括：数据获取模块，用于获取待写入tdenginer数据库的物联网设备时序数据，其中，所述物联网设备时序数据为温度时序数据；向量排列模块，用于将所述物联网设备时序数据按照时间维度排列为温度时序输入向量；多尺度特征提取模块，用于将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量；高斯强化模块，用于使用高斯密度图对所述多尺度温度时序特征向量进行特征级数据表达强化以得到分类特征矩阵；以及物联网设备时序数据结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待写入tdenginer数据库的物联网设备时序数据是否正常。2.根据权利要求1所述的基于tdenginer 数据库的数据处理系统，其特征在于，所述向量排列模块，用于：以时间先后顺序将所述物联网设备时序数据排列为所述温度时序输入向量。3.根据权利要求2所述的基于tdenginer 数据库的数据处理系统，其特征在于，所述第一卷积神经网络模型和所述第二卷积神经网络模型分别使用具有不同尺度的一维卷积核。4.根据权利要求3所述的基于tdenginer 数据库的数据处理系统，其特征在于，所述多尺度特征提取模块，包括：第一尺度特征提取单元，用于将所述温度时序输入向量输入所述多尺度特征感知器的第一卷积神经网络模型以得到第一尺度温度时序特征向量，其中，所述第一卷积神经网络模型具有第一尺度的一维卷积核；第二尺度特征提取单元，用于所述温度时序输入向量输入所述多尺度特征感知器的第二卷积神经网络模型以得到第二尺度温度时序特征向量，其中，所述第二卷积神经网络模型具有第二尺度的一维卷积核，所述第一尺度不同于所述第二尺度；以及融合单元，用于融合所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量以得到所述多尺度温度时序特征向量。5.根据权利要求4所述的基于tdenginer 数据库的数据处理系统，其特征在于，所述第一尺度特征提取单元，用于：使用所述多尺度特征感知器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述多尺度特征感知器的第一卷积神经网络模型的最后一层的输出为所述第一尺度温度时序特征向量，其中，所述多尺度特征感知器的第一卷积神经网络模型的第一层的输入为所述温度时序输入向量。6.根据权利要求5所述的基于tdenginer 数据库的数据处理系统，其特征在于，所述融合单元，用于：以如下融合公式融合所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量以得到所述多尺度温度时序特征向量；其中，所述融合公式为：其中，是所述第一尺度温度时序特征向量，是所述第二尺度温度时序特征向量，是所述第二尺度温度时序特征向量的转置向量，为所述第一尺度温度时序特征向量和所述第二尺度温度时序特征向量之间的距离矩阵，表示所述第一尺度温度时
序特征向量和所述第二尺度温度时序特征向量之间的欧式距离，是所述第一尺度温度时序特征向量的第个位置的特征值，是所述第二尺度温度时序特征向量的第个位置的特征值，为掩码阈值超参数，且向量均为行向量，是掩码函数，、和分别表示按位置减法、点乘和加法，表示矩阵相乘。7.根据权利要求6所述的基于tdenginer 数据库的数据处理系统，其特征在于，所述高斯强化模块，包括：高斯构造单元，用于以如下高斯公式构造所述多尺度温度时序特征向量的增强高斯密度图；其中，所述高斯公式为：其中，表示所述多尺度温度时序特征向量，且的每个位置的值表示所述多尺度温度时序特征向量中相应两个位置的特征值之间的方差；高斯离散化单元，用于对所述增强高斯密度图中各个位置的高斯分布进行高斯离散化处理以将所述增强高斯密度图中各个位置的高斯分布降维为一维的特征向量；以及二维排列单元，用于将所述各个位置的一维的特征向量进行二维排列以得到所述分类特征矩阵。8.根据权利要求7所述的基于tdenginer 数据库的数据处理系统，其特征在于，所述物联网设备时序数据结果生成模块，包括：矩阵展开单元，用于将所述分类特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。9.一种基于tdenginer 数据库的数据处理方法，其特征在于，包括：获取待写入tdenginer数据库的物联网设备时序数据，其中，所述物联网设备时序数据为温度时序数据；将所述物联网设备时序数据按照时间维度排列为温度时序输入向量；将所述温度时序输入向量通过包含第一卷积神经网络模型和第二卷积神经网络模型的多尺度特征感知器以得到多尺度温度时序特征向量；使用高斯密度图对所述多尺度温度时序特征向量进行特征级数据表达强化以得到分类特征矩阵；以及将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待写入tdenginer数据库的物联网设备时序数据是否正常。10.根据权利要求9所述的基于tdenginer 数据库的数据处理方法，其特征在于，将所述物联网设备时序数据按照时间维度排列为温度时序输入向量，包括：以时间先后顺序将所述物联网设备时序数据排列为所述温度时序输入向量。

技术总结
一种基于TDenginer数据库的数据处理系统及其方法，其获取待写入TDenginer数据库的物联网设备时序数据；采用基于深度学习的人工智能技术，基于所述待写入TDenginer数据库的数据的自身数据分布特性来判断所述待写入TDenginer数据库的数据是否存在异常，以满足数据处理的需求。数据处理的需求。数据处理的需求。


技术研发人员：朱建文 江培 郭鸿 王蔡涛 易大富 汪旻悦
受保护的技术使用者：杭州水务数智科技股份有限公司
技术研发日：2023.07.03
技术公布日：2023/10/8