一种基于深度注意力数据增强的航空发动机异常检测方法

1.本技术属于航空发动机异常检测技术领域，更具体地说，是涉及一种基于深度注意力数据增强的航空发动机异常检测方法。


背景技术：

2.航空发动机是飞机的核心部件，其健康状况会对飞机航行的稳定性和安全性产生巨大影响。为了防止发动机的早期异常在航行时产生连锁反应导致重大故障，最有效的办法就是在起飞前进行准确的异常检测和全面的健康检查，这样就可以提前采取必要的措施(如维修或者更换发动机)来减少昂贵的计划外维护和避免严重的飞行事故。因此，探索准确的发动机异常检测方法具有重要意义。
3.目前，航空发动机的异常检测方法主要分为三类：基于模型、基于传统机器学习和基于深度学习的方法。基于模型的方法具有较好的解释性，但是却需要大量的领域知识。特别是对于高度复杂的热力机械，构建一个精确的物理解析模型来分析损伤的传播过程和动态响应是极其困难的，这限制了该类方法的实际应用。基于传统机器学习的方法可以避免复杂的建模过程，但是这些浅层模型却难以从原始监控数据中学习可辨识的有用特征，还需要结合工程师手工设计的统计特征。如果选择的统计特征无法表征航空发动机的健康状态，将会严重影响最终的异常检测结果。
4.相反的，基于深度学习的方法可以自动地从原始监控数据中提取有用特征，既避免了复杂的建模过程，又解决了手工选择特征的困难，因此，深度学习在航空发动机的异常检测领域展现出非凡的潜力。譬如，现有技术中有使用滤波器进行数据预处理，然后结合深度卷积神经网络对航空发动机的健康状态进行诊断。还有采用一组长短期记忆网络来学习性能监控参数与发动机健康状态的复杂映射关系，从而完成多传感器条件下的航空发动机异常检测。也有结合深度贝叶斯网络和shapley加性解释构建一种可解释的异常检测和故障预测框架，并在在真实的发动机数据集上验证了框架的有效性。也有选用卷积自编码器提取原始监控数据的high-level特征，然后结合权重无关网络来诊断发动机是否发生异常。但上述诊断方法均欠缺一个类别均衡的训练集。
5.航空发动机从正常状态衰退到异常状态，一般情况下需要经历很多次飞行循环，那么能够收集到的异常样本的数量是非常有限的，导致其远远少于正常样本的数量。另一方面，当航空发动机处于早期异常状态的时候，异常样本与近期的正常样本又会非常相似，从而导致两者的相互混叠。如1(a)所示，若直接使用深度学习进行航空发动机的异常检测将面临着数据不均衡和样本混叠的双重挑战。第一个挑战：在训练阶段，深度学习模型的损失由正常样本主导，也就是说，只要正常样本被正确地分类，那么训练误差就会降得非常小。在这种情况下，深度学习模型会更加关注正常样本，并倾向于把异常样本诊断为正常样本。然而，这在实际工程应用中是不被允许的。第二个挑战：异常样本与正常样本相互混叠，如果直接进行数据增强，合成的异常样本有可能落入正常样本聚集的区域，此时部分生成的样本更接近正常样本，但是仍然带有“异常”的标签，这将误导深度学习模型的训练。
6.至今，传统数据重采样技术一般选用欠采样技术或过采样技术是解决上述挑战。
7.(一)许多欠采样技术面临信息损失的难题。许多欠采样技术采用的随机移除策略很可能会移除重要的正常样本，对于高度混叠的数据而言，也可能会移除比较多的边界样本。
8.欠采样技术的工作原理为：通过减少正常样本的数目n，以匹配异常样本的数目a，即移除(n-a)个正常样本，如图1中(a)-(b)所示。当a远小于n时，会导致过多的信息损失。
9.(二)过采样技术则面临生成噪声样本的风险。譬如，流行的smote通过在异常样本与其相邻异常样本之间的连线上随机采样来生成新的异常样本，那么生成的异常样本极有可能落入危险区域。为了缓解这个问题，出现了很多smote的变体。譬如，borderline-smote首先定义一组“危险”样本，即那些有可能被分类网络误分的异常样本，然后对这些异常样本进行过采样。kmeans-smote首先使用kmeans将输入数据划分成不同的簇，然后在每个簇中分别使用smote生成异常样本。虽然borderline-smote和kmeans-smote等可以在一定程度上降低生成噪声样本的风险，但是对于高度混叠的数据而言，其效果也是比较有限的。
10.过采样技术的工作原理为：通过增加异常样本的数目，以匹配正常样本的数目，即生成(n-a)个异常样本，如图1中(a)-(c)所示。当异常样本与正常样本高度混叠时，生成的异常样本极有可能落在正常样本聚集的区域(称为危险区域)而被视为噪声样本。但该两项技术对数据的处理，不均衡程度高，混叠程度高，影响诊断的有效性。
11.综上所述，急需研发一种新的基于深度注意力数据增强的航空发动机异常检测方法，以解决上述技术问题。


技术实现要素：

12.为实现上述目的，本技术采用的技术方案是：提供一种基于深度注意力数据增强的航空发动机异常检测方法，包括以下步骤：
13.步骤一，使用聚类算法将正常样本聚成k个簇，形成聚类中心，然后将聚类中心与异常样本构成欠采样后的训练集x；
14.步骤二，首先，使用encoder网络将训练集x映射到一个类内聚集并且类间分离的特征空间中；然后，在学习的特征空间中采用自注意力模块自适应地生成异常样本特征z
new
；最后，使用decoder网络将生成的异常样本特征z
new
映射回原始空间中，生成异常样本异常样本与欠采样后的训练集x构成均衡的训练集；
15.步骤三：使用均衡的训练集训练注意力网络，将训练好的注意力网络作为分类网络，用于诊断发动机是否发生异常。
16.可选地，采用自注意力模块自适应地生成异常样本特征z
new
的过程称为da-smote。
17.可选地，步骤二中，使用训练完成的encoder网络将欠采样后的训练集x映射到一个类间相离且类内相聚的特征空间中，即z＝encoder(x)。
18.可选地，da-smote用于生成异常样本，da-smote生成异常样本的过程如下：
19.步骤s101，将异常样本特征z与相邻的异常样本特征拼接形成一个特征对其中，z∈z；
20.步骤s102，特征对经过注意力模块处理，得到标量输出θ，如公式(5)所示：
[0021][0022]
式中，代表relu激活函数，w1、w2、w3代表线性映射的参数矩阵；
[0023]
步骤s103，通过sigmoid函数将标量输出θ变换到(0，1)之间，如公式(6)所示：
[0024][0025]
式中，为学习得到的插值因子。
[0026]
步骤s104，生成的异常样本特征z
new
如公式(7)所示：
[0027][0028]
通过训练，可以降低生成的异常样本特征z
new
落入危险区域的风险。
[0029]
可选地，使用训练完成的decoder网络将增强后的集合[z，z
new
]映射回到原始空间中，即
[0030]
原始空间与训练集x一起构成均衡的训练集
[0031]
可选地，插值因子采用两种损失函数学习得到，两种损失函数分别为：重构损失和三中心损失；
[0032]
重构损失：采用类均衡的l
2-norn作为重构损失如公式(8)所示：
[0033][0034]
式中，xi是x中的第i个元素，并且是xi的重构表示，|
·
|代表集合中元素个数，并且||
·
||2代表l
2-norm，β∈[0，1)是一个超参数，β设置为0.999，当xi为正常样本时，ni＝k；当xi为异常样本时，ni＝a。
[0035]
三中心损失：采用三中心损失指导特征表示和插值因子的学习，如公式(9)所示：
[0036][0037]
式中，zi是z∪z
new
中的第i个元素，d是一个超参数，d设置为5；
[0038]
当zi为正常样本特征时，则ci是正常样本中心的特征，而是异常样本中心的特征；当zi为异常样本特征时，则ci是异常样本中心的特征，而是正常样本中心的特征；
[0039]
结合重构损失和三中心损失两种损失函数同时训练da-smote、encoder网络和decoder网络，损失函数如公式(10)所示：
[0040][0041]
可选地，步骤三中，分类网络选用二值交叉熵损失来训练，如公式(11)所示：
[0042][0043]
式中，o是x经过注意力网络中最后softmax层的输出，而o
new
是所对应的输
出；oi是第i个样本的输出概率，yi是第i个样本的真实标签；
[0044]
计算二值交叉熵损失之后，使用反向传播算法优化分类网络的权重参数。
[0045]
可选地，步骤一中，聚类算法为k-means算法，k-means算法为：
[0046]
设置正常样本集合xn＝{x1，x2，
…
，xn}，将正常样本集合xn划分为k个簇，第j个簇cj内的样本均服从正态分布n(μj，i)，正常样本集合xn的对数似然函数ln l(μ|xn)如公式(1)所示：
[0047][0048]
式中，xn代表n个正常样本组成的集合，d代表样本的维度；xi代表第i个正常样本组成的集合；cj代表第j个簇；μj代表第j个簇cj内的样本所服从的正态分布n(μj，i)的期望；k代表正常样本集合xn的簇的个数；
[0049]
最大化对数似然函数ln l(μ|xn)等价于最小化公式(2)的误差平方和：
[0050][0051]
式中，jk为k-means算法优化的目标函数。
[0052]
可选地，采用k-means算法计算簇的集合为c
*
，如公式(3)所示：
[0053][0054]
式中，xi代表第i个正常样本组成的集合；μj代表第j个簇cj内的样本所服从的正态分布n(μj，i)的期望；k代表正常样本集合xn的簇的个数；cj代表第j个簇；ck表示第k个簇；
[0055]
簇中心所组成的集合cc
*
如公式(4)所示：
[0056][0057]
式中，是第j个簇的簇中心。
[0058]
可选地，预设由a个异常样本组成的集合为xa，xa＝{x1，x2，
…
，xa}，簇中心所组成的集合cc
*
与异常样本集合xa，构成欠采样后的训练集x＝cc
*
∪xa；
[0059]
正常样本与异常样本之间的数量差异从(n-a)被缩小为(k-a)。
[0060]
本技术提供一种基于深度注意力数据增强的航空发动机异常检测方法，具有以下有益效果：
[0061]
(1)采用聚类算法将正常样本划分为不同的簇，然后使用簇中心与异常样本构成欠采样后的的训练集，可以同时降低数据的不均衡程度和混叠程度。
[0062]
(2)da-smote可以根据数据分布自适应地生成有效的异常样本。da-smote使用一
个注意力模块来学习插值因子，可以根据数据自适应地生成有效的异常样本，使得生成的异常样本远离危险区域。
[0063]
(3)基于自注意力机制的encoder网络和decoder网络在三中心损失和重构损失的联合训练下学习一个类间相离而类内相聚的特征空间。在该特征空间中，正常样本远离异常样本的中心点，而靠近正常样本的中心点；类似的，异常样本远离正常样本的中心点，而靠近异常样本的中心点。此时，使用da-smote在该特征空间中进行数据增强，可以进一步降低生成噪声数据的风险。
[0064]
(4)采用注意力机制作为特征提取的核心组件，可以有效地从多维时间序列中提取复杂时序特征。
附图说明
[0065]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0066]
图1为本技术背景技术中数据欠采样和过采样过程示意图；
[0067]
图2为本技术深度注意力数据增强过程示意图；
[0068]
图3为da-smote示意图；
[0069]
图4为da-smote嵌入encoder网络和decoder网络中进行样本构造过程示意图；
[0070]
图5为发动机结构和样本构造过程示意图。
具体实施方式
[0071]
为了使本技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0072]
现对本技术实施例提供的一种基于深度注意力数据增强的航空发动机异常检测方法进行说明。一种基于深度注意力数据增强的航空发动机异常检测方法，包括以下步骤：
[0073]
步骤一，使用聚类算法将正常样本(如图2中(a)所示)聚成k个簇，形成聚类中心，然后将聚类中心与异常样本构成欠采样后的训练集x(如图2中(b)所示)。
[0074]
步骤二，首先，使用encoder网络将训练集x映射到一个类内聚集并且类间分离的特征空间中(如图2中(c)所示)，亦即在其中不同类型的样本彼此远离，而相同类型的样本彼此接近。然后，采用da-smote在学习的特征空间中自适应地生成异常样本特征z
new
(如图2中(d)所示)。最后，使用decoder网络将生成的异常样本特征z
new
映射回原始空间中，生成异常样本异常样本与欠采样后的训练集x构成均衡的训练集。采用自注意力模块自适应地生成异常样本特征z
new
的过程称为da-smote。
[0075]
步骤三：使用均衡的训练集训练注意力网络，将训练好的注意力网络作为分类网络，用于诊断发动机是否发生异常。
[0076]
进一步地，步骤一中，聚类算法为k-means算法，选用k-means算法不仅计算效率高
并且实施简单，可以找到相对最优的簇划分，形成簇中心，簇中心即为聚类中心，能够较好地代表整个簇中的样本。
[0077]
混合采样技术中的欠采样技术用于解决类间混叠下的数据不均衡问题。欠采样后的训练集x由采用聚类技术对正常样本进行欠采样，并与异常样本合并得到。因为簇中心与本簇中正常样本的平均距离最小，簇中心能够代表整个簇中的数据，所以本技术采用所有的簇中心来代替正常样本，从而达到减少正常样本数量的目的。
[0078]
k-means算法为：
[0079]
设置正常样本集合xn＝{x1，x2，
…
，xn}(即正常样本集合xn代表n个正常样本组成的集合)，将正常样本集合xn划分为k个簇，第j个簇cj内的样本均服从正态分布n(μj，i)，正常样本集合xn的对数似然函数ln l(μ|xn)如公式(1)所示：
[0080][0081]
式中，d代表样本的维度；xi代表第i个正常样本组成的集合；cj代表第j个簇；μj代表第j个簇cj内的样本所服从的正态分布n(μj，i)的期望；k代表正常样本集合xn的簇的个数。
[0082]
最大化对数似然函数ln l(μ|xn)等价于最小化公式(2)的误差平方和：
[0083][0084]
式中，jk为k-means算法优化的目标函数。
[0085]
k-means算法所计算的簇中心μj是该簇样本所服从的正态分布n(μj，i)的期望，能够很好地代表整个簇中的样本。
[0086]
采用k-means算法计算簇的集合为c
*
，如公式(3)所示：
[0087][0088]
式中，xi代表第i个正常样本组成的集合；μj代表第j个簇cj内的样本所服从的正态分布n(μj，i)的期望；k代表正常样本集合xn的簇的个数；cj代表第j个簇；ck表示第k个簇。
[0089]
簇中心所组成的集合cc
*
如公式(4)所示：
[0090][0091]
式中，是第j个簇的簇中心。
[0092]
预设由a个异常样本组成的集合为xa，xa＝{x1，x2，
…
，xa}，簇中心所组成的集合cc
*
与异常样本集合xa，构成欠采样后的训练集x＝cc
*
∪xa。正常样本与异常样本之间的数量差
异从(n-a)被缩小为(k-a)。
[0093]
本技术采用混合采样技术，减少正常样本的数目和增加异常样本的数目，以保证两者有相同的数量，k(a＜k＜n)，k代表正常样本集合xn的簇的个数。混合采样技术移除(n-k)个正常样本并生成(k-a)个异常样本。显然，由(n-k)＜(n-a)可知，相比于欠采样技术，混合采样技术可以减少信息损失；由(n-k)＜(n-a)可知，相比于过采样技术，混合采样技术又可以降低生成噪声样本的风险。混合采样技术弱化了欠采样技术和过采样技术各自的不足，既可以减少正常样本信息的损失，又可以降低合成噪声样本的风险。
[0094]
步骤二中，首先，使用训练完成的encoder网络将欠采样后的训练集x映射到一个类间相离且类内相聚的特征空间中，即z＝encoder(x)；如图4所示，encoder网络由多个transformer编码层组成，能够有效地从多维时间序列中提取复杂时序特征。
[0095]
其次，da-smote采用线性插值的方式生成异常样本x，异常样本经注意力模块进行学习，得到插值因子
[0096]
现有技术中smote通过在异常样本与其相邻异常样本之间的连线上随机采样生成新的异常样本。过程为：随机地选择一个插值因子(服从标准均匀分布u(0，1))，计算生成异常样本。因为现有技术中插值因子是随机选择的，当生成的异常样本非常接近正常样本时，异常样本与真实的异常样本距离相对较远，会增加分类网络区分正常样本与异常样本之间难度。所以，在特征空间中，使用本技术的da-smote，选择选择合适的插值因子，可以生成高质量的异常样本。
[0097]
da-smote用于生成异常样本，da-smote的具体学习过程如图3所示：
[0098]
步骤s101，将异常样本特征z与相邻的异常样本特征拼接形成一个特征对其中，z∈z。
[0099]
步骤s102，特征对经过注意力模块处理，得到标量输出θ，如公式(5)所示：
[0100][0101]
式中，代表relu激活函数，w1、w2、w3代表线性映射的参数矩阵。
[0102]
步骤s103，通过sigmoid函数将标量输出θ变换到(0，1)之间，如公式(6)所示：
[0103][0104]
式中，为学习得到的插值因子。
[0105]
步骤s104，生成的异常样本特征z
new
如公式(7)所示：
[0106][0107]
通过训练，可以降低生成的异常样本特征z
new
落入危险区域的风险。
[0108]
步骤s105，使用训练完成的decoder网络将增强后的集合[z，z
new
】映射回到原始空间中，即decoder网络与encoder网络结构相似，不同之处在于外加了一个线性映射，目的是使得decoder网络的输出维度与输入数据保持一致。
[0109]
原始空间与训练集x一起构成均衡的训练集
[0110]
为了进一步降低生成噪声数据的风险，本技术采用两种损失函数学习得到插值因
子，使得生成的异常样本特征远离危险区域。两种损失函数分别为：重构损失和三中心损失，采用上述两种损失函数学习得到的特征表示既可以很好地重构输入数据，又可以降低类间数据的混叠程度和类内数据的分散程度；
[0111]
重构损失：为了保证模型能够更好地重构输入数据(即聚类降采样之后、da-smote之前的数据)，本技术采用类均衡的l
2-norn作为重构损失如公式(8)所示：
[0112][0113]
式中，xi是x中的第i个元素，并且是xi的重构表示。|
·
|代表集合中元素个数，并且||
·
||2代表l
2-norm。β∈[0，1)是一个超参数，β设置为0.999。当xi为正常样本时，ni＝k；当xi为异常样本时，ni＝a。
[0114]
三中心损失：指导潜在表示和插值因子的学习，如公式(9)所示：
[0115][0116]
式中，zi是z∪z
new
中的第i个元素。d是一个超参数，d设置为5。当zi为正常样本特征时，则ci是正常样本中心的特征，而cpi是异常样本中心的特征；当zi为异常样本特征时，则ci是异常样本中心的特征，而cpi是正常样本中心的特征。
[0117]
本技术结合重构损失和三中心损失两种损失函数同时训练da-smote和encoder-decoder网络，最终的损失函数如公式(10)所示：
[0118][0119]
步骤三，使用均衡的训练集训练注意力网络，将训练好的注意力网络作为分类网络，用于诊断发动机是否发生异常。本技术选择自注意力网络(sanet)作为分类网络。注意力机制可以将输入数据映射到不同的子空间中，然后赋予不同的权重从而选择出重要的时序特征，最后再合并为更加丰富、更有辨识的融合特征。
[0120]
本技术选择二值交叉熵损失来训练分类网络，如公式(11)所示：
[0121][0122]
式中，o是x经过注意力网络中最后softmax层的输出，而o
new
是所对应的输出；oi是第i个样本的输出概率，yi是第i个样本的真实标签；
[0123]
计算二值交叉熵损失之后，使用反向传播算法优化分类网络的权重参数。
[0124]
本技术以亚洲某航空公司真实的航空发动机的性能监测数据为例进行验证说明。所选取的研究对象属于双转子、轴流式、高涵道的涡扇发动机，如图5中(a)所示，图5中(a)为发动机结构示意图。
[0125]
本技术选用egtm、degt、dn2以及dff作为航空发动机的关键性能参数，如图5中(b)所示。egtm为排气温度裕度、degt为排气温度偏差值、dn2为高压转子转速偏差值、dff为燃油流量偏差值，并以此作为发动机监测和故障诊断的依据。
[0126]
首先，如图5中(b)为样本构造过程示意图，通过滑窗法(窗口尺寸l＝10，步长s＝10)，共收集954个正常样本和63个异常样本。然后，使用五折交叉划分数据集，如表1所示。此外，为了缓解一次实验的随机性，本技术在每次划分之后的数据集上进行十次重复实验。
[0127]
表1：数据集
[0128][0129]
本技术中，测试集也是不均衡的，以第一折为例，由191个正常样本和13个异常样本组成，不均衡率为13/191＝0.068。在这种情况下，整体精度会偏向于正常样本，导致其没有重要的参考价值。因此，本技术选择混淆矩阵来评价异常检测的效果，如表2所示。
[0130]
表2混淆矩阵示例
[0131][0132]
进一步地，true positive rate(tpr)用来评价模型在异常样本上的检测效果，而true negative rate(tnr)用来评价其在正常样本上的检测效果，balanced accuracy用来评价模型的整体检测效果，以上指标可以表示为：
[0133]
tpr＝n
11
/(n
11
+n
12
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0134]
tnr＝n
22
/(n
21
+n
22
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0135]
balanced accuracy＝(tpr+tnr)/2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0136]
本技术的实验平台为python 3.9和pytorch 1.11.0，选择adam优化神经网络的参数，学习率为0.0002。最小批次设置为128。
[0137]
对关键超参数的选择时，首先，与聚类相关的关键超参数是簇的个数，设置为90；其次，与基于自注意力的encoder-decoder相关的关键超参数是transformer编码层数为2，注意力头数为4以及特征维度为128；接着，与da-smote相关的超参数压缩率为16；最后，与分类网络相关的关键超参数也是transformer编码层数为2，注意力头数为4以及特征维度为128。
[0138]
此外，对比方法中的分类网络的超参数设置与上面提及的分类网络保持一致。
[0139]
通过上述实验，本技术首先选择1种不使用任何重采样技术的sanet方法和8种流行的重采样技术进行对比。所考虑的对比方法概括如下：
[0140]
(1)sanet方法：直接使用不均衡的训练集训练注意力网络，然后使用训练完成的注意力网络对测试集进行分类。
[0141]
(2)8种重采样技术又可以分为经典的重采样技术和基于深度学习的重采样技术。经典的重采样技术包括4种过采样技术：adasyn、smote、borderline-smote(bsmote)和kmeans-smote(ksmote)和两种混合采样技术：smote-tomek和smote-enn。而基于深度学习的重采样技术包括vae和gan。具体做法是首先使用重采样技术平衡训练集。然后，使用均衡的训练集训练注意力网络。最后，再使用训练完成的注意力网络对测试集进行分类。
[0142]
表3：多种异常检测模型的tpr
[0143]
method1
st-fold2
nd-fold3
rd-fold4
th-fold5
th-foldaveragesanet84.6271.5476.1559.1757.569.79adasyn9076.157060.8351.6769.73smote91.5483.0872.3155.8356.6771.88bsmote90.7778.4677.6956.675571.72ksmote86.1576.9280.776056.6772.1smote-tomek92.3181.5473.08606073.38smote-enn92.3186.1583.0854.1773.3377.81vae74.6281.5458.4658.334062.59gan81.5473.8575.3862.560.8370.82developed92.3199.2393.087588.3389.59
[0144]
表3展示了多种方法的tpr。tpr可以用来比较不同方法诊断异常样本的能力。可以看出，对于异常样本，本技术所提出的方法(即表3中developed)在五折实验中均超越sanet方法和8种对比的重采样方法。并且，在第2折实验中，其tpr更是接近100％，与第二名相比提升了13.08％。
[0145]
表4：多种异常检测模型的tnr
[0146]
method1
st-fold2
nd-fold3
rd-fold4
th-fold5
th-foldaveragesanet98.8098.8099.7997.899.7498.98adasyn99.0198.6499.5397.4999.4298.82smote99.0198.6499.3297.6499.6398.85bsmote98.6998.7499.2797.8599.6898.85ksmote98.9098.3299.5897.6499.1198.71smote-tomek98.8098.7499.3298.0199.6398.9smote-enn98.0198.1299.3297.3399.1698.39vae98.2797.9198.2298.4397.7498.11gan99.2198.8599.4297.7599.8499.02developed91.8394.1993.9395.6594.1693.95
[0147]
表4展示了多种方法的tnr。tnr可以用来比较不同方法诊断正常样本的能力。可以看出，对于正常样本，本技术所提出的方法(即表4中developed)虽然不如对比方法，但是其
tnr也都超过了91.83％。值得注意的是，对比方法的tpr远低于tnr，这说明对比方法更偏向于正常样本而忽略了异常样本。这对于安全性要求极其严格的航空发动机而言，显然是不适合的。
[0148]
进一步地，tpr，tnr和balanced accuracy的平均值概括于表5。
[0149]
综上所述：
[0150]
(1)当采用tpr和balanced accuracy作为评价指标时，7种重采样技术超过了sanet方法，还有1种非常接近。并且，当采用tnr时，也有8种重采样技术与sanet方法非常接近。可以看出，合适的重采样技术通过平衡训练集可以改善分类网络在不均衡数据集上的表现。
[0151]
(2)当采用tpr和balanced accuracy作为评价指标时，混合采样技术smote-tomek和smote-enn超过了流行的过采样技术adasyn、smote、bsmote、ksmote、vae以及gan。并且，当采用tnr时，也与上述的过采样技术非常接近。这展示了混合采样技术的优势。
[0152]
(3)与所考虑的对比方法相比，本技术所提出的方法在balanced accuracy方面取得了最佳的平均诊断结果。也就是说，该方法具备最佳的综合诊断能力。并且，与混合采样技术smote-tomek和smote-enn相比，其在balanced accuracy方面分别提升了5.63％和3.67％。这验证了本技术所提方法的有效性。
[0153]
表5：多种异常检测模型的平均tpr、tnr和balanced accuracy以及推理时间inference time
[0154][0155]
通过表5还可以得出：异常检测方法在测试集上的推理时间。baseline诊断速度最快，推断204个测试样本只需要1.399毫秒。本技术(表5中developed)则需要1.473秒，两者仅相差0.074毫秒，这说明本技术的诊断速度也非常快速。
[0156]
本技术提出了一种新的基于注意力的数据增强方法，并且与基于聚类的欠采样技术一起来平衡训练集。首先，使用聚类算法将正常样本聚成k个簇，形成聚类中心，然后将聚
类中心与异常样本构成欠采样后的训练集x；其次，使用encoder网络将训练集x映射到一个类内聚集并且类间分离的特征空间中，采用da-smote在学习的特征空间中自适应地生成异常样本特征z
new
，平衡欠采样后的训练集x；使用decoder网络将生成的异常样本特征z
new
映射回原始空间中，生成异常样本异常样本与欠采样后的训练集x构成均衡的训练集。最后，使用均衡的训练集训练注意力网络，将训练好的注意力网络作为分类网络，用于诊断发动机是否发生异常。解决了类内分散和类间混叠条件下的不均衡问题。本技术采用聚类的欠采样技术，降低的异常样本与正常样本之间的不均衡程度；本技术采用聚类的的过采样技术，既平衡了训练集又使得生成异常样本远离危险区域，该方法的数据增强效果更佳。
[0157]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于深度注意力数据增强的航空发动机异常检测方法，其特征在于：包括以下步骤：步骤一，使用聚类算法将正常样本聚成x个簇，形成聚类中心，然后将聚类中心与异常样本构成欠采样后的训练集x；步骤二，首先，使用encoder网络将训练集x映射到一个类内聚集并且类间分离的特征空间中；然后，在学习的特征空间中采用自注意力模块自适应地生成异常样本特征z
new
；最后，使用decoder网络将生成的异常样本特征z
new
映射回原始空间中，生成异常样本异常样本与欠采样后的训练集x构成均衡的训练集；步骤三：使用均衡的训练集训练注意力网络，将训练好的注意力网络作为分类网络，用于诊断发动机是否发生异常。2.如权利要求1所述的一种基于深度注意力数据增强的航空发动机异常检测方法，其特征在于：采用自注意力模块自适应地生成异常样本特征z
new
的过程称为da-smote。3.如权利要求2所述的一种基于深度注意力数据增强的航空发动机异常检测方法，其特征在于：步骤二中，使用训练完成的encoder网络将欠采样后的训练集x映射到一个类间相离且类内相聚的特征空间中，即z＝encoder(x)。4.如权利要求3所述的一种基于深度注意力数据增强的航空发动机异常检测方法，其特征在于：da-smote用于生成异常样本，da-smote生成异常样本的过程如下：步骤s101，将异常样本特征z与相邻的异常样本特征拼接形成一个特征对其中，z∈z；步骤s102，特征对经过注意力模块处理，得到标量输出θ，如公式(5)所示：式中，代表relu激活函数，w1、w2、w3代表线性映射的参数矩阵；步骤s103，通过sigmoid函数将标量输出θ变换到(0，1)之间，如公式(6)所示：式中，为学习得到的插值因子；步骤s104，生成的异常样本特征z
new
如公式(7)所示：5.如权利要求4所述的一种基于深度注意力数据增强的航空发动机异常检测方法，其特征在于：使用训练完成的decoder网络将增强后的集合[z，z
new
]映射回到原始空间中，即原始空间与训练集x一起构成均衡的训练集6.如权利要求5所述的一种基于深度注意力数据增强的航空发动机异常检测方法，其特征在于：插值因子采用两种损失函数学习得到，两种损失函数分别为：重构损失和三中心损失；
重构损失：采用类均衡的l
2-norm作为重构损失如公式(8)所示：式中，x
i
是x中的第i个元素，并且是x
i
的重构表示，|
·
|代表集合中元素个数，并且||
·
||2代表l
2-norm，β∈[0，1)是一个超参数，β设置为0.999，当x
i
为正常样本时，n
i
＝k；当x
i
为异常样本时，n
i
＝a；三中心损失：采用三中心损失指导特征表示和插值因子的学习，如公式(9)所示：式中，z
i
是z∪z
new
中的第i个元素，d是一个超参数，d设置为5；当z
i
为正常样本特征时，则c
i
是正常样本中心的特征，而是异常样本中心的特征；当z
i
为异常样本特征时，则c
i
是异常样本中心的特征，而是正常样本中心的特征；结合重构损失和三中心损失两种损失函数同时训练da-smote、encoder网络和decoder网络，损失函数如公式(10)所示：7.如权利要求6所述的一种基于深度注意力数据增强的航空发动机异常检测方法，其特征在于：步骤三中，分类网络选用二值交叉熵损失来训练，如公式(11)所示：式中，o是x经过注意力网络中最后softmax层的输出，而o
new
是所对应的输出；o
i
是第i个样本的输出概率，y
i
是第i个样本的真实标签；计算二值交叉熵损失之后，使用反向传播算法优化分类网络的权重参数。8.如权利要求1所述的一种基于深度注意力数据增强的航空发动机异常检测方法，其特征在于：步骤一中，聚类算法为k-means算法，k-means算法为：设置正常样本集合x
n
＝{x1，x2，
…
，x
n
}，将正常样本集合x
n
划分为k个簇，第j个簇c
j
内的样本均服从正态分布n(μ
j
，i)，正常样本集合x
n
的对数似然函数ln l(μ|x
n
)如公式(1)所示：式中，x
n
代表n个正常样本组成的集合，d代表样本的维度；x
i
代表第i个正常样本组成的集合；c
j
代表第j个簇；μ
j
代表第j个簇c
j
内的样本所服从的正态分布n(μ
j
，i)的期望；k代表正常样本集合x
n
的簇的个数；
最大化对数似然函数ln l(μ|x
n
)等价于最小化公式(2)的误差平方和：式中，j
k
为k-means算法优化的目标函数。9.如权利要求8所述的一种基于深度注意力数据增强的航空发动机异常检测方法，其特征在于：采用k-means算法计算簇的集合为c
*
，如公式(3)所示：式中，c
k
表示第k个簇；簇中心所组成的集合cc
*
如公式(4)所示：式中，是第j个簇的簇中心。10.如权利要求9所述的一种基于深度注意力数据增强的航空发动机异常检测方法，其特征在于：预设由a个异常样本组成的集合为x
a
，x
a
＝{x1，x2，
…
，x
a
}，簇中心所组成的集合cc
*
与异常样本集合x
a
，构成欠采样后的训练集x＝cc
*
∪x
a
；正常样本与异常样本之间的数量差异从(n-a)被缩小为(k-a)。

技术总结
本申请涉及航空发动机异常检测技术领域，尤其涉及一种基于深度注意力数据增强的航空发动机异常检测方法，使用Encoder网络将训练集X映射到特征空间中Z；采用DA-SMOTE在学习的特征空间中自适应地生成异常样本Z


技术研发人员：赵明航 钟诗胜 刘丹 林琳 付旭云 刘雪云
受保护的技术使用者：哈尔滨工业大学
技术研发日：2023.05.30
技术公布日：2023/9/20