一种工业过程时序数据生成方法及系统

1.本发明涉数据生成技术领域，尤其涉及一种工业过程时序数据生成方法及系统。


背景技术：

2.时序数据是按时间排序的数值序列，通常以给定的采样率使用特定设备进行观察。时间序列问题在工业过程、金融、生物科学等各个领域都发挥着重要作用。时间序列数据在现实应用中频繁出现，在与时间序列相关的许多任务中，合成时间序列数据是最重要的任务之一，因为现实世界的时间序列数据经常是不平衡或不足的。
3.随着工业过程中的数据采集能力越来越强，所获取的数据规模越来越大，并且流程工业数据拥有较强的时序性。但同时其中有大量未标记的数据，手动标记数据昂贵且耗时，自动收集带标签数据困难且复杂。有限的带标签数据极大地影响了机器学习任务(分类、预测、检测)算法的性能，减弱了模型的执行能力。
4.为了缓解类似现象的出现，现相关研究的解决方案从数据层面和算法层面展开。在数据层面，对真实数据直接生成来提高样本多样性，方法包括生成对抗网络、随机过采样等。在算法层面，通过对机器学习任务算法的修改与优化，使其适应小样本的训练环境，方法包括迁移学习、度量学习、成本敏感学习等。
5.生成对抗网络模型在近几年作为一个新颖的方法出现在时序数据生成领域，其通过生成器网络和鉴别器网络的互相竞争从而生成极其逼真的生成数据。然而虽然传统生成对抗网络其是一项非常高效的技术，使我们能够生成可用性极强的数据集，但与此同时面临一些挑战。一方面是其固有的训练中的不稳定性，会导致模型产生模式崩溃等问题；另一方面是其没有针对时序数据的时序性进行提取，从而导致生成数据不能继承真实数据的时序性。


技术实现要素：

6.本发明提供了一种工业过程时序数据生成方法及系统，解决现有技术中其固有的训练中的不稳定性，会导致模型产生模式崩溃的问题；以及没有针对时序数据的时序性进行提取，从而导致生成数据不能继承真实数据的时序性的问题。
7.为解决上述发明目的，本发明提供的技术方案如下：一种工业过程时序数据生成方法，其特征在于，步骤包括：
8.s1、获取待扩充的工业过程时序数据作为训练数据；
9.s2、基于传统生成对抗网络原理，结合网络优化方法，构建优化的时序生成对抗网络模型；
10.s3、将所述训练数据输入所述优化的时序生成对抗网络模型中，生成新的时序数据，完成工业过程时序数据的生成。
11.优选地，步骤s2中，基于传统生成对抗网络原理，结合网络优化方法，构建优化的时序生成对抗网络模型，包括：
12.s21、基于传统生成对抗网络的原理，结合lstm长短期记忆递归神经网络、vae变分自编码器以及msr模式寻求正则化方法，构建优化时序生成对抗网络的生成器网络模型；
13.s22、基于传统生成对抗网络的原理，结合bi-lstm双向长短期记忆网络以及孪生神经网络模型，构建优化时序生成对抗网络的鉴别器网络模型。
14.优选地，结合lstm长短期记忆递归神经网络、vae变分自编码器以及msr模式寻求正则化方法，构建优化时序生成对抗网络的生成器网络模型，包括：
15.s211、将vae-lstm网络作为生成器的网络模型，其中vae的编码器网络包括：卷积网络、lstm网络、全连接层网络；vae的解码器包括：卷积网络和全连接层网络；
16.s212、将msr方法引入vae-lstm网络作为生成器的网络模型的训练过程中，对传统生成对抗网络进行优化。
17.优选地，将vae-lstm网络作为生成器的网络模型，包括：
18.vae-lstm网络作为生成器的网络模型中，损失函数如下述(1)所示：
19.le＝l
kl
+l
re
＝kl(q(z|x)||p(z))-e
q(z|x)
[logp(x|z)]
ꢀꢀꢀꢀ
(1)
[0020]
其中，q(z|x)表示隐空间分布；p(x|z)表示生成数据分布；p(z)表示正态数据分布；kl表示kl散度计。
[0021]
优选地，将msr方法引入生成器的训练过程中，对传统生成对抗网络进行优化，包括：
[0022]
在生成器的训练过程中，引入如下述公式(2)所示的msr方法：
[0023]
a(z)＝(1+γ)
*
z,γ∈(0,1)
[0024][0025]
其中，z为隐空间向量，γ为超参数，g为生成器。
[0026]
优选地，vae-lstm网络作为生成器的网络模型的整体损失函数的计算方法如下式(3)所示：
[0027][0028]
其中，α与β为超参数，d为鉴别器。
[0029]
优选地，步骤s22中，基于传统生成对抗网络的原理，结合bi-lstm双向长短期记忆网络以及孪生神经网络模型，构建优化时序生成对抗网络的鉴别器网络模型，包括：
[0030]
s221、构建孪生神经网络以衡量真实数据与生成数据的相似度；
[0031]
s222、将bi-lstm和全连接层组合构成鉴别器网络模型；
[0032]
s223、构建孪生神经网络损失函数，将通过孪生神经网络损失函数损失函数计算得到的误差值反向传播至鉴别器。
[0033]
优选地，构建孪生神经网络损失函数，将通过孪生神经网络损失函数损失函数计算得到的误差值反向传播至鉴别器，其中，鉴别器网络模型包括bi-lstm和全连接层，包括：
[0034]
损失函数如下式(4)所示：
[0035]
ls＝-max[m-||x-g(z)||2,0]2ꢀꢀꢀꢀ
(4)
[0036]
其中，m为设定的阈值。
[0037]
优选地，鉴别器网络模型的整体损失函数如下式(5)所示：
[0038][0039]
其中,δ为超参数。
[0040]
一种工业过程时序数据生成系统，系统用于上述的工业过程时序数据生成方法，系统包括：
[0041]
信息获取模块，用于获取待扩充的工业过程时序数据作为训练数据；
[0042]
模型构建模块，用于基于传统生成对抗网络原理，结合网络优化方法，构建优化的时序生成对抗网络模型；
[0043]
时序数据生成模块，用于将所述训练数据输入所述优化的时序生成对抗网络模型中，生成新的时序数据，完成工业过程时序数据的生成。
[0044]
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述工业过程时序数据生成方法。
[0045]
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述工业过程时序数据生成方法。
[0046]
上述技术方案，与现有技术相比至少具有如下有益效果：
[0047]
上述方案，提出了一种工业过程时序数据生成方法，本方法基于生成对抗网络构建；从生成器角度将lstm-vae作为生成器，利用vae的编码性能获得服从正态分布的隐向量，可以将生成数据的过程简化，构成高质量和稳定的生成模型；利用lstm的时序提取性能获取真实数据的时序性；通过将msr(模式寻求正则化)应用于隐空间中，可以对生成器进行约束迫使其生成更加多样的数据从而缓解其模式崩溃现象；从鉴别器角度引入孪生网络与鉴别器进行联合训练，可以提高鉴别器的鉴别能力；鉴别器采用bilstm网路模型，可以捕捉数据的双向时序依赖性。
附图说明
[0048]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1是本发明实施例提供的工业过程时序数据生成方法流程示意图；
[0050]
图2是本发明实施例提供的工业过程时序数据生成方法的网络模型示意图；
[0051]
图3是本发明实施例提供的vae-lstm作为生成器的网络架构示意图；
[0052]
图4是本发明实施例提供的使用msr方法矫正模式崩溃的示意图；
[0053]
图5是本发明实施例提供的孪生网络架构图；
[0054]
图6是本发明实施例提供的工业过程时序数据生成系统框图；
[0055]
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
[0056]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057]
本发明针对现有技术中其固有的训练中的不稳定性，会导致模型产生模式崩溃的问题；以及没有针对时序数据的时序性进行提取，从而导致生成数据不能继承真实数据的时序性的的问题，提供了一种工业过程时序数据生成方法和系统。
[0058]
如图1所示，本发明实施例提供了一种工业过程时序数据生成方法，该方法可以由电子设备实现。如图1所示的工业过程时序数据生成方法流程图，该方法的处理流程可以包括如下的步骤：
[0059]
s101、获取待扩充的工业过程时序数据作为训练数据。
[0060]
一种可行的实施方式中，可以从工业过程现场中根据相同的采样频率进行一段时间的运行数据采集，作为原始数据集。
[0061]
s102、基于传统生成对抗网络原理，结合网络优化方法，构建优化的时序生成对抗网络模型；
[0062]
一种可行的实施方式中，步骤s102中，基于传统生成对抗网络原理，结合网络优化方法，构建优化的时序生成对抗网络模型，包括：
[0063]
s121、基于传统生成对抗网络的原理，结合lstm长短期记忆递归神经网络、vae变分自编码器以及msr模式寻求正则化方法，构建优化时序生成对抗网络的生成器网络模型。
[0064]
一种可行的实施方式中，根据传统生成对抗网络的原理，结合结合lstm(长短期记忆递归神经网络)、vae(变分自编码器)以及msr(模式寻求正则化方法)对生成器网络模型进行改善优化。
[0065]
一种可行的实施方式中，结合lstm长短期记忆递归神经网络、vae变分自编码器以及msr模式寻求正则化方法，构建优化时序生成对抗网络的生成器网络模型，包括：
[0066]
s1211、将vae-lstm网络作为生成器的网络模型，其中vae的编码器网络包括：卷积网络、lstm网络、全连接层网络；vae的解码器包括：卷积网络和全连接层网络；
[0067]
一种可行的实施方式中，将vae-lstm网络作为生成器的网络模型，通过vae的编码性能简化生成数据的训练过程以及构建更加高质量和稳定的模型，通过lstm网络提取真实数据中的时序性。将vae-lstm网络作为生成器的网络模型，包括：
[0068]
vae-lstm网络作为生成器的网络模型中，损失函数如下述(1)所示：
[0069]
le＝l
kl
+l
re
＝kl(q(z|x)||p(z))-e
q(z|x)
[logp(x|z)]
ꢀꢀꢀꢀ
(1)
[0070]
其中，q(z|x)表示隐空间分布；p(x|z)表示生成数据分布；p(z)表示正态数据分布；kl表示kl(kullback-leibler)散度计算。
[0071]
s1212、将msr方法引入生成器的训练过程中，对传统生成对抗网络进行优化。
[0072]
一种可行的实施方式中，将msr方法引入生成器的训练过程中，对传统生成对抗网络进行优化，以解决传统生成对抗网络固有的模式崩溃现象，包括：
[0073]
在生成器的训练过程中，引入如下述公式(2)所示的msr方法：
[0074]
a(z)＝(1+γ)
*
z,γ∈(0,1)
[0075]
[0076]
其中，z为隐空间向量，γ为超参数，g为生成器。
[0077]
一种可行的实施方式中，vae-lstm网络作为生成器的网络模型的整体损失函数的计算方法如下式(3)所示：
[0078][0079]
其中，α与β为超参数，d为鉴别器。
[0080]
s122、基于传统生成对抗网络的原理，结合bi-lstm双向长短期记忆网络以及孪生神经网络模型，构建优化时序生成对抗网络的鉴别器网络模型。
[0081]
一种可行的实施方式中，两个网络模型均有卷积层和全连接层构成，实现两者产生孪生关系的方法是实现权值共享。
[0082]
一种可行的实施方式中，步骤s122中，基于传统生成对抗网络的原理，结合bi-lstm双向长短期记忆网络以及孪生神经网络模型，构建优化时序生成对抗网络的鉴别器网络模型，包括：
[0083]
s1221、构建孪生神经网络以衡量真实数据与生成数据的相似度；
[0084]
s1222、将bi-lstm和全连接层组合构成鉴别器网络模型；
[0085]
s1223、构建孪生神经网络损失函数，将通过孪生神经网络损失函数损失函数计算得到的误差值反向传播至鉴别器。
[0086]
一种可行的实施方式中，构建孪生神经网络损失函数，将通过孪生神经网络损失函数损失函数计算得到的误差值反向传播至鉴别器，其中，鉴别器网络模型包括bi-lstm和全连接层，包括：
[0087]
构建孪生神经网络损失函数，反向传播至鉴别器，以此实现两者的联合训练以增强鉴别器的鉴别能力，损失函数如下式(4)所示：
[0088]
ls＝-max[m-||x-g(z)||2,0]2ꢀꢀꢀꢀ
(4)
[0089]
其中，m为设定的阈值。
[0090]
一种可行的实施方式中，鉴别器网络模型的整体损失函数如下式(5)所示：
[0091][0092]
其中,δ为超参数。
[0093]
s103、将所述训练数据输入所述优化的时序生成对抗网络模型中，生成新的时序数据，完成工业过程时序数据的生成。
[0094]
如图2所示为本方法网络模型示意图。本方法将lstm-vae作为生成器利用vae的编码性能获得服从正态分布的隐向量，利用lstm的时序提取性能获取真实数据的时序性。随后，将msr(模式寻求正则化)应用于隐空间中，对生成器进行约束迫使其生成更加多样的数据从而缓解其模式崩溃现象。鉴别器采用bilstm以捕捉数据的双向时序依赖性。同时引入孪生网络利用其将生成数据和真实数据分别映射到新的空间中，以计算两者相似程度。并将鉴别器与孪生网络进行联合训练，以提高鉴别器的鉴别能力。
[0095]
如图3所示为vae-lstm作为生成器的网络架构示意图。生成器总体结构由一个vae构成，vae是由一个编码器和一个解码器组成，编码器可以将数据映射到一个低维的隐空间中，而解码器可以将其还原回原始数据维度。编码器由卷积网络、lstm以及全连接层构成，解码器由卷积网络和全连接层构成。vae在编码过程给增加了限制，迫使其生成的隐向量能
够遵循一个标准正态分布。即生成数据的过程得以简化，只需要给解码器一个标准正态分布的随机隐向量，从而通过解码器就能够生成数据，而不需要给它原始数据先编码，可以构成高质量和稳定的生成模型。
[0096]
如图4所示为使用msr方法矫正模式崩溃的示意图。生成对抗网络是一种无监督的生成模型，因其固有的训练不稳定性导致经常遇到模式崩溃情况，即生成器只从一个或几个分布模式中产生样本，而忽略其他模式，隐向量被忽略或影响很小。生成对抗网络的训练过程可以表述为一个极小极大问题，鉴别器通过将较高的判别值分配给真实数据样本并将较低的判别值分配给生成数据样本，以此来进行真假数据的鉴别。同时，生成器旨在通过生成与真实数据相似的数据来欺骗鉴别器。通过对抗训练，鉴别器的梯度将引导生成器生成与真实数据分布相似的样本。由于大部分模式通常具有相似的判别值，因此通过基于梯度下降的训练过程，主要模式数据会受到青睐，从而很难从次要模式生成样本。
[0097]
图4观察到，真实的数据分布包含多种模式。然而当发生模式崩溃时，生成器只会从少数几个模式中生成样本。从发生模式崩溃时的数据分布，可以把观察到对于潜向量z1和z2，当两个潜向量之间的距离减小时，它们映射到生成数据分布的i1和i2之间的距离是以不成比例的速度减小的，从而导致生成器只能生成少量模式的数据。
[0098]
为了缓解模式崩溃现象，引入msr方法并将其应用于由vae-lstm构成的生成器中。具体实施为，只增加隐向量的幅度至a(z)，保持其他方面与原始隐向量z相同。在训练中，z与a(z)在相同数据中获取编码特征，同时希望当增量δz(a(z)-z)足够小时，两者映射到生成数据分布的距离越大即g(z)和g(a(z))之间的距离足够大，以此来矫正上述的模式崩溃问题，从而提高生成数据的多样性。
[0099]
msr方法为训练网络提供了一个良性循环。它鼓励生成器探索真实数据空间并增加生成次要模式样本的机会。如图4所示显示了模式崩溃情况，其中两个接近的隐空间样本z1和z2映射到相同的数据类型data type2中。然而，使用所提出的正则化项，隐空间样本z1映射到数据类型data type1中，其属于未探索的次要模式。同时由于对抗机制的存在，生成器将有更好的机会在接下来的训练步骤中生成次要模式data type1的样本。
[0100]
如图5所示为孪生网络架构，孪生神经网络是基于两个人工神经网络建立的耦合架构，孪生神经网络以两个样本为输入，输出其嵌入高维空间的表征，以比较两个样本的相似程度。狭义的孪生神经网络由两个结构相同，由权重共享的神经网络拼接而成。
[0101]
孪生网络是通过权值共享来实现的，孪生网络的用途之一是衡量两个输入之间的相似程度。本方法将真实数据与生成数据分别输入到孪生网络中，孪生网络分别将其映射到新的空间中，形成两者在新空间中的表示。通过计算两者在新空间中的欧式距离，评价两者的相似程度。并以此作为损失函数不断训练孪生网络，同时反向传播到鉴别器中，从而实现两者的联合训练。
[0102]
在本发明实施例的一些示例中，本方法所用的数据样本集可以采用te田纳西-伊斯曼过程数据集。具体地，验证生成数据质量时选择960条正常数据进行仿真实验。验证生成数据应用于不平衡数据集的性能时，训练集由1000条正常数据，40条故障1，40条故障2，40条故障3构成，每类故障数据量占比为3.57％。
[0103]
在对生成数据质量进行验证时，可以通过js散度(jensen
–
shannon divergence)、余弦相似度、最大平均差异(maximum mean discrepancy)来判断本方法生成数据的质量。
[0104]
js散度度量了两个概率分布的相似度，基于kl散度的变体，解决了kl散度非对称的问题。一般地，js散度是对称的，其取值是0到1之间。值越小，数据越拟合。计算方法如下式(6)所示：
[0105][0106]
余弦相似度是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似。值越大说明数据越拟合。计算方法如下式(7)所示：
[0107][0108]
最大均值差异是迁移学习中使用最广泛的一种损失函数，主要用来度量两个不同但相关的分布的距离。计算方法如下式(8)所示：
[0109][0110]
进一步地，在本发明实践的过程中，发明人还将本方法与其他类型的生成对抗网络进行了对比实验。
[0111]
表1通过不同方法生成数据质量的对比
[0112][0113]
如表1所示，可以观察到本发明方法在三个生成数据质量的评价指标上都要优异于其他方法，说明本发明方法生成的数据质量更加优异。
[0114]
在对生成数据应用于不平衡数据集性能进行验证时，将没有数据扩充的原始数据集和使用传统生成对抗网络扩充的扩充数据集以及使用本发明方法扩充的扩充数据集，分别使用knn(k nearest neighbors)分类器进行分类测试，并可以通过f1 score和g-means进行评价。
[0115]
表2 knn分类器在不同数据增广方法上混淆矩阵的评价指标
[0116][0117]
从表2中可以直观地从看出，这两种数据增广方式相比无数据增广，均对数据分类效果有改善，尤其是对故障数据1的分类效果提升最显著。但传统生成对抗网络对故障数据2和故障数据3的改善效果微乎其微。然而，本发明方法对于四类数据均有显著的分类效果提升。说明本发明方法在解决不平衡数据集问题上也具有较好性能。
[0118]
本发明实施例中，提出了一种工业过程时序数据生成方法，本方法基于生成对抗网络构建；从生成器角度将lstm-vae作为生成器，利用vae的编码性能获得服从正态分布的隐向量，可以将生成数据的过程简化，构成高质量和稳定的生成模型；利用lstm的时序提取性能获取真实数据的时序性；通过将msr(模式寻求正则化)应用于隐空间中，可以对生成器进行约束迫使其生成更加多样的数据从而缓解其模式崩溃现象；从鉴别器角度引入孪生网络与鉴别器进行联合训练，可以提高鉴别器的鉴别能力；鉴别器采用bilstm网路模型，可以捕捉数据的双向时序依赖性。
[0119]
图6是本发明的一种工业过程时序数据生成系统示意图，所述系统200用于上述的工业过程时序数据生成，所述系统200包括：
[0120]
信息获取模块210，用于获取待扩充的工业过程时序数据作为训练数据；
[0121]
模型构建模块220，用于基于传统生成对抗网络原理，结合网络优化方法，构建优化的时序生成对抗网络模型；
[0122]
时序数据生成模块230，用于将所述训练数据输入所述优化的时序生成对抗网络模型中，生成新的时序数据，完成工业过程时序数据的生成。
[0123]
优选地，模型构建模块220，进一步用于基于传统生成对抗网络的原理，结合lstm长短期记忆递归神经网络、vae变分自编码器以及msr模式寻求正则化方法，构建优化时序生成对抗网络的生成器网络模型；
[0124]
基于传统生成对抗网络的原理，结合bi-lstm双向长短期记忆网络以及孪生神经网络模型，构建优化时序生成对抗网络的鉴别器网络模型。
[0125]
优选地，模型构建模块220，进一步用于将vae-lstm网络作为生成器的网络模型，其中vae的编码器网络包括：卷积网络、lstm网络、全连接层网络；vae的解码器包括：卷积网络和全连接层网络；
[0126]
将msr方法引入vae-lstm网络作为生成器的网络模型的训练过程中，对传统生成对抗网络进行优化。
[0127]
优选地，将vae-lstm网络作为生成器的网络模型，包括：
processing units，cpu)301和一个或一个以上的存储器302，其中，所述存储器302中存储有至少一条指令，所述至少一条指令由所述处理器301加载并执行以实现下述工业过程时序数据生成方法的步骤：
[0151]
s1、获取待扩充的工业过程时序数据作为训练数据；
[0152]
s2、基于传统生成对抗网络原理，结合网络优化方法，构建优化的时序生成对抗网络模型；
[0153]
s3、将所述训练数据输入所述优化的时序生成对抗网络模型中，生成新的时序数据，完成工业过程时序数据的生成。
[0154]
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述工业过程时序数据生成方法。例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0155]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

技术特征：
1.一种工业过程时序数据生成方法，其特征在于，方法步骤包括：s1、获取待扩充的工业过程时序数据作为训练数据；s2、基于传统生成对抗网络原理，结合网络优化方法，构建优化的时序生成对抗网络模型；s3、将所述训练数据输入所述优化的时序生成对抗网络模型中，生成新的时序数据，完成工业过程时序数据的生成。2.根据权利要求1所述的方法，其特征在于，所述步骤s2中，基于传统生成对抗网络原理，结合网络优化方法，构建优化的时序生成对抗网络模型，包括：s21、基于传统生成对抗网络的原理，结合lstm长短期记忆递归神经网络、vae变分自编码器以及msr模式寻求正则化方法，构建优化时序生成对抗网络的生成器网络模型；s22、基于传统生成对抗网络的原理，结合bi-lstm双向长短期记忆网络以及孪生神经网络模型，构建优化时序生成对抗网络的鉴别器网络模型。3.根据权利要求2所述的方法，其特征在于，所述结合lstm长短期记忆递归神经网络、vae变分自编码器以及msr模式寻求正则化方法，构建优化时序生成对抗网络的生成器网络模型，包括：s211、将vae-lstm网络作为生成器的网络模型，其中vae的编码器网络包括：卷积网络、lstm网络、全连接层网络；vae的解码器包括：卷积网络和全连接层网络；s212、将msr方法引入vae-lstm网络作为生成器的网络模型的训练过程中，对传统生成对抗网络进行优化。4.根据权利要求3所述的方法，其特征在于，所述将vae-lstm网络作为生成器的网络模型，包括：vae-lstm网络作为生成器的网络模型中，损失函数如下述(1)所示：l
e
＝l
kl
+l
re
＝kl(q(z|x)||p(z))-e
q(z|x)
[logp(x|z)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，q(z|x)表示隐空间分布；p(x|z)表示生成数据分布；p(z)表示正态数据分布；kl表示kl散度计算。5.根据权利要求4所述的方法，其特征在于，所述将msr方法引入生成器的训练过程中，对传统生成对抗网络进行优化，包括：在生成器的训练过程中，引入如下述公式(2)所示的msr方法：a(z)＝(1+γ)
*
z,γ∈(0,1)其中，z为隐空间向量，γ为超参数，g为生成器。6.根据权利要求5所述的方法，其特征在于，所述vae-lstm网络作为生成器的网络模型的整体损失函数的计算方法如下式(3)所示：其中，α与β为超参数，d为鉴别器。7.根据权利要求6所述的方法，其特征在于，所述步骤s22中，基于传统生成对抗网络的原理，结合bi-lstm双向长短期记忆网络以及孪生神经网络模型，构建优化时序生成对抗网
络的鉴别器网络模型，包括：s221、构建孪生神经网络以衡量真实数据与生成数据的相似度；s222、将bi-lstm和全连接层组合构成鉴别器网络模型；s223、构建孪生神经网络损失函数，将通过孪生神经网络损失函数损失函数计算得到的误差值反向传播至鉴别器。8.根据权利要求7所述的方法，其特征在于，所述构建孪生神经网络损失函数，将通过孪生神经网络损失函数损失函数计算得到的误差值反向传播至鉴别器，包括：损失函数如下式(4)所示：l
s
＝-max[m-||x-g(z)||2,0]2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，m为设定的阈值。9.根据权利要求8所述的方法，其特征在于，所述鉴别器网络模型的整体损失函数如下式(5)所示：其中,δ为超参数。10.一种工业过程时序数据生成系统，其特征在于，所述系统用于如权利要求1～9任意一项所述的工业过程时序数据生成方法，所述系统包括：信息获取模块，用于获取待扩充的工业过程时序数据作为训练数据；模型构建模块，用于基于传统生成对抗网络原理，结合网络优化方法，构建优化的时序生成对抗网络模型；时序数据生成模块，用于将所述训练数据输入所述优化的时序生成对抗网络模型中，生成新的时序数据，完成工业过程时序数据的生成。

技术总结
本发明提供一种工业过程时序数据生成方法及系统，涉及数据生成技术领域，包括：获取待扩充的工业过程时序数据作为训练数据；将训练数据输入优化的时序生成对抗网络模型中，以生成新的时序数据；其中，优化的时序生成对抗网络模型由生成器网络、鉴别器网络、孪生神经网络构成。本发明增强了传统生成对抗网络的数据时序提取性能，并缓解避免了模式崩溃现象的产生。采用本发明能有效地解决工业过程中样本不足问题。通过将MSR应用于隐空间中，对生成器进行约束迫使其生成更加多样的数据从而缓解其模式崩溃现象；从鉴别器角度引入孪生网络与鉴别器进行联合训练，提高鉴别器的鉴别能力；鉴别器采用BiLSTM网路模型，捕捉数据的双向时序依赖性。依赖性。依赖性。


技术研发人员：张瀚文 郭厚泽 彭开香 董洁
受保护的技术使用者：北京科技大学
技术研发日：2023.07.07
技术公布日：2023/10/19