一种半监督神经网络软测量建模方法

1.本发明属于工业过程检测技术领域，具体涉及一种半监督神经网络软测量建模方法。


背景技术：

2.现代工业生产过程正朝着数字化和智能化方向快速发展，与此同时，对产品质量控制的追求也越来越高。在实际的生产过程中，存在一些容易在线实时测量的变量，如温度、流量等，称之为过程变量，然而，还有一些与产品质量密切相关但又难以实现直接测量的关键质量变量，如产品浓度、组分和各物性参数等，只能借助在线分析仪表或化验室离线分析获得，具有测量周期长、反馈滞后性强、维护复杂等问题。软测量技术正是在这样的背景下发展起来的，其基本思想是通过建立容易在线实时测量的过程变量与难以在线实时测量的质量变量之间的数学回归模型，实现对质量变量的实时估计。与实验室化验分析或在线成分仪表相比，该技术具有维护成本低、测量及时等优点，因此在炼油、化工、冶金和制药等众多工业领域有着广泛应用。
3.目前，以人工神经网络为代表的机器学习建模方法在软测量技术中取得了很多成功应用。这些建模方法通常只能得到单个确定的点估计值，然而，由于建模数据的不确定性（采样误差、测量误差、噪声等）和模型的局限性等，导致点估计的价值有限，且无法对其可靠性进行有效评估。针对此问题，区间估计(prediction interval，pi)可以在某一置信水平下使估计值落在由区间上下界确定的估计区间内，从而达到量化估计不确定性，向决策者提供更多的信息的目的。例如，贝叶斯技术被用于构建基于神经网络的pi；chryssolouris等(1996)提出了delta技术；nix等(1994)提出了基于均值方差估计pi的方法，但上述方法对数据质量要求较高、计算成本较大且通过最小化基于误差的成本函数所构造的pi质量存疑。因此，khosravi等(2011)提出了一种上下界估计(lower upper bound estimation，lube)方法，为了获得具有窄宽度和大覆盖率的高质量pi，提出一种新的成本函数，同时考虑区间宽度和覆盖率，将多目标问题转化为单目标优化问题，其通过构造具有两个输出的神经网络，用于估计区间边界。lube方法不需要其他关于上下界的信息，只需要最小化所提出的目标函数来实现；为了优化目标函数，通常会采用粒子群优化算法、模拟退火或者梯度下降法等，此外，wang等(2020)提出了一种基于构造区间的自适应优化方法；simhayev等(2022)提出了一种结合区间和点估计的方法用于回归领域，进一步完善了区间估计方法体系。
4.一般地，为获得泛化能力强的软测量模型，需要利用大量覆盖过程主要操作工况的输入-输出数据进行训练。特别地，对于人工神经网络等结构复杂和参数众多的机器学习模型而言更是如此。然而，对于实际软测量建模问题，质量变量的采样速率通常远低于过程变量的采样频率。这导致实际收集到的建模数据只有一小部分同时具有输入和输出值(标签数据)，而绝大部分数据只有输入值，对应的输出值是缺失的(无标签数据)。若采用监督学习方式训练模型，即仅使用标签数据建模而忽视了无标签数据的作用，在标签数据稀缺
的情况下，很容易出现模型过拟合现象，模型可靠性得不到保证，难以满足实际应用的需要。无标签数据蕴含了丰富的数据结构信息，如果能够合理利用其所蕴含的信息，有望显著提升回归模型的性能。因此，采用半监督学习方式，即同时利用少量的标签数据和大量的无标签数据，建立软测量数学模型近年来受到越来越多的重视。
5.综上所述，现有软测量建模技术尚存在下述问题：所建立的软测量模型通常仅能实现点估计，而无法有效地量化各种不确定性因素对模型的影响；采用监督学习方式建立软测量模型，建模性能严重依赖标签数据的数量与质量；采用半监督学习方式建立软测量模型，无标签数据蕴含信息的挖掘深度不够，难以有效提升模型性能。


技术实现要素：

6.为了解决上述问题，本发明提出了一种半监督神经网络软测量建模方法，在保证算法计算效率的前提下，有效提取过程数据中动态和非线性信息，同时通过双准则选择置信度高的无标签数据辅助标签数据进行模型训练，在迭代过程中充分利用无标签数据的信息，同时实现区间和点估计，提高模型性能。
7.本发明的技术方案如下：一种半监督神经网络软测量建模方法，包括如下步骤：步骤1、通过化验室离线分析获取质量变量化验分析值，通过工业传感器获取过程变量测量值，并对质量变量化验分析值和过程变量测量值进行归一化处理；步骤2、构造具有区间上边界、区间下边界、上下限相对权重系数三输出的神经网络模型，利用标签数据集及粒子群优化算法训练初始模型的输出上下限权重和估计值权重；步骤3、利用模型的输出上下限权重和估计值权重估计无标签数据的预测标签，并选取高置信度无标签数据组成候选数据集；步骤4、以区间宽度作为选择准则，从候选数据集中进一步选取低于宽度阈值的数据加入标签数据集，更新标签数据集；同时，利用粒子群优化算法更新模型参数；步骤5、重复步骤3和步骤4，直到达到最大迭代次数，此时输出最终的模型参数；步骤6、采集测试数据并做归一化处理得到归一化后的测试集，经神经网络得到扩维后的数据集，最后利用训练集模型参数对测试集进行估计。
8.进一步地，步骤1的具体过程如下：步骤1.1、记收集的初始质量变量化验分析值集合为，集合中的每一个初始质量变量化验分析值均为标签数据，为第个标签数据，为标签数据的序号，为标签数据的总个数，为矩阵转置算子；记收集的初始过程变量测量值集合为，集合中的每一个初始过程变量测量值均为训练数据，为第个训练数据，为训练数据的序号，为训
练数据的总个数，为采集数据的特征维数；训练数据中既包含标签数据，也包含无标签数据；步骤1.2、对集合中的每一个数据按照公式(1)进行归一化处理，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)；式中，为归一化后的第个质量变量化验分析值数据，表示归一化后的质量变量化验分析值集合，作为训练真实标签值；表示集合中的最大值，表示集合中的最小值；同理，对按照与公式(1)相同的方式处理得到归一化后的过程变量测量值集合；为归一化后的第个训练数据；步骤1.3、将归一化后的过程变量测量值数据经神经网络映射为增广数据矩阵，为经神经网络映射后的第个标签数据，为经神经网络映射后的特征维数，。
9.进一步地，步骤2的具体过程如下：步骤2.1、设标签数据集为，为经神经网络映射后的第个标签数据，为训练真实标签值，对应归一化后的第个质量变量化验分析值数据，利用真实标签值随机加减一个值作为预设上下限，如公式(8)-公式(9)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)；式中，为训练集的预设上边界；、均为[0,1]之间的随机数；为训练集的预设下边界；步骤2.2、对预设上、下边界通过岭回归求得输出上下限权重，如公式(10)-公式(11)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)；
式中，为中标签数据集合，为输出上限权重；为岭回归系数；为单位矩阵；为输出下限权重；步骤2.3、计算模型区间上边界、区间下边界和估计值，具体计算公式为公式(12)-公式(14)：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)；式中，为模型区间上边界；为输出上限权重；为模型区间下边界；为输出下限权重；为估计值中的第个标签数据；为上下限相对权重系数中的第个标签数据，，为估计值权重；为模型区间上边界中的第个标签数据；为模型区间下边界中的第个标签数据；步骤2.4、通过粒子群寻优算法得到最优输出上下限权重和估计值权重，目标函数如公式(15)-公式(17)所示：
ꢀꢀꢀꢀꢀ
(15)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)；式中，为第一子目标损失函数；为标签数据的序号，为标签数据的总个数；表示标签数据是否落到估计区间内，其取值规则为：如果第个标签数据落在估计区间内，则，否则；为正则化参数，为预设的置信水平；为第二子目标损失函数；为总目标损失函数；为平衡不同子目标函数的超参数。
[0010]
进一步地，步骤2.4中，粒子群优化算法通过最小化总目标损失函数来得到最优的权重，如公式(18)-公式(19)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)；
式中，为粒子在第次迭代过程中的速度向量，为粒子在第次迭代过程中的速度向量；表示惯性权重；、分别表示个体学习因子和群体学习因子；、表示区间[0,1]之间不同的随机数；为粒子在第次迭代中的最优位置；为粒子在第次迭代过程中的位置向量；表示群体在第次迭代中的历史最优位置，即整个粒子群中的最优解；表示粒子在第次迭代过程中的位置向量；为粒子在第次迭代过程中的位置向量；最优解对应最优输出上下限权重和估计值权重；最优解为向量形式，表示为，、、分别为输出上限权重、输出下限权重、估计值权重。
[0011]
进一步地，步骤3的具体过程如下：步骤3.1、计算第个无标签数据的估计值，如公式(20)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(20)；式中，为经神经网络映射后第个无标签数据，为第个无标签数据的上下限相对权重系数；所有无标签数据的估计值组成预测标签集合，为无标签数据的总个数；步骤3.2、计算每一个无标签数据在其近邻上的均方误差，第个无标签数据的均方误差的计算公式如公式(21)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(21)；式中，为无标签数据邻近的第个标签数据，为的个标签数据近邻组成的数据集，通过欧氏距离来度量；为第个标签数据的真值；表示标签数据训练的模型对的回归估计值；表示加入预测标签数据后训练的模型对的回归估计值；步骤3.3、每一个无标签数据都通过公式(21)计算一个均方误差，通过对得到的所有无标签数据的均方误差进行降序排序，选取前个高置信度的无标签数据组成候选数据
集，为第个高置信度的无标签数据，为第个高置信度的无标签数据的估计值。
[0012]
进一步地，步骤4的具体过程如下：步骤4.1、计算候选数据集的宽度，如公式(22)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(22)；式中，为第个高置信度的无标签数据的宽度；步骤4.2、对每一个高置信度的无标签数据都通过公式(22)计算一个宽度，对宽度进行升序排序，选取前个数据加入标签数据集，更新标签数据集，为第个低于宽度阈值的数据，为第个低于宽度阈值的数据的估计值；步骤4.3、利用公式(18)-公式(19)所示的粒子群优化算法更新模型参数，模型参数包括、和；根据粒子群优化算法最终的最优解即可获得更新后的模型参数、和。
[0013]
进一步地，步骤6的具体过程如下：步骤6.1、在线采集测试数据，经过归一化处理后得到归一化后的质量变量测试集，其中，为测试集中质量变量值的个数，为归一化后的测试集中第个质量变量值；步骤6.2、经神经网络映射得到扩维后的增广数据矩阵；步骤6.3、利用训练集模型参数估计测试集上下限和真实值，具体过程如公式(29)
ꢀ‑
公式(31)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(29)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(30)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(31)；式中，为测试集上限；为测试集下限；为测试数据的估计值；为的个元素为1的列向量。
[0014]
本发明所带来的有益技术效果：本发明针对现有方法无法有效地量化各种不确定性因素对模型的影响、严重依赖标签数据的数量与质量的问题，提供了一种同时实现区间和点估计的半监督神经网络软测量建模方法，该方法通过神经网络提取原始数据的动态和非线性特征；另外，为了提高无标签数据的利用率，通过双准则选择置信度高的无标签数据
加入模型训练。最后，对输出上下限权值和估计值权重进行迭代寻优。因此，本发明提供的半监督学习框架不仅能够有效量化不确定因素对模型的影响，还能充分利用标签数据所包含的监督信息，辅助以无标签数据所蕴含的结构信息，达到提升软测量模型泛化能力和可靠性之目的。
附图说明
[0015]
图1为本发明半监督神经网络软测量建模方法的流程图。
[0016]
图2为本发明实施例中初始状态下选择的预测标签数据变化图。
[0017]
图3为本发明实施例中10次迭代下选择的预测标签数据变化图。
[0018]
图4为本发明实施例中20次迭代下选择的预测标签数据变化图。
[0019]
图5为本发明实施例中30次迭代下选择的预测标签数据变化图。
[0020]
图6为本发明实施例中所述方法在脱丁烷塔数据集的效果图。
具体实施方式
[0021]
下面结合附图以及具体实施方式对本发明作进一步详细说明：
[0022]
如图1所示，本发明提出了一种同时实现区间和点估计的半监督神经网络软测量建模方法，包括如下步骤：步骤1、在离线建模阶段，通过化验室离线分析获取质量变量化验分析值，通过工业传感器获取过程变量测量值，并对质量变量化验分析值和过程变量测量值进行归一化处理。具体过程如下：步骤1.1、记收集的初始质量变量化验分析值集合为，集合中的每一个初始质量变量化验分析值均为标签数据，为第个标签数据，为标签数据的序号，为标签数据的总个数，为矩阵转置算子；记收集的初始过程变量测量值集合为，集合中的每一个初始过程变量测量值均为训练数据，为第个训练数据，为训练数据的序号，为训练数据的总个数，为采集数据的特征维数；训练数据中既包含标签数据，也包含无标签数据；步骤1.2、对集合中的每一个数据按照公式(1)进行归一化处理，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)；式中，为归一化后的第个质量变量化验分析值数据，
表示归一化后的质量变量化验分析值集合，作为训练真实标签值；表示集合中的最大值，表示集合中的最小值；同理，对按照与公式(1)相同的方式处理得到归一化后的过程变量测量值集合；为归一化后的第个训练数据；步骤1.3、将归一化后的过程变量测量值数据经神经网络映射为增广数据矩阵，为经神经网络映射后的第个标签数据，为经神经网络映射后的特征维数，。本发明采用的神经网络为循环宽度学习网络，具体过程如下：步骤1.3.1、引入了循环神经网络的思想来取代宽度学习网络原始特征层，进而构建循环宽度学习网络，将通过循环宽度学习网络映射得到特征层输出，具体如公式(2)-公式(4)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；对于中的每一个，按照采样时间，通过公式(2)依次生成状态向量，再通过公式(3)得到映射特征，最后通过公式(4)得到特征层输出；式中，为第个训练数据的状态向量；表示特征层中的非线性激活函数；为循环特征节点中的内部连接矩阵；为第个训练数据的状态向量；为输入矩阵；为每组特征节点个数；为高维数据集合形式，表示训练数据第个特征节点窗口的映射特征；为第个训练数据的状态向量；为第个特征节点窗口的映射特征；表示特征节点窗口个数；步骤1.3.2、利用非线性激活函数以及特征层输出计算循环宽度学习网络增强层输出矩阵，具体如公式(5)-公式(6)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)；
式中，表示第个增强节点窗口的增强层输出，表示每组增强节点的个数；表示增强层中第个增强节点窗口的非线性激活函数；表示权重；表示偏置；为第个增强节点窗口的增强层输出；表示增强节点窗口个数；步骤1.3.3、将特征层输出和增强层输出矩阵按行进行合并，得到增广数据矩阵，具体如公式(7)所示；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)；式中，为经神经网络映射后的特征维数，。
[0023]
步骤2、构造具有区间上边界、区间下边界、上下限相对权重系数三输出的神经网络模型，分别用于估计区间上下边界以及上下限相对权重系数，利用标签数据集及粒子群优化算法训练初始模型的输出上下限权重和估计值权重。具体过程如下：步骤2.1、设标签数据集为，为经神经网络映射后的第个标签数据，为训练真实标签值，对应归一化后的第个质量变量化验分析值数据，利用真实标签值随机加减一个值作为预设上下限，如公式(8)-公式(9)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)；式中，为训练集的预设上边界；、均为[0,1]之间的随机数；为训练集的预设下边界；步骤2.2、对预设上、下边界通过岭回归求得输出上下限权重，如公式(10)-公式(11)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)；式中，为中标签数据集合，为输出上限权重；为岭回归系数；为单位矩阵；为输出下限权重；步骤2.3、计算模型区间上边界、区间下边界和估计值，具体计算公式为公式(12)-公式(14)：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)；式中，为模型区间上边界；为输出上限权重；为模型区间下
边界；为输出下限权重；为估计值中的第个标签数据；为上下限相对权重系数中的第个标签数据，，为估计值权重；为模型区间上边界中的第个标签数据；为模型区间下边界中的第个标签数据；步骤2.4、通过粒子群寻优算法得到最优输出上下限权重和估计值权重，目标函数如公式(15)-公式(17)所示：
ꢀꢀꢀꢀꢀ
(15)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)；式中，为第一子目标损失函数；为标签数据的序号，为标签数据的总个数；表示标签数据是否落到估计区间内，其取值规则为：如果第个标签数据落在估计区间内，则，否则；为正则化参数，为预设的置信水平；为第二子目标损失函数；为总目标损失函数，用于平衡两个子目标，生成紧密的区间和生成更加准确的估计值，即通过同步第一子目标函数公式损失(15)和第二子目标损失函数公式(16)来实现这个目标；为平衡不同子目标函数的超参数；粒子群优化算法通过最小化总目标损失函数来得到最优的权重，如公式(18)-公式(19)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)；式中，为粒子在第次迭代过程中的速度向量，为粒子在第次迭代过程中的速度向量；表示惯性权重；、分别表示个体学习因子和群体学习因子；、表示区间[0,1]之间不同的随机数，增加搜索的随机性；为粒子在第次迭代中的最优位置；为粒子在第次迭代过程中的位置向量；表示群体在第次迭代中的历史最优位置，即整个粒子群中的最优解；表示粒子在第次迭代过程中的
位置向量；为粒子在第次迭代过程中的位置向量。
[0024]
最优解对应最优输出上下限权重和估计值权重；最优解为向量形式，可以表示为，、、分别为输出上限权重、输出下限权重、估计值权重。
[0025]
步骤3、利用模型的输出上下限权重和估计值权重估计无标签数据的预测标签，并选取高置信度无标签数据组成候选数据集。具体过程如下：步骤3.1、计算第个无标签数据的估计值，如公式(20)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(20)；式中，为经神经网络映射后第个无标签数据，为第个无标签数据的上下限相对权重系数；所有无标签数据的估计值组成预测标签集合，为无标签数据的总个数；步骤3.2、计算每一个无标签数据在其近邻上的均方误差，第个无标签数据的均方误差的计算公式如公式(21)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(21)；式中，为无标签数据邻近的第个标签数据，为的个标签数据近邻组成的数据集，通过欧氏距离来度量；为第个标签数据的真值；表示标签数据训练的模型对的回归估计值；表示加入预测标签数据后训练的模型对的回归估计值；步骤3.3、每一个无标签数据都通过公式(21)计算一个均方误差，通过对得到的所有无标签数据的均方误差进行降序排序，选取前个高置信度的无标签数据组成候选数据集，为第个高置信度的无标签数据，为第个高置信度的无标签数据的估计值。
[0026]
步骤4、以区间宽度作为选择准则，从候选数据集中进一步选取低于宽度阈值的数据加入标签数据集，更新标签数据集，为低于宽度阈值的数据的序号；同时，利用粒子群优化算法更新模型参数，模型参数包括、和。具体过程如下：步骤4.1、计算候选数据集的宽度，如公式(22)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(22)；式中，为第个高置信度的无标签数据的宽度；步骤4.2、对每一个高置信度的无标签数据都通过公式(22)计算一个宽度，对宽度进行升序排序，选取前个数据加入标签数据集，更新标签数据集，为第个低于宽度阈值的数据，为第个低于宽度阈值的数据的估计值；步骤4.3、利用公式(18)-公式(19)所示的粒子群优化算法更新模型参数，模型参数包括、和。根据粒子群优化算法最终的最优解即可获得更新后的模型参数、和。
[0027]
步骤5、重复步骤3和步骤4，直到达到最大迭代次数，此时输出最终的模型参数和。
[0028]
步骤6、在线测试阶段：采集测试数据并做归一化处理得到归一化后的测试集，经循环宽度学习网络得到扩维后的数据集，最后利用训练集模型参数、和对测试集进行估计。具体过程如下：步骤6.1、在线采集测试数据，经过归一化处理后得到归一化后的质量变量测试集，其中，为测试集中质量变量值的个数，为采集数据的特征维数，为归一化后的测试集中第个质量变量值；步骤6.2、经神经网络映射得到扩维后的增广数据矩阵，从而提取数据中的动态特征和非线性特征。本发明采用的神经网络为循环宽度学习网络，循环宽度学习网络的扩维过程具体如公式(23)-公式(28)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(24)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(25)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(26)；
ꢀꢀꢀꢀꢀ
(27)；
ꢀꢀꢀꢀꢀ
(28)；式中，为测试集中第个质量变量值的状态向量；为测试集中第个
质量变量值的状态向量；为测试集中第个特征节点窗口的映射特征；为测试集中第个质量变量值的状态向量；为测试集中个特征节点窗口的映射特征增广得到的特征层输出；为测试集中第个特征节点窗口的映射特征；为测试集中第个增强节点窗口的增强层输出；表示增强层中第个增强节点窗口的非线性激活函数；为测试集中个增强节点窗口增广得到的增强层输出集合；为测试集中第个增强节点窗口的增强层输出；为测试集的增广数据矩阵；步骤6.3、利用训练集模型参数估计测试集上下限和真实值，具体过程如公式(29)
ꢀ‑
公式(31)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(29)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(30)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(31)；式中，为测试集上限；为测试集下限；为测试数据的估计值；为的个元素为1的列向量。
[0029]
本发明方法通过循环宽度学习网络提取原始数据的动态和非线性特征；同时充分考虑了软测量回归建模对估计值的需求，在上下限估计方法的损失函数中加入点估计项，通过平衡区间宽度、覆盖率以及点估计的均方误差，通过粒子群优化算法最小化损失函数，以生成紧密的区间和准确的估计值；最后，为了提高无标签数据的利用率，通过双准则选择置信度高的预测标签数据加入模型训练；为了提高模型估计的准确性和充分性，对输出上下限权值和估计值权重进行迭代寻优。
[0030]
为了证明本发明发法的可行性与优越性，给出如下具体实施例。该实施例以脱丁烷塔的过程数据为例进行详细说明。
[0031]
脱丁烷塔精馏塔是脱硫和石脑油分离器装置的一部分，其主要任务是最大限度地提高脱丁烷塔塔顶(液化石油气分离器进料)中的c5(稳定汽油)含量，并且尽量减少脱丁烷塔底部(naptha分离器进料)中的c4(丁烷)含量。除精馏塔外，脱丁烷塔还包含了换热器、塔顶冷凝器、底部再沸器、塔顶回流泵以及lpg分离器的给水泵等设备。脱丁烷塔塔顶中的c5含量由位于900号装置液化石油气分馏塔底部的分析仪间接测量。该装置的测量周期为10分钟。另外，测量装置的位置会导致延迟，该延迟不为人所知，但为常数，可能在20-60分钟范围内。同样，脱丁烷塔底中的c4含量也无法在塔底直接检测得到，而是通过在塔顶安装气相色谱仪进行检测。该设备的测量周期一般为15分钟，同样由于分析仪器的安装位置，获得浓度值时会有一个很大的延迟，这个延迟不是众所周知的，但是恒定的，并且可能在30分钟到75分钟的范围内。因此，为实现对丁烷浓度的实时测量，提高脱丁烷塔的控制质量，有必要建立软测量模型来实时估计底部丁烷浓度，底部丁烷浓度即为质量变量。另外，考虑到实际生产过程中质量变量的采样效率低、时延大的问题，假设所有的历史样本中仅有五分之
一的样本具有标签（既包含输入数据，也包含输出数据），其他历史样本均为无标签数据（仅包含输入数据）。根据过程机理知识，选择了7个易于测量的变量作为软测量模型的过程变量，物体意义分别为：塔顶温度、塔顶压力、回流的流量、流入下一过程的流量、塔板温度、塔底温度 1、塔底温度 2。
[0032]
接下来结合脱丁烷塔生产过程对本发明的具体步骤进行阐述：步骤1、离线建模阶段：将已采集到的数据作为训练数据集，并且进行预处理。
[0033]
指定循环宽度学习网络特征层节点为600个，增强层节点为50个；通过工业传感器获取过程变量测量值并进行归一化处理，将用于训练的归一化后的过程变量测量值集合经循环宽度学习网络得到隐层输出增广数据矩阵，将通过化验室离线分析收集的质量变量化验分析值按行排序并归一化处理得到归一化后的质量变量化验分析值集合。其中，过程变量测量值集合中的数据包括塔顶温度、塔顶压力、回流的流量、流入下一过程的流量、塔板温度、塔底温度 1、塔底温度 2。质量变量化验分析值集合中的数据为底部丁烷浓度。
[0034]
步骤2、利用标签数据及粒子群优化算法训练初始模型的输出上限权重、下限权重和估计值权重。
[0035]
指定粒子群规模为200，迭代次数50，设定为1，设定为1.3，正则化参数设定为1，超参数设定为0.4，为0.05。
[0036]
步骤3、指定近邻个数为3，对每一个无标签数据的均方误差进行降序排序，选取前5个高置信度的无标签数据组成候选数据集。
[0037]
步骤4、根据区间宽度在候选数据集中选取1个预测标签数据更新标签数据集，更新模型参数，分别为、和。
[0038]
步骤5、重复步骤3和步骤4，直到达到最大迭代次数。
[0039]
步骤6、在线测试阶段：采集测试数据，经过归一化处理后得到归一化后的质量变量测试集，经循环宽度学习网络得扩维后的数据，对利用训练集模型参数对测试集进行估计。
[0040]
本发明采用平均宽度(mpiw)和区间覆盖率(picp)来评价软测量模型的估计性能，表达式如公式(32)-公式(33)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(32)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(33)；
式中，为平均宽度的取值；；为测试数据个数；为第个测试数据的区间上限；为第个测试数据的区间下限；为区间覆盖率的取值；表示真值是否落到估计区间内的变量，如果第个真值落在估计区间内，则，否则。
[0041]
本发明选择了上下界估计方法、基于构造区间的自适应优化方法、集成区间和点估计的监督神经网络算法的三个方法与本发明方法进行对比实验，对比结果如表1所示。
[0042]
表1 三个算法与本发明方法对比结果；。
[0043]
由表1可以看出，本发明所述方法与其他三种方法相比，具有更窄的区间宽度和更大的区间覆盖率，即表明本发明具有更高质量的区间估计。
[0044]
图2-图5分别给出了不同迭代次数下选择的预测标签数据变化图，如图2-图5所示，每次迭代都会选取符合要求的无标签数据更新标签数据集，进行模型训练，因此，相较于传统方法，利用了更多无标签数据的信息，将区间预测扩展到半监督领域。
[0045]
如图6所示，在测试集上的效果图可知，在保证预测平均宽度的基础上，大部分样本真实值落在预测区间内，只有少数样本落在预测边界附近，且真实值与估计值基本吻合，证明了本方法的准确度。
[0046]
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

技术特征：
1.一种半监督神经网络软测量建模方法，其特征在于，包括如下步骤：步骤1、通过化验室离线分析获取质量变量化验分析值，通过工业传感器获取过程变量测量值，并对质量变量化验分析值和过程变量测量值进行归一化处理；步骤2、构造具有区间上边界、区间下边界、上下限相对权重系数三输出的神经网络模型，利用标签数据集及粒子群优化算法训练初始模型的输出上下限权重和估计值权重；步骤3、利用模型的输出上下限权重和估计值权重估计无标签数据的预测标签，并选取高置信度无标签数据组成候选数据集；步骤4、以区间宽度作为选择准则，从候选数据集中进一步选取低于宽度阈值的数据加入标签数据集，更新标签数据集；同时，利用粒子群优化算法更新模型参数；步骤5、重复步骤3和步骤4，直到达到最大迭代次数，此时输出最终的模型参数；步骤6、采集测试数据并做归一化处理得到归一化后的测试集，经神经网络得到扩维后的数据集，最后利用训练集模型参数对测试集进行估计。2.根据权利要求1所述半监督神经网络软测量建模方法，其特征在于，所述步骤1的具体过程如下：步骤1.1、记收集的初始质量变量化验分析值集合为，集合中的每一个初始质量变量化验分析值均为标签数据，为第个标签数据，为标签数据的序号，为标签数据的总个数，为矩阵转置算子；记收集的初始过程变量测量值集合为，集合中的每一个初始过程变量测量值均为训练数据，为第个训练数据，为训练数据的序号，为训练数据的总个数，为采集数据的特征维数；训练数据中既包含标签数据，也包含无标签数据；步骤1.2、对集合中的每一个数据按照公式(1)进行归一化处理，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)；式中，为归一化后的第个质量变量化验分析值数据，表示归一化后的质量变量化验分析值集合，作为训练真实标签值；表示集合中的最大值，表示集合中的最小值；同理，对按照与公式(1)相同的方式处理得到归一化后的过程变量测量值集合；为归一化后
的第个训练数据；步骤1.3、将归一化后的过程变量测量值数据经神经网络映射为增广数据矩阵，为经神经网络映射后的第个标签数据，为经神经网络映射后的特征维数，。3.根据权利要求1所述半监督神经网络软测量建模方法，其特征在于，所述步骤2的具体过程如下：步骤2.1、设标签数据集为，为经神经网络映射后的第个标签数据，为训练真实标签值，对应归一化后的第个质量变量化验分析值数据，利用真实标签值随机加减一个值作为预设上下限，如公式(8)-公式(9)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)；式中，为训练集的预设上边界；、均为[0,1]之间的随机数；为训练集的预设下边界；步骤2.2、对预设上、下边界通过岭回归求得输出上下限权重，如公式(10)-公式(11)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)；式中，为中标签数据集合，为输出上限权重；为岭回归系数；为单位矩阵；为输出下限权重；步骤2.3、计算模型区间上边界、区间下边界和估计值，具体计算公式为公式(12)-公式(14)：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)；式中，为模型区间上边界；为输出上限权重；为模型区间下边界；为输出下限权重；为估计值中的第个标签数据；为上下限相对权重系数中的第个标签数据，，为估计值权重；为模型区间上边界中的第个标签数据；为模型区间下边界中的第个标签数据；步骤2.4、通过粒子群寻优算法得到最优输出上下限权重和估计值权重，目标函数如公
式(15)-公式(17)所示：
ꢀꢀꢀꢀꢀ
(15)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)；式中，为第一子目标损失函数；为标签数据的序号，为标签数据的总个数；表示标签数据是否落到估计区间内，其取值规则为：如果第个标签数据落在估计区间内，则，否则；为正则化参数，为预设的置信水平；为第二子目标损失函数；为总目标损失函数；为平衡不同子目标函数的超参数。4.根据权利要求3所述半监督神经网络软测量建模方法，其特征在于，所述步骤2.4中，粒子群优化算法通过最小化总目标损失函数来得到最优的权重，如公式(18)-公式(19)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)；式中，为粒子在第次迭代过程中的速度向量，为粒子在第次迭代过程中的速度向量；表示惯性权重；、分别表示个体学习因子和群体学习因子；、表示区间[0,1]之间不同的随机数；为粒子在第次迭代中的最优位置；为粒子在第次迭代过程中的位置向量；表示群体在第次迭代中的历史最优位置，即整个粒子群中的最优解；表示粒子在第次迭代过程中的位置向量；为粒子在第次迭代过程中的位置向量；最优解对应最优输出上下限权重和估计值权重；最优解为向量形式，表示为，、、分别为输出上限权重、输出下限权重、估计值权重。5.根据权利要求1所述半监督神经网络软测量建模方法，其特征在于，所述步骤3的具体过程如下：步骤3.1、计算第个无标签数据的估计值，如公式(20)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(20)；式中，为经神经网络映射后第个无标签数据，为第个无标签数据的上下限相对权重系数；所有无标签数据的估计值组成预测标签集合，为无标签数据的总个数；步骤3.2、计算每一个无标签数据在其近邻上的均方误差，第个无标签数据的均方误差的计算公式如公式(21)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(21)；式中，为无标签数据邻近的第个标签数据，为的个标签数据近邻组成的数据集，通过欧氏距离来度量；为第个标签数据的真值；表示标签数据训练的模型对的回归估计值；表示加入预测标签数据后训练的模型对的回归估计值；步骤3.3、每一个无标签数据都通过公式(21)计算一个均方误差，通过对得到的所有无标签数据的均方误差进行降序排序，选取前个高置信度的无标签数据组成候选数据集，为第个高置信度的无标签数据，为第个高置信度的无标签数据的估计值。6.根据权利要求1所述半监督神经网络软测量建模方法，其特征在于，所述步骤4的具体过程如下：步骤4.1、计算候选数据集的宽度，如公式(22)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(22)；式中，为第个高置信度的无标签数据的宽度；步骤4.2、对每一个高置信度的无标签数据都通过公式(22)计算一个宽度，对宽度进行升序排序，选取前个数据加入标签数据集，更新标签数据集，为第个低于宽度阈值的数据，为第个低于宽度阈值的数据的估计值；步骤4.3、利用公式(18)-公式(19)所示的粒子群优化算法更新模型参数，模型参数包括、和；根据粒子群优化算法最终的最优解即可获得更新后的模型参数、
和。7.根据权利要求1所述半监督神经网络软测量建模方法，其特征在于，所述步骤6的具体过程如下：步骤6.1、在线采集测试数据，经过归一化处理后得到归一化后的质量变量测试集，其中，为测试集中质量变量值的个数，为归一化后的测试集中第个质量变量值；步骤6.2、经神经网络映射得到扩维后的增广数据矩阵；步骤6.3、利用训练集模型参数估计测试集上下限和真实值，具体过程如公式(29)
ꢀ‑
公式(31)所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(29)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(30)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(31)；式中，为测试集上限；为测试集下限；为测试数据的估计值；为的个元素为1的列向量。

技术总结
本发明公开了一种半监督神经网络软测量建模方法，属于工业过程检测技术领域，该方法通过神经网络提取原始数据的动态和非线性特征；同时在上下限估计方法的损失函数中加入点估计项，平衡区间宽度，覆盖率以及点估计的均方误差，通过粒子群优化算法最小化损失函数，以生成紧密的区间和更加准确的估计值；然后，通过双标准选择置信度高的无标签数据加入模型训练，以更新标签数据集；最后，对输出上下限权值和估计值权重进行迭代寻优。本发明提供的半监督学习框架不仅能够有效量化不确定因素对模型的影响，还能充分利用标签数据所包含的监督信息，辅助以无标签数据所蕴含的结构信息，达到提升软测量模型泛化能力和可靠性之目的。的。的。


技术研发人员：王平 李雪静 尹贻超
受保护的技术使用者：中国石油大学（华东）
技术研发日：2023.08.30
技术公布日：2023/10/5