一种基于深度学习技术的气溶胶消光系数廓线预测方法

1.本发明涉及一种气溶胶消光系数廓线预测方法。


背景技术：

2.气溶胶消光系数是描述大气中气溶胶对光的吸收和散射的参数之一，它的空间和时间变化对大气环境和气候变化具有重要影响。因此，准确预测气溶胶消光系数的廓线(垂直分布)是大气环境和气候变化研究中的重要问题之一。
3.常见的气溶胶消光系数廓线预测手段包括以下几种：
4.统计模型：将气象观测数据、气溶胶探测数据、大气成分浓度数据等多种观测资料进行统计分析，建立回归模型来预测气溶胶消光系数的廓线。这种方法主要依赖于历史数据的积累和分析，精度受限于数据的质量和数量。
5.物理模型：基于气溶胶物理学和光学原理，通过计算气溶胶对光的散射和吸收过程，建立气溶胶消光系数的廓线预测模型。这种方法可以较好地解释气溶胶廓线的物理机制，但需要大量的气象和气溶胶观测数据作为输入，对计算机算力和模型精度要求较高。
6.深度学习模型：利用深度学习的自适应和非线性拟合能力，通过输入大量的气象和气溶胶观测数据，自动学习气溶胶消光系数的廓线预测模型。这种方法具有较高的精度和普适性，可以处理非线性和复杂的气象和气溶胶变化情况，但需要大量的训练数据和算力支持。
7.现有的气溶胶消光系数廓线预测方法存在以下缺点：
8.1)数据不足：气溶胶消光系数的观测数据通常比较稀疏，很难获取到连续、高时空分辨率的观测数据，这会对预测模型的精度和可靠性造成影响；
9.2)多参数影响：气溶胶消光系数的变化受多种气象和大气成分参数的影响，其中一些参数的变化可能与气溶胶消光系数的变化有相似的趋势，从而产生多重共线性，增加预测模型的复杂度和不确定性。
10.3)时间序列特性：气溶胶消光系数的变化具有明显的时间序列特性，即前一时刻的消光系数与后一时刻的消光系数之间存在相关性，传统的统计或物理模型难以充分考虑这一特性，可能导致预测结果的不稳定性。


技术实现要素：

11.本发明的目的在于提供一种基于深度学习技术的气溶胶消光系数廓线预测方法。
12.为此，本发明提供了一种气溶胶消光系数廓线预测方法，包括：s1、构建基于transformer的长序列预测模型并对模型进行优化，用于对每一层消光系数进行预测，其中，所述长序列预测模型包括输入嵌入层、编码器、解码器、输出层，其中，对模型进行优化包括输入表征优化、自注意力机制优化、生成式解码；s2、收集气象参数数据、消光系数数据，所收集的数据在经过数据平滑与预处理后导入数据库中，从数据库中选择训练集和测试集对模型进行训练和测试，得到训练好的长序列预测模型；s3、对于不同高度的每一层的
消光系数预测，使用长序列预测模型，给定t时刻的输入l
x
为输入序列的长度，d
x
为输入的维度，在消光系数预测任务中输入包括温度、湿度、压强、能见度；输出是消光系数的相应预测序列ly为输出序列长度；s4、在完成不同高度的消光系数预测后将其结合得到预测的消光系数廓线，其中，不同高度的分别构成不同预测时刻的消光系数廓线。
13.本发明使用长序列预测模型来对每层消光系数进行预测并最终获取到廓线预测，可以提高预测精度和适应性，具有更好的解释性和实用价值，对大气污染监测和气候变化研究具有重要的意义和价值。与现有技术相比，本发明具有以下技术优势：
14.1)使用基于transformer的改进长序列预测模型：相比传统的时间序列预测模型，transformer模型能够处理更长的序列数据，具有更好的序列建模能力，能够更准确地捕捉序列中的时间依赖关系；
15.2)结合气象和气溶胶测量数据：将气象和气溶胶测量数据结合起来，能够更好地反映气溶胶廓线的变化趋势，适应各种复杂的气象和气溶胶变化情况，提高预测精度和可靠性；
16.3)可解释性好：长序列预测模型可以提供每一时刻消光系数的预测结果，帮助研究人员理解气溶胶廓线变化的物理机制和规律，有助于进一步研究大气环境和气候变化问题。
17.除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
18.构成本技术的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
19.图1是根据本发明的气溶胶消光系数廓线预测方法的流程图；
20.图2是某地区气象参数数据；
21.图3是根据本发明的气溶胶消光系数长序列预测模型的框架图；
22.图4示出了本发明的长序列预测模型的输入特征表征；
23.图5示出了根据本发明方法得到的消光系数廓线。
具体实施方式
24.下面将参考附图并结合实施例来详细说明本发明。
25.本发明使用基于transformer的长序列预测模型对每层消光系数进行预测并最终得到廓线预测，如图1所示，本发明的技术方案包括如下步骤。
26.一、数据准备
27.收集气象和气溶胶测量数据，包括气象观测数据、气溶胶消光系数垂直廓线数据等。将数据进行预处理，得到训练集和测试集。
28.在一实施例中，预测需要的数据来自近海某地区大气气象参数的实地观测，如图2所示，其中，aec代表气溶胶消光系数实际观测值，由腔衰减相移式单散射反照率监测仪进
行测量，vis代表能见度观测值，由belfort能见度传感器进行测量，t、rh、ap分别代表温度、相对湿度、大气压强的实际观测值，由wxt520气象传感器测量得到。如果要进行相应的廓线参数预测，需要用户自行获取垂直距离上的温度，相对湿度，压强，能见度等数据。
29.由于受试验期间天气条件、测量环境等外在因素影响，测量数据并不能够直接使用。因此，对数据进行清洗以及预处理十分必要。将数据按照分钟分组后，使用如下公式对数据进行平滑的同时确保数据可靠：
[0030][0031]
上面公式中loc[i]为当前数据，loc[i-1]和loc[i-2]为一个时间步以及两个时间步之前的数据，loc[i+1]为一个时间步之后的数据。
[0032]
二、模型构建
[0033]
使用基于transformer的长序列预测模型来对每层消光系数进行预测并最终得到廓线预测。如图3所示，模型包括输入嵌入层、编码器(三层)、解码器(两层)、输出层，编码器层包括多头自注意力层和前馈神经网络层，其中输入嵌入层将气象和气溶胶测量数据转换成向量表示，多头自注意力层能够捕捉不同时间步之间的依赖关系，前馈神经网络层则能够进一步提取特征并输出预测结果。解码器层除了多头自注意力子层以及前馈神经网络层之外，还包含一个带掩码的多头自注意力机制子层，由此来确保对位置i的预测只取决于小于i的位置的已知输出。
[0034]
对模型的优化分为下列三个部分：
[0035]
1)输入表征优化
[0036]
基于循环神经网络的模型能够通过循环结构本身捕捉时间序列模式，原始的transformer使用点积自注意力并采用时间戳来作为位置信息编码。transformer使用正弦波曲线来拟合位置编码器在输入中的作用，将生成的位置编码矩阵注册成一个缓冲器(buffer)，缓冲器不跟随优化器同步更新，在模型保存后位置编码器与模型参数能够一起重新加载。位置编码器使用固定的时间位置编码pe来表示本地的时间戳信息，如下式所示：
[0037][0038][0039]
其中，pos代表输入序列中该时间步的特征相对位置，j为输入向量的维度序号，取值范围为[0,2j/d
model
)，d
model
为向量嵌入的维度，sin(
·
)与cos(
·
)分别代表正弦波、余弦波函数，l
x
代表输入序列的长度。
[0040]
通过正弦波函数使任意位置的pe(pos+j)都可以被pe(pos)的线性函数表示。模型的时间戳位置信息可以通过下式的三角变化得到：
[0041]
sin(α+β)＝sinαcosβ+cosαsinβ
[0042]
sin(α-β)＝cosαcosβ-sinαsinβ
[0043]
随着维度序号的增加，正弦波函数的周期变化越来越慢，最终会产生一种包含时间戳相对位置信息的纹理，使得模型能够学习到本地时间戳位置之间的依赖关系。模型通过正弦波来表示本地时间戳(位置嵌入)对当前位置的影响，其值域范围为-1到1，这很好地
控制了嵌入数值的大小，有助于梯度快速计算。
[0044]
然而，在消光系数长序列预测任务当中，获取远程独立性的能力需要全局信息，而这些信息在规范的自注意力中没有被应用，编码器与解码器之间的查询键不匹配会导致预测性能的下降。因此，考虑到消光系数的时间序列特性，本模型增加了代表全局时间戳的分嵌入层与时嵌入层，每种类型的全局时间戳嵌入se(pos)都有一个固定的词汇表大小，在本模型中，表示小时的词汇表大小为24，表示分钟的词汇表大小为60。最后，使用一维滤波器将标量上下文映射到d
model
维的向量最终得到的输入表示向量为：
[0045][0046]
其中，i∈{1,
…
,l
x
}，α为平衡本地信息戳表示pe和全局信息戳表示se的因子。模型的最终输入如图4所示：
[0047]
2)自注意力机制优化
[0048]
在长序列预测的现实场景中，消光系数会因为某些特定原因或者事件发生变化。时序数据中异常情况的发生，会使得时间序列的预测值发生显著变化，而将显著变化后的观测值代入计算会带来较大偏差，在不考虑周围观察值的情况下很难判断该点是正常点还是异常点。
[0049]
在传统transformer的自注意力机制中，计算查询向量和键向量的相似性是通过逐点计算实现的，但这种方式查询向量和键向量的匹配没有考虑到上下文情况，因此使得预测易受到异常点的干扰。
[0050]
本发明通过使用卷积而不是线性变化的方式来计算查询向量与键向量，具体公式如下所示：
[0051][0052]
通过使用一维卷积conv1d引入上下文信息时，需要保证当前位置无法访问到未来信息，本文选用的卷积核k大小为3，对输入特征进行提取，增强了局部上下文的建模能力，能够更有效地捕捉局部信息并排除异常点的干扰。
[0053]
除了通过卷积操作优化注意力机制，概率稀疏自注意力机制和自注意力蒸馏机制也被模型采用来优化计算效率和减少内存使用。概率稀疏自注意力机制通过随机采样5lnl个key为每个query计算稀疏性得分m(qi,k)，再选取稀疏性得分最高的5lnl个query。通过计算query和key的点积结果得到注意力权重结果，其余部分直接将自注意力层的输入取均值作为输出，这样可以保证每个概率稀疏自注意力层的输入和输出长度都是l。同时概率稀疏操作会使得每个头部的query对应的稀疏性分数不同，这就使得每个头部得到的稀疏性最高的query也不同，相当于每个头部都采取了不同的优化策略。
[0054]
自注意力蒸馏机制能够通过蒸馏操作对具有主要特征的优势特征赋予更高的权重，从而大幅减少输入的时间维度，为了提取长序列输入间的长距离依赖，编码器将第t个输入序列x
t
通过reshape函数变换成一个矩阵蒸馏机制从第j层推进到第j+1层的过程为：
[0055][0056]
通过conv1d进行一维卷积，并选择elu作为激活函数。在堆叠一个层之后添加一个
步长为2的最大池化层，并对x
t
进行下采样将整个内存使用量减少到o(2-∈)llogl，其中∈是一个小数值。
[0057]
3)生成式解码器
[0058]
在传统的transformer编码器-解码器架构中，编码器将输入编码成隐藏特征然后解码器根据该特征h
t
解码预测t时刻之后的预测结果y
t
。这种预测时的解码为串行解码，即在第k步时，解码器使用前一时刻的状态来生成当前时刻的输出这种方式使得当前时刻预测值依赖于前一时刻预测值输出结果，限制了长序列预测的速度，并且在预测时会受到累计误差传播的影响。
[0059]
开始标记序列是自然语言处理的动态解码中一项有效技术，根据这一思路，本文采用生成式解码的方式一次性解码出整个输出序列y
t
，首先将解码器的输入设置为：
[0060][0061]
其中，为开始标记序列，为待预测位置，concat函数代表拼接操作，l
token
为标记序列长度，ly为输出序列长度，开始标记序列从输入序列中采样得到，该序列是输出序列之前的较早片段，具体而言，模型通过在输入序列末端截取一个l
token
长序列，并将其通过concat连接得到解码器的输入，为ly×dmodel
的实数集。
[0062]
在得到解码器的输入之后，通过在解码器末端添加一个全连接层得到最终的输出：
[0063][0064]
这里全连接层的输出维度取决于预测变量维度dy，为开始标记序列的输出，为实际预测输出，输出的消光系数步长为ly。
[0065]
三、模型训练
[0066]
使用训练集对模型进行训练，优化损失函数，使得模型能够更好地拟合训练数据，模型使用mse作为损失函数，mse方程可以用以下公式表示：
[0067][0068]
mse是参数估计值与参数真实值之差的平方预期值，表示和之间的平方根在总数据大小比中的偏差。该值越小，预测模型描述实验数据的准确性越好。
[0069]
使用adam作为优化器，adam优化器的推导公式如下：
[0070][0071]mt
＝β1m
t-1
+(1-β1)g
t
[0072][0073][0074]
[0075][0076]
其中，梯度g
t
为损失函数对当前位置θ
t
的求导，m
t
为t时刻时梯度在动量形式下的一阶矩阵估计，v
t
为t时刻时梯度在动量形式下的一阶矩阵估计，β1和β2为指数衰减率，分别控制权重分配与之前的梯度平方的影响情况，为偏差纠正后的一阶矩阵估计，为偏差纠正后的二阶矩阵估计，为β1的t次方，为β2的t次方。最后一个公式为adam更新公式，η为学习率参数。
[0077]
四、廓线预测
[0078]
使用训练好的模型对测试集进行廓线预测，得到气溶胶消光系数廓线预测结果。可以使用不同的评估指标来评价预测结果的准确性和可靠性。
[0079]
对于每一层(不同高度)的消光系数预测，使用informer算法，给定t时刻的输入l
x
为输入序列的长度，d
x
为输入的维度，在消光系数预测任务中输入包括温度、湿度、压强、能见度等气象参数；输出是消光系数的相应预测序列在完成不同高度的消光系数预测后将其结合得到不同高度的消光系数廓线预测结果，如图5所示。
[0080]
五、模型比较
[0081]
完成数据集与对比模型的选择后，表1代表了不同模型的性能对比。所有数值实验均在nvidia rtx 3090(24gb显存)上进行，其余配置包括两块intel xeon(r)cpu e5-2650 v3处理器以及128gb内存。这足以满足所有实验对计算资源的需求。
[0082]
表1不同预测长度性能对比
[0083][0084]
通过表1的性能对比实验能够发现，本发明提出的模型在大气数据集上mae和mse指标上均优于logtrans、reformer和informer。当预测长度达到288时，本发明提出的模型在数据集上相较于transformer模型mae指标提升了0.134，mse指标提升了0.104。实验结果证明模型在长序列预测任务上相较于其他模型能够起到提升效果。
[0085]
以上所述仅为本发明的实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种气溶胶消光系数廓线预测方法，其特征在于，包括：s1、构建基于transformer的长序列预测模型并对模型进行优化，用于对每一层消光系数进行预测，其中，所述长序列预测模型包括输入嵌入层、编码器、解码器、输出层，其中，对模型进行优化包括输入表征优化、自注意力机制优化、生成式解码；s2、收集气象参数数据、消光系数数据，所收集的数据在经过数据平滑与预处理后导入数据库中，从数据库中选择训练集和测试集对模型进行训练和测试，得到训练好的长序列预测模型；s3、对于不同高度的每一层的消光系数预测，使用长序列预测模型，给定t时刻的输入l
x
为输入序列的长度，d
x
为输入的维度，在消光系数预测任务中输入包括温度、湿度、压强、能见度；输出是消光系数的相应预测序列l
y
为输出序列长度；s4、在完成不同高度的消光系数预测后将其结合得到预测的消光系数廓线，其中，不同高度的分别构成不同预测时刻的消光系数廓线。2.根据权利要求1所述的气溶胶消光系数廓线预测方法，其特征在于，所述输入表征优化包括在长序列预测模型中增加代表全局时间戳的分嵌入层与时嵌入层，每种类型的全局时间戳嵌入se(pos)都有一个固定的词汇表大小，在本模型中，表示小时的词汇表大小为24，表示分钟的词汇表大小为60，最后，使用一维滤波器将标量上下文映射到d
model
维的向量最终得到的输入表示向量为：其中，i∈{1,
…
,l
x
}，α为平衡本地信息戳表示pe和全局信息戳表示se的因子。3.根据权利要求1所述的气溶胶消光系数廓线预测方法，其特征在于，自注意力机制优化包括：通过使用卷积方式来计算查询向量与键向量，具体公式如下所示：通过使用一维卷积conv1d引入上下文信息时，需要保证当前位置无法访问到未来信息，本模型中选用的卷积核k大小为3，对输入特征进行提取。4.根据权利要求1所述的气溶胶消光系数廓线预测方法，其特征在于，采用生成式解码方式一次性解码出整个输出序列y
t
，首先将解码器的输入设置为：其中，为开始标记序列，为待预测位置，concat函数代表拼接操作，l
token
为标记序列长度，l
y
为输出序列长度，开始标记序列从输入序列中采样得到，该序列是输出序列之前的较早片段，具体而言，模型通过在输入序列末端截取一个l
token
长序列，并将其通过concat连接得到解码器的输入，在得到解码器的输入之后，通过在解码器末端添加一个全连接层得到最终的输出：
这里全连接层的输出维度取决于预测变量维度d
y
，为开始标记序列的输出，为实际预测输出，输出的消光系数步长为l
y
。5.根据权利要求1所述的气溶胶消光系数廓线预测方法，其特征在于，将数据按照分钟分组后，使用如下公式对数据进行平滑的同时确保数据可靠：上面公式中loc[i]为当前数据，loc[i-1]和loc[i-2]为一个时间步以及两个时间步之前的数据，loc[i+1]为一个时间步之后的数据。

技术总结
本发明公开了一种基于深度学习技术的气溶胶消光系数廓线预测方法，包括步骤：S1、构建基于Transformer的长序列预测模型并对模型进行优化，包括输入表征优化、自注意力机制优化、生成式解码；S2、收集气象参数数据、消光系数数据，所收集的数据在经过数据平滑与预处理后导入数据库中，从数据库中选择训练集和测试集对模型进行训练和测试，得到训练好的长序列预测模型；S3、对于不同高度的每一层的消光系数预测，使用长序列预测模型，在消光系数预测任务中输入包括温度、湿度、压强、能见度；输出是消光系数的相应预测序列；S4、在完成不同高度的消光系数预测后将其结合得到预测的消光系数廓线。与其他模型相比，本预测模型可以提高预测精度和可靠性。测精度和可靠性。测精度和可靠性。


技术研发人员：崔生成 叶舟 乔智 徐慧强 张梓晗 李学彬 罗涛
受保护的技术使用者：中国科学院合肥物质科学研究院
技术研发日：2023.06.13
技术公布日：2023/9/22