煤岩数字岩心序列图片多尺度融合与超分辨率重建方法与流程

1.本发明属于煤岩图像处理技术领域，尤其是涉及煤岩数字岩心序列图片多尺度融合与超分辨率重建方法。


背景技术：

2.在岩心图像分析中，低分辨率岩心图像能够显示较大视域，具有较好的全局代表性，但是对于小尺度信息无法准确表征。高分辨率岩心图像能够准确地表征岩心的小尺度信息，但通常仅能显示较小的视域。
3.目前，现有的获取岩心图像方法包括下述两种：
4.1、采用计算机断层扫描，即ct，获取岩心高分辨率图像。由于ct图像分辨率的不足，导致无法完全表征微米级尺寸的小孔隙。为了获取微米级及以下小尺寸孔隙结构的清晰图像，只能将岩石切割成几毫米，甚至更小的样本，这在一定程度上导致了样本的代表性有所欠缺。
5.2、通过对岩心薄片的光学显微镜成像以及岩石样本的扫描电镜成像等方式获取高分辨率二维岩心图像。现有的获取显示大视域的高分辨率图像方法成本高昂，成像效率低，成像速度较慢，且对操作人员技术要求很高，不适合推广应用。


技术实现要素：

6.本发明要解决的问题是提供煤岩数字岩心序列图片多尺度融合与超分辨率重建方法，尤其是基于深度学习，能快速准确地获得显示大视域的高分辨率图像，不需要大量人工操作，减少了人工误差的一种把柱塞状煤岩岩心二维切片的低分辨率图像重建为高分辨率图像的方法。
7.为解决上述技术问题，本发明采用的技术方案是：煤岩数字岩心序列图片多尺度融合与超分辨率重建方法，包括以下步骤，
8.s1：获取数据集，包括低分辨率图像和高分辨率图像；
9.s2：数据预处理，进行多尺度图像的特征点对齐与融合，制作时间序列数据集；
10.s3：将所述时间序列数据集输入到序列图像超分辨率重建edvr模型训练，得到融合后的高分辨率图像与原始低分辨率图像的映射关系；
11.s4：根据所述映射关系，将未融合的低分辨率图像经过edvr模型重建成高分辨率图像，得到相应结构相似性与峰值信噪比的指标，进行模型测试；
12.s5：使用avizo软件对二维切片进行三维重建，得到充满孔缝细节信息的三维柱塞状煤岩岩心。
13.进一步的，所述s1包括以下步骤，
14.s11：通过ct扫描，获取像素点直径为9um的低分辨率图像和像素点直径为0.3um的高分辨率图像；
15.s12：高分辨率二维切片图像数量与低分辨率二维切片图像数量比例为1：3。
16.进一步的，所述s2包括以下步骤，
17.s21：将低分辨率图像按最佳配准比例上采样并保留原始低分辨率下的图像信息；
18.s22：将上采样的低分辨率图像与高分辨率图像进行sift特征点对齐；
19.s23：将对齐后的高分辨率图像信息融合重建在低分辨率图像中作为标签集，根据保留的原始低分辨率图像样本，制作时间序列数据集。
20.进一步的，所述s3包括以下步骤，
21.s31：通过滑动窗口制作时间序列数据集，将所述时间序列数据集输入模型中；
22.s32：通过金字塔级联可变形卷积层帧间对齐；
23.s33：利用帧间的时间关系和帧内的空间关系，进行tsa融合，为每一帧分配像素级的聚合权重；
24.s34：将经空间与时间注意力融合后的特征块f送进sr网络进行重建，重建出高分辨率的二维岩心切片支持帧图像；
25.s35：将重建后的二维岩心切片图像经上采样层，通过使用亚像素卷积的方式来提升特征块的大小，生成hr层级的图像，将所述预测图像和来自输入端且通过上采样获取的二维岩心切片参考帧图像进行相连，输出其超分辨率的图像。
26.进一步的，所述s32包括以下步骤，
27.s321：将输入的同一时间窗口下的二维岩心切片序列图像通过卷积输出各自的特征块，作为第一层的特征信息；使用步长为2的卷积操作，获得该层下采样的特征信息，他们的图像大小以2倍进行衰减；
28.s322：从顶层l3开始，对该层的二维岩心切片参考帧图像的特征块进行拼接融合输出该层的偏移量，然后将该偏移量和该层二维岩心切片支持帧图像的特征块进行可变形卷积输出该层对齐之后的二维岩心切片参考帧图像的特征块；
29.s323：将第三层生成的偏移量和该层对齐之后的二维岩心切片参考帧特征图通过双线性插值法上采样输送至第二层，第二层的偏移量的获取不仅来源于该层2个输入特征块，还来源于第三层的偏移量；此外该层输出的对齐特征块不仅来源于该层可变形卷积的输出，还取决于第三层的对齐特征块，以此类推，直到输出对齐后的二维岩心切片支持帧图像的特征块；
30.s324：在金字塔结构之外，将第一层的二维岩心切片参考帧图像特征块和第一层的特征信息，进行拼接融合输出一个偏移量，然后利用这个偏移量和第一层特征信息进行可变形卷积输出二维岩心切片支持帧特征块的对齐版本。
31.进一步的，所述s33包括以下步骤，
32.s331：对输入的二维岩心切片帧图像进行卷积学习得到一个嵌入空间，再计算输入的二维岩心切片支持帧图像与二维岩心切片参考帧图像在嵌入空间中的特征信息相似度，得到与时间注意力融合后的特征块；
33.s332：将融合了时间注意力的特征块置入呈金字塔状的空间注意力架构中，先对齐使用2次卷积下采样，然后从顶层开始自顶向下通过上采样、相加、点乘操作输出结合空间注意力融合的特征块。
34.进一步的，所述s34中的所述重建方法为双三次插值法。
35.进一步的，本发明还提供一种装置，运行上述的数据处理方法。
36.进一步的，本发明还提供一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的算法，所述处理器执行所述计算机程序时实现上述的数据处理方法。
37.进一步的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机算法，所述计算机算法被处理器执行时实现上述的数据处理方法。
38.本发明具有的优点和积极效果是：
39.本发明基于深度学习，能快速准确地获得显示大视域的高分辨率图像，与传统方法做对比，本发明具有降本增效的优点，且不需要大量人工操作，减少了人工误差。
附图说明
40.图1是本发明实施例的整体流程图。
41.图2是本发明实施例的样本煤岩岩心取样示意图。
42.图3是本发明实施例的edvr模型网络结构图。
43.图4是本发明实施例的pcd网络结构图。
具体实施方式
44.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
46.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
47.下面结合附图对本发明实施例做进一步描述：
48.如图1所示，煤岩数字岩心序列图片多尺度融合与超分辨率重建方法，包括以下步骤，
49.s1：获取数据集，包括低分辨率图像和高分辨率图像。具体的，s1包括以下步骤。
50.s11：通过ct扫描，获取像素点直径为9um的低分辨率图像和像素点直径为0.3um的高分辨率图像。
51.s12：高分辨率二维切片图像数量与低分辨率二维切片图像数量比例为1：3。
52.具体的，本实施例中对柱塞状煤岩样品岩心使用ct扫描，获取岩心序列切片，生成若干张像素点直径为9um的低分辨率二维岩心切片图像。在该煤岩样品岩心内部取子样品，对其进行ct扫描，生成若干张像素点直径为0.3um的高分辨率二维切片图像，岩心内部取子样品的切片数量应少于柱塞状煤岩样品的切片数量，岩心内部取子样品的数量与柱塞状煤岩样品比例为n：3n，其中，n为自然数，具体的，本实施例提供的岩心内部取子样品与柱塞状
煤岩样品的数量比例为1：3，该样本煤岩岩心取样示意图如图2所示，其中a代表该煤岩样品岩心内部取子样品，b表示柱塞状煤岩样品。
53.在进行数字岩心图像对齐时，由于柱塞样品和子样品分辨率不同，直接进行图像对齐并不能准确地确定子样品在柱塞样品中的位置。对于此问题必须找到一种方法能够在图像分辨率不同的情形下仍然可以准确地进行图像对齐，精确地确定子样品在柱塞样品中的位置。由于sift算法对于特征在图像发生尺度缩放，旋转，平移等变化时具有不变性，故本发明使用sift算法进行图像特征点对齐与图像信息融合。
54.s2：数据预处理，进行多尺度图像的特征点对齐与融合，制作时间序列数据集。具体的，s2包括以下步骤，
55.s21：将低分辨率二维岩心切片图像按最佳配准比例上采样至分辨率为3um，并保留原始低分辨率下的图像信息。
56.s22：将上采样的低分辨率二维岩心切片图像与高分辨率二维岩心切片图像进行sift特征点对齐，然后将对齐后的分辨率为0.3um的图像信息融合重建在分辨率为3um的图像中。
57.s23：将保留的图像原始对应区域作为模型输入，将对齐后的高分辨率图像信息融合重建在低分辨率图像中作为标签集，根据保留的原始低分辨率图像样本，制作时间序列数据集。
58.其中，时间序列数据集生成方式如下：
59.首先将标签集按照扫描顺序从前往后，以滑动窗口策略依次取3张图像组成1个序列，即一个样本。例如，取第1张到第3张为第一个序列，第2张到第4张为第二个序列，第3张到第5张为第三个序列，直到第n-2张到第n张为最后一个序列，总共形成了n-2个样本，时间序列数据集生成完毕。
60.由于ct切片数据具有一定序列关系，此序列关系刻画了孔缝在空间中的连续性和展布情况，为了学习这一序列关系，使生成的高分辨率图像同样具有连续性与完整性，故本发明采用可对序列图像实现超分辨率重建的edvr模型，充分利用了相邻帧间的信息，并实现超分辨率图像的生成，该模型结构如图3所示。
61.s3：将所述时间序列数据集输入到序列图像超分辨率重建edvr模型训练，得到融合后的高分辨率图像与原始低分辨率图像的映射关系。具体的，s3包括以下步骤，
62.s31：通过滑动窗口制作时间序列数据集，将所述时间序列数据集输入模型中。
63.其中，模型输入具体过程如下：首先将标签集按照扫描顺序从前往后，以滑动窗口策略依次取3张图像组成1个序列，即一个样本。例如，取第1张到第3张为第一个序列，第2张到第4张为第二个序列，第3张到第5张为第三个序列，直到第n-2张到第n张为最后一个序列，总共形成了n-2个样本，时间序列数据集生成完毕。
64.连续输入3帧图像，即每个样本的三张图像，分别标记为第t-1,t,t+1三个帧，其中第t帧为参考帧，即为模型需要上采样的帧(超分对象)，第t-1与t+1为支持帧。输入帧图像经过由若干个残差块以及步长为2的卷积层组成的去模糊模块，提取图像特征，提升后续的帧间对齐质量。
65.s32：通过金字塔级联可变形卷积层，即pcd帧间对齐，提升帧间对齐的准确性，从而为后续融合sr重建提供帮助。
66.其中pcd帧间对齐是一种从粗到细、自顶向下的过程。该模块基于可变形卷积网络(dcn)，采用多个可变形卷积网络和卷积网络进行级联形成金字塔结构，本实施例中金字塔层数为3，pcd网络结构图如图4所示。
67.具体的，s32包括以下步骤，
68.s321：将输入的同一时间窗口下的二维岩心切片序列图像，本实例为一张参考帧与两张支持帧，通过卷积输出各自的特征块，作为第一层的特征信息其中，f
t+i
，i∈[-1，1]表示3帧图像，其中f
t
为参考帧，其余为支持帧；使用步长为2的卷积操作，获得该层下采样的特征信息其中某一层s∈[1，s]，s＝3，即产生了3个层级的特征信息，他们的图像大小以2倍进行衰减。
[0069]
s322：从顶层l3开始，对该层的二维岩心切片参考帧图像的特征块进行拼接融合输出该层的偏移量，然后将该偏移量和该层二维岩心切片支持帧图像的特征块进行可变形卷积输出该层对齐之后的二维岩心切片参考帧图像的特征块其中，上标中的“3”表示金字塔的第3层。
[0070]
s323：将第三层生成的偏移量和该层对齐之后的二维岩心切片参考帧特征图通过双线性插值法上采样输送至下一层，即第二层，第二层的偏移量的获取不仅来源于该层2个输入特征块，还来源于第三层的偏移量；此外该层输出的对齐特征块不仅来源于该层可变形卷积的输出，还取决于第三层的对齐特征块，接着就继续按照下述公式(1)(2)传到第一层，直到输出对齐后的二维岩心切片支持帧图像的特征块。
[0071][0072][0073]
其中(.)
↑2表示使用双线性插值进行2倍上采样；dconv(.)表示可变形卷积；g(.)，h(.)表示一般卷积过程；[.]表示concat(融合)；
[0074]
s324：在金字塔结构之外，将第一层的二维岩心切片参考帧图像特征块和第一层的特征信息，进行拼接融合输出一个偏移量，然后利用这个偏移量和第一层特征信息进行可变形卷积输出二维岩心切片支持帧特征块(f
t+i
)1的对齐版本，这样可以进一步调整校正对齐特征块。
[0075]
为了充分利用帧间的时间关系和帧内的空间关系，该融合模块在时间和空间上引入时间注意力机制。tsa融合模块为每一帧分配像素级的聚合权重，提高融合的有效性和高效性。
[0076]
s33：利用帧间的时间关系和帧内的空间关系，进行tsa融合，该融合方式为每一帧分配像素级的聚合权重，提高融合的有效性和高效性。具体的，s33包括以下步骤，
[0077]
s331：对输入的二维岩心切片帧图像进行卷积学习得到一个嵌入空间，再计算输入的二维岩心切片支持帧图像与二维岩心切片参考帧图像在嵌入空间中的特征信息相似度，得到与时间注意力融合后的特征块。
[0078]
具体的计算方法为：通过和参考帧点乘再经过sigmoid得到每帧的时间注意力权重(像素级)，再将获得的权重与输入的连续3帧图像做点乘，点乘结果再做连续的卷积，得到与时间注意力融合后的特征块f
fusion
，公式如下所示：
[0079][0080][0081][0082]
其中sigmoid(.)：将权重缩进0-1之间，用于增加训练稳定性；
⊙
：表示点积，逐元素相乘；[.，.]表示concat；conv()：表示卷积；和拥有相同的大小(size)；支持帧特征信息：参考帧特征信息：
[0083]
s332：将融合了时间注意力的特征块f
fusion
置入呈金字塔状的空间注意力架构中，先对齐使用2次卷积下采样(conv)，分别得到f0和f1，然后从顶层开始自顶向下通过上采样、相加、点乘等操作，获取和f
fusion
相同size的空间注意力f2，最后通过逐元素相乘输出结合空间注意力融合的特征块，即f。空间注意力具体表达式如下：
[0084]
f0＝conv(f
fusion
)，f1＝conv(f
fusion
)，(6)
[0085][0086][0087]
其中(.)
t
表示上采样；和f
fusion
有相同的size。
[0088]
s34：将经空间与时间注意力融合后的特征块f送进sr网络进行重建，重建出高分辨率的二维岩心切片支持帧图像，重建方法为双三次插值法。
[0089]
s35：将重建后的二维岩心切片图像经上采样层，通过使用亚像素卷积的方式来提升特征块的大小，生成hr层级的高清图像，将预测图像和来自输入端且通过上采样获取的二维岩心切片参考帧图像进行相连，输出其超分辨率的图像。这里的连接是作为一种正则化项迫使网络去学习残差信息，即如何重建出较高质量的参考帧图像。本发明的目标就是通过优化mse损失函数来将超分结构接近参考帧图像。通过训练了n-2个样本，学习到低分辨率的二维岩心切片图像与超分辨率图像的最佳映射关系。
[0090]
s4：根据所述映射关系，将未融合的低分辨率图像经过edvr模型重建成高分辨率图像，得到相应结构相似性与峰值信噪比的指标，进行模型测试。
[0091]
具体的，将标签集中n-2个样本依次训练完毕后，该模型得到的峰值信噪比(psnr)和结构相似性(ssim)值都很高，分别为38，0.97，说明超分辨率图像生成效果良好，该模型成功训练出低分辨率图像到高分辨率图像的映射关系。故此将2n+2张煤岩样品岩心二维切片图像制作成2n个序列，即2n个样本，依次放入edvr模型中训练，得到2n张显示较大视域的高分辨率图像。
[0092]
s5：使用avizo软件对二维切片进行三维重建，得到充满孔缝细节信息的三维柱塞状煤岩岩心。
[0093]
综上所述，本发明基于深度学习，能快速准确地获得显示大视域的高分辨率图像，与传统方法做对比，本发明具有降本增效的优点，且不需要大量人工操作，减少了人工误差。
[0094]
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

技术特征：
1.煤岩数字岩心序列图片多尺度融合与超分辨率重建方法，其特征在于：包括以下步骤，s1：获取数据集，包括低分辨率图像和高分辨率图像；s2：数据预处理，进行多尺度图像的特征点对齐与融合，制作时间序列数据集；s3：将所述时间序列数据集输入到序列图像超分辨率重建edvr模型训练，得到融合后的高分辨率图像与原始低分辨率图像的映射关系；s4：根据所述映射关系，将未融合的低分辨率图像经过edvr模型重建成高分辨率图像，得到相应结构相似性与峰值信噪比的指标，进行模型测试；s5：使用avizo软件对二维切片进行三维重建，得到充满孔缝细节信息的三维柱塞状煤岩岩心。2.根据权利要求1所述的煤岩数字岩心序列图片多尺度融合与超分辨率重建方法，其特征在于：所述s1包括以下步骤，s11：通过ct扫描，获取像素点直径为9um的低分辨率图像和像素点直径为0.3um的高分辨率图像；s12：高分辨率二维切片图像数量与低分辨率二维切片图像数量比例为1：3。3.根据权利要求1或2所述的煤岩数字岩心序列图片多尺度融合与超分辨率重建方法，其特征在于：所述s2包括以下步骤，s21：将低分辨率图像按最佳配准比例上采样并保留原始低分辨率下的图像信息；s22：将上采样的低分辨率图像与高分辨率图像进行sift特征点对齐；s23：将对齐后的高分辨率图像信息融合重建在低分辨率图像中作为标签集，根据保留的原始低分辨率图像样本，制作时间序列数据集。4.根据权利要求1或2所述的煤岩数字岩心序列图片多尺度融合与超分辨率重建方法，其特征在于：所述s3包括以下步骤，s31：通过滑动窗口制作时间序列数据集，将所述时间序列数据集输入模型中；s32：通过金字塔级联可变形卷积层帧间对齐；s33：利用帧间的时间关系和帧内的空间关系，进行tsa融合，为每一帧分配像素级的聚合权重；s34：将经空间与时间注意力融合后的特征块f送进sr网络进行重建，重建出高分辨率的二维岩心切片支持帧图像；s35：将重建后的二维岩心切片图像经上采样层，通过使用亚像素卷积的方式来提升特征块的大小，生成hr层级的图像，将所述预测图像和来自输入端且通过上采样获取的二维岩心切片参考帧图像进行相连，输出其超分辨率的图像。5.根据权利要求4所述的煤岩数字岩心序列图片多尺度融合与超分辨率重建方法，其特征在于：所述s32包括以下步骤，s321：将输入的同一时间窗口下的二维岩心切片序列图像通过卷积输出各自的特征块，作为第一层的特征信息；使用步长为2的卷积操作，获得该层下采样的特征信息，他们的图像大小以2倍进行衰减；s322：从顶层l3开始，对该层的二维岩心切片参考帧图像的特征块进行拼接融合输出该层的偏移量，然后将该偏移量和该层二维岩心切片支持帧图像的特征块进行可变形卷积
输出该层对齐之后的二维岩心切片参考帧图像的特征块；s323：将第三层生成的偏移量和该层对齐之后的二维岩心切片参考帧特征图通过双线性插值法上采样输送至第二层，第二层的偏移量的获取不仅来源于该层2个输入特征块，还来源于第三层的偏移量；此外该层输出的对齐特征块不仅来源于该层可变形卷积的输出，还取决于第三层的对齐特征块，以此类推，直到输出对齐后的二维岩心切片支持帧图像的特征块；s324：在金字塔结构之外，将第一层的二维岩心切片参考帧图像特征块和第一层的特征信息，进行拼接融合输出一个偏移量，然后利用这个偏移量和第一层特征信息进行可变形卷积输出二维岩心切片支持帧特征块的对齐版本。6.根据权利要求4所述的煤岩数字岩心序列图片多尺度融合与超分辨率重建方法，其特征在于：所述s33包括以下步骤，s331：对输入的二维岩心切片帧图像进行卷积学习得到一个嵌入空间，再计算输入的二维岩心切片支持帧图像与二维岩心切片参考帧图像在嵌入空间中的特征信息相似度，得到与时间注意力融合后的特征块；s332：将融合了时间注意力的特征块置入呈金字塔状的空间注意力架构中，先对齐使用2次卷积下采样，然后从顶层开始自顶向下通过上采样、相加、点乘操作输出结合空间注意力融合的特征块。7.根据权利要求4所述的煤岩数字岩心序列图片多尺度融合与超分辨率重建方法，其特征在于：所述s34中的所述重建方法为双三次插值法。8.一种装置，其特征在于：运行如权利要求1至7任意一项所述的数据处理方法。9.一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的算法，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的数据处理方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机算法，其特征在于，所述计算机算法被处理器执行时实现如权利要求1至7任意一项所述的数据处理方法。

技术总结
本发明公开了煤岩数字岩心序列图片多尺度融合与超分辨率重建方法，包括以下步骤：获取数据集，包括低分辨率图像和高分辨率图像；数据预处理，进行多尺度图像的特征点对齐与融合，制作时间序列数据集；将时间序列数据集输入到序列图像超分辨率重建EDVR模型训练，得到融合后的高分辨率图像与原始低分辨率图像的映射关系；根据该映射关系，将未融合的低分辨率图像经过EDVR模型重建成高分辨率图像，得到相应结构相似性与峰值信噪比的指标，进行模型测试；使用avizo软件对二维切片进行三维重建，得到充满孔缝细节信息的三维柱塞状煤岩岩心。本发明基于深度学习，能快速准确地获得显示大视域的高分辨率图像，降本增效，且不需要大量人工操作，减少人工误差。减少人工误差。减少人工误差。


技术研发人员：胡维强 徐长贵 李洋冰 马立涛 李盼盼 柳雪青 刘成 刘再振 张波 王威 李晨晨 乔方 陈建奇
受保护的技术使用者：中海油能源发展股份有限公司
技术研发日：2023.03.16
技术公布日：2023/8/1