一种基于液晶微透镜阵列的图像质量提高方法及系统

1.本发明涉及机器学习及计算摄像学技术领域，具体而言，涉及一种基于液晶微透镜阵列的图像质量提高方法及系统。


背景技术：

2.传统光学微透镜阵列，易受制于现有光学元件孔径、景深、曝光时间、曝光水平等因素的影响，难以与传感器高效组合，会明显降低传感器图像频带宽度，成像也易形变造成大幅降质；而液晶是一种性能优异的光电材料，经多年发展，液晶微透镜阵列可弥补传统玻璃型光学微透镜阵列的不足，也已在一些成像应用中取代了传统玻璃型元件，但其仍存在色差、分辨率不高等问题，会严重影响液晶微透镜阵列的成像质量。
3.为了解决液晶微透镜阵列在宽谱段成像中由于自身散射特性导致的像质退化问题，传统方法是在液晶微透镜阵列后放置一个衍射光学元件，进行相位补偿，来校正液晶微透镜阵列所带来的色差；但由于设计出该衍射光学元件，需使用柯西色散近似理论来计算，造成整个过程计算量较大，且整个设计流程也较为复杂，且该衍射光学元件制备完成后，还存在成品光透射率下降等问题。


技术实现要素：

4.本发明的目的在于提供一种基于液晶微透镜阵列的图像质量提高方法及系统，以解决目前液晶微透镜阵列的成像存在色差和分辨率低的问题。
5.本发明的实施例是这样实现的：
6.第一方面，本技术实施例提供了基于液晶微透镜阵列的成像质量提高方法，包括以下步骤：
7.获取不同电压下的二维光场图像序列，对于二维光场图像序列中的每张第一图像，第一图像为分辨率为第一分辨率、且带有色差的图像；
8.对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，第二图像为分辨率为第二分辨率、且已消除色差的图像，第一分辨率小于第二分辨率。
9.本发明的有益效果是：使用图像质量增强模型解决了液晶成像系统中的色差问题并提升图像分辨率，充分挖掘了面向液晶基的成像系统潜力，优化了液晶基成像系统的设计流程，为实现高质量液晶基成像系统提出了一条新的思路。
10.在上述技术方案的基础上，本发明还可以做如下改进。
11.进一步，上述图像质量增强模型包括色差特征提取模块、重构模块和上采样模块；
12.对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，包括：
13.通过色差提取模块，提取第一图像的色差特征；
14.根据第一图像的色差特征，通过重构模块对第一图像进行特征重构，获得已消除
色差的第一图像；
15.通过上采样模块，对已消除色差的第一图像进行重组，得到第二图像。
16.采用上述进一步方案的有益效果是：通过图像质量增强模型分别对第一图像进行特征提取、特征重构和消色差处理，以获得已消除色差和提升分辨率后的第二图像。
17.进一步，上述色差特征提取模块包括多个卷积层；其中，通过色差提取模块，提取第一图像的色差特征，包括：
18.获取第一图像对应的二维光场图像序列，二维光场图像序列包括多张二维光场图像；
19.将二维光场图像序列进行分解，得到多张二维光场图像；
20.对于每张二维光场图像，通过色差特征提取模块的多个卷积层，提取二维光场图像的空间特征，以及提取二维光场图像对应的预测图像的互补特征，色差特征包括空间特征和互补特征；
21.重构模块包括多个卷积层；其中，通过重构模块，根据第一图像的色差特征，对第一图像进行特征重构，获得已消除色差的第一图像，包括：
22.重构模块包括多个卷积层；其中，通过重构模块，根据第一图像的色差特征，对第一图像进行特征重构，获得已消除色差的第一图像，包括：
23.对于每张二维光场图像，通过重构模块的多个卷积层，对二维光场图像对应的空间特征和互补特征进行特征融合，得到已消除色差的第一图像；
24.上采样模块包括多个卷积层和pixelshuffle-2d层，其中，通过上采样模块，对已消除色差的第一图像进行重组，得到第二图像，包括：
25.通过上采样模块的多个卷积层，对已消除色差的第一图像的进行信息还原，获得分辨率为第一分辨率且已消除色差的第一图像；
26.通过pixelshuffle-2d层，提高分辨率为第一分辨率且已消除色差的第一图像的分辨率，得到第二图像。
27.采用上述进一步方案的有益效果是：通过色差特征的提取、根据色差特征对第一图像进行特征重构、最后对第一图像进行重组和还原，通过这样处理图像，利用光场图像序列之间的相关性，充分提取图像特征，使获得的第二图像消除色差，更加清晰，从而提高图像质量。
28.进一步，上述图像质量增强模型是基于以下方式训练得到的：
29.获取初始训练样本，初始训练样本中包括多张第三图像，每张第三图像为分辨率为第三分辨率，且无色差的图像；
30.在每张第三图像中加入色差，得到包括多张第四图像的目标训练样本；
31.将目标训练样本输入初始模型，得到每张第四图像对应的预测图像，预测图像为分辨率为第四分辨率、且无色差的图像；
32.根据各张第四图像和各张预测图像，确定初始模型的第一损失函数值；
33.根据每张第四图像的rgb值和每张预测图像的rgb值，确定初始模型的第二损失函数值；
34.根据第一损失函数值和第二损失函数值，确定初始模型的总损失函数值，若总损失函数值满足预设的训练结束条件，将满足训练结束条件的初始模型确定为图像质量增强
模型，若总损失函数值不满足训练结束条件，调整初始模型的模型参数，并基于调整后的模型参数重新训练初始模型，直到总损失函数值满足训练结束条件。
35.采用上述进一步方案的有益效果是：通过确定的第一损失函数值和第二损失函数值，从两个维度来实现对模型的训练，这样的好处是获得高精度的图像质量增强模型，使图像质量增强模型在使用于消色差和提升分辨率时，精度更高。
36.进一步，上述在每张第三图像中加入色差，得到包括多张第四图像的目标训练样本，包括：
37.对于每张第三图像，计算得到第三图像对应的色差偏置数值；
38.通过各个色差偏置数值对初始训练样本进行计算，得到包括多张第四图像的目标训练样本。
39.采用上述进一步方案的有益效果是：向第三图像中加入色差后，使获得的样本中具有色差特征，好处是获得能用于初始训练模型使用的目标训练样本，最终实现消色差的目的。
40.进一步，上述获取不同电压下的二维光场图像序列，包括：
41.对于每张第一图像，对第一图像进行光场渲染，得到与第一图像对应的二维光场图像序列，二维光场图像序列为除去液晶微透镜阵列的圆孔阵列的第一图像。
42.采用上述进一步方案的有益效果是：通过光场渲染达到出去圆孔阵列的目的，避免第一图像中液晶微透镜阵列的圆孔阵列对后续消色差的流程造成影响。
43.进一步，上述不同电压下的二维光场图像序列为通过基于液晶微透镜阵列搭建的光场成像装置获取的，其中，光场成像装置包括依次设置的电脑、ccd相机、氧化锌液晶微透镜阵列、偏振片和主透镜，氧化锌液晶微透镜阵列包括铝膜、两个玻璃衬底、氧化锌微结构和向列相液晶。
44.采用上述进一步方案的有益效果是：采用上述成像装置，通过改变氧化锌液晶微透镜阵列电压，调节该氧化锌液晶微透镜阵列中液晶分子的折射率，获得不同电压下的光场图像；与传统成像方法相比，使用氧化锌液晶微透镜阵列成像在不增加成像系统的复杂度和成本的情况下，提高成像系统的分辨率。
45.第二方面，本技术实施例提出一种基于液晶微透镜阵列的图像质量提高系统，包括：
46.获取模块，用于获取不同电压下的二维光场图像序列，对于二维光场图像序列中的每张第一图像，第一图像为分辨率为第一分辨率、且带有色差的图像；
47.图像质量提高模块，用于对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，第二图像为分辨率为第二分辨率、且已消除色差的图像，第一分辨率小于第二分辨率。
48.第三方面，本技术实施例提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面中任一项的方法。
49.第四方面，本技术实施例提出一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面中任一项的方法。
附图说明
50.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
51.图1为本发明实施例中成像质量提高方法的流程图；
52.图2为本发明实施例中光场成像装置的连接示意图；
53.图3为本发明实施例中成像质量提高系统的连接示意图；
54.图4为本发明实施例中电子设备的连接示意图。
具体实施方式
55.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
56.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
58.实施例
59.本实施例提供一种基于液晶微透镜阵列的图像质量提高方法，包括以下步骤：
60.获取不同电压下的二维光场图像序列，对于二维光场图像序列中的每张第一图像，第一图像为分辨率为第一分辨率、且带有色差的图像；
61.对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，第二图像为分辨率为第二分辨率、且已消除色差的图像，第一分辨率小于第二分辨率。
62.其中，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，解决了液晶微透镜阵列的色差问题，同时增强了图像分辨率，优化了液晶基成像系统的设计流程，为实现高质量液晶基成像系统提出了一条新的思路。
63.可选的，上述图像质量增强模型包括色差特征提取模块、重构模块和上采样模块；
64.对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，包括：
65.通过色差提取模块，提取第一图像的色差特征；
66.根据第一图像的色差特征，通过重构模块对第一图像进行特征重构，获得已消除色差的第一图像；
67.通过上采样模块，对已消除色差的第一图像进行重组，得到第二图像。
68.其中，通过色差提取模块提取第一图像的色差特征，其次通过重构模块对提取的
色差特征进行重构，以获得已消除色差的第一图像，最后通过上采样模块对已消除色差的第一图像进行重组，得到第二图像，第二图像即为分辨率为第二分辨率、且已消除色差的图像。
69.可选的，上述色差特征提取模块包括多个卷积层；其中，通过色差提取模块，提取第一图像的色差特征，包括：
70.获取第一图像对应的二维光场图像序列，二维光场图像序列包括多张二维光场图像；
71.将二维光场图像序列进行分解，得到多张二维光场图像；
72.对于每张二维光场图像，通过色差特征提取模块的多个卷积层，提取二维光场图像的空间特征，以及提取二维光场图像对应的预测图像的互补特征，色差特征包括空间特征和互补特征；
73.具体地，色差特征提取模块还可以包括2个3*3卷积层、1个relu层和4个sc模块，其中，sc模块由2个3*3卷积和一个relu层构成；可以将多个连续不同电压下采集到的第一图像，经过光场渲染处理为二维光场图像序列输入至网络，二维光场图像与初始训练样本中的vimeo90k数据集中的图像接近，其次，通过卷积层的滑动扫描输入二维光场图像，sc模块的s分支提取图像的空间特征，如边缘、线条、角点等特征；sc模块的c分支对相邻图像的互补图像进行特征提取，获得互补特征，如互补图像的边缘、线条、角点等特征，从而将两种不同信息输入到sc模块，这样不仅能够锐化每一电压下图像信息的结构，而且还能够恢复缺失的细节。
74.重构模块包括多个卷积层；其中，通过重构模块，根据第一图像的色差特征，对第一图像进行特征重构，获得已消除色差的第一图像，包括：
75.对于每张二维光场图像，通过重构模块的多个卷积层，对二维光场图像对应的空间特征和互补特征进行特征融合，得到已消除色差的第一图像；
76.具体地，重构模块作为网络的主干部分，可以由2个3*3卷积层、1个relu层和18个rdb模块组成，rdb模块由多个1*1卷积层、3*3卷积层和relu层跳跃连接构成；1*1卷积层的添加目的是降维减少计算量，又能够融合各通道之间的特征；密集跳跃连接的目的是提高梯度传播的流动性，充分利用浅层特征以增加重构特征的精度。
77.具体地，在重构模块中，卷积层的作用是特征融合，将sc模块分支得到的空间特征和互补特征在通道维度上进行融合，融合后的特征图包含两个分支的特征信息；rdb模块(密集残差)的作用是：首先，可以提取丰富的局部特征:rdb模块由多个卷积层堆叠而成，rdb模块的每个卷积层都可以提取输入的局部特征，并且这些特征在经过模块内的连接而被加深和扩展，可以提取到空间特征和互补特征中更局部的色差特征；其次，rdb模块通过addition连接使得rdb模块中每个卷积层的输出都被直接传递到下一层,这种连接方式可以进行残差学习；再次，在前向传播时,rdb模块的每个卷积层的输出都会被其他卷积层使用,实现特征的重用，这种连接方式可以最大限度地重用特征；最后，通过堆叠多个rdb模块,可以构建很深的网络结构以学习输入的映射函数，例如，包含16个rdb模块的叠加,以构建较深的网络结构进行特征提取和学习，因此，rdb模块通过卷积层的堆叠和残差连接,实现了丰富特征的提取、残差学习、特征重用以及网络的加深。
78.上采样模块包括多个卷积层和pixelshuffle-2d层，其中，通过上采样模块，对已
消除色差的第一图像进行重组，得到第二图像，包括：
79.通过上采样模块的多个卷积层，对已消除色差的第一图像的进行信息还原，获得分辨率为第一分辨率且已消除色差的第一图像；
80.通过pixelshuffle-2d层，提高分辨率为第一分辨率且已消除色差的第一图像的分辨率，得到第二图像。
81.具体地，上采样模块中卷积层的作用是特征上采样和空间特征还原，上采样模块中的卷积层通过转置卷积对特征图进行上采样，以恢复特征图的分辨率，获得更高分辨率的特征图，清晰地恢复空间特征互补特征,使得特征图变得更加光滑自然；pixelshuffle-2d层的作用是输入上采样模块的卷积层得到的特征图进行2倍上采样,使得输出特征图的分辨率提高2倍，其主要利用重排像素的方式来增加特征图的分辨率,恢复空间特征,与转置卷积相比具有更高的计算效率和更少的混叠影响，最终获得分辨率为第二分辨率且已消除色差的第二图像。
82.可选的，上述色差特征提取模块、重构模块和上采样模块中，均还可以包括relu层，relu层的作用是激活映射，是各个模块的卷积层中的激活函数，用于对特征图(包括空间特征和互补特征)进行非线性映射,增加特征图的非线性表达能力。
83.可选的，上述图像质量增强模型是基于以下方式训练得到的：
84.获取初始训练样本，初始训练样本中包括多张第三图像，每张第三图像为分辨率为第三分辨率，且无色差的图像；
85.在每张第三图像中加入色差，得到包括多张第四图像的目标训练样本；
86.将目标训练样本输入初始模型，得到每张第四图像对应的预测图像，预测图像为分辨率为第四分辨率、且无色差的图像；
87.根据各张第四图像和各张预测图像，确定初始模型的第一损失函数值；
88.根据每张第四图像的rgb值和每张预测图像的rgb值，确定初始模型的第二损失函数值；
89.根据第一损失函数值和第二损失函数值，确定初始模型的总损失函数值，若总损失函数值满足预设的训练结束条件，将满足训练结束条件的初始模型确定为图像质量增强模型，若总损失函数值不满足训练结束条件，调整初始模型的模型参数，并基于调整后的模型参数重新训练初始模型，直到总损失函数值满足训练结束条件。
90.其中，对于获得的初始训练样本，可以是vimeo90k数据集，vimeo90k数据集中包括了多个分辨率为第三分辨率，且无色差的图像，通过再初始训练样本中加入色差，从而获得目标训练样本，最后通过目标训练样本对初始模型进行训练，在初始模型合格后，将初始模块确定为图像质量增强模型。
91.具体地，通过计算初始模型的第一损失函数值和初始模型的第二损失函数值，来确定初始模型的总损失函数值，通过预设的训练结束条件，来判断初始模型的总损失函数值是否满足，若初始模型的总损失函数值满足预设的训练结束条件，则将初始模型确定为图像质量增强模型。
92.具体地，总损失函数值可以通过第一公式表示，第一公式表示为：
93.94.其中，表示第一损失函数值，表示为第二损失函数值，
y(i)
表示第四图像，表示预测图像，r(i)、g(i)、
b(i)
代表的是红、绿、蓝色通道的理论强度值，i表示图像的第i个像素值，总共m个；r0(i)、g0(i)、b0(i)代表的是红、绿、蓝色通道的实际强度值；λ1为折衷参数，用于控制第二损失函数值的强度，ε表示为正数，表示梯度算子，
95.可选的，上述在每张第三图像中加入色差，得到包括多张第四图像的目标训练样本，包括：
96.对于每张第三图像，计算得到第三图像对应的色差偏置数值；
97.通过各个色差偏置数值对初始训练样本进行计算，得到包括多张第四图像的目标训练样本。
98.其中，计算第三图像对应的色差偏置数值可以利用cmc(l：c)色差公式进行计算，获得色差偏置数值后，再对vimeo90k数据集(初始训练样本)进行计算，即完成构建图像质量增强模型的降质数据集(目标训练样本)。
99.具体地，计算色差偏置数值可以通过第二公式表示，第二公式表示为：
[0100][0101]
式中，l为容差椭圆形中的图像明度，c为容差椭圆形中的图像彩度，h为容差椭圆形中的图像色调。
[0102]
式中，和代表两个第三图像的容差椭圆形中的图像明度；和代表两个第三图像的容差椭圆形中的图像彩度；代表两个第三图像的容差椭圆形中的图像色调差；l是明度加权值，调节明度的相对宽容量；s
l
,sc,sh分别为明度差、彩度差和色调差的权重函数，其中，s
l
＝0.040975l
*
/(1+0.01765l
*
),s.t.l
*
≥16；s
l
＝0.511,s.t.l
*
＜16；sc＝0.0638c
*
/(1+0.0131c
*
)+0.638；
[0103]
可选的，为了求解准确，将采集到的多组第三图像进行多次计算，求其平均值，例如，由cmc(1.4:1)可得出色差偏置数值δ＝2.2，以此对vimeo90k数据集(初始训练样本)的r,g,b三通道进行计算。
[0104]
可选的，上述获取不同电压下的二维光场图像序列，包括：
[0105]
对于每张第一图像，对第一图像进行光场渲染，得到与第一图像对应的二维光场图像序列，二维光场图像序列为除去液晶微透镜阵列的圆孔阵列的第一图像。
[0106]
其中，将不同电压下的第一图像进行光场渲染，渲染前为带有液晶微透镜圆孔阵列的第一图像，渲染后为除去圆孔阵列的二维光场图像序列。
[0107]
可选的，上述不同电压下的二维光场图像序列为通过基于液晶微透镜阵列搭建的光场成像装置获取的，其中，光场成像装置包括依次设置的电脑、ccd相机、氧化锌液晶微透镜阵列、偏振片和主透镜，氧化锌液晶微透镜阵列包括铝膜、两个玻璃衬底、氧化锌微结构和向列相液晶。
[0108]
其中，本发明实施例的基于液晶微透镜阵列的光场成像装置的示意图可以参见图2，具体地，该光场成像装置从右至左依次可以包括电脑(pc)、ccd相机(ccd)、氧化锌液晶微透镜阵列(zno lc-mla)、偏振片(polarizer)、主透镜(main lens)和目标物体(object)。
[0109]
第二方面，本技术实施例提出一种基于液晶微透镜阵列的图像质量提高系统，包括：
[0110]
获取模块，用于获取不同电压下的二维光场图像序列，对于二维光场图像序列中的每张第一图像，第一图像为分辨率为第一分辨率、且带有色差的图像；
[0111]
图像质量提高模块，用于对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，第二图像为分辨率为第二分辨率、且已消除色差的图像，第一分辨率小于第二分辨率。
[0112]
可选的，上述所述图像质量增强模型包括色差特征提取模块、重构模块和上采样模块；
[0113]
上述图像质量提高模块，包括：
[0114]
第一处理模块，用于通过所述色差提取模块，提取所述第一图像的色差特征；
[0115]
第二处理模块，用于根据所述第一图像的色差特征，通过所述重构模块对所述第一图像进行特征重构，获得已消除色差的第一图像；
[0116]
第三处理模块，用于通过所述上采样模块，对所述已消除色差的第一图像进行重组，得到所述第二图像。
[0117]
可选的，上述所述色差特征提取模块包括多个卷积层；其中，第一处理模块，包括：
[0118]
第一处理子模块，用于获取所述第一图像对应的二维光场图像序列，所述二维光场图像序列包括多张二维光场图像；
[0119]
第二处理子模块，用于将所述二维光场图像序列进行分解，得到多张所述二维光场图像；
[0120]
第三处理子模块，用于对于每张所述二维光场图像，通过所述色差特征提取模块的多个所述卷积层，提取所述二维光场图像的空间特征，以及提取所述二维光场图像对应的预测图像的互补特征，所述色差特征包括所述空间特征和所述互补特征；
[0121]
所述重构模块包括多个卷积层；其中，第二处理模块，包括：
[0122]
第四处理子模块，用于对于每张所述二维光场图像，通过所述重构模块的多个所述卷积层，对所述二维光场图像对应的空间特征和互补特征进行特征融合，得到已消除色差的第一图像；
[0123]
所述上采样模块包括多个卷积层和pixelshuffle-2d层，其中，第三模块，包括：
[0124]
第五处理子模块，用于通过上采样模块的多个所述卷积层，对所述已消除色差的第一图像的进行信息还原，获得分辨率为第一分辨率且已消除色差的第一图像；
[0125]
第六处理子模块，用于通过所述pixelshuffle-2d层，提高所述分辨率为第一分辨率且已消除色差的第一图像的分辨率，得到所述第二图像。
[0126]
可选的，上述图像质量提高模块包括：
[0127]
获取子模块，用于获取初始训练样本，所述初始训练样本中包括多张第三图像，每张所述第三图像为分辨率为第三分辨率，且无色差的图像；
[0128]
色差子模块，用于在每张所述第三图像中加入色差，得到包括多张第四图像的目
标训练样本；
[0129]
输入子模块，用于将所述目标训练样本输入初始模型，得到每张所述第四图像对应的所述预测图像，所述预测图像为分辨率为第四分辨率、且无色差的图像；
[0130]
第一损失子模块，用于根据各张所述第四图像和各张所述预测图像，确定所述初始模型的第一损失函数值；
[0131]
第二损失子模块，用于根据每张所述第四图像的rgb值和每张所述预测图像的rgb值，确定所述初始模型的第二损失函数值；
[0132]
模型确定子模块，用于根据所述第一损失函数值和所述第二损失函数值，确定所述初始模型的总损失函数值，若所述总损失函数值满足预设的训练结束条件，将满足所述训练结束条件的初始模型确定为所述图像质量增强模型，若所述总损失函数值不满足所述训练结束条件，调整所述初始模型的模型参数，并基于调整后的模型参数重新训练所述初始模型，直到所述总损失函数值满足所述训练结束条件。
[0133]
可选的，上述色差子模块包括：
[0134]
计算单元，用于对于每张所述第三图像，计算得到所述第三图像对应的色差偏置数值；
[0135]
目标样本单元，用于通过各个所述色差偏置数值对初始训练样本进行计算，得到包括多张第四图像的目标训练样本。
[0136]
可选的，上述获取模块包括：
[0137]
渲染子模块，用于对于每张所述第一图像，对所述第一图像进行光场渲染，得到与所述第一图像对应的所述二维光场图像序列，所述二维光场图像序列为除去液晶微透镜阵列的圆孔阵列的第一图像。
[0138]
第三方面，本技术实施例提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面中任一项的方法。
[0139]
第四方面，本技术实施例提出一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面中任一项的方法。
[0140]
对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其它的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

技术特征：
1.一种基于液晶微透镜阵列的图像质量提高方法，其特征在于，包括以下步骤：获取不同电压下的二维光场图像序列，对于所述二维光场图像序列中的每张第一图像，所述第一图像为分辨率为第一分辨率、且带有色差的图像；对于每张所述第一图像，通过预先训练的图像质量增强模型对所述第一图像进行图像质量增强处理，得到所述第一图像对应的第二图像，所述第二图像为分辨率为第二分辨率、且已消除色差的图像，所述第一分辨率小于所述第二分辨率。2.根据权利要求1所述的基于液晶微透镜阵列的图像质量提高方法，其特征在于，所述图像质量增强模型包括色差特征提取模块、重构模块和上采样模块；对于每张所述第一图像，所述通过预先训练的图像质量增强模型对所述第一图像进行图像质量增强处理，得到所述第一图像对应的第二图像，包括：通过所述色差提取模块，提取所述第一图像的色差特征；根据所述第一图像的色差特征，通过所述重构模块对所述第一图像进行特征重构，获得已消除色差的第一图像；通过所述上采样模块，对所述已消除色差的第一图像进行重组，得到所述第二图像。3.根据权利要求2所述的基于液晶微透镜阵列的图像质量提高方法，其特征在于，所述色差特征提取模块包括多个卷积层；其中，所述通过所述色差提取模块，提取所述第一图像的色差特征，包括：获取所述第一图像对应的二维光场图像序列，所述二维光场图像序列包括多张二维光场图像；将所述二维光场图像序列进行分解，得到多张所述二维光场图像；对于每张所述二维光场图像，通过所述色差特征提取模块的多个所述卷积层，提取所述二维光场图像的空间特征，以及提取所述二维光场图像对应的预测图像的互补特征，所述色差特征包括所述空间特征和所述互补特征；所述重构模块包括多个卷积层；其中，所述通过所述重构模块，根据所述第一图像的色差特征，对所述第一图像进行特征重构，获得已消除色差的第一图像，包括：对于每张所述二维光场图像，通过所述重构模块的多个所述卷积层，对所述二维光场图像对应的空间特征和互补特征进行特征融合，得到已消除色差的第一图像；所述上采样模块包括多个卷积层和pixelshuffle-2d层，其中，通过所述上采样模块，对所述已消除色差的第一图像进行重组，得到所述第二图像，包括：通过上采样模块的多个所述卷积层，对所述已消除色差的第一图像的进行信息还原，获得分辨率为第一分辨率且已消除色差的第一图像；通过所述pixelshuffle-2d层，提高所述分辨率为第一分辨率且已消除色差的第一图像的分辨率，得到所述第二图像。4.根据权利要求2所述的基于液晶微透镜阵列的图像质量提高方法，其特征在于，所述图像质量增强模型是基于以下方式训练得到的：获取初始训练样本，所述初始训练样本中包括多张第三图像，每张所述第三图像为分辨率为第三分辨率，且无色差的图像；在每张所述第三图像中加入色差，得到包括多张第四图像的目标训练样本；将所述目标训练样本输入初始模型，得到每张所述第四图像对应的所述预测图像，所
述预测图像为分辨率为第四分辨率、且无色差的图像；根据各张所述第四图像和各张所述预测图像，确定所述初始模型的第一损失函数值；根据每张所述第四图像的rgb值和每张所述预测图像的rgb值，确定所述初始模型的第二损失函数值；根据所述第一损失函数值和所述第二损失函数值，确定所述初始模型的总损失函数值，若所述总损失函数值满足预设的训练结束条件，将满足所述训练结束条件的初始模型确定为所述图像质量增强模型，若所述总损失函数值不满足所述训练结束条件，调整所述初始模型的模型参数，并基于调整后的模型参数重新训练所述初始模型，直到所述总损失函数值满足所述训练结束条件。5.根据权利要求4所述的基于液晶微透镜阵列的图像质量提高方法，其特征在于，所述在每张所述第三图像中加入色差，得到包括多张第四图像的目标训练样本，包括：对于每张所述第三图像，计算得到所述第三图像对应的色差偏置数值；通过各个所述色差偏置数值对初始训练样本进行计算，得到包括多张第四图像的目标训练样本。6.根据权利要求1至3中任一项所述的基于液晶微透镜阵列的图像质量提高方法，其特征在于，所述获取不同电压下的二维光场图像序列，包括：对于每张所述第一图像，对所述第一图像进行光场渲染，得到与所述第一图像对应的所述二维光场图像序列，所述二维光场图像序列为除去液晶微透镜阵列的圆孔阵列的第一图像。7.根据权利要求1至3中任一项所述的基于液晶微透镜阵列的图像质量提高方法，所述不同电压下的二维光场图像序列为通过基于液晶微透镜阵列搭建的光场成像装置获取的，其中，所述光场成像装置包括依次设置的电脑、ccd相机、氧化锌液晶微透镜阵列、偏振片和主透镜，所述氧化锌液晶微透镜阵列包括铝膜、两个玻璃衬底、氧化锌微结构和向列相液晶。8.一种基于液晶微透镜阵列的图像质量提高系统，其特征在于，包括：获取模块，用于获取不同电压下的二维光场图像序列，对于所述二维光场图像序列中的每张第一图像，所述第一图像为分辨率为第一分辨率、且带有色差的图像；图像质量提高模块，用于对于每张所述第一图像，通过预先训练的图像质量增强模型对所述第一图像进行图像质量增强处理，得到所述第一图像对应的第二图像，所述第二图像为分辨率为第二分辨率、且已消除色差的图像，所述第一分辨率小于所述第二分辨率。9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现权利要求1-7中任一项所述的方法。10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行权利要求1-7中任一项所述的方法。

技术总结
本发明提出了一种基于液晶微透镜阵列的图像质量提高方法及系统，涉及机器学习及计算摄像学技术领域；该方法包括以下步骤：获取不同电压下的二维光场图像序列，对于二维光场图像序列中的每张第一图像，第一图像为分辨率为第一分辨率、且带有色差的图像；对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，第二图像为分辨率为第二分辨率、且已消除色差的图像，第一分辨率小于第二分辨率；使用图像质量增强模型解决了液晶成像系统中的色差问题并提升图像分辨率，充分挖掘了面向液晶基的成像系统潜力，优化了液晶基成像系统的设计流程，为实现高质量液晶基成像系统提出了一条新的思路。出了一条新的思路。出了一条新的思路。


技术研发人员：李晖 李甜
受保护的技术使用者：武汉工程大学
技术研发日：2023.05.29
技术公布日：2023/9/20