一种多深度全息图生成方法、系统、电子设备及存储介质与流程

1.本发明涉及全息领域，特别是涉及一种多深度全息图生成方法、系统、电子设备及存储介质。


背景技术：

[0002]“曲面异形”“超大屏”“超大视角”“8k超级屏”等不断发展的平面显示技术极大方便了人们的生产、生活和工作，但是随着人们生活水平的提高，二维显示技术中所固有的问题(如沉浸感不强、代入感差等)也严重影响了人们的观看效果和视觉品质。因此近些年来，三维显示技术蓬勃发展，有效提升了观众的视觉体验，带给观众身临其境的视觉享受。继高清之后，三维显示技术已经成为下一代显示技术发展的重心。
[0003]
目前三维显示技术大多是基于双目立体显示技术的原理。双目立体显示技术通过给双眼直接呈现具有不同视角的视差图像，依靠人自身的大脑还原真实的空间关系，使观众获得图像中包含的深度信息，从而实现三维立体显示的视觉体验，其实现方式主要包括分色、分光、分时、光栅等方式。这种显示方式具有效率高、成本低、精度合适、系统结构简单等优点，但其依赖于双目视差，而不是从根本上提供真正的自然立体视觉，割裂了人眼成像系统中聚焦与辐辏的相关性，导致观众产生疲劳、头晕等不适症状，因此开发视觉体验更加自然的显示技术已经成为显示和成像领域的一个热点问题。
[0004]
计算全息(computer generated hologram，cgh)结合计算机技术与传统的光学全息术，能够提供包括辐辏、聚焦、遮挡和深度等在内的多种视觉线索，是一种真三维显示技术。且随着空间光调制器(spatial lightmodulator，slm)和激光设备的不断发展，通过计算全息对三维场景还原出的深度信息已经愈加逼近真实效果。而传统的方法编码方式单一，生成速度和再现质量的关系较为固定，基本不能调整。


技术实现要素：

[0005]
本发明的目的是提供一种多深度全息图生成方法、系统、电子设备及存储介质，可根据生成质量和生成速度灵活地调整网络参数，从而提高生成过程的灵活性。
[0006]
为实现上述目的，本发明提供了如下方案：
[0007]
一种多深度全息图生成方法，包括：
[0008]
获取多深度图像的训练集和测试集；
[0009]
根据所述训练集利用全卷积神经网络生成纯相位全息图；
[0010]
根据所述纯相位全息图确定全息图不同深度处的衍射场；
[0011]
根据全息图不同深度处的所述衍射场确定多深度损失函数；
[0012]
根据所述训练集利用所述多深度损失函数对所述全卷积神经网络进行训练，得到纯相位全息图生成模型；
[0013]
根据所述测试集利用所述纯相位全息图生成模型生成多深度全息图。
[0014]
可选地，所述全卷积神经网络包括依次连接的输入层、下采样层、中间层、上采样
层和输出层；所述下采样层还与所述上采样层跳跃连接。
[0015]
可选地，根据所述训练集利用全卷积神经网络生成纯相位全息图，具体包括：
[0016]
将所述训练集中目标图像的单通道灰度图和单通道深度图输入所述全卷积神经网络，生成纯相位全息图。
[0017]
可选地，根据全息图不同深度处的所述衍射场确定多深度损失函数，具体包括：
[0018]
根据全息图不同深度处的所述衍射场的强度分布确定全息图不同深度处的衍射场的强度分布；
[0019]
根据全息图不同深度处的衍射场的强度分布和目标图像的灰度值分布确定误差函数；
[0020]
根据所述误差函数确定多深度损失函数。
[0021]
可选地，所述多深度损失函数的表达式为：
[0022][0023]
其中，loss为多深度损失函数，ln(x,y)为误差函数，w(n)为单调递增函数，n为第n个深度平面，n为离散的深度平面总数。
[0024]
本发明还提供一种多深度全息图生成系统，包括：
[0025]
获取模块，用于获取多深度图像的训练集和测试集；
[0026]
纯相位全息图生成模块，用于根据所述训练集利用全卷积神经网络生成纯相位全息图；
[0027]
衍射场确定模块，用于根据所述纯相位全息图确定全息图不同深度处的衍射场；
[0028]
多深度损失函数确定模块，用于根据全息图不同深度处的所述衍射场确定多深度损失函数；
[0029]
训练模块，用于根据所述训练集利用所述多深度损失函数对所述全卷积神经网络进行训练，得到纯相位全息图生成模型；
[0030]
多深度全息图生成模块，用于根据所述测试集利用所述纯相位全息图生成模型生成多深度全息图。
[0031]
可选地，所述全卷积神经网络包括依次连接的输入层、下采样层、中间层、上采样层和输出层；所述下采样层还与所述上采样层跳跃连接。
[0032]
可选地，纯相位全息图生成模块，具体包括：
[0033]
纯相位全息图生成单元，用于将所述训练集中目标图像的单通道灰度图和单通道深度图输入所述全卷积神经网络，生成纯相位全息图。
[0034]
本发明还提供一种电子设备，包括：
[0035]
一个或多个处理器；
[0036]
存储装置，其上存储有一个或多个程序；
[0037]
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述的方法。
[0038]
本发明还提供一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述的方法。
[0039]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0040]
本发明获取多深度图像的训练集和测试集；根据所述训练集利用全卷积神经网络生成纯相位全息图；根据所述纯相位全息图确定全息图不同深度处的衍射场；根据全息图不同深度处的所述衍射场确定多深度损失函数；根据所述训练集利用所述多深度损失函数对所述全卷积神经网络进行训练，得到纯相位全息图生成模型；根据所述测试集利用所述纯相位全息图生成模型生成多深度全息图。本发明使用全卷积神经网络生成多深度纯相位全息图，可以根据生成质量和生成速度灵活地调整网络参数，使得在生成速度和再现质量方面达到一个较好的平衡。
附图说明
[0041]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1为本发明提供的多深度全息图生成方法流程图；
[0043]
图2为彩色图像rdb-d四通道输出结果；
[0044]
图3为深度图像rdb-d四通道输出结果；
[0045]
图4为全卷积神经网络结构示意图。
具体实施方式
[0046]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
本发明的目的是提供一种多深度全息图生成方法、系统、电子设备及存储介质，可根据生成质量和生成速度灵活地调整网络参数，从而提高生成过程的灵活性。
[0048]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0049]
如图1所示，本发明提供的一种多深度全息图生成方法，包括：
[0050]
步骤101：获取多深度图像的训练集和测试集。
[0051]
生成多深度图像训练集。通过官方网站下载安装三维建模软件blender，然后准备多种ojb格式的不同三维物体模型，将这些模型导入到blender中。三维物体模型的数量约为20个左右。将导入物体模型的初始化尺寸设置为l
×w×
h＝1000，其中l、w、h为能恰好包围三维模型的立方体的长度(length)、宽度(width)和高度(height)。为使最终生成的多深度图像训练集具有多样性、适用性和广泛性，需要对导入物体模型的尺寸、位置和角度进行随机化处理。首先取均匀分布在区间[0.8,1.2]上的随机数δ作为放缩因子，将其与模型尺寸叠加后用以随机化模型的尺寸。同理，分别取均匀分布在区间[-20,20]、[-12,12]和[0,15]上的随机数作为模型的x、y和z坐标，分别取均匀分布在区间[0,2π]上的三个随机数作为模型与x轴、y轴和z轴的夹角。经过尺寸、位置和角度的随机化后，三维模型有了更加广泛的分布区间。为使导入模型的色彩还原度更高，与预设色彩更加一致，故将所有模型材质的
透射系数设置为0。同时，在坐标(0,0,100)处添加能量为200000w的聚光灯，相同位置处添加焦距为800mm的摄像机。所有导入模型、灯光和摄像机的参数设置好后，以rgb-d四通道输出渲染结果，如图2和图3所示，渲染结果以rgb彩色图像和深度图像形式保存，图像的分辨率均为4k分辨率(3840
×
2160)。
[0052]
步骤102：根据所述训练集利用全卷积神经网络生成纯相位全息图。如图4所示，所述全卷积神经网络包括依次连接的输入层、下采样层、中间层、上采样层和输出层；所述下采样层还与所述上采样层跳跃连接。上采样层和下采样层均有三个，每个下采样层均与一个上采样层跳跃连接。
[0053]
步骤102，具体包括：将所述训练集中目标图像的单通道灰度图和单通道深度图输入所述全卷积神经网络，生成纯相位全息图。
[0054]
设计全卷积神经网络模型。首先需要搭建一个用于深度学习的计算平台，平台硬件选用显存大于24gb的nvidia显卡，并搭配与之相对应的显卡驱动程序和版本为11.6的cuda运算平台。操作系统方面需要安装ubuntu20.04，编程环境为anconda创建的版本为3.8的python虚拟环境。然后在上述的虚拟环境中安装深度学习框架——pytorch，pytorch的版本需要与操作系统和cuda运算平台的版本相对应。
[0055]
构建一个全卷积神经网络模型，模型由输入层、输出层、三个下采样层、三个上采样层和一个中间层组成。下采样层之间采用“full”卷积方式增加特征图通道和relu函数(线性整流函数)作为激活函数，然后通过最大池化操作降低特征图尺寸。上采样层之间通过“valid”卷积降低特征图通道和relu函数(线性整流函数)作为激活函数，然后通过上卷积操作增加特征图尺寸。对应的上采样层和下采样层(例如第一个下采样层与倒数第一个上采样层，第二个下采样层与倒数第二个上采样层)通过“skip-connection”方式连接，结合在下采样层中提取的浅层特征图和在上采样层中提取的深层特征图以深化目标图像。
[0056]
对于训练集中的目标图像，通过公式(1)转化为灰度图像gray。
[0057]
gray＝r
×
0.299+g
×
0.587+b
×
0.114
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0058]
式(1)中，r、g和b分别代表彩色图像三通道的值。将目标图像的单通道灰度图与单通道深度图作为全卷积神经网络模型的输入，网络模型的输出为纯相位全息图，输出值的区间被设置为[0,2π]。
[0059]
全卷积神经网络模型最高采样层(第一个下采样层和最后一个上采样层)的特征图尺寸设置为32，特征图的最大通道数设置为1024。网络模型使用的优化器为“adam”，初始学习率设置为0.001，学习率衰减的乘法因子是0.5，学习率衰减的间隔为100(每100次训练衰减一次学习率)。网络模型使用l1损失函数(平均绝对误差)和l2损失函数(均方误差)共同计算误差值，两者的权重相等。
[0060]
步骤103：根据所述纯相位全息图确定全息图不同深度处的衍射场。
[0061]
计算全息图在不同深度处的衍射场。将全卷积神经网络模型生成的纯相位全息图加载到相位型空间光调制器上，使用振幅为1的单色平面波垂直照射，忽略初始相位的影响，全息图初始光场的复振幅分布u0(x,y)可以表示为：
[0062]
u0(x,y)＝exp[j
·
φ(x,y)]
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0063]
式(2)中，φ(x,y)为纯相位全息图的相位分布，j为虚数单位，j2＝-1。
[0064]
根据实际需要，设置三维场景的深度区间为[d1,d2]，将三维场景等间隔地离散为n
个深度平面，则第n个深度平面的深度值dn为：
[0065][0066]
对全息图初始光场的复振幅分布u0(x,y)进行二维傅里叶变换(fft)，得到初始光场的频谱其中f
x
、fy分别为初始光场在x方向和y方向上的空间频率，为二维傅里叶变换。初始光场传播到第n个深度平面过程中的光学传递函数hn(f
x
,fy)为：
[0067][0068]
式(4)中，λ为所用单色光源的波长。
[0069]
第n个深度平面上衍射场的频谱为初始光场的频谱和第n个深度平面处光学传递函数的乘积a0(f
x
,fy)
·hn
(f
x
,fy)，对其进行傅里叶逆变换(ifft)，得到第n个深度平面上衍射场的复振幅分布un(x,y)，表示为：
[0070][0071]
其中，为二维傅里叶逆变换。
[0072]
步骤104：根据全息图不同深度处的所述衍射场确定多深度损失函数。
[0073]
步骤104，具体包括：根据全息图不同深度处的所述衍射场的强度分布确定全息图不同深度处的衍射场的强度分布；根据全息图不同深度处的衍射场的强度分布和目标图像的灰度值分布确定误差函数；根据所述误差函数确定多深度损失函数。
[0074]
使用多深度损失函数更新模型参数。目标图像在第n个深度平面上的灰度值分布为in(x,y)，全息图衍射场在第n个深度平面上的强度分布in′
(x,y)为：
[0075]in
′
(x,y)＝|un(x,y)|2ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0076]
将目标图像的灰度值分布与衍射场的强度分布做比较，使用l1损失函数和l2损失函数计算两者的误差函数ln(x,y)：
[0077]
ln(x,y)＝∑|in(x,y)-in′
(x,y)|+∑[in(x,y)-in′
(x,y)]2ꢀꢀꢀꢀꢀ
(7)
[0078]
将所有深度平面上关于目标图像灰度值分布与衍射场强度分布之间的损失函数相叠加，得到多深度损失函数的表达式：
[0079][0080]
式(8)中，loss为多深度损失函数，ln(x,y)为误差函数，n为第n个深度平面，n为离散的深度平面总数。w(n)为单调递增函数，w(n)＝kn，系数k根据训练效果调整。随着衍射距离增加，全卷积网络模型对全息图与衍射场之间非线性关系的拟合效果将会降低，表现为重建图像中深度较大的部分再现效果变差，此时需要添加单调递增函数w(n)以调整不同深度平面处损失函数的权重。
[0081]
根据多深度损失函数计算出的误差值通过反向传播算法作用于网络模型，以更新全卷积神经网络模型的节点参数和权重梯度。
[0082]
步骤105：根据所述训练集利用所述多深度损失函数对所述全卷积神经网络进行
训练，得到纯相位全息图生成模型。
[0083]
训练全卷积神经网络模型。使用多深度图像数据集作为网络模型的训练集，设定一个训练轮次(epoch)为1000，共训练20个epoch。训练过程中重复102-104步，通过多深度损失函数的反向传播不断更新网络模型参数，使得生成的纯相位全息图能够在不同深度平面处均有较好的再现效果。将训练好的网络模型所生成的全息图加载到空间光调制器上，搭建并调试好光路后，即可在对应的深度处观察到具有正确深度信息的三维场景。
[0084]
步骤106：根据所述测试集利用所述纯相位全息图生成模型生成多深度全息图。
[0085]
相对于传统方法生成多深度纯相位全息图的方法，本发明提供的方法存在以下优点：
[0086]
重建效果更加优越。随着衍射距离的增加，衍射场的能量将会衰减，这会造成同一衍射场中深度较大的部分亮度较低。当使用传统的双相位方法编码全息图时，重建图像会在相应部分出现严重的空间移位噪声，极大降低了再现质量。而全卷积神经网络模型通过调整节点参数，能够自动予以相位补偿，以缩小纯相位全息图在该部分相邻相位的差，减少重建图像中的空间移位噪声。
[0087]
生成过程更加灵活。与传统的方法相比，使用全卷积神经网络生成多深度纯相位全息图，可以根据生成质量和生成速度灵活地调整网络参数，使得在生成速度和再现质量方面达到一个较好的平衡。而传统的方法编码方式单一，生成速度和再现质量的关系较为固定，基本不能调整。
[0088]
生成相位更加平滑。与传统方法相比，使用全卷积神经网络生成的多深度纯相位全息图，其相位变化更加平缓，基本没有相位突变等问题，从而避免了如威廷格全息图重建图像中出现的散斑噪声等问题。同时生成全息图的相位分布具有一定的周期规律性，能够在接受屏上产生多个衍射级，为实验人员提供了多种不同的观察位置。
[0089]
本发明还提供一种多深度全息图生成系统，包括：
[0090]
获取模块，用于获取多深度图像的训练集和测试集。
[0091]
纯相位全息图生成模块，用于根据所述训练集利用全卷积神经网络生成纯相位全息图。
[0092]
衍射场确定模块，用于根据所述纯相位全息图确定全息图不同深度处的衍射场。
[0093]
多深度损失函数确定模块，用于根据全息图不同深度处的所述衍射场确定多深度损失函数。
[0094]
训练模块，用于根据所述训练集利用所述多深度损失函数对所述全卷积神经网络进行训练，得到纯相位全息图生成模型。
[0095]
多深度全息图生成模块，用于根据所述测试集利用所述纯相位全息图生成模型生成多深度全息图。
[0096]
作为一种可选地实施方式，所述全卷积神经网络包括依次连接的输入层、下采样层、中间层、上采样层和输出层；所述下采样层还与所述上采样层跳跃连接。
[0097]
作为一种可选地实施方式，纯相位全息图生成模块，具体包括：
[0098]
纯相位全息图生成单元，用于将所述训练集中目标图像的单通道灰度图和单通道深度图输入所述全卷积神经网络，生成纯相位全息图。
[0099]
本发明还提供一种电子设备，包括：
[0100]
一个或多个处理器。
[0101]
存储装置，其上存储有一个或多个程序。
[0102]
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述的方法。
[0103]
本发明还提供一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述的方法。
[0104]
本发明通过搭建全卷积神经网络模型及设计多深度损失函数，提出一种能够在多个深度平面处重建目标图像的纯相位全息图生成方法。首先，搭建网络模型所需要的硬件设备与软件运行环境，随后在三维建模软件blender中导入obj格式的多种物体模型，并赋予模型随机的尺寸、位置和角度，以提高多深度三维图像训练集的多样性与广泛性；添加具有合适亮度的聚光灯及合理设计摄像机的焦距，将三维场景渲染为rgb三通道彩色图像和单通道深度图像；然后设计一个全卷积神经网络模型，为模型添加上下采样层和输入输出层，根据需要设计模型的优化器、初始学习率和学习率衰减因子等参数；将目标图像与深度图像输入到网络模型，输出为对应的纯相位全息图，计算出纯相位全息图在不同深度平面处的衍射场，将衍射场与目标图像做比较得到多深度损失函数，以更新网络模型的权重参数；不断重复上述训练过程，最终可获得再现效果较好的纯相位全息图。
[0105]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0106]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种多深度全息图生成方法，其特征在于，包括：获取多深度图像的训练集和测试集；根据所述训练集利用全卷积神经网络生成纯相位全息图；根据所述纯相位全息图确定全息图不同深度处的衍射场；根据全息图不同深度处的所述衍射场确定多深度损失函数；根据所述训练集利用所述多深度损失函数对所述全卷积神经网络进行训练，得到纯相位全息图生成模型；根据所述测试集利用所述纯相位全息图生成模型生成多深度全息图。2.根据权利要求1所述的多深度全息图生成方法，其特征在于，所述全卷积神经网络包括依次连接的输入层、下采样层、中间层、上采样层和输出层；所述下采样层还与所述上采样层跳跃连接。3.根据权利要求1所述的多深度全息图生成方法，其特征在于，根据所述训练集利用全卷积神经网络生成纯相位全息图，具体包括：将所述训练集中目标图像的单通道灰度图和单通道深度图输入所述全卷积神经网络，生成纯相位全息图。4.根据权利要求1所述的多深度全息图生成方法，其特征在于，根据全息图不同深度处的所述衍射场确定多深度损失函数，具体包括：根据全息图不同深度处的所述衍射场的强度分布确定全息图不同深度处的衍射场的强度分布；根据全息图不同深度处的衍射场的强度分布和目标图像的灰度值分布确定误差函数；根据所述误差函数确定多深度损失函数。5.根据权利要求1所述的多深度全息图生成方法，其特征在于，所述多深度损失函数的表达式为：其中，loss为多深度损失函数，l
n
(x,y)为误差函数，w(n)为单调递增函数，n为第n个深度平面，n为离散的深度平面总数。6.一种多深度全息图生成系统，其特征在于，包括：获取模块，用于获取多深度图像的训练集和测试集；纯相位全息图生成模块，用于根据所述训练集利用全卷积神经网络生成纯相位全息图；衍射场确定模块，用于根据所述纯相位全息图确定全息图不同深度处的衍射场；多深度损失函数确定模块，用于根据全息图不同深度处的所述衍射场确定多深度损失函数；训练模块，用于根据所述训练集利用所述多深度损失函数对所述全卷积神经网络进行训练，得到纯相位全息图生成模型；多深度全息图生成模块，用于根据所述测试集利用所述纯相位全息图生成模型生成多深度全息图。7.根据权利要求6所述的多深度全息图生成系统，其特征在于，所述全卷积神经网络包
括依次连接的输入层、下采样层、中间层、上采样层和输出层；所述下采样层还与所述上采样层跳跃连接。8.根据权利要求6所述的多深度全息图生成系统，其特征在于，纯相位全息图生成模块，具体包括：纯相位全息图生成单元，用于将所述训练集中目标图像的单通道灰度图和单通道深度图输入所述全卷积神经网络，生成纯相位全息图。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任意一项所述的方法。10.一种存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的方法。

技术总结
本发明公开一种多深度全息图生成方法、系统、电子设备及存储介质，涉及全息领域，方法包括获取多深度图像的训练集和测试集；根据所述训练集利用全卷积神经网络生成纯相位全息图；根据所述纯相位全息图确定全息图不同深度处的衍射场；根据全息图不同深度处的所述衍射场确定多深度损失函数；根据所述训练集利用所述多深度损失函数对所述全卷积神经网络进行训练，得到纯相位全息图生成模型；根据所述测试集利用所述纯相位全息图生成模型生成多深度全息图。本发明能根据生成质量和生成速度灵活地调整网络参数，从而提高生成过程的灵活性。从而提高生成过程的灵活性。从而提高生成过程的灵活性。


技术研发人员：雷鸣
受保护的技术使用者：雷鸣
技术研发日：2023.05.22
技术公布日：2023/8/24