基于神经网络的两阶段天空替换方法、设备、存储介质与流程

1.本技术涉及计算机技术领域，具体涉及一种基于神经网络的两阶段天空替换方法、设备、存储介质。


背景技术：

2.如今，随着数码单反相机、智能手机等设备的快速发展，摄影拍照已经逐渐成为人们用来记录和分享生活的一部分。户外摄影是其中很重要的一部分，湛蓝透彻或者落日夕阳的天空并不一定能在需要的时候出现，所以天空替换成为了摄影作品修图师们必备的技能。得益于计算机视觉技术和深度学习技术的发展，越来越多的方法被提出来解决自动天空替换问题，这些方法只需要传入照片和需要替换的天空素材，即可自动完成天空替换工作。yi-hsuan tsai等人在sky is not the limit:semantic-aware sky replacement(acm transactions on graphics，2016)提出一个coarse-to-fine的方法获得精准的天空分割来进行天空替换，天空分割本质上是一个非0即1的“硬分割”，替换后的天空和非天空的交界处容易出现“生硬”的问题，更近的工作castle in the sky:dynamic sky replacement and harmonization in videos(2020)中将用来进行天空替换的天空分割图改为使用更柔和的抠图，抠图本质是一个取值范围在[0,1]之间的概率图，类似于png的alpha通道，像素值越接近1则代表该像素越有可能属于天空区域，基于天空抠图再进行alpha融合操作得到天空替换结果，在融合过程中该方法设计了recolor和relight操作通过天空和原图在图像均值上的靠近来完成天空和原图的色彩和光线协调性问题。
[0003]
综上，为了得到高质量的天空替换结果，需要解决两个问题：1)天空和非天空交界区域的平滑过度；2)天空替换后整体图像的色彩协调性。值得注意的事，此前方法基本都把解决问题的中心放在了问题1)，以期望得到更细腻、更精准的天空掩码来实现平滑的融合，融合手段也基本都基于简单的alpha融合来实现。但是无论是使用天空分割还是天空抠图都是无法得到令人满意的效果的，因为将融合和抠图两个问题割裂开来将会导致天空抠图的结果可能从单纯的抠图角度看已经达到要求，但是当将它用于天空融合时仍可能是不够的此外，当前方法在色彩协调性方面的处理都略显粗糙，仅仅依靠图像均值上的调整显然是不足以得到逼真、自然的融合效果的。


技术实现要素：

[0004]
为了解决上述的问题，本技术的实施例中提供了一种基于神经网络的两阶段天空替换方法、设备、存储介质，使得图像中天空和非天空区域的边界过度自然、平滑提高图像中天空的融合效果。
[0005]
为此，本技术的一个方面，提供一种基于神经网络的两阶段天空替换方法，本方法包括以下步骤：
[0006]
构建天空数据集步骤：选择若干张存在天空区域的图片，构建天空数据集；
[0007]
构建天空融合数据集步骤：从所述天空数据集种抽取若干组样本，选择若干张满
足预设需求的天空素材构建天空素材库，对所述样本及所述天空素材库中的天空素材进行天空替换，对原始天空素材和所述样本之间的色彩、饱和度、亮度在融合协调性上的调整，得到天空融合数据集；
[0008]
构建模型步骤：基于所述天空数据集与所述天空融合数据集构建天空抠图模型与天空融合模型；
[0009]
天空替换步骤：输入原始图像、天空素材，通过所述天空抠图模型获取原始图像的天空抠图及初步天空替换结果，所述天空融合模型根据所述原始图像的天空抠图及初步天空替换结果进行微调，输出天空替换图像。
[0010]
可选地，结合上述任一方面，在本方面的另一种实现方式中，所述天空抠图模型的输入为原始图像与天空数据集，输出原图的天空抠图及初步天空替换结果；
[0011]
所述天空融合模型的输入为原始图像、原始图像的天空抠图、天空素材和初步天空替换结果分别对应的随机裁剪切片，输出融合完成的天空替换图像。
[0012]
可选地，结合上述任一方面，在本方面的另一种实现方式中，所述构建天空数据集步骤，具体为，
[0013]
选择n张存在天空区域的图片，确定每一张图片xi对应的天空抠图mi，天空抠图mi的原始取值范围在[0,255]之间；
[0014]
将天空抠图mi除以255使得值域处在[0,1]之间，得到天空数据集d
matte
＝{(xi,mi)|xi∈xn,mi∈mn,i＝1,2,
…
n}，其中xn表示原始图像集合，mn表示原始图像对应的天空抠图集合，n表示数据集的大小。
[0015]
可选地，结合上述任一方面，在本方面的另一种实现方式中，构建天空融合数据集步骤，具体为，
[0016]
从所述天空数据集d
matte
中抽取出k组样本，再挑选l张满足预设需求的天空素材作为天空素材库s
l
＝{(s1,s2,
…
,sk}；对于所述天空数据集d
matte
中的每一组(xi,mi)和天空素材库s
l
中的每一张sj都经预设处理，得到天空替换后的结果图y
ij
，即得到天空融合数据集d
fusion
＝{(xi,mi,sj,y
ij
)|xi∈xk,mi∈mk,sj∈s
l
,y
ij
∈y
kl
,i＝1,2,
…
k；j＝1,2,
…
l}，其中xk，mk分别是xn和mn的子集，y
kl
为天空替换结果图集合，k＝500，l＝50。
[0017]
可选地，结合上述任一方面，在本方面的另一种实现方式中，构建天空抠图模型包括以下步骤：
[0018]
将图片xi尺寸压缩为1024*1024，模型输入为维度[b,3,1024,1024]的压缩图片，模型输出[b,1,1024,1024]的天空抠图mi′
，像素值取值范围在[0,1]之间，其中b为batch的大小，一般取64；
[0019]
损失函数使用均方误差mse损失，计算公式如下：
[0020][0021]
训练过程设置epoch＝50，优化器使用adam优化器，学习率lr＝1e-4。
[0022]
可选地，结合上述任一方面，在本方面的另一种实现方式中，所述天空融合模型包括多源信息融合网络和主干细节矫正网络，所述多源信息融合网络整合输入的异构信息，获取初步经过alpha融合的融合结果上所需的在融合边缘过渡、色彩协调性方面的补偿量，
输出高维融合补偿特征与高维补偿特征；主干细节矫正网络接收alpha融合后的初步天空替换结果经过卷积升维后的高维特征和多源信息融合网络输出的细节修正特征。
[0023]
可选地，结合上述任一方面，在本方面的另一种实现方式中，所述多源信息融合网络输入尺寸该模型的输入是尺寸[b,7,512,512]的图片天空抠图天空素材拼接输入，输出为尺寸[b,64,512,512]的高维融合补偿特征t
add
；将图片天空抠图天空素材经过alpha融合得到初始天空替换结果alpha融合结果如下式所示，
[0024][0025]
将经过两次卷积层、relu层得到[b,64,512,512]的高维特征t
init
，将高维融合补偿特征t
add
和高维特征t
init
再拼接后输入主干细节矫正网络，输出[b,3,512,512]的融合完成的天空替换结果图
[0026]
损失函数使用vgg感知损失，计算公式如下，
[0027][0028]
其中
[0029]
b表示batch大小，w
l
表示vgg各层输出对应的权重；训练过程设置epoch＝600，优化器使用adam优化器，学习率lr＝1e-4。
[0030]
可选地，结合上述任一方面，在本方面的另一种实现方式中，构建天空融合数据集步骤中，预设处理为天空替换、融合后的协调性调色和细节问题处理。
[0031]
可选地，结合上述任一方面，在本方面的另一种实现方式中，
[0032]
本技术的另一方面，提供一种电子设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一所述的一种基于神经网络的两阶段天空替换方法。
[0033]
本技术的另一方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上任一所述的一种基于神经网络的两阶段天空替换方法。
[0034]
如上所述，本技术提供了一种基于神经网络的两阶段天空替换方法、设备、存储介质，本方法构建了两阶段的天空替换方法，第一阶段构建了较为简单的天空抠图模型来获得原始图像的天空抠图，得到初步的天空替换结果，第二阶段构建了天空融合模型，来对第一阶段的天空替换结果进行微调，最终得到自然、协调的天空替换结果。通过本方法得到的图像天空和非天空区域的边界过度自然、平滑，且整体看起来协调、自然。
[0035]
提供上述发明内容以简化形式介绍一些概念，这些概念将在下面的具体实施方式中进一步详细描述。上述发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。本技术所要求保护的主题不限于解决背景技术中指出的任何或所有缺点的实施方式。
附图说明
[0036]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
[0037]
图1为本技术所提供的一种基于神经网络的两阶段天空替换方法流程示意图；
[0038]
图2为本技术所提供的一种基于神经网络的两阶段天空替换方法第一、第二阶段的模型示意图；
[0039]
图3为本技术所提供的一种基于神经网络的两阶段天空替换方法中天空融合模型示意图；
[0040]
图4为本技术所提供的一种基于神经网络的两阶段天空替换方法中原始图像示意图；
[0041]
图5为本技术所提供的一种基于神经网络的两阶段天空替换方法流程示意图中需进行替换的天空素材示意图；
[0042]
图6为本技术所提供的一种基于神经网络的两阶段天空替换方法中天空抠图模型输出的天空抠图示意图；
[0043]
图7为本技术所提供的一种基于神经网络的两阶段天空替换方法中原始图像和天空素材经过天空抠图模型及alpha融合后得到初步天空替换结果示意图；
[0044]
图8为本技术所提供的一种基于神经网络的两阶段天空替换方法中输出的天空替换结果。
具体实施方式
[0045]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
[0046]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本技术不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
[0047]
应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在
……
时"或"当
……
时"或"
响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本技术使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
[0048]
应该理解的是，虽然本技术实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0049]
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
[0050]
应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0051]
请参阅图1，本方法提供了一种基于神经网络的两阶段天空替换方法，通过本方法得到的图像中天空和非天空区域的边界过度自然、平滑，提高图像中天空的融合效果。
[0052]
具体的，本方法包括以下步骤：
[0053]
步骤s1、构建天空数据集步骤：选择若干张存在天空区域的图片，构建天空数据集。选择n张存在天空区域的图片，确定每一张图片xi均通过photoshop等图像处理工具得到将天空抠图mi，mi的原始取值范围在[0,255]之间。天空抠图mi除以255使得值域处在[0,1]之间，像素值越接近于1则表示该像素越可能属于天空区域，得到天空数据集d
matte
＝{(xi,mi)|xi∈xn,mi∈mn,i＝1,2,
…
n}，其中xn表示原始图像集合，mn表示原始图像对应的天空抠图集合，n表示数据集的大小，n＝5000。
[0054]
步骤s2、构建天空融合数据集步骤：从所述天空数据集种抽取若干组样本，选择若干张满足预设需求的天空素材构建天空素材库，对所述样本及所述天空素材库中的天空素材进行天空替换，对原始天空素材和所述样本之间的色彩、饱和度、亮度在融合协调性上的调整，得到天空融合数据集；
[0055]
从步骤s1得到的天空数据集d
matte
中抽取出k组样本，再挑选l张色温、曝光、色相等方面有一定差异的天空素材作为天空素材库s
l
＝{(s1,s2,
…
,sk}，对于d
matte
中的每一组(xi,mi)和s
l
中的每一张sj都经预设处理，获得天空替换后的结果图y
ij
，本实施中的预设处理包括：修图师使用photoshop等图像处理工具对d
matte
中的每一组(xi,mi)和s
l
中的每一张sj进行数码修图，且数码修图过程至少包括了天空替换、融合后的协调性调色和一些细节问题处理等，即得到天空融合数据集d
fusion
＝{(xi,mi,sj,y
ij
)|xi∈xk,mi∈mk,sj∈s
l
,y
ij
∈y
kl
,i＝1,2,
…
k；j＝1,2,
…
l}，其中xk，mk分别是xn和mn的子集，y
kl
为天空替换结果图集合，这里k＝500，l＝50。
[0056]
步骤s3、构建模型步骤：基于所述天空数据集与所述天空融合数据集构建天空抠
图模型与天空融合模型。
[0057]
第一阶段为基于unet网络构建天空抠图模型，通过较为简单的天空抠图模型来获得原始图像的天空抠图，再经过alpha融合得到初步天空替换结果。所述构建天空抠图模型具体为：
[0058]
将图片xi尺寸压缩为1024*1024，模型输入为维度[b,3,1024,1024]的压缩图
[0059]
′
[0060]
片，模型输出[b,1,1024,1024]的天空抠图mi，像素值取值范围在[0,1]之间，这里b指batch的大小，一般取64。
[0061]
其中，损失函数使用均方误差mse损失，计算公式如下：
[0062][0063]
训练过程设置epoch＝50，优化器使用adam优化器，学习率lr＝1e-4。
[0064]
其次，第二阶段为构建天空融合模型，对第一阶段的天空替换结果进行边缘和色彩上的微调，最终得到自然、协调的天空替换结果。所述天空融合模型如图2所示，包括多源信息融合网络和主干细节矫正网络，模型的输入包括信息融合网络和主干细节矫正网络，模型的输入包括分别对应于天空待替换的原图xi、原图的天空抠图mi和天空素材sj对应的随机裁剪切片，切片尺寸[h,w]＝[512,512],裁剪操作通过torchvision库完成，模型输出为完成融合的天空替换结果
[0065]
所述多源信息融合网络整合输入的异构信息，获取初步经过alpha融合的融合结果上所需的在融合边缘过渡、色彩协调性方面等复杂细节问题方面的补偿量，输出高维融合补偿特征与高维补偿特征。主干细节矫正网络接受alpha融合后的初步天空替换结果经过卷积升维后的高维特征和多源信息融合网络输出的细节修正特征。
[0066]
所述多源信息融合网络输入尺寸该模型的输入是尺寸[b,7,512,512]的图片天空抠图天空素材拼接输入，输出为尺寸[b,64,512,512]的高维融合补偿特征t
add
；将图片天空抠图天空素材经过alpha融合得到初始天空替换结果alpha融合结果如下式所示：
[0067][0068]
将经过两次卷积层、relu层得到[b,64,512,512]的高维特征t
init
，将高维融合补偿特征t
add
和高维特征t
init
再拼接后输入主干细节矫正网络，该网络基于unet网络构建，输出[b,3,512,512]的融合完成的天空替换结果图
[0069]
损失函数使用vgg感知损失，计算公式如下，
[0070]
[0071]
其中b表示batch大小，w
l
表示vgg各层输出对应的权重；训练过程设置epoch＝600，优化器使用adam优化器，学习率lr＝1e-4。
[0072]
通过本步骤得到的天空融合模型，可解决以下两个问题：
[0073]
1、初步alpha融合之后对融合边界再次做更细腻的像素级别的修正，得到更自然、平滑的边界过度；
[0074]
2、解决融合协调性的问题，即如怎么把天空素材是晴天的，样本是阴天拍的照片，两张照片的明度都是不一样的协调地融到一起。如图3所示，融合完之后天空的颜色明显和原始天空素材的不一样，解决了天空替换以后的原始天空素材和被替换天空样本之间的色彩/饱和度/亮度等方面的协调性问题，让处理完后的照片整体看起来更真实、自然。
[0075]
步骤s4、天空替换步骤：输入原始图像、天空素材，通过所述天空抠图模型获取原始图像的天空抠图及初步天空替换结果，所述天空融合模型根据所述原始图像的天空抠图及初步天空替换结果进行微调，输出天空替换图像。
[0076]
如图4、5为一组待做天空替换的原始照片和天空素材，图6则为通过上述方法中天空抠图模型得到的天空抠图，图7是经典的alpha融合方法的得到天空替换结果，从中容易发现其存在两个明显问题：
[0077]
1、天空和非天空区域的交界处存在明显的融合伪影；
[0078]
而图8则为通过本方法得到的天空替换图像，与图6、7相比，本方法得到的图8天空与非天空给边界过度平滑、自然，融合后的照片整体色调协调，得到逼真、自然的融合效果。
[0079]
本技术提供了一种基于神经网络的两阶段天空替换方法、设备、存储介质，本方法构建了两阶段的天空替换方法，第一阶段构建了较为简单的天空抠图模型来获得原始图像的天空抠图，得到初步的天空替换结果，第二阶段构建了天空融合模型，来对第一阶段的天空替换结果进行微调，最终得到自然、协调的天空替换结果。通过本方法得到的图像天空和非天空区域的边界过度自然、平滑，且整体看起来协调、自然。
[0080]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0081]
在本技术中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本技术技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。
[0082]
在本技术中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0083]
本技术技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本技术记载的范围。
[0084]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做
出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是用电设备或者网络设备等)执行本技术每个实施例的方法。
[0085]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种基于神经网络的两阶段天空替换方法，其特征在于，本方法包括以下步骤：构建天空数据集步骤：选择若干张存在天空区域的图片，构建天空数据集；构建天空融合数据集步骤：从所述天空数据集种抽取若干组样本，选择若干张满足预设需求的天空素材构建天空素材库，对所述样本及所述天空素材库中的天空素材进行天空替换，对原始天空素材和所述样本之间的色彩、饱和度、亮度在融合协调性上的调整，得到天空融合数据集；构建模型步骤：基于所述天空数据集与所述天空融合数据集构建天空抠图模型与天空融合模型；天空替换步骤：输入原始图像、天空素材，通过所述天空抠图模型获取原始图像的天空抠图及初步天空替换结果，所述天空融合模型根据所述原始图像的天空抠图及初步天空替换结果进行微调，输出天空替换图像。2.如权利要求1所述的一种基于神经网络的两阶段天空替换方法，其特征在于：所述天空抠图模型的输入为原始图像与天空数据集，输出原图的天空抠图及初步天空替换结果；所述天空融合模型的输入为原始图像、原始图像的天空抠图、天空素材和初步天空替换结果分别对应的随机裁剪切片，输出融合完成的天空替换图像。3.如权利要求2所述的一种基于神经网络的两阶段天空替换方法，其特征在于：所述构建天空数据集步骤，具体为，选择n张存在天空区域的图片，确定每一张图片x
i
对应的天空抠图m
i
，天空抠图m
i
的原始取值范围在[0,255]之间；将天空抠图m
i
除以255使得值域处在[0,1]之间，得到天空数据集d
matte
＝{(x
i
,m
i
)|x
i
∈x
n
,m
i
∈m
n
,i＝1,2,
…
n}，其中x
n
表示原始图像集合，m
n
表示原始图像对应的天空抠图集合，n表示数据集的大小。4.如权利要求3所述的一种基于神经网络的两阶段天空替换方法，其特征在于：构建天空融合数据集步骤，具体为，从所述天空数据集d
matte
中抽取出k组样本，再挑选l张满足预设需求的天空素材作为天空素材库s
l
＝{(s1,s2,
…
,s
k
}；对于所述天空数据集d
matte
中的每一组(x
i
,m
i
)和天空素材库s
l
中的每一张s
j
都经预设处理，得到天空替换后的结果图y
ij
，即得到天空融合数据集d
fusion
＝{(x
i
,m
i
,s
j
,y
ij
)|x
i
∈x
k
,m
i
∈m
k
,s
j
∈s
l
,y
ij
∈y
kl
,i＝1,2,
…
k；j＝1,2,
…
l}，其中x
k
，m
k
分别是x
n
和m
n
的子集，y
kl
为天空替换结果图集合，k＝500，l＝50。5.如权利要求4所述的一种基于神经网络的两阶段天空替换方法，其特征在于：构建天空抠图模型包括以下步骤：将图片x
i
尺寸压缩为1024*1024，模型输入维度为[b,3,1024,1024]的压缩图像，模型输出[b,1,1024,1024]的天空抠图m
i
′
，像素值取值范围在[0,1]之间，其中b为batch的大小，一般取64；损失函数使用均方误差mse损失，计算公式如下：训练过程设置epoch＝50，优化器使用adam优化器，学习率lr＝1e-4。
6.如权利要求5所述的一种基于神经网络的两阶段天空替换方法，其特征在于：所述天空融合模型包括多源信息融合网络和主干细节矫正网络，所述多源信息融合网络整合输入的异构信息，获取初步经过alpha融合的融合结果上所需的在融合边缘过渡、色彩协调性方面的补偿量，输出高维融合补偿特征与高维补偿特征；主干细节矫正网络接收alpha融合后的初步天空替换结果经过卷积升维后的高维特征和多源信息融合网络输出的细节修正特征。7.如权利要求6所述的一种基于神经网络的两阶段天空替换方法，其特征在于：所述多源信息融合网络输入尺寸该模型的输入是尺寸[b,7,512,512]的图片天空抠图天空素材拼接输入，输出为尺寸[b,64,512,512]的高维融合补偿特征t
add
；将图片天空抠图天空素材经过alpha融合得到初始天空替换结果alpha融合结果如下式所示，将经过两次卷积层、relu层得到[b,64,512,512]的高维特征t
init
，将高维融合补偿特征t
add
和高维特征t
init
再拼接后输入主干细节矫正网络，输出[b,3,512,512]的融合完成的天空替换结果图损失函数使用vgg感知损失，计算公式如下，其中b表示batch大小，w
l
表示vgg各层输出对应的权重；训练过程设置epoch＝600，优化器使用adam优化器，学习率lr＝1e-4。8.如权利要求4所述的一种基于神经网络的两阶段天空替换方法，其特征在于：构建天空融合数据集步骤中，预设处理为天空替换、融合后的协调性调色和细节问题处理。9.一种电子设备，其特征在于，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1～8任一所述的一种基于神经网络的两阶段天空替换方法。10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现权利要求1～8任一所述的一种基于神经网络的两阶段天空替换方法。

技术总结
本申请提供一种基于神经网络的两阶段天空替换方法、设备、存储介质，本方法包括以下步骤：构建天空数据集步骤；从所述天空数据集种抽取若干组样本，选择若干张满足预设需求的天空素材构建天空素材库，对所述样本及所述天空素材库中的天空素材进行天空替换，对原始天空素材和所述样本之间的色彩、饱和度、亮度在融合协调性上的调整，得到天空融合数据集；基于天空数据集与天空融合数据集构建天空抠图模型与天空融合模型；天空替换步骤：输出天空替换图像。本发明使得图像中天空和非天空区域的边界过度自然、平滑提高图像中天空的融合效果。果。果。


技术研发人员：郑进
受保护的技术使用者：杭州火烧云科技有限公司
技术研发日：2023.04.24
技术公布日：2023/8/28