图像修复方法和装置与流程

1.本技术实施例涉及图像处理
技术领域：
：，尤其涉及一种图像修复方法、装置、计算机设备、计算机可读存储介质。
背景技术：
：：2.随着计算机技术的发展，人们对图像、视频有更高质量的要求，因此有了图像修复、提升分辨率等需求。在现有的相关技术中，如果图像中的噪声和细节损失过多，可能会使得修复效果差。3.需要说明的是，上述内容并不必然是现有技术，也不用于限制本技术的专利保护范围。技术实现要素：4.本技术实施例提供一种图像修复方法、装置、计算机设备、计算机可读存储介质，以解决或缓解上面提出的一项或更多项技术问题。5.本技术实施例的一个方面提供了一种图像修复方法，所述方法包括：6.根据待修复图像获取待输入数据；7.将所述待输入数据输入到扩散模型中，以通过所述扩散模型将所述待输入数据和随机生成的高斯噪声图进行融合，得到融合数据；其中所述扩散模型包括噪声预测模型；8.通过所述噪声预测模型预估所述融合数据的噪声参数；9.根据所述待输入数据以及所述噪声参数，重建生成对应于所述已修复图像的输出数据；10.通过所述扩散模型输出所述输出数据，所述输出数据为与所述待修复图像对应的已修复图像。11.可选地，所述根据待修复图像获取待输入数据，包括：12.将所述待修复图像输入至变分编解码器，所述变分编解码器用于压缩、降维和数据重建；13.获取所述变分编解码器的重建数据，其中，所述重建数据为所述待输入数据。14.可选地，所述变分编解码器包括编码器、解码器和采样器；15.对应地，所述变分编解码器通过将不同的样本图像作为输入并进行以下多轮操作训练得到：16.将样本图像输入至所述编码器中，以得到与所述样本图像对应的编码向量；17.将所述编码向量输入至所述解码器，以得到第一样本重建对象；18.通过所述采样器随机生成采样向量；19.将所述采样向量输入至所述解码器，以得到第二样本重建对象；20.根据所述第一样本重建对象以及所述第二样本重建对象，获取第一损失值；21.根据所述第一损失值调整所述变分编解码器的参数。22.可选地，所述扩散模型通过以下训练操作得到：23.通过训练好的变分编解码器获取样本图像的样本重建数据；24.将所述样本重建数据作为所述扩散模型的样本输入数据，对所述扩散模型进行模型训练。25.可选地，所述扩散模型通过多个样本图像对训练得到，样本图像对包括对应同一画面但画质不同的第一样本图像和第二样本图像；每个样本图像对应所述扩散模型的一轮训练操作，其中，每轮训练操作如下：26.随机生成高斯噪声；27.将所述高斯噪声加入至第一样本图像中，以得到第一噪声图；28.通过条件似然函数将第二样本图像加入至第一噪声图中，以得到第二噪声图；29.通过所述噪声预测模型，获取第二噪声图的预测噪声参数；30.根据所述预测噪声参数和真实噪声参数，获取第二损失值；其中，所述真实噪声参数为所述高斯噪声对应的噪声参数；31.根据所述第二损失值，调整所述噪声预测模型的参数。32.可选地，所述第一样本图像的画面质量高于所述第二样本图像的画面质量。33.可选地，所述第一样本图像的清晰度高于所述第二样本图像的清晰度；和/或34.所述第一样本图像的分辨率高于所述第二样本图像的分辨率。35.本技术实施例的另一个方面提供了一种图像修复装置，所述装置包括：36.获取模块，用于根据待修复图像获取待输入数据；37.输入模块，用于将所述待输入数据输入到扩散模型中，以通过所述扩散模型将所述待输入数据和随机生成的高斯噪声图进行融合，得到融合数据；其中所述扩散模型包括噪声预测模型；38.预估模块，用于通过所述噪声预测模型预估所述融合数据的噪声参数；39.重建模块，用于根据所述待输入数据以及所述噪声参数，重建生成对应于所述已修复图像的输出数据；40.输出模块，用于通过所述扩散模型输出所述输出数据，所述输出数据为与所述待修复图像对应的已修复图像。41.本技术实施例的另一个方面提供了一种计算机设备，包括：42.至少一个处理器；及43.与所述至少一个处理器通信连接的存储器；44.其中：所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。45.本技术实施例的另一个方面提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令，所述计算机指令被处理器执行时实现如上所述的方法。46.本技术实施例采用上述技术方案可以包括如下优势：47.基于扩散模型的图像生成能力，可以通过扩散模型对低画质图像进行修复，从而生成高画质图像，提高图像处理的效果。此外，由于扩散模型可以通过扩散过程来实现高效的计算，进而可以提高图像修复过程中的计算效率，提高图像处理的效率。附图说明48.附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。49.图1示意性示出了根据本技术实施例一的图像修复方法的运行环境图；50.图2示意性示出了根据本技术实施例一的图像修复方法的流程图；51.图3示意性示出了图1中步骤s200的子步骤流程图；52.图4示意性示出了根据本技术实施例一的图像修复方法的新增流程图；53.图5示意性示出了根据本技术实施例一的图像修复方法的另一新增流程图；54.图6示意性示出了根据本技术实施例一的图像修复方法的另一新增流程图；55.图7示意性示出了训练变分编解码器的一个示例性应用的流程图；56.图8示意性示出了训练噪声预测模型的一个示例性应用的流程图；57.图9示意性示出了一组待修复图像与已修复图像的修复效果图；58.图10示意性示出了另一组待修复图像与已修复图像的修复效果图；59.图11示意性示出了根据本技术实施例二的图像修复装置的框图；及60.图12示意性示出了根据本技术实施例三中的计算机设备的硬件架构示意图。具体实施方式61.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。62.需要说明的是，在本技术实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。63.在本技术的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本技术及区别每一步骤，因此不能理解为对本技术的限制。64.首先，提供本技术涉及的术语解释：65.扩散模型(diffusionmodels)：是一类潜变量模型。扩散模型的目标是通过对数据点在潜空间中的扩散方式进行建模，来学习数据集的潜结构。扩散模型的工作原理为：学习由于噪声引起的信息衰减，然后使用学习到的模式来生成图像。扩散模型能够通过迭代扩散和混合像素值来生成逼真的图像。这种模型使用一组初始像素值，然后通过对每个像素周围的邻居像素进行计算和更新，逐渐扩散和传播信息。在每次迭代中，模型通过考虑周围像素的权重和相互作用来更新每个像素的值，从而使图像逐渐形成。由于扩散模型在每个像素上进行局部计算，并且可以利用像素间的相互作用，能够捕捉到图像中的微观细节和全局结构。通过逐步迭代和信息传播，扩散模型能够填充图像的空白区域、恢复丢失的细节，并生成具有自然、连贯和真实感的图像。此外，扩散模型还可以根据输入的初始条件和参数设置生成多样化的图像。通过改变初始像素值、迭代次数、扩散规则和权重等参数，可以探索不同的图像生成结果。这种灵活性使得扩散模型在生成艺术图像、图像修复和增强等应用领域具有广泛的应用潜力。66.似然函数(likelihoodfunction)：是统计模型中的参数的函数，表示模型参数中的似然性(likelihood)。似然用来描述已知随机变量输出结果时，未知参数的可能取值。67.超分辨率技术(super-resolution，sr)：是一种图像处理技术，其目的是从低分辨率图像中重建出高分辨率图像。它可以提高图像的清晰度和细节，使得图像变得更加清晰和有质感，减少噪声干扰，同时它也能够增强图像的对比度和色彩。68.变分编解码器(variationalautoencoder，vae)是一种人工神经网络结构，vae属于概率生成模型(probabilisticgenerativemodel)。vae依照功能的不同又可分为编码器和解码器。编码器可将输入变量映射到与变分分布的参数相对应的潜空间(latentspace)，解码器的功能基本相反，解码器是将潜在空间的向量转变回重建的数据。69.图像噪声：指在数字图像中，由于传感器采样、数字信号处理、传输等环节出现的问题，导致图像中出现不必要的干扰和噪声。图像噪声可以表现为图像模糊、线条消失、色彩失真等问题，会降低图像的质量和清晰度。图像噪声的来源包括传感器的噪声、数字信号的噪声、传输中的噪声等。70.模糊修复：指使用数字图像处理技术，去除低质量图像中的噪声和细节，生成高质量图像。模糊去噪用于降低图像的清晰度和精度，减少噪声干扰，同时能够增强图像的对比度和色彩。常见的画面模糊修复技术还有图像增强、图像修复等。其中，图像增强技术包括直方图均衡化、色彩增强等，图像修复技术包括去除边框、去除背景等。71.u-net模型(convolutionalnetworksforbiomedicalimagesegmentation)：是一种改进的fcn(全卷积神经网络，fullyconvolutionalnetworks)结构。u-net网络结构是对称的，因其结构画出来形似字母u，所以被称为u-net模型。u-net模型由左半边的压缩通道和右半边扩展通道组成。72.训练：从已有的数据中学习到某种功能。73.推理：使用某种功能，使其能快速、高效地对未知的数据进行操作，以获得预期的结果。74.其次，为方便本领域技术人员理解本技术实施例提供的技术方案，下面对相关技术进行说明：75.本发明人了解到的图像修复以及超分技术都是基于周围像素的算法实现的。然而，在图像或者视频的画面非常模糊，或噪声和细节损失过多的情况下，如果基于周围像素的算法进行图像修复以及超分，可能会导致图像或视频的修复效果差，超分效果达不到预期。76.为此，本技术实施例提供了一种图像修复技术方案。在该技术方案中，(1)基于扩散模型的生成能力对低画质的照片和老旧视频进行修复和超分，使得本方案对细节和纹理的处理更加准确。(2)采用变分编解码器对待修复图像进行数据压缩降维，减少扩散模型的训练和推理过程中计算资源的消耗，提高处理效率。(3)通过扩散模型对待修复图像进行处理，使得本方案不仅可以用于图像超分辨率技术中，还可以用于图像去模糊、噪声降低等图像修复任务。且本方案对不同类型、大小和分辨率的待修复图像都能进行有效的处理。(4)通过采用条件似然函数和超分辨率技术，使得本方案能够生成清晰度更高、更具有真实感的高画质图像，从而提高图像的视觉效果。(5)在对扩散模型的训练过程中，引入了条件似然函数，使得训练好的扩散模型能够更好地捕捉到待修复图像中细微的细节和纹理，从而更精确地进行超分辨率处理。(6)扩散模型对待修复图像进行处理时，由于扩散模型可以通过扩散过程来实现高效的计算，进而可以提高图像修复过程中的计算速度，提高图像处理的效率。且通过扩散模型对图像进行修复和超分的方法比传统的基于优化或机器学习的方法更为高效。具体见后文。77.最后，为了方便理解，下面提供一个示例性运行环境。78.如图1所示，运行环境图包括：如图1所示，所述环境示意图包括服务平台2、网络4、客户端6，其中：79.服务平台2可以由单个或多个计算设备构成。该多个计算设备可以包括虚拟化计算实例。虚拟化计算实例可以包括虚拟机，诸如计算机系统的仿真，操作系统，服务器等。计算设备可以基于定义用于仿真的特定软件(例如，操作系统，专用应用程序，服务器)的虚拟映像和/或其他数据来加载虚拟机。随着对不同类型的处理服务的需求改变，可以在一个或多个计算设备上加载和/或终止不同的虚拟机。可以实现管理程序以管理同一个计算设备上的不同虚拟机的使用。80.服务平台2可以被配置为通过网络4与客户端6等通信。网络4包括各种网络设备，如路由器、交换机、多路复用器、集线器、调制解调器、网桥、中继器、防火墙、代理设备和/或类似。网络4可以包括物理链路，如同轴电缆链路、双绞线电缆链路、光纤链路其组合等，或无线链路，如蜂窝链路、卫星链路、wi-fi链路等。81.服务平台2可以提供图像/视频修复、图像/视频超分、变分编解码器训练、扩散模型训练等服务，如：对客户端上传的图像进行修复，或提升该图像的分辨率等。82.客户端6可以是运行windows、安卓(androidtm)或ios等操作系统的电子设备，如智能手机、平板设备、膝上型计算机、虚拟现实设备、游戏设备、机顶盒、车载终端、智能电视。基于上述操作系统，可以运行各种应用程序，如上传待修复图像至服务平台2。当然，所述客户端6也可以提供本地图像修复功能。83.客户端6，可以提供/配置用户访问页面，可以用于上传待修复图像等。84.需注意，上述设备是示例性的，在不同的场景中或根据不同需求，设备数量和种类是可调的。85.下面以服务平台2为执行主体，通过多个实施例介绍本技术的技术方案。须知，这些实施例可以由多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。86.实施例一87.图2示意性示出了根据本技术实施例一的图像修复方法的流程图。88.如图2所示，该图像修复方法可以包括步骤s200～s208，其中：89.步骤s200，根据待修复图像获取待输入数据。90.待修复图像可以是画质较差的图片或视频，例如老照片、模糊的视频等。91.画质较差，可以理解为清晰度和/或分辨率较差，或出现较为严重的边缘失真、色彩失真等。92.所述待修复图像可以是本地存储的图像，也可以是用户上传的图像。93.所述待修复图像可以是各种类型的图片或视频，例如jpg(jointphotographicexpertsgroup)格式或png(portablenetworkgraphics)的图片等。94.所述待输入数据是基于待修复图像得到的数据，作为后续扩散模型的输入。95.所述待输入数据以张量(tensor)的形式存在，即每个数字对应待修复图像中的一个或多个像素。96.所述待输入数据是待修复图像经过压缩或者降维之后得到的相应数据。97.在获取待修复图像的情况下，待输入数据可以通过多种方式得到，例如，变分编解码器、pca(主成分分析，principalcomponentanalysis)，lda(线性判别分析，lineardiscriminantanalysis)，lle(局部线性嵌入，locallylinearembedding)等。98.步骤s202，将所述待输入数据输入到扩散模型中，以通过所述扩散模型将所述待输入数据和随机生成的高斯噪声图进行融合，得到融合数据；其中所述扩散模型包括噪声预测模型。99.扩散模型：(1)可以基于每个像素的周围邻域来计算像素值的变化。(2)通过扩散函数定义每个像素值的变化规则，如：如何根据其周围邻域的像素值来更新自身的值。扩散函数可以是线性函数、非线性函数或概率模型(如噪声预估模型)。(3)可以通过迭代的方式不断更新像素值，直到达到停止条件或收敛。具体修复过程为：通过多次迭代逐步修复图像。每次迭代，扩散模型计算每个像素的新值，以修复和恢复图像的信息。还可以通过扩散函数引入邻域内的像素相似性、梯度等特征，以重建丢失的像素信息。在修复后的图像质量达到预设要求的情况下，停止迭代。100.融合的方式可以包括数据/特征拼接、数据/特征组合等，可以根据实际需求选择，在此不作限定。101.步骤s204，通过所述噪声预测模型预估所述融合数据的噪声参数。102.所述噪声预测模型可以包括u-net模型、gru(gaterecurrentunit)神经网络模型等。103.所述噪声参数根据待输入数据的噪声分布得到。104.步骤s206，根据所述待输入数据以及所述噪声参数，重建生成对应于所述已修复图像的输出数据。105.通过迭代的方式不断根据噪声参数重建生成对应的输出数据，直到达到停止条件或收敛。106.对待修复图像进行修复时，通过噪声预测模型预测噪声参数。由于每次预测的噪声参数都是从一个噪声分布中采样的，因此具有一定的随机性和多样性，这就使得重建的输出数据(即已修复图像)在细节上更丰富和多样。因此，生成的已修复图像在细节部分上能还原出更高清和更细腻的细节信息和高频信息，进而提高图像处理的效果。107.步骤s208，通过所述扩散模型输出所述输出数据，所述输出数据为与所述待修复图像对应的已修复图像。108.所述输出数据即多次迭代后得到的重建数据，也即对应已修复图像。109.已修复图像可以包括恢复的像素值，以填补损坏区域并还原图像的完整性，实现了图像修复效果。110.扩散模型可以在每个像素上进行局部计算，并且可以利用像素间的相互作用，能够捕捉到图像中的微观细节和全局结构。通过逐步迭代和信息传播，扩散模型能够填充图像的空白区域、恢复丢失的细节，并生成具有自然、连贯和真实感的图像。111.本实施例基于扩散模型的图像生成能力，通过扩散模型对低画质照片(待修复图像)和老旧视频进行修复，生成相应的高画质图像，提高图像处理的效果。此外，扩散模型在对待修复图像进行处理时，由于扩散模型可以通过扩散过程来实现高效的计算，进而可以提高图像修复过程中的计算速度，提高图像处理的效率。112.扩散模型在图像修复过程会消耗较大的计算资源，为减少资源的消耗，提供以下可选的实施例。113.在可选的实施例中，如图3所示，步骤s202可以包括：114.步骤s300，将所述待修复图像输入至变分编解码器，所述变分编解码器用于压缩、降维和数据重建。115.步骤s302，获取所述变分编解码器的重建数据，其中，所述重建数据为所述待输入数据。116.所述变分编解码器是一种生成式模型，用于数据重建。在变分编解码器中，将待修复图像输入至编码器中，编码器将待修复图像转变成均值和方差两个向量，两个向量形成高斯分布。117.压缩：在不丢失有用信息的前提下，缩减数据量以减少存储空间，进而提高其传输、存储和处理效率。118.降维：通过保留一些比较重要的特征，去除一些冗余的特征，以达到减少数据特征的维度的效果。119.所述重建数据是待修复图像依次经过压缩、降维、重建后的数据。120.变分编解码器对待修复图像进行处理的具体过程如下：编码器将待修复图像映射到潜在空间中得到编码向量，解码器将潜在空间中的编码向量转变回重建的数据(作为扩散模型的待输入数据)。其中，所述潜在空间是一个服从高斯分布的连续空间。121.在本实施例中，通过采用变分编解码器对待修复图像进行处理，即对待修复图像进行压缩以及降维。一方面，通过变分编解码器进行处理，可以有效去除冗余的信息，减少数据量。将经过变分编解码器处理后的重建数据输入至扩散模型中，可以进一步地减少图像修复过程中扩散模型计算资源的消耗，提高扩散模型对图像处理的效率。另一方面，由于变分编解码器可以去除冗余的信息，使得后续扩散模型对待修复图像进行处理时可以有效的抓取关键特征，减少无效图像信息的干扰，进而使得对细节和纹理的处理更加准确，提高图像处理的效果。122.变分编解码器可以预先训练得到，训练方式有多种，以下提供一种训练方式以供参考：123.在可选的实施例中，如图4以及图7所示，所述变分编解码器包括编码器、解码器和采样器；对应地，所述变分编解码器通过将不同的样本图像作为输入并进行以下多轮操作训练得到：124.步骤s400，将样本图像输入至所述编码器中，以得到与所述样本图像对应的编码向量。125.步骤s402，将所述编码向量输入至所述解码器，以得到第一样本重建对象。126.步骤s404，通过所述采样器随机生成采样向量。127.步骤s406，将所述采样向量输入至所述解码器，以得到第二样本重建对象。128.步骤s408，根据所述第一样本重建对象以及所述第二样本重建对象，获取第一损失值。129.所述第一损失值(loss)是采样向量和编码向量之间的误差。130.步骤s410，根据所述第一损失值调整所述变分编解码器的参数。131.通过第一损失值来调整变分编解码器的参数，增大采样向量和编码向量的分布相似性，减少出现“变分编解码器输入数据与输出数据对应的图像不是同一个画面”的情况。132.在本实施例中，通过采样器随机生成采样向量，将采样向量与编码向量作比较，以得到第一损失值，进而通过损失值逐步去调整变分编解码器的参数，以对变分编解码器进行训练。通过对变分编解码器进行训练，提高编码向量的重建精度，使训练好的变分编解码器可以在关键图像信息尽量不丢失的情况下，对待修复图像进行压缩降维。133.扩散模型在训练过程中会消耗较大的计算资源，为降低资源消耗，提供以下可选的实施例。134.在可选的实施例中，如图5所示，可以包括：135.步骤s500，通过训练好的变分编解码器获取样本图像的样本重建数据。136.步骤s502，将所述样本重建数据作为所述扩散模型的样本输入数据，对所述扩散模型进行模型训练。137.所述样本重建数据是基于样本图像得到的压缩数据，作为后续训练扩散模型时的输入，且所述样本重建数据是被训练好的变分编解码器压缩以及降维后的数据。138.在本实施例中，在对扩散模型进行训练前，先将变分编解码器训练好，使得扩散模型的样本输入数据都经过变分编解码器的处理。通过变分编解码对样本输入数据进行处理，可以有效去除冗余信息。此外，通过将样本图像进行压缩降维，可以有效减少数据量，进而提高计算效率，节省扩散模型训练时的计算资源。139.下面提供一个示例性的扩散模型的训练方案。140.在可选的实施例中，如图6以及图8所示，所述扩散模型通过多个样本图像对训练得到，样本图像对包括对应同一画面但画质不同的第一样本图像和第二样本图像；每个样本图像对应所述扩散模型的一轮训练操作，其中，每轮训练操作如下：141.步骤s600，随机生成高斯噪声。142.所述高斯噪声是一种具有正态分布(也称作高斯分布)概率密度函数的噪声。143.步骤s602，将所述高斯噪声加入至第一样本图像中，以得到第一噪声图。144.可以逐步加入高斯噪声，加入一次形成一个第一噪声图，直至得到一个纯噪声图。145.也可以一次性加入高斯噪声，直接得到一个纯噪声图。146.所述第一样本图像x_0为画质较高的样本图像。147.所述第一噪声图为图片x_t。148.步骤s604，通过条件似然函数将第二样本图像加入至第一噪声图中，以得到第二噪声图。149.所述第二样本图像可以为与第一样本图像画面相同，但是画质较低的样本图像。150.步骤s606，通过所述噪声预测模型，获取第二噪声图的预测噪声参数。151.步骤s608，根据所述预测噪声参数和真实噪声参数，获取第二损失值；其中，所述真实噪声参数为所述高斯噪声对应的噪声参数。152.所述第二损失值为预测噪声参数和真实噪声参数之间的差值。153.真实噪声参数是在对第一样本图像加噪过程中记录的噪声。154.步骤s610，根据所述第二损失值，调整所述噪声预测模型的参数。155.下面将具体介绍所述扩散模型一轮具体的训练操作过程：156.扩散模型的训练原理：通过连续添加高斯噪声来破坏第一样本图像，然后通过反转这个噪声过程，来学习如何恢复，即先添加高斯噪声再去除高斯噪声。在训练扩散模型时，可以分为前向过程和反向过程。下面将具体介绍前向过程和反向过程。157.①前向过程又称为扩散过程，前向过程是将第一样本图像x_0通过逐步加高斯噪声变成纯高斯噪声的第一噪声图x_t，从而达到破坏第一样本图像的目的。具体而言：158.将较高画质的第一样本图像输入至扩散模型中，再将随机生成的高斯噪声∈添加至第一样本图像中，进而对第一样本图像进行破坏，即对第一样本图像进行一个加噪过程。159.所述加噪过程可以通过如下公式表示：[0160][0161]其中是预先设定的超参数，被称为noiseschedule(噪声计划表)，是一列很小的值，∈t-1～n(0，1)是高斯噪声，t是加噪的步数。[0162]由公式(1)迭代推导，可以得出x_0到x_t的公式，如下：[0163][0164]其中，是随noiseschedule(噪声计划表)设定的超参数，∈～n(0，1)也是一个高斯噪声，t是加噪的步数。[0165]公式(1)或(2)都可以用来描述前向过程。公式(1)用于将一张图片逐步破坏的过程，公式(2)用于一步到位将一张图片破坏的过程。[0166]在得到第一噪声图之后，可以进行反向过程的训练。[0167]②反向过程：通过估测真实的高斯噪声，多次迭代逐渐将被破坏的第一噪声图x_t恢复成第一样本图像x_0。[0168]反向过程用公式表示：[0169][0170]在反向过程的训练中，为了能够精准地估测出真实的高斯噪声，需训练一个由x_t和t估测真实噪声的模型，即噪声预测模型∈θ(xt，t)。通过训练噪声预测模型∈θ(xt，t)，使噪声预测模型预测的与用于破坏第一样本图像的真实高斯噪声∈相近。σt为一个固定的常数，其具体取值和选择将根据具体的应用和需求而定。[0171]噪声预测模型的训练过程如下：通过条件似然函数将第二样本图像加入至第一噪声图x_0中，以得到第二噪声图。通过条件似然函数将画质较低的第二样本图像加入至第一噪声图中，使生成的第二噪声图与第一、二样本图像为同一画面。例如，第一、二样本图像为一张相同的猫的照片，生成的第二噪声图也为内容相同的猫的照片。[0172]将第二噪声图输入至噪声预测模型中，估测第二噪声图的噪声参数，将估测出来的预测噪声参数与真实噪声∈的真实噪声参数作比较，进而得到第二损失值loss，第二损失值loss可以通过如下公式表示：[0173][0174]通过所述第二损失值对噪声预测模型的参数进行调整。[0175]在本实施例中，在对扩散模型进行训练的时候引入了条件似然函数，使得训练好的扩散模型能更好地捕捉到图像中细微的细节和纹理，以便后续进行图像修复以及超分处理。此外，对噪声预测模型进行训练，使得噪声预测模型能更加精准地预测待修复图像上每个细节部分的噪声分布。这样做的好处：便于后续可以根据每个细节部分的预测噪声参数去重建输出数据(即已修复图像)。且由于预测出的噪声参数更加接近真实高斯噪声参数，使得扩散模型对细节和纹理的处理会更加准确，能够生成更具有真实感、清晰度更高的图像，进而提高图像处理的效果。[0176]上述扩散模型可以用于提升画质，所述第一样本图像的画面质量高于所述第二样本图像的画面质量。[0177]上述扩散模型既可以用于图像修复中，也可以用于超分技术中。[0178]在可选的实施例中，所述第一样本图像的清晰度高于所述第二样本图像的清晰度。在另一些实施例中，所述第一样本图像的分辨率高于所述第二样本图像的分辨率。[0179]所述清晰度是指图像上各个细节及其边界的清晰程度。在本实施例中，可以将海量的不同清晰度的对照图片作为训练样本，可以使训练出的扩散模型能够实现对图像去模糊等图像修复任务，使得修复之后的图像清晰度变高，从而提高图像视觉效果。[0180]图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。在本实施例中，可以将海量的不同分辨率的对照图像作为训练样本，可以使训练出的扩散模型能够用于超分技术中，进而生成高分辨率的图像。且由于高分辨图像纹理细节更加丰富，通过扩散模型处理后的已修复图像会具有更高清和更细腻的细节信息。[0181]为了使得本技术更加容易理解，以下提供一个示例性应用。[0182]在该示例性应用中，服务平台2通过网络与客户端连接，并向客户端提供图像修复服务。[0183]第一，实际应用：[0184]将模糊图片输入到vae中，得到重建数据。将重建数据输入到扩散模型中，扩散模型将重建数据和随机生成的高斯噪声图进行融合(如拼合等)，得到融合数据。然后，将融合数据输入到u-net模型中输出预估噪声。基于所述预估噪声对应模糊图片进行还原。[0185]如图9左侧所示的图像输入到扩散模型中，可以输出如图9右侧所示的图像。[0186]如图10左侧所示的图像输入到扩散模型中，可以输出如图10右侧所示的图像。[0187]通过图片对比可知，通过扩散模型可以得到一个在细节上更丰富和多样的图像，如图9中的右图(已修复图像)。图9中的右图(已修复图像)较图9中左图的模糊图像(待修复图像)在细节部分上有更高清和更细腻的细节信息和高频信息。[0188]第二，模型训练过程：[0189]①先对变分编解码器进行训练，一次具体的训练过程如下：[0190]s21：将样本图像输入至编码器中，得到对应的编码向量，再将编码向量输入至解码器，以得到第一样本重建对象。[0191]s22：通过采样器随机生成采样向量，将采样向量输入至解码器，得到第二样本重建对象。[0192]s23：对比第一样本重建对象以及第二样本重建对象，得出第一损失值。[0193]s24：根据第一损失值调整变分编解码器的参数。[0194]②在变分编解码器训练好之后，再对扩散模型进行训练。一次具体的训练过程如下：[0195]s31，将高画质样本图像输入变分编解码器进行处理，将处理后的高画质样本图像输入至扩散模型中。[0196]s31，将高斯噪声加入至处理后的高画质样本图像中，得到第一噪声图。[0197]s32，通过条件似然函数将对应的低画质样本图像加入至第一噪声图中，得到第二噪声图。[0198]s33，通过噪声预测模型，获取第二噪声图的预测噪声参数。[0199]s34，根据预测噪声参数和真实噪声参数，获取第二损失值。[0200]s35，根据第二损失值，调整噪声预测模型的参数。[0201]实施例二[0202]图11示意性示出了根据本技术实施例二的图像修复装置的框图。该图像修复装置可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本技术实施例。本技术实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。如图11所示，该图像修复装置1100可以包括：获取模块1110、输入模块1120、预估模块1130、重建模块1140以及输出模块1150，其中：[0203]获取模块1110，用于根据待修复图像获取待输入数据；[0204]输入模块1120，用于将所述待输入数据输入到扩散模型中，以通过所述扩散模型将所述待输入数据和随机生成的高斯噪声图进行融合，得到融合数据；其中所述扩散模型包括噪声预测模型；[0205]预估模块1130，用于通过所述噪声预测模型预估所述融合数据的噪声参数；[0206]重建模块1140，用于根据所述待输入数据以及所述噪声参数，重建生成对应于所述已修复图像的输出数据；[0207]输出模块1150，用于通过所述扩散模型输出所述输出数据，所述输出数据为与所述待修复图像对应的已修复图像。[0208]在可选的实施例中，所述获取模块1110还用于：[0209]将所述待修复图像输入至变分编解码器，所述变分编解码器用于压缩、降维和数据重建；[0210]获取所述变分编解码器的重建数据，其中，所述重建数据为所述待输入数据。[0211]在可选的实施例中，所述变分编解码器包括编码器、解码器和采样器；[0212]所述图像修复装置还可以包括第一训练模块(未标识)，用于：[0213]将样本图像输入至所述编码器中，以得到与所述样本图像对应的编码向量；[0214]将所述编码向量输入至所述解码器，以得到第一样本重建对象；[0215]通过所述采样器随机生成采样向量；[0216]将所述采样向量输入至所述解码器，以得到第二样本重建对象；[0217]根据所述第一样本重建对象以及所述第二样本重建对象，获取第一损失值；[0218]根据所述第一损失值调整所述变分编解码器的参数。[0219]在可选的实施例中，所述装置还可以包括第二训练模块(未标识)，用于：[0220]通过训练好的变分编解码器获取样本图像的样本重建数据；[0221]将所述样本重建数据作为所述扩散模型的样本输入数据，对所述扩散模型进行模型训练。[0222]在可选的实施例中，所述扩散模型通过多个样本图像对训练得到，样本图像对包括对应同一画面但画质不同的第一样本图像和第二样本图像；所述第二训练模块(未标识)，还用于：[0223]随机生成高斯噪声；[0224]将所述高斯噪声加入至第一样本图像中，以得到第一噪声图；[0225]通过条件似然函数将第二样本图像加入至第一噪声图中，以得到第二噪声图；[0226]通过所述噪声预测模型，获取第二噪声图的预测噪声参数；[0227]根据所述预测噪声参数和真实噪声参数，获取第二损失值；其中，所述真实噪声参数为所述高斯噪声对应的噪声参数；[0228]根据所述第二损失值，调整所述噪声预测模型的参数。[0229]在可选的实施例中，所述第一样本图像的画面质量高于所述第二样本图像的画面质量。[0230]在可选的实施例中，所述第一样本图像的清晰度高于所述第二样本图像的清晰度；和/或所述第一样本图像的分辨率高于所述第二样本图像的分辨率。[0231]实施例三[0232]图12示意性示出了根据本技术实施例三的适于实现图像修复方法的计算机设备10000的硬件架构示意图。在一些实施例中，计算机设备10000可以是智能手机、可穿戴设备、平板电脑、个人电脑、车载终端、游戏机、虚拟设备、工作台、数字助理、机顶盒、机器人等终端设备。在另一些实施例中，计算机设备10000可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或多个服务器所组成的服务器集群)等。如图12所示，所述计算机设备10000包括但不限于：可通过系统总线相互通信链接存储器10010、处理器10020、网络接口10030。其中：[0233]存储器10010至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(如，sd或dx存储器)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器10010可以是计算机设备10000的内部存储模块，例如该计算机设备10000的硬盘或内存。在另一些实施例中，存储器10010也可以是计算机设备10000的外部存储设备，例如该计算机设备10000上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。当然，存储器10010还可以既包括计算机设备10000的内部存储模块也包括其外部存储设备。本实施例中，存储器10010通常用于存储安装于计算机设备10000的操作系统和各类应用软件，例如图像修复方法的程序代码等。此外，存储器10010还可以用于暂时地存储已经输出或者将要输出的各类数据。[0234]处理器10020在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他芯片。该处理器10020通常用于控制计算机设备10000的总体操作，例如执行与计算机设备10000进行数据交互或者通信相关的控制和处理等。本实施例中，处理器10020用于运行存储器10010中存储的程序代码或者处理数据。[0235]网络接口10030可包括无线网络接口或有线网络接口，该网络接口10030通常用于在计算机设备10000与其他计算机设备之间建立通信链接。例如，网络接口10030用于通过网络将计算机设备10000与外部终端相连，在计算机设备10000与外部终端之间建立数据传输通道和通信链接等。网络可以是企业内部网(intranet)、互联网(internet)、全球移动通讯系统(globalsystemofmobilecommunication，简称为gsm)、宽带码分多址(widebandcodedivisionmultipleaccess，简称为wcdma)、4g网络、5g网络、蓝牙(bluetooth)、wi-fi等无线或有线网络。[0236]需要指出的是，图12仅示出了具有部件10010-10030的计算机设备，但是应该理解的是，并不要求实施所有示出的部件，可以替代地实施更多或者更少的部件。[0237]在本实施例中，存储于存储器10010中的图像修复方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(如处理器10020)所执行，以完成本技术实施例。[0238]实施例四[0239]本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，其中，计算机程序被处理器执行时实现实施例中的图像修复方法的步骤。[0240]本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中图像修复方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。[0241]显然，本领域的技术人员应该明白，上述的本技术实施例的各模块或各步骤可以用通用的计算机设备来实现，它们可以集中在单个的计算机设备上，或者分布在多个计算机设备所组成的网络上，可选地，它们可以用计算机设备可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算机设备来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术实施例不限制于任何特定的硬件和软件结合。[0242]需要说明的是，以上仅为本技术的优选实施例，并非因此限制本技术的专利保护范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
技术领域：
：，均同理包括在本技术的专利保护范围内。当前第1页12当前第1页12
技术特征：
1.一种图像修复方法，其特征在于，所述方法包括：根据待修复图像获取待输入数据；将所述待输入数据输入到扩散模型中，以通过所述扩散模型将所述待输入数据和随机生成的高斯噪声图进行融合，得到融合数据；其中所述扩散模型包括噪声预测模型；通过所述噪声预测模型预估所述融合数据的噪声参数；根据所述待输入数据以及所述噪声参数，重建生成对应于所述已修复图像的输出数据；通过所述扩散模型输出所述输出数据，所述输出数据为与所述待修复图像对应的已修复图像。2.根据权利要求1所述的方法，其特征在于，所述根据待修复图像获取待输入数据，包括：将所述待修复图像输入至变分编解码器，所述变分编解码器用于压缩、降维和数据重建；获取所述变分编解码器的重建数据，其中，所述重建数据为所述待输入数据。3.根据权利要求2所述的方法，其特征在于，所述变分编解码器包括编码器、解码器和采样器；对应地，所述变分编解码器通过将不同的样本图像作为输入并进行以下多轮操作训练得到：将样本图像输入至所述编码器中，以得到与所述样本图像对应的编码向量；将所述编码向量输入至所述解码器，以得到第一样本重建对象；通过所述采样器随机生成采样向量；将所述采样向量输入至所述解码器，以得到第二样本重建对象；根据所述第一样本重建对象以及所述第二样本重建对象，获取第一损失值；根据所述第一损失值调整所述变分编解码器的参数。4.根据权利要求2或3所述的方法，其特征在于，所述扩散模型通过以下训练操作得到：通过训练好的变分编解码器获取样本图像的样本重建数据；将所述样本重建数据作为所述扩散模型的样本输入数据，对所述扩散模型进行模型训练。5.根据权利要求1所述的方法，其特征在于，所述扩散模型通过多个样本图像对训练得到，样本图像对包括对应同一画面但画质不同的第一样本图像和第二样本图像；每个样本图像对应所述扩散模型的一轮训练操作，其中，每轮训练操作如下：随机生成高斯噪声；将所述高斯噪声加入至第一样本图像中，以得到第一噪声图；通过条件似然函数将第二样本图像加入至第一噪声图中，以得到第二噪声图；通过所述噪声预测模型，获取第二噪声图的预测噪声参数；根据所述预测噪声参数和真实噪声参数，获取第二损失值；其中，所述真实噪声参数为所述高斯噪声对应的噪声参数；根据所述第二损失值，调整所述噪声预测模型的参数。6.根据权利要求5所述的方法，其特征在于，
所述第一样本图像的画面质量高于所述第二样本图像的画面质量。7.根据权利要求6所述的方法，其特征在于，所述第一样本图像的清晰度高于所述第二样本图像的清晰度；和/或所述第一样本图像的分辨率高于所述第二样本图像的分辨率。8.一种图像修复装置，其特征在于，所述装置包括：获取模块，用于根据待修复图像获取待输入数据；输入模块，用于将所述待输入数据输入到扩散模型中，以通过所述扩散模型将所述待输入数据和随机生成的高斯噪声图进行融合，得到融合数据；其中所述扩散模型包括噪声预测模型；预估模块，用于通过所述噪声预测模型预估所述融合数据的噪声参数；重建模块，用于根据所述待输入数据以及所述噪声参数，重建生成对应于所述已修复图像的输出数据；输出模块，用于通过所述扩散模型输出所述输出数据，所述输出数据为与所述待修复图像对应的已修复图像。9.一种计算机设备，其特征在于，包括：至少一个处理器；及与所述至少一个处理器通信连接的存储器；其中：所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1至7中任一项所述的方法。

技术总结
本申请实施例了提供一种图像修复方法，该图像修复方法包括：根据待修复图像获取待输入数据。将所述待输入数据输入到扩散模型中，以通过所述扩散模型将所述待输入数据和随机生成的高斯噪声图进行融合，得到融合数据；其中所述扩散模型包括噪声预测模型。通过所述噪声预测模型预估所述融合数据的噪声参数。根据所述待输入数据以及所述噪声参数，重建生成对应于所述已修复图像的输出数据。通过所述扩散模型输出所述输出数据，所述输出数据为与所述待修复图像对应的已修复图像。本申请实施例的技术方案可以通过扩散模型对低画质的图像进行修复，生成对应的高画质图像，进而提高图像处理的效果。理的效果。理的效果。


技术研发人员：李亘杰
受保护的技术使用者：上海哔哩哔哩科技有限公司
技术研发日：2023.06.26
技术公布日：2023/9/25