图像处理方法、装置、存储介质、电子设备及产品与流程
未命名
09-23
阅读:66
评论:0
1.本技术涉及计算机技术领域,具体涉及一种图像处理方法、装置、存储介质、电子设备及产品。
背景技术:
2.图像处理即对待处理的目标图像文件进行后处理的任务,例如对手机相册中的图像进行后处理。目前,图像处理的方案,存在把模板的图片样式简单地覆盖在待处理的图像之上的方式,待处理的图像中若存在目标图像内容,目前的方案会简单地直接给待处理的图像上盲目覆盖一个模板的图片样式,模板中的图片样式与目标图像内容会明显的相互孤立,相当于加一个遮罩特效效果,无法做到目标图像内容置身于图片样式中的一体化融合效果。
3.因此,目前的图像处理方案下,无法准确有效一体化融合模板及待处理的图像文件中内容,存在图像处理效果较差的问题。
技术实现要素:
4.本技术实施例提供一种图像处理方法及相关装置,可以实现待处理的目标图像文件与预设图像模板中内容的准确有效一体化融合,有效提升图像处理效果。
5.为解决上述技术问题,本技术实施例提供以下技术方案:
6.根据本技术的一个实施例,一种图像处理方法,该方法包括:获取预设图像模板,所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;确定待处理的目标图像文件;判断所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容;若所述目标图像文件中包括所述待处理目标图像内容,则对所述目标图像文件中的所述待处理目标图像内容进行合成预处理,生成仅存在所述待处理目标图像内容的待合成图像;在所述图像预合成区对所述待合成图像进行内容补偿合成处理,生成融合所述模板图像内容与所述待处理目标图像内容的目标图像。
7.根据本技术的一个实施例,一种图像处理装置,其包括:模板获取模块,用于获取预设图像模板,所述所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;图像获取模块,用于确定待处理的目标图像文件;内容判断模块,用于判断所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容;图像处理模块,用于若所述目标图像文件中包括所述待处理目标图像内容,则对所述目标图像文件中的所述待处理目标图像内容进行合成预处理,生成仅存在所述待处理目标图像内容的待合成图像;图像合成模块,用于在所述图像预合成区对所述待合成图像进行内容补偿合成处理,生成融合所述模板图像内容与所述待处理目标图像内容的目标图像。
8.在本技术的一些实施例中,图像获取模块,用于:响应于针对候选图像的选择操
作,将所述选择操作所选定的候选图像确定为待处理的目标图像文件;所述内容判断模块,用于:获取所述目标图像文件对应的图像描述信息;根据所述图像描述信息,确定所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容。
9.在本技术的一些实施例中,候选图像中包括所述目标图像文件,所述装置还包括信息提取模块,包括:内容特征提取单元,用于从所述候选图像中提取图像内容特征;内容特征识别单元,用于基于所述图像内容特征进行特征联合识别处理,得到所述候选图像对应的图像描述信息,所述图像描述信息用于指示图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容。
10.在本技术的一些实施例中,所述内容特征提取单元,用于:将所述候选图像输入内容特征提取模型进行内容特征提取处理,得到所述图像内容特征;所述内容特征识别单元,用于:将所述图像内容特征输入内容特征识别模型进行特征联合识别处理,得到所述图像描述信息。
11.在本技术的一些实施例中,所述内容特征提取单元,包括:分割子单元,用于按照预定分割策略将所述候选图像进行交叉分割处理,得到至少两个存在重叠部分的子图像;特征提取子单元,用于将至少两个所述子图像输入所述内容特征提取模型进行内容特征局部提取处理,得到所述图像内容特征。
12.在本技术的一些实施例中,所述分割子单元,用于:检测所述候选图像的长宽比例;若所述长宽比例高于预定阈值,按照预定分割策略将所述候选图像进行交叉分割处理,得到至少两个存在重叠部分的子图像。
13.在本技术的一些实施例中,所述图像处理模块,包括:检测单元,用于对所述目标图像文件中的所述待处理目标图像内容进行检测处理,得到所述待处理目标图像内容的轮廓信息;预处理单元,用于基于所述轮廓信息从所述目标图像文件中提取所述待处理目标图像内容,得到仅存在所述待处理目标图像内容的所述待合成图像。
14.在本技术的一些实施例中,所述轮廓信息为掩膜图像;所述检测单元,用于:将所述目标图像文件输入图像分割提取模型进行内容分割检测处理,以获得所述待处理目标图像内容对应的所述掩膜图像。
15.在本技术的一些实施例中,所述预处理单元,用于:将所述掩膜图像与所述目标图像文件进行掩膜叠加运算处理,得到所述待合成图像,其中,所述待合成图像中包括所述待处理目标图像内容对应的内容区域,所述待合成图像中所述内容区域之外为透明区域。
16.在本技术的一些实施例中,所述检测单元,用于:将所述目标图像文件进行尺寸变换处理,得到目标尺寸的变换后图像;将所述变换后图像输入所述图像分割提取模型进行内容分割检测处理,以获得所述待处理目标图像内容对应的所述掩膜图像;所述预处理单元,用于:将所述掩膜图像的尺寸变换至所述目标图像文件对应的尺寸,得到变换后掩膜图像;对所述变换后掩膜图像进行滤波降噪处理,得到目标掩膜图像;将所述目标掩膜图像与所述目标图像文件进行掩膜叠加运算处理,得到所述待合成图像。
17.在本技术的一些实施例中,所述图像合成模块包括第一合成单元,用于:获取所述预设图像模板对应的预设内容合成策略;按照所述预设内容合成策略中的内容补偿信息,将所述待合成图像及所述模板图像内容进行内容补偿处理,得到补偿后所述待合成图像及所述模板图像内容;在所述图像预合成区将补偿后所述待合成图像与所述模板图像内容进
行图像合成。
18.在本技术的一些实施例中,所述图像合成模块包括第二合成单元,用于:获取所述待合成图像的图像特征信息,并获取所述图像预合成区的预设描述信息;根据所述图像特征信息及所述预设描述信息进行分析处理,得到所述预设图像模板及所述待合成图像匹配的图像合成策略;按照所述图像合成策略中的内容补偿信息,将所述待合成图像及所述模板图像内容进行内容补偿处理,得到补偿后所述待合成图像及所述模板图像内容;在所述图像预合成区将补偿后所述待合成图像与所述模板图像内容进行图像合成。
19.根据本技术的另一实施例,一种图像处理方法,包括:显示图像合成界面,所述图像合成界面中展示预设图像模板,所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;响应于所述图像合成界面中的合成操作,展示合成后的目标图像,所述目标图像为在所述图像预合成区对待合成图像进行内容补偿合成处理生成的,所述待处理图像为对目标图像文件中的待处理目标图像内容进行合成预处理所生成的,所述待处理图像中仅存在所述待处理目标图像内容,所述待处理目标图像内容满足合成所述预定类型的图像内容的要求。
20.根据本技术的另一实施例,一种图像处理装置,包括:模板显示模块,用于显示图像合成界面,所述图像合成界面中展示预设图像模板,所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;目标图像合成模块,用于响应于所述图像合成界面中的合成操作,展示合成后的目标图像,所述目标图像为在所述图像预合成区对待合成图像进行内容补偿合成处理生成的,所述待处理图像为对目标图像文件中的待处理目标图像内容进行合成预处理所生成的,所述待处理图像中仅存在所述待处理目标图像内容,所述待处理目标图像内容满足合成所述预定类型的图像内容的要求。
21.在本技术的一些实施例中,目标图像合成模块,包括:选择界面触发单元,用于响应于所述图像合成界面中的针对所述预设图像模板的合成触发操作,显示图像文件选择界面;合成触发单元,用于响应于所述图像文件选择界面中针对所述目标图像文件的合成触发操作,展示合成后的目标图像。
22.在本技术的一些实施例中,所述合成触发单元,用于:响应于所述图像文件选择界面中针对候选图像的选择操作,凸出展示所述目标图像文件,所述目标图像文件为所述选择操作所选定的候选图像;响应于所述图像文件选择界面中的合成触发操作,展示合成后的目标图像。
23.根据本技术的另一实施例,一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行本技术实施例所述的方法。
24.根据本技术的另一实施例,一种电子设备,包括:存储器,存储有计算机程序;处理器,读取存储器存储的计算机程序,以执行本技术实施例所述的方法。
25.根据本技术的另一实施例,一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本技术实施例所述的各种可选实现方式中提供的方法。
26.本技术实施例中,获取预设图像模板,所述预设图像模板中包括图像预合成区以
及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;确定待处理的目标图像文件;判断所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容;若所述目标图像文件中包括所述待处理目标图像内容,则对所述目标图像文件中的所述待处理目标图像内容进行合成预处理,生成仅存在所述待处理目标图像内容的待合成图像;在所述图像预合成区对所述待合成图像进行内容补偿合成处理,生成融合所述模板图像内容与所述待处理目标图像内容的目标图像。
27.以这种方式,预设图像模板中设置用于合成预定类型的图像内容的预合成区,在图像处理时,首先判断目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容,若目标图像文件中包括待处理目标图像内容,则进一步进行处理,避免模板与待处理的目标图像文件文件中内容的盲目合成,提升合成准确性;进一步在合成处理时,将目标图像文件通过合成预处理生成仅存在预定类型的待处理目标图像内容的待合成图像,进一步的,在图像预合成区对待合成图像进行内容补偿的合成处理生成目标图像,可以适配地融合预设图像模板中的模板图像内容及待处理目标图像内容为一个整体生成目标图像,可以避免简单地增加遮罩处理造成的两者相互独立不融合的效果。进而,本技术实现待处理的目标图像文件与预设图像模板中内容的准确有效一体化融合,有效提升图像处理效果。
附图说明
28.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
29.图1示出了一种可以应用本技术实施例的系统的示意图。
30.图2a至图2c示出了可以一种场景图像处理过程的终端界面变化图。
31.图3示出了根据本技术的一个实施例的图像处理方法的流程图。
32.图4示出了根据本技术的另一个实施例的图像处理方法的流程图。
33.图5示出了根据本技术的一个实施例的特征识别流程图。
34.图6示出了根据本技术的一个实施例的图像压缩处理的流程图。
35.图7示出了根据本技术的一个实施例的图像分割的流程图。
36.图8示出了根据本技术的一个实施例的图像提取的流程图。
37.图9示出了根据本技术的一个实施例的图像合成的示意图。
38.图10示出了一种场景下进行图像处理过程的流程图。
39.图11示出了根据本技术的另一个实施例的图像处理装置的框图。
40.图12示出了根据本技术的一个实施例的电子设备的框图。
具体实施方式
41.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例,都属于本技术保护的范围。
42.可以理解的是,在本技术的具体实施方式中,涉及到待处理的目标图像文件等相关的数据,当本技术以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
43.图1示出了可以应用本技术实施例的系统100的示意图。如图1所示,系统100可以包括服务器101和/或终端102。
44.服务器101可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
45.终端102可以是任意的设备,终端102包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、vr/ar设备、智能手表以及计算机等等。
46.本示例的一种实施方式中,终端102或服务器101可以:获取预设图像模板,所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;确定待处理的目标图像文件;判断所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容;若所述目标图像文件中包括所述待处理目标图像内容,则对所述目标图像文件中的所述待处理目标图像内容进行合成预处理,生成仅存在所述待处理目标图像内容的待合成图像;在所述图像预合成区对所述待合成图像进行内容补偿合成处理,生成融合所述模板图像内容与所述待处理目标图像内容的目标图像。
47.本示例的另一种实施方式中,用户使用终端中合成目标图像时,终端102中可以:显示图像合成界面,所述图像合成界面中展示预设图像模板,所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;响应于所述图像合成界面中的合成操作,展示合成后的目标图像,所述目标图像为在所述图像预合成区对待合成图像进行内容补偿合成处理生成的,所述待处理图像为对目标图像文件中的待处理目标图像内容进行合成预处理所生成的,所述待处理图像中仅存在所述待处理目标图像内容,所述待处理目标图像内容满足合成所述预定类型的图像内容的要求。
48.一种场景下,参阅图2a至图2c所示的终端界面变化图,用户使用终端(例如图1所示的终端102)合成目标图像,该场景下,预定类型的图像内容为“人物类型的人物图像内容”,待处理目标图像内容为“待处理人物图像内容”。可以理解,其他场景下预定类型可以是动物类型、车辆类型等等。
49.该场景下,首先,参阅图2a,显示“图像合成界面”,具体地,用户可以在应用中打开例如图2a的“入口2-子入口i-c功能入口”对应的“图像合成界面”,“图像合成界面”中展示至少一个预设图像模板。用户可以通过点击或者长按等合成触发操作,可以在“图像合成界面”中选择预设图像模板,进而终端响应于选择操作获取该用户选择的预设图像模板。
50.该场景下用户选择的预设图像模板如图2a中框选的用户ccc的模板,其中,图像预合成区可以是如图2a中用户ccc的模板中包括人形区域的预定区域,该预定区域可以用于合成人物类型的人物图像内容,模板图像内容可以是该预定区域之外的区域中内容。
51.然后,终端中可以响应于图像合成界面中的合成操作,展示合成后的目标图像,该
目标图像为终端在后台中在图像预合成区对待合成图像进行内容补偿合成处理生成的,待处理图像为对目标图像文件中的“待处理人物图像内容”进行合成预处理所生成的,待处理图像中仅存在“待处理人物图像内容”,“待处理人物图像内容”满足合成“人物类型的人物图像内容”的要求。终端中可以可以在目标界面中展示合成后的目标图像。
52.其中,结合图2b,一种方式下,响应于图像合成界面中的合成操作,展示合成后的目标图像,可以包括:响应于图像合成界面中的针对预设图像模板的合成触发操作,显示图像文件选择界面;响应于图像文件选择界面中针对目标图像文件的合成触发操作,展示合成后的目标图像。
53.具体地,该场景下,用户针对预设图像模板的合成触发操作,例如用户在如图2a中用户ccc的模板(即选择的预设图像模板)下点击“做同款”的操作,终端应用中检测到该针对预设图像模板的合成触发操作后,可以触发跳转至如图2b所示的图像文件选择界面,进而,终端中“显示图像文件选择界面”。该图像文件选择界面中可以展示特定位置(例如相册或文件夹等)中的“目标图像文件”或实时拍摄等方式采集的“目标图像文件”。
54.其中,一种方式下,响应于图像文件选择界面中针对目标图像文件的合成触发操作,展示合成后的目标图像,可以包括:响应于图像文件选择界面中针对候选图像的选择操作,凸出展示目标图像文件,目标图像文件为选择操作所选定的候选图像;响应于图像文件选择界面中的合成触发操作,展示合成后的目标图像。
55.图像文件选择界面中可以展示至少一个候选图像,用户在该图像文件选择界面中,根据需求通过点击候选图像等选择操作可以选择候选图像,进而,终端确定选择操作所选择的候选图像作为待处理的目标图像文件,图像文件选择界面中可以通过加深目标图像文件的亮度或框选目标图像文件等方式凸出展示目标图像文件。
56.用户可以在该图像文件选择界面中触发针对目标图像文件的合成触发操作,其中,该针对目标图像文件的合成触发操作,例如用户在如图2b所示的图像文件选择界面中点击“确定”的触发操作,可以理解,该合成触发操作可以根据需求设定。终端中检测到针对目标图像文件的合成触发操作后,可以在后台合成目标图像并在目标界面中展示。
57.其中,终端在后台合成目标图像时,终端具体可以:判断目标图像文件中是否包括满足合成人物类型的人物图像内容的要求的待处理人物图像内容;若目标图像文件中包括所述待处理人物图像内容,则对目标图像文件中的所述待处理人物图像内容进行合成预处理,生成仅存在待处理人物图像内容的待合成图像;在图像预合成区对待合成图像进行内容补偿合成处理,生成融合模板图像内容与待处理人物图像内容的目标图像。
58.终端中合成目标图像后可以存储在预定位置,并在目标页面展示目标图像,该场景下,在如图2c所示的“编辑”界面中显示该目标图像,用户可以进一步在该“编辑”界面对该目标图像进行编辑。
59.图3示意性示出了根据本技术的一个实施例的图像处理方法的流程图。该图像处理方法的执行主体可以是任意的终端,例如图1所示的终端102。
60.如图3所示,该图像处理方法可以包括步骤s210至步骤s250。
61.步骤s210,获取预设图像模板,预设图像模板中包括图像预合成区以及模板图像内容,图像预合成区用于合成预定类型的图像内容;
62.步骤s220,确定待处理的目标图像文件;
63.步骤s230,判断目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容;
64.步骤s240,若目标图像文件中包括待处理目标图像内容,则对目标图像文件中的待处理目标图像内容进行合成预处理,生成仅存在待处理目标图像内容的待合成图像;
65.步骤s250,在图像预合成区对待合成图像进行内容补偿合成处理,生成融合模板图像内容与待处理目标图像内容的目标图像。
66.预设图像模板即预设的用于合成其他图像的图像模板,该预设图像模板中包括图像预合成区,图像预合成区的轮廓形状可以根据需求布局。图像预合成区中可以用于合成预定类型的图像内容,预定类型的图像内容例如预定生物或预定物体的图像内容等。预设图像模板可以从预定位置获取,例如,从图像处理应用中可以选取某个预设图像模板。
67.一个示例中,参阅图2a,用户可以在应用中打开在例如图2a的“入口2-子入口i-c功能入口”对应“图像合成界面”,“图像合成界面”中展示至少一个预设图像模板。用户可以通过点击或者长按等合成触发操作,可以在“图像合成界面”中选择预设图像模板,进而终端响应于选择操作获取该用户选择的预设图像模板。用户选择的预设图像模板如图2a中框选的用户ccc的模板,其中,图像预合成区可以是如图2a中用户ccc的模板中包括人形区域的预定区域,该预定区域可以用于合成人物类型的人物图像内容,模板图像内容可以是该预定区域之外的区域中内容。
68.待处理的目标图像文件即需要二次处理的图像,待处理的目标图像文件可以从特定位置确定,例如用户从终端相册中选定的某个图片。
69.一个示例中,用户可以触发终端中启动如图2b所示的图像文件选择界面,该图像文件选择界面中可以展示特定位置(例如相册或文件夹等)中的“目标图像文件”或实时拍摄等方式采集的“目标图像文件”。用户可以在该图像文件选择界面中触发针对目标图像文件的合成触发操作,例如用户在如图2b所示的图像文件选择界面中点击“确定”来触发该合成触发操作,终端中检测到针对目标图像文件的合成触发操作后,可以在后台合成目标图像。
70.终端在合成目标图像时,先判断目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容,例如判断目标图像文件中是否包括满足和预定生物或预定物体的图像内容的待处理目标图像内容。
71.若目标图像文件中包括待处理目标图像内容,则对目标图像文件中的待处理目标图像内容进行合成预处理,生成仅存在待处理目标图像内容的待合成图像,待合成图像中仅存在待处理目标图像内容、而不存在待处理目标图像内容之外的其他内容。进而,在图像预合成区对待合成图像进行内容补偿合成处理,可以有效的进行两个图像内容的适配合成处理,生成融合模板图像内容与待处理目标图像内容的目标图像。
72.以这种方式,基于步骤s210至步骤s250,预设图像模板中设置用于合成预定类型的图像内容的预合成区,在图像处理时,首先判断目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容,若目标图像文件中包括待处理目标图像内容,则进一步进行处理,避免模板与待处理的目标图像文件文件中内容的盲目合成,提升合成准确性;进一步在合成处理时,将目标图像文件通过合成预处理生成仅存在预定类型的待处理目标图像内容的待合成图像,进一步的,在图像预合成区对待合成图像进行内容补
偿的合成处理生成目标图像,可以适配地融合预设图像模板中的模板图像内容及待处理目标图像内容为一个整体生成目标图像,可以避免简单地增加遮罩处理造成的两者相互独立不融合的效果。进而,本技术实现待处理的目标图像文件与预设图像模板中内容的准确有效一体化融合,有效提升图像处理效果。
73.参阅图4,下面描述进行图像处理时,所进行的各步骤的具体过程。
74.在步骤s210,获取预设图像模板,预设图像模板中包括图像预合成区以及模板图像内容,图像预合成区用于合成预定类型的图像内容。
75.预设图像模板可以从预定位置获取,例如,从图像处理应用中可以选取某个预设图像模板,选取的预设图像模板可以从云端或终端本地获取到。
76.预设图像模板可以包括至少一个,每个预设图像模板中可以包括至少一个图像预合成区以及模板图像内容,每个预设图像模板中包括的至少一个图像预合成区的区域形状及大小等可以相同也可以不同,模板图像内容即图像预合成区之外区域的内容。
77.在步骤s220,获取待处理的目标图像文件。
78.待处理的目标图像文件可以从特定位置(例如相册或文件夹等)定时或根据用户操作实时获取或者终端自主获取。一些方式中,待处理的目标图像文件可以是用户指定存储至某个文件夹的图片为待处理的目标图像文件,一些方式中,待处理的目标图像文件可以是用户实时从终端相册中根据需求选定的候选图像的某个图片。
79.在步骤s230,判断目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容。
80.一种方式中,可以根据预设的图像描述信息,判断目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容;一种方式中,可以对目标图像文件进行实时的内容检测,判断目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容。
81.一种实施例中,步骤s220,确定待处理的目标图像文件,包括:响应于针对候选图像的选择操作,将选择操作所选定的候选图像确定为待处理的目标图像文件;步骤s230,判断目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容,包括:获取目标图像文件对应的图像描述信息;根据图像描述信息,确定目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容。
82.候选图像即候选的至少一个图像,例如终端本地相册中的图像。用户可以从候选图像中通过点击等选择操作选择一个或至少两个候选图像,终端将选择操作所选定的候选图像确定为待处理的目标图像文件。
83.进一步的,响应于选择操作终端可以从数据库中信息存储位置获取被选择的目标图像文件对应的图像描述信息,该图像描述信息为预先设定的。根据该图像描述信息,不必进行内容检测便可以可以高效准确地来确定目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容。若图像描述信息指示候选图像中包括满足合成预定类型的图像内容的要求的待处理目标图像内容,可以保证目标图像文件与模板的成功合成。
84.一种实施例中,候选图像中包括待处理的目标图像文件,在步骤s220,获取待处理的目标图像文件之前,还包括步骤s200:从候选图像中提取图像内容特征;基于图像内容特
征进行特征联合识别处理,得到候选图像对应的图像描述信息,图像描述信息用于指示图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容。
85.针对候选图像通过提取图像内容特征进行联合识别处理,可以准确得到图像描述信息,该图像描述信息用于指示候选图像中包括预定类型的目标图像内容,进而,预先获取到候选的图像中是否包括目标图像内容,在从候选的图像中选择待处理的目标图像文件时,可以准确高效地判断选择的图像中是否包括目标图像内容。
86.一个示例中,参阅图5,预定类型的图像内容为人物类型对应的人物图像内容,图像内容特征如图5的中间图像中框选的左眼、右眼、鼻子、嘴巴左半,嘴巴右半边等特征,通过这些图像内容特征的联合识别可以准确确定这些特征属于如图5的右侧图像中框选的脸部图像,进而,可以准确地生成用于指示图像文件中是否包括满足合成人物类型的人物图像内容的要求的待处理目标图像内容。
87.一种实施例中,步骤s200中,从候选图像中提取图像内容特征,包括步骤s201:将候选图像输入内容特征提取模型进行内容特征提取处理,得到图像内容特征;步骤s200中,基于图像内容特征进行特征联合识别处理,得到候选图像对应的图像描述信息,包括步骤s202:将图像内容特征输入内容特征识别模型进行特征联合识别处理,得到图像描述信息。
88.内容特征提取模型即基于深度学习的特征提取模型,可以用于从图像中提取图像内容特征。本实施例的一种实施方式中,内容特征提取模型为mnn(mobile neural network,轻量级的深度神经网络推理引擎)经过图像特征深度学习的训练得到的用于特征提取的智能模型(简称mnn特征提取模型),可以在端侧进行图像内容特征的有效提取。
89.内容特征识别模型即基于深度学习的特征识别模型,可以用于识别图像内容特征属于何种类型的图像内容。本实施例的一种实施方式中,内容特征识别模型为mnn(mobile neural network,轻量级的深度神经网络推理引擎)经过图像特征深度学习的训练得到的用于特征对齐、识别的智能模型(简称mnn特征识别模型),可以在端侧进行图像内容特征的有效识别。
90.该实施例下,通过内容特征提取模型及内容特征识别模型,实现特征提取和识别的双重方案,保证提取的图像描述信息的准确性。
91.可以理解,另一种实施方式中,步骤s201中内容特征提取处理及步骤s202中图像内容特征的识别处理,可以基于一个内容识别模型进行,该内容识别模型例如mnn(mobile neural network,轻量级的深度神经网络推理引擎)经过人像特征深度学习的训练得到的特征提取及识别的智能模型。
92.一种实施例中,步骤s201,将候选图像输入内容特征提取模型进行内容特征提取处理,得到图像内容特征,包括步骤s2011:将候选图像输入内容特征提取模型进行内容特征提取处理,得到图像内容特征。该实施例下,直接将候选图像输入特征内容特征提取模型提取图像内容特征。
93.一种实施例中,步骤s201,将候选图像输入内容特征提取模型进行内容特征提取处理,得到图像内容特征,包括:步骤s2012,按照预定分割策略将候选图像进行交叉分割处理,得到至少两个存在重叠部分的子图像;步骤s2013,将至少两个子图像输入内容特征提取模型进行内容特征局部提取处理,得到图像内容特征。
94.预定分割策略可以为指示分割后子图像的尺寸、个数及重叠区域大小的策略。按
照预定分割策略将候选图像进行交叉分割处理,可以按照分割后子图像的尺寸、个数及重叠区域大小的策略信息,将候选图像交叉分割为至少两个存在重叠部分的子图像。
95.基于至少两个存在重叠部分的子图像进行内容特征局部提取处理,可以从每个子图像对应的候选图像局部中进行内容特征提取,避免候选图像的存在缺陷时导致提取不到特征。且子图像之间存在重叠部分,避免特征被分割导致识别错误。
96.参阅图6,以内容特征提取模型为mnn(mobile neural network,轻量级的深度神经网络推理引擎)经过人像特征深度学习的训练得到的用于特征提取的智能模型例(简称为mnn特征提取模型)为例,将图6中左侧的候选图像输入mnn特征提取模型时需要压缩为320*320的正方形图形,压缩后的图像中左眼、右眼、鼻子等特征出现压缩变形的缺陷,模型识别时会提取不到特征。
97.进一步的,参阅图7,将图6中左侧的候选图像进行交叉分割处理,得到图7中右侧所示的3个存在重叠部分的子图像,子图像的长宽比为4:3的大小,该子图像在输入mnn特征提取模型时,压缩为320*320的正方形图形后仍然可以准确提取到特征。
98.一种实施例中,步骤s2012,按照预定分割策略将候选图像进行交叉分割处理,得到至少两个存在重叠部分的子图像:检测候选图像的长宽比例;若长宽比例高于预定阈值,按照预定分割策略将候选图像进行交叉分割处理,得到至少两个存在重叠部分的子图像。
99.通过检测候选图像的长宽比例,若长宽比例高于预定阈值,则按照预定分割策略将候选图像进行交叉分割处理,例如检测到如图6左侧的候选图像的长宽比例高于预定阈值才进行交叉分割处理,这样可以避免无用的分割操作,提升图像处理效率。
100.在步骤s240,若目标图像文件中包括待处理目标图像内容,则对目标图像文件中的待处理目标图像内容进行合成预处理,生成仅存在待处理目标图像内容的待合成图像。
101.一种实施例中,步骤s240,对目标图像文件中的待处理目标图像内容进行合成预处理,生成仅存在待处理目标图像内容的待合成图像,包括:步骤s241,对目标图像文件中的待处理目标图像内容进行检测处理,得到待处理目标图像内容的轮廓信息;步骤s242,基于轮廓信息从目标图像文件中提取待处理目标图像内容,得到仅存在待处理目标图像内容的待合成图像。
102.例如待处理目标图像内容为目标人物的人物图像,轮廓信息则为可以描述人物图像的轮廓的信息,根据检测到的轮廓信息则可以从待处理的目标图像文件中提取到人物图像,生成仅存在人物图像的待合成图像。
103.一种实施例中,轮廓信息为掩膜图像;步骤s241,对目标图像文件中的待处理目标图像内容进行检测处理,得到待处理目标图像内容的轮廓信息,包括:将目标图像文件输入图像分割提取模型进行内容分割检测处理,以获得待处理目标图像内容对应的掩膜图像。
104.图像分割提取模型即基于深度学习的图像分割模型,可以用于分割图像生成掩膜图像。本实施例的一种实施方式中,图像分割提取模型为mnn(mobile neural network,轻量级的深度神经网络推理引擎)经过图像特征深度学习的训练得到的用于分割图像生成掩膜图像的智能模型(简称为mnn分割提取模型),可以在端侧进行分割图像生成掩膜图像。
105.将待处理的目标图像文件输入图像分割提取模型,图像分割模型可以进行目标图像内容的检测及分割,生成目标图像内容对应的掩膜图像,该掩膜图像如图8中图像x3所示,目标图像内容对应的内容区域为非0像素,而内容区域之外的区域为0像素。
106.一种实施例中,步骤s242,基于轮廓信息从目标图像文件中提取待处理目标图像内容,得到仅存在待处理目标图像内容的待合成图像,包括:将掩膜图像与目标图像文件进行掩膜叠加运算处理,得到待合成图像,其中,待合成图像中包括待处理目标图像内容对应的内容区域,待合成图像中内容区域之外为透明区域。
107.掩膜图像中待处理目标图像内容对应的内容区域的像素为非0像素,而内容区域之外的区域为0像素,将掩膜图像与待处理的目标图像文件进行掩膜叠加运算处理得到待合成图像,待合成图像中包括目标图像内容对应的内容区域,待合成图像中内容区域之外为透明区域,将待合成图像合成至预设图像模板时进而仅融合到目标图像内容。
108.一种实施例中,将目标图像文件输入图像分割提取模型进行内容分割检测处理,以获得待处理目标图像内容对应的掩膜图像,包括:将目标图像文件进行尺寸变换处理,得到目标尺寸的变换后图像;将变换后图像输入图像分割提取模型进行内容分割检测处理,以获得待处理目标图像内容对应的掩膜图像;将掩膜图像与目标图像文件进行掩膜叠加运算处理,得到待合成图像,包括:将掩膜图像的尺寸变换至目标图像文件对应的尺寸,得到变换后掩膜图像;对变换后掩膜图像进行滤波降噪处理,得到目标掩膜图像;将目标掩膜图像与目标图像文件进行掩膜叠加运算处理,得到待合成图像。
109.根据图像分割提取模型的适配要求,将待处理的目标图像文件进行尺寸变换处理,得到目标尺寸的变换后图像,进而,采用图像分割提取模型对变换后图像进行检测处理,可以准确地获得目标图像内容对应的掩膜图像。
110.例如,参阅图8,将待处理的目标图像文件x1通过尺寸变换处理压缩为320*320的变换后图像x2,输入mnn分割提取模型进行检测处理,mnn分割提取模型可以从变换后图像x2中检测人物图像内容并分割生成掩膜图像x3。
111.将掩膜图像的尺寸变换至目标图像文件对应的尺寸,得到变换后掩膜图像,例如将图8中掩膜图像x3变换至原图大小即待处理的目标图像文件对应的尺寸,得到变换后掩膜图像x4。
112.对变换后掩膜图像进行滤波降噪处理,得到目标掩膜图像,例如将图8中变换后掩膜图像x4进行滤波降噪处理(如可以使用5介中值滤波降噪)得到目标掩膜图像x5。
113.将目标掩膜图像与待处理的目标图像文件进行掩膜叠加运算处理,即可得到待合成图像,例如,将图8中目标掩膜图像x5与待处理的目标图像文件x1进行掩膜叠加运算处理,即可得到待合成图像x6。
114.通过将掩膜图像放大到原图大小在边缘会产生一些锯齿,通过对变换后掩膜图像进行滤波降噪处理,可以使得边缘平滑,进而待合成图像中目标图像内容的边缘平滑,可以保证图像合成效果。
115.在步骤s250,在图像预合成区对所述待合成图像进行内容补偿合成处理,生成融合模板图像内容与待处理目标图像内容的目标图像。
116.图像合成策略(包括预设内容合成策略及个性化的图像合成策略)中可以包括待合成图像和/或模板图像内容的大小、亮度、像素色彩等的调整补偿策略信息以及待合成图像的放置位置或等补偿后待合成图像及模板图像内容的对齐方式等策略信息。确定匹配的图像合成策略后,可以按照图像合成策略将待合成图像在图像预合成区进行内容补偿合成处理,生成有效一体化融合模板图像内容与待处理目标图像内容的目标图像。
117.参阅图9,将待合成图像m1在预设图像模板m2的图像预合成区可以通过通过画笔和画板等工具进行内容补偿合成处理,将待合成图像m1中人物图像绘制在预设图像模板m2上得到融合后的目标图像m3。
118.一种实施例中,步骤s250,在图像预合成区对所述待合成图像进行内容补偿合成处理包括:获取预设图像模板对应的预设内容合成策略;按照预设内容合成策略中的内容补偿信息,将待合成图像及模板图像内容进行内容补偿处理,得到补偿后待合成图像及模板图像内容;在图像预合成区将补偿后待合成图像与模板图像内容进行图像合成。
119.该实施例下,获取预设图像模板对应的预设内容合成策略作为图像合成策略,按照预设内容合成策略中待合成图像和/或模板图像内容的大小、亮度、像素色彩等的调整补偿策略信息,将待合成图像及模板图像内容进行大小、亮度、像素色彩等内容的内容补偿处理,然后,在图像预合成区,按照预设内容合成策略中待合成图像的放置位置或等补偿后待合成图像及模板图像内容的对齐方式等策略信息,将补偿后待合成图像与模板图像内容进行图像合成,可以高效地进行图像合成生成目标图像。
120.一种实施例中,步骤s250,在图像预合成区对所述待合成图像进行内容补偿合成处理包括:获取待合成图像的图像特征信息,并获取图像预合成区的预设描述信息;根据图像特征信息及预设描述信息进行分析处理,得到预设图像模板及待合成图像匹配的图像合成策略;按照图像合成策略中的内容补偿信息,将待合成图像及模板图像内容进行内容补偿处理,得到补偿后待合成图像及模板图像内容;在图像预合成区将补偿后待合成图像与模板图像内容进行图像合成。
121.该实施例下,根据图像特征信息及预设描述信息进行分析处理得到的个性化的图像合成策略,可以进一步适配地融合两者生成目标图像。其中,图像特征信息可以是从待合成图像中提取的目标图像内容地大小、色彩以及亮度等信息。图像预合成区的预设描述信息为预设的用于描述该区域的信息,预设描述信息可以包括该区域的大小、色彩以及亮度等信息。
122.根据图像特征信息及预设描述信息进行分析处理的方式可以包括:从至少一个预设策略中查询图像特征信息及预设描述信息皆匹配的策略作为预设图像模板及待合成图像匹配的图像合成策略。
123.根据图像特征信息及预设描述信息进行分析处理的方式还可以包括:将图像特征信息及预设描述信息输入预先训练的基于深度学习的策略分析模型,该模型可以进行分析处理输出预测策略标签,从至少一个候选策略可以查询预测策略标签匹配的候选策略作为预设图像模板及待合成图像匹配的图像合成策略。
124.按照图像合成策略中待合成图像和/或模板图像内容的大小、亮度、像素色彩等的调整补偿策略信息,将待合成图像及模板图像内容进行大小、亮度、像素色彩等内容的内容补偿处理,然后,在图像预合成区,按照图像合成策略中待合成图像的放置位置或等补偿后待合成图像及模板图像内容的对齐方式等策略信息,将补偿后待合成图像与模板图像内容进行图像合成。
125.以下结合一种应用场景下进行图像处理的流程进一步描述前述实施例。参阅图10示出该场景下进行图像处理的整体流程图。
126.参阅图10该场景下图像处理的整体流程可以包括步骤s310至步骤s311。
127.在步骤s310,获取预设图像模板,预设图像模板中包括图像预合成区以及模板图像内容,图像预合成区用于合成预定类型的图像内容。该场景下预定类型的图像内容即人物类型的人物图像内容。
128.具体地,终端中可以显示图像合成界面,图像合成界面中展示预设图像模板,预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成人物类型的人物图像内容。
129.参阅图2a,用户可以在应用中打开例如图2a的“入口2-子入口i-c功能入口”对应的“图像合成界面”,“图像合成界面”中展示至少一个预设图像模板。用户可以通过点击或者长按等合成触发操作,可以在“图像合成界面”中选择预设图像模板,进而终端响应于选择操作获取该用户选择的预设图像模板。
130.该场景下用户选择的预设图像模板如图2a中框选的用户ccc的模板,其中,图像预合成区可以是如图2a中用户ccc的模板中包括人形区域的预定区域,该预定区域可以用于合成人物类型的人物图像内容,模板图像内容可以是该预定区域之外的区域中内容。
131.在步骤s320,选择候选图片。即确定待处理的目标图像文件,包括:响应于针对候选图像的选择操作,将选择操作所选定的候选图像确定为待处理的目标图像文件。
132.具体地,响应于图像合成界面中的针对预设图像模板的合成触发操作,终端中可以显示图像文件选择界面,图像文件选择界面中可以展示至少一个候选图像,用户在该图像文件选择界面中,根据需求通过点击候选图像等选择操作可以选择候选图像,进而,终端确定选择操作所选择的候选图像作为待处理的目标图像文件,图像文件选择界面中可以通过加深目标图像文件的亮度或框选目标图像文件等方式凸出展示目标图像文件。
133.例如,用户在如图2a中选择的预设图像模板下点击“做同款”触发针对预设图像模板的合成触发操作,触发终端中跳转至特定位置(例如相册或文件夹等)对应的如图2b所示的图像文件选择界面,用户在该图片界面中选定一个候选图像作为目标图像文件并点击“确定”可以触发针对目标图像文件的合成触发操作。
134.步骤s330至步骤s340,判断目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容,该场景下预定类型的目标图像内容为“人物类型的人物图像内容”。
135.在步骤s330,读取图片数据库识别结果。具体地,获取目标图像文件对应的图像描述信息。参阅图2b,响应于用户在例如图2b所示的图片界面通过点击“确定”等方式触发针对目标图像文件的合成触发操作后,终端可以从图片数据库中获取目标图像文件关联存储的图像描述信息。
136.步骤s340,判断是否包含人物图像内容。具体地,根据图像描述信息,确定目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容,即判断图像描述信息是否指示目标图像文件中是否包括满足合成人物类型的人物图像内容的要求的待处理目标图像内容。
137.若是,即若目标图像文件中包括待处理目标图像内容,则进入步骤s350至步骤s380。
138.若否,例如没有获取到图像描述信息,进入步骤s390。
139.步骤s350至步骤s380,对目标图像文件中的待处理目标图像内容进行合成预处
理,生成仅存在待处理目标图像内容的待合成图像。
140.在步骤s350,采用mnn分割提取模型提取掩膜图像。即对目标图像文件中的待处理目标图像内容进行检测处理,得到待处理目标图像内容的轮廓信息,具体包括:将目标图像文件输入图像分割提取模型(该场景下为mnn分割提取模型)进行内容分割检测处理,以获得待处理目标图像内容对应的掩膜图像。
141.在步骤s360,滤波平滑边缘。具体的,若将目标图像文件输入图像分割提取模型进行内容分割检测处理,以获得待处理目标图像内容对应的掩膜图像的步骤,包括:将目标图像文件进行尺寸变换处理,得到目标尺寸的变换后图像;将变换后图像输入图像分割提取模型进行内容分割检测处理,以获得待处理目标图像内容对应的掩膜图像。则进一步将掩膜图像的尺寸变换至目标图像文件对应的尺寸,得到变换后掩膜图像;对变换后掩膜图像进行滤波降噪处理,得到目标掩膜图像。
142.在步骤s370,掩膜叠加获取待合成图像。
143.具体地,基于轮廓信息从目标图像文件中提取待处理目标图像内容,得到仅存在待处理目标图像内容的待合成图像,包括:将掩膜图像与目标图像文件进行掩膜叠加运算处理,得到待合成图像,其中,待合成图像中包括待处理目标图像内容对应的内容区域,待合成图像中内容区域之外为透明区域。
144.此外,若执行步骤s360得到目标掩膜图像,则将目标掩膜图像与目标图像文件进行掩膜叠加运算处理,得到待合成图像。
145.掩膜叠加运算处理可以使用opencv的mask叠加算法,实现对原图进行区域的提取。
146.步骤s380,经过前述步骤s370至步骤s370,获得仅存在待处理目标图像内容的待合成图像。
147.步骤s390,合成模板及图像。具体地,在图像预合成区对所述待合成图像进行内容补偿合成处理,生成融合模板图像内容与待处理目标图像内容的目标图像。终端中合成目标图像后可以存储在预定位置,并在目标页面展示目标图像,该场景下,在如图2c所示的“编辑”界面中显示该目标图像,用户可以进一步在该“编辑”界面对该目标图像进行编辑。
148.在步骤s340后,若进入步骤s390。
149.在步骤s390,采用mnn特征提取模型提取人物图像特征。
150.即从候选图像中提取图像内容特征,具体包括:将候选图像输入内容特征提取模型(如mnn特征提取模型)进行内容特征提取处理,得到图像内容特征。
151.在步骤s3100,判断是否为人物图像特征。
152.即基于图像内容特征进行识别处理,得到图像描述信息,具体包括:将图像内容特征输入内容特征识别模型进行特征联合识别处理,得到图像描述信息。图像描述信息用于指示候选图像中是否包括满足合成预定类型的图像内容(即人物类型的人物图像内容)的要求的待处理目标图像内容。
153.参阅图5,预定类型的图像内容为人物类型对应的人物图像内容,图像内容特征如图5的中间图像中框选的左眼、右眼、鼻子、嘴巴左半,嘴巴右半边等人物图像特征,通过这些图像内容特征的联合识别可以确定这些特征属于如图5的右侧图像中框选的人物图像特征,进而,可以生成图像描述信息指示候选图像中包括满足合成预定类型的图像内容(即人
物类型的人物图像内容)的要求的待处理目标图像内容。
154.步骤s3100后,若是,即若图像描述信息指示候选图像中包括满足合成预定类型的图像内容(即人物类型的人物图像内容)的要求的待处理目标图像内容,则可以进入步骤s350及步骤s3111。
155.在步骤s3111,将图像描述信息存储至数据库。
156.在步骤s3100后,若否,例如没有提取到图像内容特征或判断提取的图像内容特征不是人物图像特征,则进入步骤s3112。
157.在步骤s3112,检测候选图像是否长图。具体地,检测候选图像的长宽比例,若长宽比例高于预定阈值则是长图,否则不是长图。
158.其中,若是,则进入步骤s3113。若否则进入步骤s3114。
159.在步骤s3113,图像切割成子图像。具体地,按照预定分割策略将候选图像进行交叉分割处理,得到至少两个存在重叠部分的子图像。然后,进入步骤s390,将至少两个子图像输入内容特征提取模型(如mnn特征提取模型)进行内容特征局部提取处理,得到图像内容特征。例如检测到如图6左侧的候选图像的长宽比例高于预定阈值,则进行候选图像的分割处理。参阅图7,将图6中左侧的候选图像进行分割处理,得到图7中右侧所示的3个存在重叠部分的子图像,子图像的长宽比为4:3的大小。子图像压缩为320*320的张量后输入mnn特征提取模型进行内容特征提取处理。然后,进入步骤s3110。
160.在步骤s3114,确定候选图片中不存在人物图像内容。
161.该场景下,通过应用本技术地前述实施例,指示可以实现以下有益效果:
162.可以适配地融合预设图像模板及人物图像内容为一个整体生成目标图像,可以避免简单地增加遮罩处理造成的两者相互独立不融合的效果,有效提升图像处理效果。简化了用户在图像融合时抠图编辑的操作,提升用户对整个功能的使用率及用户体验。以特征提取和识别的双重模型处理方案,保证识别出人物图像内容的准确性。通过长图分割的识别技术,增加整体的识别准确率,避免了一些人物图像特征被误判的情况。
163.为便于更好的实施本技术实施例提供的图像处理方法,本技术实施例还提供一种基于上述图像处理方法的图像处理装置。其中名词的含义与上述图像处理方法中相同,具体实现细节可以参考方法实施例中的说明。图11示出了根据本技术的一个实施例的图像处理装置的框图。
164.如图11所示,图像处理装置400中可以包括模板获取模块410、图像获取模块420、内容判断模块430、图像处理模块440及图像合成模块450。
165.模板获取模块410可以用于获取预设图像模板,所述所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;图像获取模块420可以用于确定待处理的目标图像文件;内容判断模块430可以用于判断所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容;图像处理模块440可以用于若所述目标图像文件中包括所述待处理目标图像内容,则对所述目标图像文件中的所述待处理目标图像内容进行合成预处理,生成仅存在所述待处理目标图像内容的待合成图像;图像合成模块450可以用于在所述图像预合成区对所述待合成图像进行内容补偿合成处理,生成融合所述模板图像内容与所述待处理目标图像内容的目标图像。
166.在本技术的一些实施例中,图像获取模块,用于:响应于针对候选图像的选择操作,将所述选择操作所选定的候选图像确定为待处理的目标图像文件;所述内容判断模块,用于:获取所述目标图像文件对应的图像描述信息;根据所述图像描述信息,确定所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容。
167.在本技术的一些实施例中,候选图像中包括所述目标图像文件,所述装置还包括信息提取模块,包括:内容特征提取单元,用于从所述候选图像中提取图像内容特征;内容特征识别单元,用于基于所述图像内容特征进行特征联合识别处理,得到所述候选图像对应的图像描述信息,所述图像描述信息用于指示图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容。
168.在本技术的一些实施例中,所述内容特征提取单元,用于:将所述候选图像输入内容特征提取模型进行内容特征提取处理,得到所述图像内容特征;所述内容特征识别单元,用于:将所述图像内容特征输入内容特征识别模型进行特征联合识别处理,得到所述图像描述信息。
169.在本技术的一些实施例中,所述内容特征提取单元,包括:分割子单元,用于按照预定分割策略将所述候选图像进行交叉分割处理,得到至少两个存在重叠部分的子图像;特征提取子单元,用于将至少两个所述子图像输入所述内容特征提取模型进行内容特征局部提取处理,得到所述图像内容特征。
170.在本技术的一些实施例中,所述分割子单元,用于:检测所述候选图像的长宽比例;若所述长宽比例高于预定阈值,按照预定分割策略将所述候选图像进行交叉分割处理,得到至少两个存在重叠部分的子图像。
171.在本技术的一些实施例中,所述图像处理模块,包括:检测单元,用于对所述目标图像文件中的所述待处理目标图像内容进行检测处理,得到所述待处理目标图像内容的轮廓信息;预处理单元,用于基于所述轮廓信息从所述目标图像文件中提取所述待处理目标图像内容,得到仅存在所述待处理目标图像内容的所述待合成图像。
172.在本技术的一些实施例中,所述轮廓信息为掩膜图像;所述检测单元,用于:将所述目标图像文件输入图像分割提取模型进行内容分割检测处理,以获得所述待处理目标图像内容对应的所述掩膜图像。
173.在本技术的一些实施例中,所述预处理单元,用于:将所述掩膜图像与所述目标图像文件进行掩膜叠加运算处理,得到所述待合成图像,其中,所述待合成图像中包括所述待处理目标图像内容对应的内容区域,所述待合成图像中所述内容区域之外为透明区域。
174.在本技术的一些实施例中,所述检测单元,用于:将所述目标图像文件进行尺寸变换处理,得到目标尺寸的变换后图像;将所述变换后图像输入所述图像分割提取模型进行内容分割检测处理,以获得所述待处理目标图像内容对应的所述掩膜图像;所述预处理单元,用于:将所述掩膜图像的尺寸变换至所述目标图像文件对应的尺寸,得到变换后掩膜图像;对所述变换后掩膜图像进行滤波降噪处理,得到目标掩膜图像;将所述目标掩膜图像与所述目标图像文件进行掩膜叠加运算处理,得到所述待合成图像。
175.在本技术的一些实施例中,所述图像合成模块包括第一合成单元,用于:获取所述预设图像模板对应的预设内容合成策略;按照所述预设内容合成策略中的内容补偿信息,将所述待合成图像及所述模板图像内容进行内容补偿处理,得到补偿后所述待合成图像及
所述模板图像内容;在所述图像预合成区将补偿后所述待合成图像与所述模板图像内容进行图像合成。
176.在本技术的一些实施例中,所述图像合成模块包括第二合成单元,用于:获取所述待合成图像的图像特征信息,并获取所述图像预合成区的预设描述信息;根据所述图像特征信息及所述预设描述信息进行分析处理,得到所述预设图像模板及所述待合成图像匹配的图像合成策略;按照所述图像合成策略中的内容补偿信息,将所述待合成图像及所述模板图像内容进行内容补偿处理,得到补偿后所述待合成图像及所述模板图像内容;在所述图像预合成区将补偿后所述待合成图像与所述模板图像内容进行图像合成。
177.根据本技术的另一实施例,一种图像处理装置,包括:模板显示模块,用于显示图像合成界面,所述图像合成界面中展示预设图像模板,所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;目标图像合成模块,用于响应于所述图像合成界面中的合成操作,展示合成后的目标图像,所述目标图像为在所述图像预合成区对待合成图像进行内容补偿合成处理生成的,所述待处理图像为对目标图像文件中的待处理目标图像内容进行合成预处理所生成的,所述待处理图像中仅存在所述待处理目标图像内容,所述待处理目标图像内容满足合成所述预定类型的图像内容的要求。
178.在本技术的一些实施例中,目标图像合成模块,包括:选择界面触发单元,用于响应于所述图像合成界面中的针对所述预设图像模板的合成触发操作,显示图像文件选择界面;合成触发单元,用于响应于所述图像文件选择界面中针对所述目标图像文件的合成触发操作,展示合成后的目标图像。
179.在本技术的一些实施例中,所述合成触发单元,用于:响应于所述图像文件选择界面中针对候选图像的选择操作,凸出展示所述目标图像文件,所述目标图像文件为所述选择操作所选定的候选图像;响应于所述图像文件选择界面中的合成触发操作,展示合成后的目标图像。
180.进一步的,本技术的一种实施例中,一种图像处理装置,包括:模板显示模块,用于显示图像合成界面,所述图像合成界面中展示预设图像模板,所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;目标图像合成模块,用于响应于所述图像合成界面中的合成操作,展示合成后的目标图像,所述目标图像为在所述图像预合成区对待合成图像进行内容补偿合成处理生成的,所述待处理图像为对目标图像文件中的待处理目标图像内容进行合成预处理所生成的,所述待处理图像中仅存在所述待处理目标图像内容,所述待处理目标图像内容满足合成所述预定类型的图像内容的要求。
181.在本技术的一些实施例中,目标图像合成模块,包括:选择界面触发单元,用于响应于所述图像合成界面中的针对所述预设图像模板的合成触发操作,显示图像文件选择界面;合成触发单元,用于响应于所述图像文件选择界面中针对所述目标图像文件的合成触发操作,展示合成后的目标图像。
182.在本技术的一些实施例中,所述合成触发单元,用于:响应于所述图像文件选择界面中针对候选图像的选择操作,凸出展示所述目标图像文件,所述目标图像文件为所述选择操作所选定的候选图像;响应于所述图像文件选择界面中的合成触发操作,展示合成后
的目标图像。
183.应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本技术的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
184.此外,本技术实施例还提供一种电子设备,该电子设备可以为终端或者服务器,如图12所示,其示出了本技术实施例所涉及的电子设备的结构示意图,具体来讲:
185.该电子设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解,图12中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
186.处理器501是该电子设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行计算机设备的各种功能和处理数据,从而对电子设备进行检测。可选的,处理器501可包括一个或多个处理核心;优选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户页面和应用程序等,调制解调处理器主要处理无线通讯。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
187.存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
188.电子设备还包括给各个部件供电的电源503,优选的,电源503可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
189.该电子设备还可包括输入单元504,该输入单元504可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
190.尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器501会按照如下的指令,将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器502中,并由处理器501来运行存储在存储器502中的计算机程序,从而实现本技术前述实施例的各种功能,如处理器501可以执行:
191.获取预设图像模板,所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;确定待处理的目标图像文件;判断所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内
容;若所述目标图像文件中包括所述待处理目标图像内容,则对所述目标图像文件中的所述待处理目标图像内容进行合成预处理,生成仅存在所述待处理目标图像内容的待合成图像;在所述图像预合成区对所述待合成图像进行内容补偿合成处理,生成融合所述模板图像内容与所述待处理目标图像内容的目标图像。
192.本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
193.为此,本技术实施例还提供一种计算机可读存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本技术实施例所提供的任一种方法中的步骤。
194.其中,该计算机可读存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。
195.由于该计算机可读存储介质中所存储的计算机程序,可以执行本技术实施例所提供的任一种方法中的步骤,因此,可以实现本技术实施例所提供的方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
196.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本技术上述实施例中各种可选实现方式中提供的方法。
197.本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
198.应当理解的是,本技术并不局限于上面已经描述并在附图中示出的实施例,而可以在不脱离其范围的情况下进行各种修改和改变。
技术特征:
1.一种图像处理方法,其特征在于,包括:获取预设图像模板,所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;确定待处理的目标图像文件;判断所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容;若所述目标图像文件中包括所述待处理目标图像内容,则对所述目标图像文件中的所述待处理目标图像内容进行合成预处理,生成仅存在所述待处理目标图像内容的待合成图像;在所述图像预合成区对所述待合成图像进行内容补偿合成处理,生成融合所述模板图像内容与所述待处理目标图像内容的目标图像。2.根据权利要求1所述的方法,其特征在于,所述确定待处理的目标图像文件,包括:响应于针对候选图像的选择操作,将所述选择操作所选定的候选图像确定为待处理的目标图像文件;所述判断所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容,包括:获取所述目标图像文件对应的图像描述信息;根据所述图像描述信息,确定所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容。3.根据权利要求1所述的方法,其特征在于,候选图像中包括所述目标图像文件,在所述获取待处理的目标图像文件之前,所述方法还包括:从所述候选图像中提取图像内容特征;基于所述图像内容特征进行特征联合识别处理,得到所述候选图像对应的图像描述信息,所述图像描述信息用于指示图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容。4.根据权利要求3所述的方法,其特征在于,所述从所述候选图像中提取所述图像内容特征,包括:将所述候选图像输入内容特征提取模型进行内容特征提取处理,得到所述图像内容特征;所述基于所述图像内容特征进行特征联合识别处理,得到所述候选图像对应的图像描述信息,包括:将所述图像内容特征输入内容特征识别模型进行特征联合识别处理,得到所述图像描述信息。5.根据权利要求4所述的方法,其特征在于,所述将所述候选图像输入内容特征提取模型进行内容特征提取处理,得到所述图像内容特征,包括:按照预定分割策略将所述候选图像进行交叉分割处理,得到至少两个存在重叠部分的子图像;将至少两个所述子图像输入所述内容特征提取模型进行内容特征局部提取处理,得到所述图像内容特征。
6.根据权利要求5所述的方法,其特征在于,所述按照预定分割策略将所述候选图像进行交叉分割处理,得到至少两个存在重叠部分的子图像,包括:检测所述候选图像的长宽比例;若所述长宽比例高于预定阈值,按照预定分割策略将所述候选图像进行交叉分割处理,得到至少两个存在重叠部分的子图像。7.根据权利要求1所述的方法,其特征在于,所述对所述目标图像文件中的所述待处理目标图像内容进行合成预处理,生成仅存在所述待处理目标图像内容的待合成图像,包括:对所述目标图像文件中的所述待处理目标图像内容进行检测处理,得到所述待处理目标图像内容的轮廓信息;基于所述轮廓信息从所述目标图像文件中提取所述待处理目标图像内容,得到仅存在所述待处理目标图像内容的所述待合成图像。8.根据权利要求7所述的方法,其特征在于,所述轮廓信息为掩膜图像;所述对所述目标图像文件中的所述待处理目标图像内容进行检测处理,得到所述待处理目标图像内容的轮廓信息,包括:将所述目标图像文件输入图像分割提取模型进行内容分割检测处理,以获得所述待处理目标图像内容对应的所述掩膜图像。9.根据权利要求8所述的方法,其特征在于,所述基于所述轮廓信息从所述目标图像文件中提取所述待处理目标图像内容,得到仅存在所述待处理目标图像内容的所述待合成图像,包括:将所述掩膜图像与所述目标图像文件进行掩膜叠加运算处理,得到所述待合成图像,其中,所述待合成图像中包括所述待处理目标图像内容对应的内容区域,所述待合成图像中所述内容区域之外为透明区域。10.根据权利要求9所述的方法,其特征在于,所述将所述目标图像文件输入图像分割提取模型进行内容分割检测处理,以获得所述待处理目标图像内容对应的所述掩膜图像,包括:将所述目标图像文件进行尺寸变换处理,得到目标尺寸的变换后图像;将所述变换后图像输入所述图像分割提取模型进行内容分割检测处理,以获得所述待处理目标图像内容对应的所述掩膜图像;所述将所述掩膜图像与所述目标图像文件进行掩膜叠加运算处理,得到所述待合成图像,包括:将所述掩膜图像的尺寸变换至所述目标图像文件对应的尺寸,得到变换后掩膜图像;对所述变换后掩膜图像进行滤波降噪处理,得到目标掩膜图像;将所述目标掩膜图像与所述目标图像文件进行掩膜叠加运算处理,得到所述待合成图像。11.根据权利要求1所述的方法,其特征在于,所述在所述图像预合成区对所述待合成图像进行内容补偿合成处理,包括:获取所述预设图像模板对应的预设内容合成策略;按照所述预设内容合成策略中的内容补偿信息,将所述待合成图像及所述模板图像内容进行内容补偿处理,得到补偿后所述待合成图像及所述模板图像内容;
在所述图像预合成区将补偿后所述待合成图像与所述模板图像内容进行图像合成。12.根据权利要求1所述的方法,其特征在于,所述在所述图像预合成区对所述待合成图像进行内容补偿合成处理,包括:获取所述待合成图像的图像特征信息,并获取所述图像预合成区的预设描述信息;根据所述图像特征信息及所述预设描述信息进行分析处理,得到所述预设图像模板及所述待合成图像匹配的图像合成策略;按照所述图像合成策略中的内容补偿信息,将所述待合成图像及所述模板图像内容进行内容补偿处理,得到补偿后所述待合成图像及所述模板图像内容;在所述图像预合成区将补偿后所述待合成图像与所述模板图像内容进行图像合成。13.一种图像处理方法,其特征在于,包括:显示图像合成界面,所述图像合成界面中展示预设图像模板,所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;响应于所述图像合成界面中的合成操作,展示合成后的目标图像,所述目标图像为在所述图像预合成区对待合成图像进行内容补偿合成处理生成的,所述待处理图像为对目标图像文件中的待处理目标图像内容进行合成预处理所生成的,所述待处理图像中仅存在所述待处理目标图像内容,所述待处理目标图像内容满足合成所述预定类型的图像内容的要求。14.根据权利要求13所述的方法,其特征在于,所述响应于所述图像合成界面中的合成操作,展示合成后的目标图像,包括:响应于所述图像合成界面中的针对所述预设图像模板的合成触发操作,显示图像文件选择界面;响应于所述图像文件选择界面中针对所述目标图像文件的合成触发操作,展示合成后的目标图像。15.根据权利要求13所述的方法,其特征在于,所述响应于所述图像文件选择界面中针对所述目标图像文件的合成触发操作,展示合成后的目标图像,包括:响应于所述图像文件选择界面中针对候选图像的选择操作,凸出展示所述目标图像文件,所述目标图像文件为所述选择操作所选定的候选图像;响应于所述图像文件选择界面中的合成触发操作,展示合成后的目标图像。16.一种图像处理装置,其特征在于,包括:模板获取模块,用于获取预设图像模板,所述所述预设图像模板中包括图像预合成区以及模板图像内容,所述图像预合成区用于合成预定类型的图像内容;图像获取模块,用于确定待处理的目标图像文件;内容判断模块,用于判断所述目标图像文件中是否包括满足合成所述预定类型的图像内容的要求的待处理目标图像内容;图像处理模块,用于若所述目标图像文件中包括所述待处理目标图像内容,则对所述目标图像文件中的所述待处理目标图像内容进行合成预处理,生成仅存在所述待处理目标图像内容的待合成图像;图像合成模块,用于在所述图像预合成区对所述待合成图像进行内容补偿合成处理,生成融合所述模板图像内容与所述待处理目标图像内容的目标图像。
17.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行权利要求1至15任一项所述的方法。18.一种电子设备,其特征在于,包括:存储器,存储有计算机程序;处理器,读取存储器存储的计算机程序,以执行权利要求1至15任一项所述的方法。19.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至15任一项的方法。
技术总结
本申请公开了一种图像处理方法、装置、存储介质、电子设备及产品,涉及计算机技术领域,本申请可以应用于人工智能、地图车辆网以及区块链等技术领域,该方法包括:获取预设图像模板,预设图像模板中包括图像预合成区以及模板图像内容;确定待处理的目标图像文件;判断目标图像文件中是否包括满足合成预定类型的图像内容的要求的待处理目标图像内容;若目标图像文件中包括待处理目标图像内容,则对目标图像文件中的待处理目标图像内容进行合成预处理,生成仅存在待处理目标图像内容的待合成图像;在图像预合成区对待合成图像进行内容补偿合成处理,生成融合模板图像内容与待处理目标图像内容的目标图像。本申请可以提升图像处理效果。效果。效果。
技术研发人员:谭阳
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2022.03.14
技术公布日:2023/9/22
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:一种显示/驱动一体化阵列及其制备方法与流程 下一篇:一种代谢能需要量动态预测方法