一种提高散景处理稳定性的方法以及电子设备与流程

1.本公开涉及一种提高散景处理稳定性的方法以及执行所述方法的电子设备。


背景技术：

2.近年来，从智能手机的相机模块捕获的图像中人工生成具有散景的图像的图像处理技术被广泛传播。在具有散景的图像中，前景中的人等主体应清晰显示，而建筑物等背景应该被模糊。例如，将主体的区域内的散景强度设置为0，并且其他区域的散景强度随着与主体之间的距离增加而增加。
3.基于通过相机模块的自动聚焦操作获得的自动聚焦区域(例如，af矩形(af rectangle))来确定主体的区域。然而，如图7所示，自动聚焦区域r容易漂移或移动。在时刻t1和时刻t3，具有散景的图像是不合适的，因为自动聚焦区域r在作为主体的人p的区域之外。
4.在实践中，例如，当主体移动或主体反射的光改变时，自动聚焦区域倾向于在主体区域之外。
5.虽然难以稳定自动聚焦操作，但消费者一直热切期待稳定地生成具有散景的图像的技术的发展。


技术实现要素：

6.本公开旨在解决上述技术问题中的至少一个。因此，本公开需要提供一种提高散景处理的稳定性的方法和实现这种方法的电子设备。
7.本公开提出了一种提高散景处理的稳定性的方法。所述方法包括：获取图像、图像中的自动聚焦区域和深度图；对所述图像执行主体分割处理以获取指示目标主体的主体区域；当主体分割处理成功时，从深度图中提取所述主体区域中的深度值，或者当所述主体分割处理不成功并且自动聚焦操作成功时，从深度图中提取自动聚焦区域中的深度值；基于提取的深度值确定参考深度值；以及基于所述参考深度值对图像执行散景处理。所述深度图对应于所述图像。所述主体分割处理将图像中的目标主体的区域与其他区域分离开。
8.在一些实施例中，移动设备配备的相机模块每次捕获新的视频帧时，可以获取图像、图像中的自动聚焦区域和对应于图像的深度图。
9.在一些实施例中，当主体分割处理和自动聚焦操作都不成功时，基于所述参考深度值对图像执行散景处理可以使用先前视频帧的参考深度值。
10.在一些实施例中，基于所述参考深度值对图像执行散景处理可以包括：使用参考深度值作为目标主体的深度值。
11.在一些实施例中，所述图像可以是由立体相机模块的主相机模块捕获的主图像。
12.在一些实施例中，自动聚焦区域可以是af矩形。
13.在一些实施例中，所述深度图可以基于立体相机模块捕获的立体图像来生成，所述深度图可以是基于距离传感器模块捕获的图像的飞行时间(time of flight,tof)深度
图，或者可以通过人工智能(artificial intelligence,ai)基于所述图像来估计所述深度图。
14.在一些实施例中，目标主体可以是人、动物或物体。
15.在一些实施例中，当所述主体区域的形状指示所述目标主体时，确定主体分割处理成功。
16.在一些实施例中，当所述主体区域的至少一部分与自动聚焦区域重叠时，确定主体分割处理成功。
17.在一些实施例中，基于提取的深度值确定参考深度值可以包括：计算提取的深度值的代表值。
18.根据本公开，电子设备包括：处理器和用于存储指令的存储器，其中，当所述指令由处理器执行时，使得所述处理器执行根据本公开的方法。
19.根据本公开，提供了一种非暂时性计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序由计算机执行以实现根据本公开的方法。
附图说明
20.本公开的实施例的这些和/或其他方面和优点将从参照附图进行的以下描述中变得明显并更容易理解。
21.图1是示出根据本公开的实施例的电子设备的配置的示例的功能框图。
22.图2是用于通过图1所示的电子设备生成具有散景的相机图像的流程图。
23.图3a示出了深度图的示例(上部分)和矩阵图像(mat图像)的示例(下部分)。
24.图3b示出了深度图的示例(上部分)和mat图像的示例(下部分)。
25.图3c示出了深度图的示例(上部分)和mat图像的示例(下部分)。
26.图4示出了根据本公开的具有散景的时间序列图像的示例。
27.图5示出了包含田地中的牛作为主体的具有散景的图像的示例。
28.图6示出了包含建筑物前面的汽车作为主体的具有散景的图像的示例。
29.图7示出了根据现有技术的具有散景的时间序列图像。
具体实施方式
30.现在将详细描述本公开的实施例并且实施例的示例将在附图中示出。在整个说明书中，相同或相似的元件和具有相同或相似功能的元件由相同的附图标记表示。本文中参考附图所描述的实施例是解释性的，旨对本公开进行说明，并不应被解释为限制本公开。
31.《电子设备100》
32.将参照图1描述电子设备100。图1是示出根据本公开的实施例的电子设备100的配置的示例的电路图。
33.在该实施例中，电子设备100是诸如智能手机的移动设备，但是也可以是配备有一个或多个相机模块的其他类型的电子设备。
34.如图1所示，电子设备100包括立体相机模块10、距离传感器模块20以及图像信号处理器30。所述图像信号处理器30控制所述立体相机模块10和距离传感器模块20。所述图像信号处理器30可以对立体相机模块10获取的图像执行图像处理。
35.所述立体摄像机模块10包括用于双目立体观看的主相机模块11和从相机模块12，如图1所示。
36.主相机模块11包括能够聚焦于主体的第一透镜11a、检测经由所述第一透镜11a输入的图像的第一图像传感器11b、以及驱动所述第一图像传感器11b的第一图像传感器驱动器11c，如图1所示。
37.从相机模块12包括能够聚焦于主体的第二透镜12a、检测经由所述第二透镜12a输入的图像的第二图像传感器12b、以及驱动所述第二图像传感器12b的第二图像传感器驱动器12c，如图1所示。
38.所述主相机模块11捕获主相机图像。类似地，从相机模块12捕获从相机图像。主相机图像和从相机图像可以是诸如rgb图像的彩色图像，或单色图像。
39.通过立体匹配技术，可以基于主相机图像和从相机图像生成深度图。具体地，计算来自立体图像(即，主相机图像和从相机图像)的每个对应像素的视差量。所述深度值与所述视差量成比例。
40.所述相机模块10可以以给定的帧速率拍摄视频。
41.所述距离传感器模块20捕获深度图。例如，距离传感器模块20是tof相机，并且通过向主体发射脉冲光并检测从主体反射的光来捕获飞行时间深度图(tof深度图)。所述tof深度图指示电子设备100和主体之间的实际距离。所述距离传感器模块可以省略。
42.所述图像信号处理器(image signal processor,isp)30控制所述主相机模块11、所述从相机模块12和所述距离传感器模块20。所述isp 30控制所述相机模块10获取图像，并对所述图像执行散景处理，以生成所述具有散景的图像。可以基于主相机图像(或从相机图像)和深度图(或tof深度图)来生成所述具有散景的图像。
43.所述isp 30获取立体相机模块10捕获的图像中的自动聚焦区域(例如，af矩形)。所述自动聚焦区域指示聚焦区域(in-focus area)。通过相机模块10的自动聚焦操作来获得自动聚焦区域。
44.此外，如图1所示，电子设备100包括全球导航卫星系统(global navigation satellite system,gnss)模块40、无线通信模块41、编解码器42、扬声器43、麦克风44、显示模块45、输入模块46、惯性测量单元(inertial measurement unit,imu)47、主处理器48和存储器49。
45.所述gnss模块40测量所述电子设备100的当前位置。所述无线通信模块41执行与互联网的无线通信。所述编解码器42使用预定的编码方法或解码方法双向地执行编码和解码。所述扬声器43根据编解码器42解码的声音数据输出声音。所述麦克风44基于输入的声音向编解码器42输出声音数据。
46.所述显示模块45显示相机模块10拍摄的图像。显示模块45可以实时显示图像。
47.所述输入模块46通过用户的操作输入信息。例如，所述输入模块46输入指令以捕获和存储显示在显示模块45上的图像。
48.所述imu 47检测电子设备100的角速度和加速度。所述电子设备100的位姿可以通过imu 47的测量结果来掌握。
49.所述主处理器48控制全球导航卫星系统(gnss)模块40、无线通信模块41、编解码器42、扬声器43、麦克风44、显示模块45、输入模块46和imu 47。
50.所述存储器49存储图像的数据、深度图的数据以及在图像信号处理器30和/或主处理器48上运行的程序。
51.《提高散景处理稳定性的方法》
52.参照图2描述根据本公开的实施例的提高散景处理的稳定性的方法。
53.在步骤s1中，图像信号处理器30确定是否捕获了新的视频帧。如果确定捕获了新的视频帧，则处理进行到步骤s2。
54.在步骤s2中，所述isp 30获取图像、图像中的自动聚焦区域以及对应于所述图像的深度图。具体地，从相机模块10获取所述图像、所述自动聚焦区域和所述深度图。所述图像是主相机图像。或者，所述图像可以是从相机图像。所述自动聚焦区域通常是矩形区域，即，af矩形。
55.所述深度图可以是主相机图像和从相机图像生成的深度图、从距离传感器模块20获取的tof深度图，或者可以通过人工智能(ai)基于所述图像来估计所述深度图。ai可以基于主相机图像或从相机图像来估计深度图。
56.所述深度图的示例在图3a至3c的上半部分图中示出。。所述深度图是灰度图像。所述深度图中的区域的亮度与电子设备100与该区域之间的距离成反比。在该示例中，符号p表示作为主体的人，符号b表示背景中的建筑物。
57.在步骤s3中，所述isp 30对图像执行主体分割处理，以获取指示目标主体的主体区域。所述主体分割处理将目标主体的区域与图像中的其他区域分开。
58.具体地，通过分割处理生成mat图像。mat图像的示例在图3a至3c的下半部分图中示出。所述mat图像是二值图像。符号r1指示主体区域，所述主体区域指示作为主体的人。符号r2指示用于参考的自动聚焦区域。
59.在步骤s4中，所述isp 30确定分割处理是否成功。图3a和图3b中的mat图像示出了分割处理成功的情况。另一方面，图3c示出分割处理不成功的情况。
60.例如，当主体区域r1的形状指示诸如人的目标主体时，所述isp 30确定所述主体分割处理成功，如图3a和3b所示。
61.可选地，当主体区域r1的至少一部分与自动聚焦区域r2重叠时，所述isp 30可以确定所述主体分割处理成功，如图3b所示。
62.可选地，与先前帧中的主体区域相比，当主体区域r1的位置和/或大小的改变没有超过预定参考时，所述isp 30可以确定所述主体分割处理是成功的。
63.isp 30可以基于诸如涉及机器学习(machine learning,ml)或人工智能(ai)的训练过程的其他各种方法来执行步骤s4。
64.如果确定所述分割处理成功，则处理进行到步骤s5，否则进行到步骤s8。
65.在步骤s5中，所述isp 30从深度图中提取主体区域中的深度值。具体地，从深度图中提取与主体区域r1相对应的区域中的深度值。
66.在步骤s6中，所述isp 30基于提取的深度值确定参考深度值。具体地，isp 30计算提取的深度值的代表性平均值，例如，平均值、中值、四分位数范围值(例如，第三四分位数、第一四分位数)。在计算参考深度值之后，所述isp 30将其存储在存储器49中。
67.在步骤s7中，所述isp 30基于所述参考深度值对所述图像执行散景处理。isp 30使用参考深度值作为目标主体的深度值。例如，将主体区域中的散景强度设置为0，并且其
他区域的散景强度随着与主体之间的距离增加而增加。
68.即使所述自动聚焦操作不成功，也可以通过使用所述参考深度值来执行适当的散景处理。在步骤s7之后，所述处理返回到步骤s1。这样一来，每当移动设备100配备的相机模块10捕获新的视频帧时，执行步骤s1。
69.当在步骤s4中确定分割处理不成功时，将如下所述执行步骤s8至s10。
70.在步骤s8中，所述isp 30确定自动聚焦操作是否成功。图3a和图3c中的自动聚焦区域r2示出了自动聚焦操作不成功的情况。另一方面，图3b中的自动聚焦区域r2示出了自动聚焦操作成功的情况。
71.例如，与先前帧中的自动聚焦区域相比，若所述自动聚焦区域r2的位置的改变没有超过预定参考时，所述isp 30确定所述自动聚焦操作成功。所述isp 30可以基于诸如涉及机器学习(ml)或人工智能(ai)的训练过程的其他各种方法来执行步骤s8。
72.如果确定所述自动聚焦操作成功，则处理进行到步骤s9，否则进行到步骤s10。
73.在步骤s9中，所述isp 30从深度图中提取所述自动聚焦区域中的深度值。具体地，从深度图中提取对应于自动聚焦区域r2的区域中的深度值。在步骤s9之后，处理进行到步骤s6，并且基于从自动聚焦区域提取的深度值来计算所述参考深度值。
74.在步骤s10中，所述isp 30从存储器49读取先前视频帧的参考深度值。在步骤s10之后，所述处理进行到步骤s7，并且基于读取的参考深度值来执行所述散景处理。
75.可选地，上述步骤中的至少一个可以由主处理器48执行。
76.图4是通过上述方法获得的时间序列图像的示例。如图4所示，可以获得稳定的视频。也就是说，即使在时刻t1和时刻t3时，所述自动聚焦区域r2在人p之外，在视频帧上保持作为主体的人p的清晰度(sharpness)的同时，背景中的建筑物b也以模糊的方式稳定地显示。
77.所述主体不限于人，也可以是动物，或车辆等物体。这里描述了两个示例。图5示出了包含田地中的奶牛的具有散景的图像的示例。图6示出了包含在建筑物前面的汽车的具有散景的图像的示例。
78.图5中的图像i1和图像i2示出了由于自动聚焦操作不成功(即，自动聚焦区域r2在奶牛c之外)而导致的失败的示例。在图像i1和i2中，没有聚焦所述奶牛c，而是分别聚焦天空和地面。与此相反，通过使用mat图像j1来生成图像i3，从而适当地聚焦奶牛c，在mat图像j1中，指示所述奶牛c的主体区域r1被分离出来。
79.类似地，图6中的图像i4和i5示出了由于自动聚焦操作不成功(即，自动聚焦区域r2在车辆v之外)而导致的失败的示例。在图像i4和i5中，没有聚焦所述车辆v，而是分别聚焦建筑物和人。与此相反，通过使用mat图像j2来生成图像i6，从而适当地聚焦车辆v，在所述mat图像j2中，指示车辆v的主体区域r1被分离出来。
80.如上所述，根据本公开的实施例，即使自动聚焦操作不成功，也可以对相机模块10捕获的图像执行适当的散景处理，从而提高对诸如人像拍摄的图像的散景处理的稳定性。
81.即使自动聚焦区域在主体之外，只要主体分割处理成功，通过使用自动聚焦区域和主体区域就可以生成具有模糊的稳定图像。
82.此外，根据本公开的实施例，当用户试图拍摄移动场景(其中，自动聚焦操作不稳定)时，用户可以拍摄主体并获得视频，在该视频中，背景模糊的同时保持了主体的清晰度。
83.例如，安装在智能手机上的相机应用程序可以实时提供具有稳定散景的高质量视频人像。
84.在本公开的实施例的描述中，应当理解，诸如“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后面”、“背”、“左”、“右”、“垂直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”和“逆时针”的术语应该被解释为是指讨论中的附图中所描述或示出的方向或位置。这些相对术语仅用于简化本公开的描述，并且不表示或暗示所提及的装置或元件必须具有特定方向，或者必须以特定方向构造或操作。因此，这些术语不能被构造成限制本公开。
85.此外，诸如“第一”和“第二”之类的术语在本技术中用于描述的目的，并非旨在指示或暗示相对重要性或显著性，或者暗示所指示的技术特征的数量。因此，定义为“第一”和“第二”的特征可以包括该特征中的一个或多个。在本公开的描述中，“多个”意味着“两个或两个以上”，除非另有说明。
86.在本公开的实施例的描述中，除非另外指定或限制，否则术语“安装”、“连接”、“耦合”等是广义的，并且可以是，例如，固定连接、可拆卸连接或整体连接；也可以是机械连接或电气连接；也可以是直接连接或通过中间结构的间接连接；也可以是本领域技术人员根据特定情况能够理解的两个元素的内部连通。
87.在本公开的实施例中，除非另外指定或限制，第一特征在第二特征“上”或在第二特征“下”的结构可以包括第一特征与第二特征直接接触的实施例，并且还可以包括第一特征和第二特征彼此不直接接触，而是通过在它们之间形成的附加特征接触的实施例。此外，第一特征在第二特征“上方”、“之上”或“顶部”可以包括以下实施例：第一特征正交或倾斜地在第二特征“上方”、“之上”或“顶部”，或者仅仅意味着第一特征的高度高于第二特征的高度；而第一特征的在第二特征的“下方”、“之下”或“底部”可以包括以下实施例：第一特征正交地或倾斜地在第二特征的“下方”、“之下”或“底部”，或者仅仅意味着第一特征的高度低于第二特征的高度。
88.在上面的描述中提供了各种实施例和示例来实现本公开的不同结构。为了简化本公开，上面描述了某些元件和设置。然而，这些元件和设置仅作为示例，并不旨在限制本公开。此外，在本公开的不同示例中，附图标记和/或参考字母可能会重复。这种重复是为了简化和清楚的目的，而不是指不同实施例和/或设置之间的关系。此外，本公开中提供了不同工艺和材料的示例。然而，本领域技术人员将理解，也可以应用其他工艺和/或材料。
89.在整个说明书中，对“实施例”、“一些实施例”、“示例性实施例”、“示例”、“具体示例”或“一些示例”的引用意味着结合实施例或示例描述的特定特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。因此，贯穿本说明书的上述短语的出现不一定是指本公开的相同实施例或示例。此外，特定特征、结构、材料或特性可以在一个或多个实施例或示例中以任何合适的方式组合。
90.在流程图中描述的或在此以其他方式描述的任何过程或方法可以被理解为包括用于实现过程中的特定逻辑功能或步骤的可执行指令的代码的一个或多个模块、代码段或部分代码，并且本公开的优选实施例的范围包括其他实现方式，本领域技术人员应该理解，这些功能可以以不同于所示出或讨论的顺序来实现，包括以基本相同的顺序或相反的顺序。
91.在此以其他方式描述的或在流程图中示出的逻辑和/或步骤，例如，用于实现逻辑功能的可执行指令的特定序列表，可以在要由指令执行系统、装置或设备使用的任何计算机可读介质(例如基于计算机的系统、包括处理器的系统或能够从执行指令的指令执行系统、装置和设备获得指令的其他系统)中具体实现，或者与指令执行系统、装置和设备结合使用。就本说明书而言，“计算机可读介质”可以是自适应地包括、存储、传送、传播或传输程序以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备组合使用的任何装置。计算机可读介质的更具体示例包括但不限于：具有一根或多根电线的电子连接(电子设备)、便携式计算机附件(磁性设备)、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、光纤设备和便携式光盘只读存储器(cdrom)。此外，计算机可读介质甚至可以是能够在其上打印程序的纸或其他合适的介质，这是因为，例如，当需要以电子方式获得程序时，可以光学扫描纸或其他合适的介质，然后用其他合适的方法编辑、解密或处理，然后程序可以存储在计算机存储器中。
92.应当理解，本公开的每个部分可以通过硬件、软件、固件或它们的组合来实现。在上述实施例中，多个步骤或方法可以通过存储在存储器中并由适当的指令执行系统执行的软件或固件来实现。例如，如果通过硬件实现，同样在另一个实施例中，这些步骤或方法可以通过本领域已知的以下技术中的一种或组合来实现：具有用于实现数据信号的逻辑功能的逻辑门电路的分立逻辑电路、具有适当组合逻辑门电路的专用集成电路、可编程门阵列(pga)、现场可编程门阵列(fpga)等。
93.本领域技术人员应当理解，本公开的上述示例性方法中的全部或部分步骤可以通过用程序指令相关硬件来实现。这些程序可以存储在计算机可读存储介质中，并且当在计算机上运行时，这些程序包括本公开的方法实施例中的步骤之一或组合。
94.此外，本公开实施例的各个功能单元可以集成在一个处理模块中，或者这些单元可以是单独的物理存在，或者两个或更多个单元集成在一个处理模块中。集成模块可以采用硬件的形式实现，或以软件功能模块的形式实现。当集成模块以软件功能模块的形式实现并作为独立产品出售或使用时，集成模块可以存储在计算机可读存储介质中。
95.上述存储介质可以是只读存储器、磁盘、cd等。
96.尽管已经示出和描述了本公开的实施例，但是本领域技术人员应当理解，这些实施例是解释性的，并且不能被解释为限制本公开，在不背离本公开的范围的情况下，可以对实施例进行改变、修改、替代和变型。

技术特征：
1.一种提高散景处理的稳定性的方法，包括：获取图像、所述图像中的自动聚焦区域以及对应于所述图像的深度图；对所述图像执行主体分割处理，以获取指示目标主体的主体区域；当所述主体分割处理成功时，从所述深度图中提取所述主体区域中的深度值，或者当所述主体分割处理不成功并且自动聚焦操作成功时，从所述深度图中提取所述自动聚焦区域中的深度值；基于提取的深度值确定参考深度值；以及基于所述参考深度值对所述图像执行散景处理。2.根据权利要求1所述的方法，其中，在移动设备配备的相机模块每次捕获新的视频帧时执行所述获取图像、所述图像中的自动聚焦区域以及对应于所述图像的深度图。3.根据权利要求2所述的方法，其中，当所述主体分割处理和所述自动聚焦操作都不成功时，所述基于所述参考深度值对所述图像执行散景处理使用的是先前视频帧的参考深度值。4.根据权利要求1至3中任一项所述的方法，其中，所述基于所述参考深度值对所述图像执行散景处理包括：将所述参考深度值用作所述目标主体的深度值。5.根据权利要求1至4中任一项所述的方法，其中，所述图像是立体相机模块的主相机模块捕获的主图像。6.根据权利要求1至5中任一项所述的方法，其中，所述自动聚焦区域是af矩形。7.根据权利要求1至6中任一项所述的方法，其中，所述深度图是基于立体相机模块捕获的立体图像生成的，所述深度图是基于距离传感器模块捕获的图像的tof深度图，或者可以通过人工智能(ai)基于所述图像来估计所述深度图。8.根据权利要求1至7中任一项所述的方法，其中，所述目标主体是人、动物或物体。9.根据权利要求1至8中任一项所述的方法，其中，当所述主体区域的形状指示所述目标主体时，确定所述主体分割处理成功。10.根据权利要求1至8中任一项所述的方法，其中，当所述主体区域的至少一部分与所述自动聚焦区域重叠时，确定所述主体分割处理成功。11.根据权利要求1至10中任一项所述的方法，其中，所述基于提取的深度值确定参考深度值包括：计算提取的深度值的代表值。12.一种用于图像处理的电子设备，包括：处理器和用于存储指令的存储器，其中，当所述指令由所述处理器执行时，使得所述处理器执行根据权利要求1至11中任一项所述的方法。13.一种非暂时性计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序由计算机执行以实现根据权利要求1至11中任一项所述的方法。

技术总结
公开了一种提高散景处理稳定性的方法。所述方法包括：获取图像、图像中的自动聚焦区域和深度图；对所述图像执行主体分割处理以获取指示目标主体的主体区域；当所述主体分割处理成功时，从深度图中提取所述主体区域中的深度值，或者当所述主体分割处理不成功并且自动聚焦操作成功时，从深度图中提取自动聚焦区域中的深度值；基于提取的深度值确定参考深度值，以及基于参考深度值对图像执行散景处理。所述深度图对应于所述图像。深度图对应于所述图像。深度图对应于所述图像。


技术研发人员：大井拓哉 罗俊
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：2021.03.24
技术公布日：2023/10/20