图像处理方法及装置、电子设备、存储介质与流程

1.本公开涉及图像处理领域，尤其涉及一种图像处理方法及装置、电子设备、存储介质。


背景技术：

2.随着全民摄影时代的到来，各大厂商为了提高自家产品的吸引力，为电子产品搭载了各种摄影功能，以实现相应的摄影效果。
3.在相关技术中，为了在图像中实现突出被摄主体的效果，通常会对图像进行背景识别，并对识别得到的背景进行虚化，进而实现上述突出主体的效果。


技术实现要素：

4.本公开提供一种图像处理方法及装置、电子设备、存储介质，能够在图像中突出被摄主体。
5.根据本公开的第一方面，提供一种图像处理方法，包括：
6.获取待处理图像及其深度信息；
7.基于所述深度信息对所述待处理图像进行背景分离，得到包含被摄主体的前景图像和不包含被摄主体的背景图像；
8.对所述前景图像和所述背景图像进行融合处理，以使融合得到的图像中所述被摄主体的一部分与所述背景图像不重叠。
9.根据本公开的第二方面，提供一种图像处理装置，包括：
10.获取单元，获取待处理图像及其深度信息；
11.分离单元，基于所述深度信息对所述待处理图像进行背景分离，得到包含被摄主体的前景图像和不包含被摄主体的背景图像；
12.融合单元，对所述前景图像和所述背景图像进行融合处理，以使融合得到的图像中所述被摄主体的一部分与所述背景图像不重叠。
13.根据本公开的第三方面，提供一种电子设备，包括：
14.处理器；
15.用于存储处理器可执行指令的存储器；
16.其中，所述处理器通过运行所述可执行指令以实现如第一方面所述的方法。
17.根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
18.在本公开的技术方案中，能够利用待处理图像的深度信息，对待处理图像进行背景分离，以得到包含被摄主体的前景图像和不包含被摄主体的背景图像。在此基础上，即可进一步对两者进行融合处理。其中，融合处理的标准为：使融合得到的图像中，被摄主体的一部分与背景图像不重叠。
19.应当理解的是，由于在融合得到的图像中被摄主体存在与背景图像不重叠的部
分，因此，能够营造出类似于被摄主体由图像中延伸至图像外的效果，更大程度上地突出被摄主体。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
21.图1是本公开一示例性实施例示出的一种图像处理方法的流程图；
22.图2是本公开一示例性实施例示出的另一种图像处理方法的流程图；
23.图3是本公开一示例性实施例示出的一种待处理图像的示意图；
24.图4是本公开一示例性实施例示出的一种前景图像和背景图像的示意图；
25.图5是本公开一示例性实施例示出的一种位置调整过程的示意图；
26.图6是本公开一示例性实施例示出的一种融合得到的图像的示意图；
27.图7是本公开一示例性实施例示出的另一种图像处理方法的流程图；
28.图8是本公开一示例性实施例示出的一种背景图像裁剪过程的示意图；
29.图9是本公开一示例性实施例示出的另一种融合得到的图像的示意图；
30.图10是本公开一示例性实施例示出的一种图像处理装置的框图；
31.图11是本公开一示例性实施例示出的另一种图像处理装置的框图；
32.图12是本公开一示例性实施例中一种电子设备的结构示意图。
具体实施方式
33.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
34.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
35.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
36.在相关技术中，为了突出图像中的被摄主体，通常会在进行图像拍摄的同时，获取图像的深度信息，并根据获取的深度信息，对图像中属于背景的画面内容进行虚化处理，以达到突出被摄主体的目的。
37.然而，该方式尽管能够在一定程度上突出被摄主体，但是在实际应用中，该突出效果并不明显。在诸多场景下，用户并不能从图像中一眼锁定被摄主体。
38.为此，本公开提出了一种图像处理方法，以避免相关技术中由于仅对属于背景的
画面进行虚化，而导致被摄主体在图像中的突出效果不明显的问题。
39.图1为本公开一示例性实施例示出的一种图像处理方法。如图1所示，该方法可以包括以下步骤：
40.步骤102，获取待处理图像及其深度信息。
41.由上述介绍可知，相关技术是通过对属于背景的画面内容进行虚化的方式，实现被摄主体的突出效果。然而，该方式的突出效果并不明显。有鉴于此，本公开不再采用对待处理图像中属于背景的画面内容进行虚化的方式，实现被摄主体的突出。
42.在本公开中，可以优先获取待处理图像，以及待处理图像的深度信息，并基于获取到的深度信息对待处理图像进行背景分离，以得到包含被摄主体的前景图像和不包含被摄主体的背景图像。在此基础上，即可进一步对前景图像和背景图像进行融合处理。其中，融合处理的标准为：在融合得到的图像中，被摄主体的一部分与背景图像不重叠。
43.应当理解的是，在经由融合处理得到的图像中，被摄主体的一部分与背景图像不重叠，相当于被摄主体的一部分位于背景图像之内、另一部分位于背景图像之外，因此，能够营造出被摄主体由图像包含的背景延伸至图像之外的实景的效果。在该场景下，当用户观看该图像时，通常能够直接捕捉到图像中的被摄主体，而非背景画面。显然，相较于相关技术中的被摄主体突出方式，能够更为有效地突出被摄主体。
44.需要声明的是，本公开通过背景分离得到的前景图像的尺寸和背景图像的尺寸，通常与待处理图像的尺寸一致。其中，前景图像中仅包含被摄主体的画面内容，除被摄主体所在区域以外的其他区域为空白画面；而背景图像中仅包含除被摄主体以外的背景画面，被摄主体所位于区域为空白区域。当然，该情况仅是示意性的，在其他情况下，前景图像、背景图像的尺寸也可以与待处理图像不同，其尺寸可由本领域技术人员根据实际情况确定，本公开对此不作限制。
45.在本公开中，可以在进行图像拍摄的同时，启动深度相机，以获取待处理图像的深度信息。在一些可行的实施方式中，电子设备在检测到图像拍摄指令时，可以同时调用rgb相机和tof(time of llight，飞行时间法)相机对被摄主体进行拍摄。其中，rgb图像用于进行图像采集，以获取待处理图像；而tof相机用于获取待处理图像中各个位置的深度信息。该拍摄方式即为相关技术中的双摄拍摄，该方式能够将深度相机获取到的各个深度信息，与待处理图像中的各个位置对应，避免待处理图像中各个位置的深度信息确定错误，而导致背景分离不准确的情况。
46.在本公开中，可以在电子设备中装配探测信号发射组件，以作为上述深度相机。那么，电子设备在检测到用户发起的图像拍摄指令后，一方面可以调用图像传感器进行图像采集，以得到待处理图像；另一方面，可以向被摄主体所处方向发射测距信号，以获取待处理图像的深度信息。其中，测距信号在经由碰撞后便会返回，以被电子设备接收。在此基础上，电子设备即可基于发出测距信号的时刻和接收到测距信号的时刻，确定一时间差，以根据该时间差确定出待处理图像中各个位置分别对应的深度信息。应当理解的是，上述时间差即为测距信号的传播时长，而测距信号的传播速度是已知的，显然，在得到传播时长之后，即可得到电子设备与拍摄得到的待处理图像中的各个位置所对应实物的距离，以作为相应位置的深度信息。
47.当然，上述确定待处理图像中各个位置的深度信息的方式仅是示意性的，具体如
何获取待处理图像中各个位置的深度信息可由本领域技术人员根据实际情况设置，本公开对此不作限制。
48.步骤104，基于所述深度信息对所述待处理图像进行背景分离，得到包含被摄主体的前景图像和不包含被摄主体的背景图像。
49.在本公开中，在获得待处理图像及其深度信息之后，即可基于深度信息对待处理图像进行背景分离。在一些可行的实施方式中，可以优先确定各个深度信息在待处理图像中所占的比例，以根据确定出的比例进一步确定出被摄主体所处位置的深度范围。在此基础上，即可将深度信息处于该深度范围内的画面内容确定为上述前景图像包含的画面内容，而将其他画面确定为背景图像中包含的画面内容。
50.本公开在确定被摄主体所处位置的深度范围时，可以通过绘制曲线的方式确定。例如，本公开可以在获得待处理图像中各个位置的深度信息后，绘制用于表征各个深度信息在待处理图像中所占比例的深度信息分布曲线，在此基础上，即可从该曲线中，确定出占比最高的两个深度范围，并将表征的距离更小的深度范围确定为被摄主体所处位置的深度范围。
51.应当理解的是，在实际拍摄过程中，用户通常正对被摄主体进行拍摄，且构成背景的物体位于被摄主体之后，以更好地在图像中凸显被摄主体。在该场景下，被摄主体和背景物体在图像中所占比例均较大，且被摄主体所处位置的深度信息所表征的距离，小于背景画面所处位置的深度信息所表征的距离。因此，多个深度范围中，所表征距离更小的深度范围即为被摄主体所处位置的深度范围。可见，通过该方式能够准确确定被摄主体所处位置的深度范围。
52.步骤106，对所述前景图像和所述背景图像进行融合处理，以使融合得到的图像中所述被摄主体的一部分与所述背景图像不重叠。
53.在本公开中，在通过背景分离得到前景图像和背景图像之后，即可对两者进行融合处理，其中，采用的融合方式必须使融合得到的图像中，被摄主体的一部分与背景图像不重叠。
54.在一实施例中，可以不对背景分离得到的前景图像和背景图像做任何额外处理，直接对两者进行图像融合。例如，在融合之前，可以优先调整前景图像和背景图像中的至少一者的位置，以使两者产生错位，然后对前景图像和背景图像进行错位融合。当然，为了保证融合得到的图像中，被摄主体和背景图像存在不重叠的部分，错位的距离应当足以使被摄主体超出背景图像所覆盖的范围、但又未完全超出该范围。在实际操作中，调整前景图像还是调整背景图像，以及调整的方向和距离，均可由本领域技术人员根据实际需求设置。当然，除了由本领域技术人员根据需求设置以外，也可以在图像拍摄应用中展示前景图像和背景图像，以使得用户可以手动调整背景图像或背景图像，具体如何前景图像和背景图像产生错位，可根据实际情况确定，本公开对此不作限制。
55.在另一实施例中，可以优先对背景分离得到的前景图像和背景图像中的至少一者进行调整，并在完成调整后，再对两者进行图像融合。
56.在本实施例的一种情况下，可以对背景图像进行缩小处理，以使前景图像中包含的被摄主体的至少一部分无法与缩小后的背景图像重叠。其中，缩小的比例可以通过多种方式确定。例如，可以由被摄主体在前景图像中所占的面积确定；也可以从预先设置的多个
待选取比例中选择得到。
57.在本实施例的另一种情况下，可以对前景图像进行放大处理，以使放大后的前景图像中包含的被摄主体的至少一部分无法与背景图像重叠。其中，与上一种情况相类似的，放大的比例也可以通过多种方式确定，例如，可以由被摄主体在前景图像中所占的面积确定，也可以从预先设置的多个待选取比例中选择得到。
58.在本实施例的又一种情况下，可以对背景图像进行裁剪处理，以使前景图像中包含的被摄主体的至少一部分无法与裁剪后的背景图像重叠。其中，裁剪的比例也可以通过多种方式确定，例如，可以由被摄主体在前景图像中所占的面积确定，也可以从预先设置的多个待选取比例中选择得到。
59.在该情况下，还可以基于确定的裁剪比例生成一裁剪模板，该裁剪模板的覆盖范围与前景图像中包含的被摄主体存在不重叠的部分，进而保证经由裁剪之后的背景图像与被摄主体之间存在不重叠的区域。在此基础上，即可基于该裁剪模板对背景图像进行裁剪。其中，还可以进一步向用户展示裁剪模板和背景图像，以便用户通过手动调整裁剪模板和背景图像的相对位置，控制裁剪效果，进而间接影响最终的突出效果。
60.需要声明的是，除了可以单独采用上述三种情况中的任一种方式进行图像融合之前的调整操作以外，也可以同时采用上述三种情况中的至少两种方式进行融合之前的调整操作，具体采用几种、以及哪几种调整操作可由本领域技术人员根据实际情况确定，本公开对此不作限制。当然，无论采用上述哪一种或哪几种情况的调整方式，确定比例的标准均是一致的，都是为了使被摄主体的一部分与背景图像不重叠，具体如何确定比例，可由本领域技术人员根据实际情况确定，本公开对此不作限制。
61.在本公开中，在进行图像融合之前，还可以向用户展示前景图像和背景图像，以便用户自行调整前景图像和背景图像的相对位置关系。在此基础上，本公开即可根据用户的调整结果，将前景图像和背景图像重叠的部分确定为需要融合的区域，进而针对该部分区域进行图像融合。值得注意的是，用户调整的前景图像和背景图像可以为通过背景分离得到的前景图像和背景图像，也可以为经由上述调整操作得到的前景图像和背景图像，具体是否已经经由调整，可由本领域技术人员根据实际情况确定，本公开对此不作限制。
62.在本公开中，由于背景图像中原本由被摄主体覆盖的区域为空白区域，而图像融合操作所涉及的区域可能不包含该空白区域，因此，在完成融合操作之后，还可以对融合得到的图像中的空白区域进行补全操作。例如，可以通过将其他背景画面复制至该空白区域的方式，实现空白区域的补全。当然，该举例仅是示意性的，具体是否需要进行该图像补全操作，以及如何执行该图像补全操作，可由本领域技术人员根据实际情况确定，本公开对此不作限制。
63.在本公开中，还可以设置一图像边框，以用于装饰融合得到的图像。其中，被摄主体与图像边框的层叠关系为：被摄主体位于图像边框之上(即在图像边框和被摄主体的重叠区域，被摄主体覆盖图像边框)。在一些可行的实施方式中，图像边框的内边尺寸可以与背景图像一致，而外边尺寸则大于背景图像，在此基础上，在融合得到的图像中，被摄主体与背景图像不重叠的部分可以覆盖于图像边框之上。应当理解的是，图像边框的设置，相当于在背景图像与图像之外的实景之间制造了一视觉缓冲区域，使得本公开在实现被摄主体由图像背景延伸至背景之外效果的基础上，避免了被摄主体过于突兀而无法兼顾图像整体
展示效果和被摄主体突出效果的问题。
64.还需声明的是，本公开的技术方案可以应用于任意类型的电子设备，例如，该电子设备可以为智能手机、平板电脑等移动终端，也可以为智能电视、pc(个人计算机，personal computer)等固定终端。应当理解的是，只需具备图像处理功能的电子设备均可作为本公开的执行主体，具体将哪一种类型的电子设备作为本公开技术方案的执行主体可以由本领域技术人员根据实际需求确定，本公开对此不作限制。
65.由上述介绍可知，本公开在获取到待处理图像及其深度信息后，可以基于该深度信息对待处理图像进行背景分离，以得到包含被摄主体的前景图像和不包含被摄主体的背景图像。在此基础上，即可对前景图像和背景图像进行图像融合，其中，融合的标准为：使得融合得到的图像中被摄主体的一部分与背景图像不重叠。
66.应当理解的是，被摄主体的一部分与背景图像不重叠，相当于被摄主体的一部分位于背景图像所覆盖范围之内，一部分位于背景图像所覆盖范围之外，能够营造出被摄主体由背景画面延伸至图像之外的实景的效果。
67.进一步的，本公开还可以在进行图像融合之前，对背景分离得到的背景图像和前景图像中的至少一者进行调整，并在调整之后再进行图像融合。例如，可以优先对背景图像进行裁剪，再对前景图像和裁剪后的背景图像进行图像融合。不难理解的是，在进行调整后，即便不对前景图像和背景图像进行位置调整，也能够使融合得到的图像中的被摄主体的一部分与背景图像不重叠。
68.再进一步的，本公开还可以为融合得到的图像设置图像边框，其中，被摄主体与背景图像不重叠的部分，覆盖于图像边框之上。不难看出，图像边框相当于设置在背景画面与背景画面之外的实景之间的视觉缓冲区域，避免了由于被摄主体过于突兀，而导致图像整体展示效果与被摄主体突出效果无法兼顾的问题。
69.下面，以通过智能手机进行双摄拍照为例，对本公开的技术方案进行介绍。
70.图2为本公开一示例性实施例示出的另一种图像处理方法的流程图。如图2所示，该方法包括以下步骤：
71.步骤201，接收到图像拍摄指令。
72.在本实施例中，智能手机中可以预先安装有相机应用。其中，在该相机应用中可以包含主体突出模式。那么，用户即可选中该主体突出模式，以指示智能手机在拍摄得到图像后，对图像进行处理，突出被摄主体在图像中的位置。
73.步骤202，调用rgb相机进行图像拍摄。
74.在本实施例中，可以安装有rgb相机，以用于获取包含被摄主体的待处理图像。
75.举例而言，拍摄得到的待处理图像可以如图3所示。其中，被摄主体为花朵31，背景画面为草地32(为方便表示，在图中以散点填充的方式表征草地所覆盖区域)。
76.步骤203，调用深度相机获取深度信息。
77.在本实施例中，在进行图像拍摄的同时，可以调用深度相机获取与待处理图像对应的深度信息。深度相机可以包括测距信号发射组件和测距信号接收组件。
78.承接上述举例，测距信号发射组件可以向花朵31及其背后的草地32发射测距信号，那么，测距信号碰撞花朵31或草地32后便会返回，并被测距信号接收组件检测到。在此基础上，智能手机即可基于各个测距信号的发出时刻和接收时刻，计算得到待处理图像中
各个位置所对应的距离，以作为相应位置的深度信息。
79.步骤204，基于深度信息对拍摄到的图像进行背景分离。
80.在本实施例中，在获取到待处理图像及其深度信息之后，即可基于深度信息对待处理图像进行背景分离。
81.承接上述举例，智能手机与花朵31各个位置的距离处于一个较为相近的距离范围内，智能手机与草地32中各个位置的距离也处于一个较为相近的距离范围内。因此，可以优先确定出距离相近的各个位置组成的至少两个区域。其中，由于花朵31与智能手机的距离，显然小于草地32与智能手机的距离，因此，可以将距离范围数值更小的区域确定为是花朵31所处的区域，而将距离范围的数值相对更大的区域确定为是草地32所处的区域。在此基础上，即可得到如图4所示的包含花朵31的前景图像41，包含草地32的背景图像42。
82.步骤205，向用户展示分离得到的前景图像和背景图像。
83.在本实施例中，在通过背景分离得到前景图像和背景图像之后，即可在相机应用的展示界面中进行展示，以便用户对两者的相对位置关系进行调整。
84.步骤206，接收到用户的位置调整指令。
85.承接上述举例，如图5所示，用户可以持续按压前景图像或背景图像，以对选中的图像进行移动，进而确定需要进行背景融合的区域。
86.步骤207，调整前景图像和背景图像的相对位置关系。
87.步骤208，基于调整后的相对位置关系进行图像融合。
88.承接上述举例，在完成背景融合之后，即可得到如图6所示的图像。当然，需要强调的是，在本实施例中，由于前景图像41中的花朵31并不能遮挡背景图像42中的空白区域，因此，还需对背景图像42中的空白区域进行画面补全。具体的补全方式可由本领域技术人员根据实际需求确定，本实施例对此不作限制。
89.由上述技术方案可知，本实施例中的智能手机能够通过rgb相机拍摄得到待处理图像，通过深度相机得到待处理图像的深度信息，进而实现针对待处理图像的背景分离。在此基础上，只需对背景分离得到的背景图像和前景图像进行错位融合，即可实现被摄主体由背景画面延伸至背景画面之外的效果，避免了相关技术中被摄主体突出效果不明显的问题。
90.下面，同样以智能手机为例，对本公开技术方案的另一种实施方式进行介绍。需要声明的是，在下一实施例中，步骤301～步骤304的操作方式与上一实施例相类似，相关内容可参照上一实施例的介绍，在下文中不再赘述。
91.图7为本公开一示例性实施例示出的又一种图像处理方法的流程图。如图7所示，该方法包括以下步骤：
92.步骤701，接收到图像拍摄指令。
93.步骤702，调用rgb相机进行图像拍摄。
94.步骤703，调用深度相机获取深度信息。
95.步骤704，基于深度信息对拍摄到的图像进行背景分离。
96.步骤705，对背景图像进行裁剪处理。
97.与上一实施例不同的是，本实施例在通过背景分离得到前景图像和背景图像之后，可以进一步对背景图像进行裁剪，以使前景图像中的被摄主体与裁剪后的背景图像存
在一部分不重叠。
98.举例而言，在得到图4所示的前景图像41和背景图像42之后，裁剪过程可以如图8所示。其中，在实际应用中，还可以向用户展示背景图像42，以及虚线所示的裁剪模板(也被称为裁剪遮罩)，以便用户自行调整裁剪范围。
99.步骤706，按照原先相对位置关系对前景图像和裁剪后的背景图像进行图像融合。
100.承接上述举例，在裁剪得到图8所示的裁剪后背景图像43的基础上，即可按照前景图像41与背景图像42原来的相对位置关系(即未经位置调整，边缘相互重叠的相对位置关系，即如图9中图像a所示)，对前景图像41和裁剪后背景图像43进行图像融合，进而得到如图9所示的图像b。在实际操作中，还可以为融合后的图像增加图像边框，在照片中亦可以被称为是相框，例如，增加图像边框后的图像可以如图9中的图像c所示。
101.由上述技术方案可知，本实施例相较于上一实施例，优先对背景图像进行了裁剪操作，以使裁剪后的背景图像与前景图像中包含的被摄主体存在不重叠的部分。在此基础上，对前景图像和裁剪后的背景图像进行图像融合，即可实现被摄主体由背景画面延伸至背景画面之外的效果，相较于相关技术中仅对背景进行虚化的方式，能够更大限度地突出被摄主体。
102.图10是本公开一示例性实施例示出的一种图像处理装置的框图。参照图10，该装置包括获取单元1001、分离单元1002和融合单元1003。
103.获取单元1001，获取待处理图像及其深度信息；
104.分离单元1002，基于所述深度信息对所述待处理图像进行背景分离，得到包含被摄主体的前景图像和不包含被摄主体的背景图像；
105.融合单元1003，对所述前景图像和所述背景图像进行融合处理，以使融合得到的图像中所述被摄主体的一部分与所述背景图像不重叠。
106.可选的，获取单元1001被进一步用于：
107.响应于用户发起的图像拍摄指令，调用图像传感器执行图像采集操作，以采集得到待处理图像，并向所述被摄主体所处方向发射测距信号；
108.接收经由碰撞后返回的所述测距信号，并基于发出所述测距信号和接收到所述测距信号的时间差，确定所述待处理图像中各个位置分别对应的深度信息。
109.可选的，分离单元1002被进一步用于：
110.基于各个深度信息在所述待处理图像中所占的比例，确定出所述被摄主体所处位置的深度范围；
111.将深度信息处于所述深度范围内的画面内容确定为所述前景图像包含的画面内容，以及将其他画面内容确定为所述背景图像包含的画面内容。
112.可选的，分离单元1002被进一步用于：
113.基于所述待处理图像中各个位置的深度信息，绘制用于表征各个深度信息在所述待处理图像中所占比例的深度信息分布曲线；
114.从所述深度信息分布曲线中，确定出占比最高的至少两个深度范围，并将表征的距离更小的深度范围确定为被摄主体所处位置的深度范围。
115.可选的，融合单元1003被进一步用于：
116.对所述前景图像和所述背景图像进行错位融合，以使融合得到的图像中，所述前
景图像中包含的被摄主体的一部分与所述背景图像不重叠。
117.可选的，融合单元1003被进一步用于：
118.对所述前景图像和所述背景图像中的至少一者进行调整，并在完成调整后对两者进行图像融合，以使融合得到的图像中所述被摄主体的一部分与所述背景图像不重叠。
119.可选的，融合单元1003被进一步用于：
120.对所述背景图像进行缩小处理；和/或，
121.对所述背景图像进行裁剪处理；和/或，
122.对所述前景图像进行放大处理。
123.可选的，融合单元1003被进一步用于：
124.基于所述前景图像确定一裁剪模板，所述裁剪模板的覆盖范围与所处前景图像中的被摄主体存在不重叠的部分；
125.基于所述裁剪模板对所述背景图像进行裁剪。
126.如图11所示，图11是本公开一示例性实施例示出的另一种图像处理装置的框图，该实施例在前述图10所示实施例的基础上，还包括：确定单元1004。
127.可选的，还包括：
128.确定单元1004，基于所述深度信息确定出所述背景图像中包含的中景区域，并对属于中景区域的画面进行模糊处理。
129.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
130.相应的，本公开还提供一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为实现如上述实施例中任一所述的图像处理方法，比如该方法可以包括：获取待处理图像及其深度信息；基于所述深度信息对所述待处理图像进行背景分离，得到包含被摄主体的前景图像和不包含被摄主体的背景图像；对所述前景图像和所述背景图像进行融合处理，以使融合得到的图像中所述被摄主体的一部分与所述背景图像不重叠。
131.相应的，本公开还提供一种电子设备，所述电子设备包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于实现如上述实施例中任一所述的图像处理方法的指令，比如该方法可以包括：获取待处理图像及其深度信息；基于所述深度信息对所述待处理图像进行背景分离，得到包含被摄主体的前景图像和不包含被摄主体的背景图像；对所述前景图像和所述背景图像进行融合处理，以使融合得到的图像中所述被摄主体的一部分与所述背景图像不重叠。
132.图12是根据一示例性实施例示出的一种用于实现图像处理方法的装置1200的框图。例如，装置1200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
133.参照图12，装置1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电源组件1206，多媒体组件1208，音频组件1210，输入/输出(i/o)的接口1212，传感器组件1214，以及通信组件1216。
134.处理组件1202通常控制装置1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。
135.存储器1204被配置为存储各种类型的数据以支持在装置1200的操作。这些数据的示例包括用于在装置1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
136.电源组件1206为装置1200的各种组件提供电力。电源组件1206可以包括电源管理系统，一个或多个电源，及其他与为装置1200生成、管理和分配电力相关联的组件。
137.多媒体组件1208包括在所述装置1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当装置1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
138.音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(mic)，当装置1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。
139.i/o接口1212为处理组件1202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
140.传感器组件1214包括一个或多个传感器，用于为装置1200提供各个方面的状态评估。例如，传感器组件1214可以检测到装置1200的打开/关闭状态，组件的相对定位，例如所述组件为装置1200的显示器和小键盘，传感器组件1214还可以检测装置1200或装置1200一个组件的位置改变，用户与装置1200接触的存在或不存在，装置1200方位或加速/减速和装置1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
141.通信组件1216被配置为便于装置1200和其他设备之间有线或无线方式的通信。装置1200可以接入基于通信标准的无线网络，如wifi，2g或3g，4g lte、5g nr(new radio)或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
142.在示例性实施例中，装置1200可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
143.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由装置1200的处理器1220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
144.本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
145.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
146.以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

技术特征：
1.一种图像处理方法，其特征在于，包括：获取待处理图像及其深度信息；基于所述深度信息对所述待处理图像进行背景分离，得到包含被摄主体的前景图像和不包含被摄主体的背景图像；对所述前景图像和所述背景图像进行融合处理，以使融合得到的图像中所述被摄主体的一部分与所述背景图像不重叠。2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像及其深度信息，包括：响应于用户发起的图像拍摄指令，调用图像传感器执行图像采集操作，以采集得到待处理图像，并向所述被摄主体所处方向发射测距信号；接收经由碰撞后返回的所述测距信号，并基于发出所述测距信号和接收到所述测距信号的时间差，确定所述待处理图像中各个位置分别对应的深度信息。3.根据权利要求1所述的方法，其特征在于，所述基于所述深度信息对所述待处理图像进行背景分离，包括：基于各个深度信息在所述待处理图像中所占的比例，确定出所述被摄主体所处位置的深度范围；将深度信息处于所述深度范围内的画面内容确定为所述前景图像包含的画面内容，以及将其他画面内容确定为所述背景图像包含的画面内容。4.根据权利要求3所述的方法，其特征在于，所述基于各个深度信息在所述待处理图像中所占的比例，确定出所述被摄主体所处位置的深度范围，包括：基于所述待处理图像中各个位置的深度信息，绘制用于表征各个深度信息在所述待处理图像中所占比例的深度信息分布曲线；从所述深度信息分布曲线中，确定出占比最高的至少两个深度范围，并将表征的距离更小的深度范围确定为被摄主体所处位置的深度范围。5.根据权利要求1所述的方法，其特征在于，还包括：基于所述深度信息确定出所述背景图像中包含的中景区域；对属于中景区域的画面进行模糊处理。6.根据权利要求1所述的方法，其特征在于，所述对所述前景图像和所述背景图像进行融合处理，包括：对所述前景图像和所述背景图像进行错位融合，以使融合得到的图像中，所述前景图像中包含的被摄主体的一部分与所述背景图像不重叠。7.根据权利要求1所述的方法，其特征在于，所述对所述前景图像和所述背景图像进行融合处理，包括：对所述前景图像和所述背景图像中的至少一者进行调整，并在完成调整后对两者进行图像融合，以使融合得到的图像中所述被摄主体的一部分与所述背景图像不重叠。8.根据权利要求7所述的方法，其特征在于，所述对所述前景图像和所述背景图像中的至少一者进行调整，包括：对所述背景图像进行缩小处理；和/或，对所述背景图像进行裁剪处理；和/或，对所述前景图像进行放大处理。
9.根据权利要求8所述的方法，其特征在于，所述对所述背景图像进行裁剪处理，包括：基于所述前景图像确定一裁剪模板，所述裁剪模板的覆盖范围与所处前景图像中的被摄主体存在不重叠的部分；基于所述裁剪模板对所述背景图像进行裁剪。10.一种图像处理装置，其特征在于，包括：获取单元，获取待处理图像及其深度信息；分离单元，基于所述深度信息对所述待处理图像进行背景分离，得到包含被摄主体的前景图像和不包含被摄主体的背景图像；融合单元，对所述前景图像和所述背景图像进行融合处理，以使融合得到的图像中所述被摄主体的一部分与所述背景图像不重叠。11.一种电子设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现如权利要求1-9中任一项所述的方法。12.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-9中任一项所述方法的步骤。

技术总结
本公开是关于一种图像处理方法及装置、电子设备、存储介质。其中，该方法，包括：获取待处理图像及其深度信息；基于所述深度信息对所述待处理图像进行背景分离，得到包含被摄主体的前景图像和不包含被摄主体的背景图像；对所述前景图像和所述背景图像进行融合处理，以使融合得到的图像中所述被摄主体的一部分与所述背景图像不重叠。背景图像不重叠。背景图像不重叠。


技术研发人员：陈沭
受保护的技术使用者：北京小米移动软件有限公司
技术研发日：2022.03.17
技术公布日：2023/9/22