图像处理设备、摄像设备、图像处理方法和存储介质与流程

1.本发明涉及图像处理设备，并且尤其涉及用于合成图像的图像处理设备。


背景技术：

2.日本特开2015-136087讨论了如下的技术：将在不附接物理中性密度(neutral density，nd)滤波器的情况下进行分割曝光时所拍摄的多个图像进行合成，从而与附接了物理nd滤波器的情况类似地实现防止过度曝光等。
3.然而，存在如下的情况：当进行分割曝光时所拍摄的图像的区域中的像素值饱和时，在经过平均处理之后的合成图像中的与该区域相对应的部分中出现色相偏移和明度降低的现象。


技术实现要素：

4.本公开是考虑到上述问题而作出的，并且其目的在于提供能够防止在将在进行分割曝光时所拍摄的多个图像进行合成时合成图像中出现色相偏移和明度降低的摄像设备。
5.根据一些实施例，一种图像处理设备，包括：检测单元，其被配置为检测多个图像的饱和区域；校正单元，其被配置为校正所述饱和区域的颜色和明度中的至少一个，并且生成多个饱和度校正图像；第一合成单元，其被配置为使用所述多个饱和度校正图像来生成第一合成图像；第二合成单元，其被配置为使用所述多个图像来生成第二合成图像；以及第三合成单元，其被配置为将所述第一合成图像和所述第二合成图像进行合成以生成第三合成图像。
6.通过参考附图对示例性实施例的以下描述，本公开的进一步特征将变得明显。
附图说明
7.图1是示出根据一些实施例的摄像设备的框图。
8.图2是示出根据一些实施例的合成单元的配置示例的图。
9.图3是示出根据一些实施例的合成单元所进行的处理的流程的流程图。
10.图4是示出根据一些实施例的摄像条件的示例的图。
11.图5是示出根据一些实施例的颜色校正单元的配置示例的图。
12.图6是示出根据一些实施例的颜色校正单元所进行的处理的流程的流程图。
13.图7是示出根据一些实施例的颜色饱和度降低增益计算曲线的示例的图。
14.图8是示出根据一些实施例的明度校正单元的配置示例的图。
15.图9是示出根据一些实施例的明度校正单元所进行的处理的流程的流程图。
16.图10是示出根据一些实施例的亮度增强增益计算曲线的示例的图。
17.图11a至图11e是示出根据一些实施例的图像处理之前和之后的像素值的变化的图。
18.图12是示出根据一些实施例的积分图像合成单元的配置示例的图。
19.图13是示出根据一些实施例的积分图像合成单元所进行的处理的流程的流程图。
20.图14是示出根据一些实施例的合成比率计算曲线的示例的图。
具体实施方式
21.下面将参考附图详细描述本公开的示例性实施例。以下不同的示例性实施例不限制所要求保护的发明的范围，并且示例性实施例中所描述的特征的所有组合对于用于解决本公开的问题未必是必需的。
22.在第一示例性实施例中，生成了如下的合成图像，其中在该合成图像中，通过将通过在不附接物理中性密度(nd)滤波器的情况下进行分割曝光而获得的多个图像(分割曝光图像)进行合成，来抑制过度曝光。
23.图1是示出根据本示例性实施例的摄像设备的框图。下面参考图1描述根据本示例性实施例的配置示例。
24.控制单元101例如是包括一个或多个处理器、电路或者其组合的中央处理单元(cpu)，并且控制单元101从只读存储器(rom)102读出用于摄像设备100中所包括的各个块的控制程序，将该控制程序加载到(下面将描述的)随机存取存储器(ram)103中，并且执行该控制程序。
25.rom 102是电可擦除且可记录的非易失性存储器，并且rom 102除了存储用于摄像设备100中所包括的各个块的操作程序之外，还存储各个块的操作参数等。
26.ram 103是可重写易失性存储器，并且ram 103用于控制单元101所执行的程序的加载、以及由摄像设备100中所包括的各个块的操作生成的数据的临时存储等。
27.光学系统104由包括变焦透镜和调焦透镜的透镜组以及光圈机构构成，并且在下面将描述的摄像单元105的摄像面上形成被摄体图像。
28.摄像单元105例如是诸如电荷耦合器件(ccd)传感器和互补金属氧化物半导体(cmos)传感器等的图像传感器。摄像单元105对光学系统104在摄像单元105的摄像面上形成的光学图像进行光电转换，并且将所获得的模拟图像信号输出到模/数(a/d)转换单元106。
29.a/d转换单元106将输入的模拟信号转换为数字图像数据，并输出该数字图像数据。从a/d转换单元106输出的数字图像数据被临时存储在ram 103中。
30.图像处理单元107对存储在ram 103中的图像数据进行各种图像处理。具体地，图像处理单元107进行诸如去马赛克处理、降噪处理、白平衡校正处理和伽马处理等的用于显像、显示和记录数字图像数据的各种图像处理。图像处理单元107还包括用于进行作为本示例性实施例的特征的合成处理的合成单元200。下面将描述合成处理的细节。
31.记录单元108将包括图像数据的数据记录在内置记录介质中。
32.显示单元109包括诸如液晶显示器(lcd)等的显示装置，并且在显示装置上显示存储在ram 103中的图像和记录在记录单元108中的图像。显示单元109还显示用于接受来自用户的指令的操作用户界面。
33.随后，参考图2描述作为本示例性实施例的特征的图像处理单元107中所包括的合成单元200的配置示例。
34.图2是示出根据本示例性实施例的合成单元200的配置示例的图。合成单元200包
括颜色校正单元201、明度校正单元202、饱和度校正积分图像生成单元203、单纯积分图像生成单元204、积分图像合成单元205和增益乘法单元206。
35.随后，参考图3中的流程图详细描述合成单元200所进行的用于将多个分割曝光图像进行合成的处理的流程。
36.图3是示出根据本示例性实施例的合成单元200所进行的用于将多个分割曝光图像进行合成的处理的流程的流程图。在步骤s301中，控制单元101设置摄像条件，并使摄像单元105在所设置的摄像条件下拍摄图像。
37.现在参考图4详细描述由控制单元101进行的摄像条件的设置。图4示意性地示出了在用户将4秒的快门速度、f4.0的孔径光阑、iso(国际标准组织)100的iso感光度和nd4的nd密度设置为曝光条件的情况下的摄像处理的示例中的摄像条件。这里提到的nd密度表示被摄体光的减少程度。例如，nd2表示光减少一级，nd4表示光减少两级，并且nd8表示光减少三级。在本公开中，由于在不附接物理nd滤波器的情况下进行摄像处理，因此通过增加快门速度来降低要减少的光量的曝光。因此，控制单元101将用户所设置的孔径光阑和iso感光度设置为摄像条件，并且通过将用户所设置的快门速度增加了由于nd密度的光减少量，来设置快门速度。具体地，如图4所示，在快门速度是4秒并且nd密度是nd4的情况下，可能希望将光减少两级，因此将作为将快门速度增加两级的结果而获得的1秒设置为一个分割曝光图像的摄像条件。此外，控制单元101设置拍摄图像的数量，使得多个分割曝光图像的总曝光时间和用户所设置的快门速度彼此相等。由于在图4所示的示例中，一个分割曝光图像的曝光时间是1秒，并且用户所设置的快门速度是4秒，因此控制单元101将拍摄图像的数量设置为4。
38.在本示例性实施例中，假设对多个分割曝光图像中的各个分割曝光图像进行相同曝光来进行描述。
39.尽可能多地缩短从分割曝光图像的曝光的结束到下一分割曝光图像的曝光的开始的不进行曝光的时间(非曝光时间)，这可以使移动体的运动模糊平滑。
40.当用户按压快门按钮(未示出)时，控制单元101开始用于摄像的处理。控制单元101基于在步骤s301中设置的摄像条件来控制光学系统104和摄像单元105，并且将被摄体光的拍摄重复所设置的拍摄图像的数量，以生成分割曝光图像数据。在本示例性实施例中，由合成单元200处理的分割曝光图像的格式的示例包括拜耳阵列的红-绿-蓝(rgb)格式(bayer-raw)。在这种情况下，各个分割曝光图像由具有线性信号特性的r、g、b像素构成。然而，分割曝光图像的格式不限于此。例如，可以采用诸如rgb 444、yuv 444、yuv 422和ictcp等的图像格式。
41.在步骤s302中，图像处理单元107检测拍摄图像中的饱和区域。作为示例，图像处理单元107将拍摄图像中的具有大于或等于预定值的像素值的区域检测为饱和区域。
42.在步骤s303中，颜色校正单元201对在步骤s301中拍摄到的多个分割曝光图像进行校正，以降低饱和区域的颜色饱和度来防止色相偏移。下面将描述颜色校正单元201的细节。本文提到的色相偏移表示被摄体的原始色相和图像数据上的色相彼此不同的状态。
43.在步骤s304中，明度校正单元202对在步骤s303中经过颜色校正的图像数据进行校正以增加饱和区域的明度，从而防止明度降低。下面将描述明度校正单元202的细节。
44.在步骤s305中，饱和度校正积分图像生成单元203将在步骤s304中经过明度校正
的图像数据(被称为饱和度校正图像)顺次且累积地相加，以生成饱和度校正积分图像。
45.在步骤s306中，单纯积分图像生成单元204将在步骤s301中拍摄到的分割曝光图像顺次且累积地相加，以生成单纯积分图像。
46.在步骤s307中，重复从步骤s303至s306的处理，直到进行了拍摄图像的数量的步骤s305和s306中的积分处理为止。
47.在步骤s308中，积分图像合成单元205将饱和度校正积分图像和单纯积分图像进行合成。下面将描述积分图像合成单元205的细节。
48.在步骤s309中，增益乘法单元206将在步骤s308中合成的积分图像数据乘以控制单元101所计算出的“拍摄图像的数量分之一”的增益。也就是说，增益乘法单元206将通过对与拍摄图像的数量相对应的分割曝光图像进行积分并合成而获得的合成积分图像数据乘以拍摄图像的数量分之一的增益，以进行平均处理。
49.如上所述，合成单元200将多个分割曝光图像进行合成。结果，将快门速度被设置为增加的多个分割曝光图像进行合成，这可以在不附接物理nd滤波器的情况下将曝光减少了所设置的nd密度的量。在图4所示的示例中，合成单元200将通过在从4秒、f4.0和iso 100的曝光条件降低了与nd4相对应的两级的1秒、f4.0和iso 100的曝光条件下进行曝光而拍摄到的四个分割曝光图像进行合成，由此可以生成抑制了过度曝光的合成图像。
50.随后，参考图5至图7和图11a至图11e描述合成单元200中所包括的颜色校正单元201的细节。
51.图5是示出根据本示例性实施例的颜色校正单元201的配置示例的图。颜色校正单元201包括去拜耳(debayer)处理单元501、颜色饱和度降低增益计算单元502、白平衡(wb)系数乘法单元503、颜色饱和度降低处理单元504和wb逆系数乘法单元505。
52.随后，参考图6中的流程图详细描述颜色校正单元201所进行的用于降低分割曝光图像中的饱和区域的颜色饱和度的处理的流程。
53.图6是示出根据本示例性实施例的颜色校正单元201所进行的处理的流程的流程图。
54.在步骤s601中，去拜耳处理单元501对bayer-raw格式的分割曝光图像进行去拜耳处理，并输出rgb 444格式的图像数据。假设根据本示例性实施例的去拜耳处理采用了使用利用平滑滤波器的插值处理的已知方法，并且省略了对该方法的详细描述。
55.在步骤s602中，颜色饱和度降低增益计算单元502在rgb 444格式的图像数据中，基于在相应位置处的r像素值、g像素值和b像素值中的最大像素值来计算颜色饱和度降低增益。参考图7详细描述颜色饱和度降低增益的计算方法。图7是示出根据本公开的示例性实施例的颜色饱和度降低增益计算曲线的示例的图。如图7所示，颜色饱和度降低增益计算单元502计算颜色饱和度降低增益，使得颜色饱和度降低增益随着最大像素值在超过某个值之后变得更接近饱和度水平而增加。
56.在步骤s603中，wb系数乘法单元503将分割曝光图像乘以wb系数。图11a至图11e是示出根据本示例性实施例的图像处理之前和之后的像素值的变化的图。图11a示出了分割曝光图像。图11b示出了通过将分割曝光图像乘以wb系数而获得的图像数据。图11b示出了作为将分割曝光图像乘以wb系数的结果而使r像素值变为分割曝光图像中的r像素值的1.8倍大、并且b像素值变为分割曝光图像中的b像素值的1.5倍大的示例。wb系数乘法单元503
逐个颜色地将图11a所示的分割曝光图像乘以wb系数，并且输出如图11b所示的wb系数乘法图像。
57.在步骤s604中，颜色饱和度降低处理单元504基于在步骤s602中计算出的颜色饱和度降低增益，对步骤s603中乘以wb系数的图像数据进行颜色饱和度降低处理。具体地，颜色饱和度降低处理单元504基于以下式(1)和式(2)来进行颜色饱和度降低处理。
58.sat_rwb ＝(rwb
ꢀ‑ꢀ
g)
×
(1.0
ꢀ‑ꢀ
sat_gain)+ g
ꢀꢀꢀ
... (1)
59.sat_bwb ＝(bwb
ꢀ‑ꢀ
g)
×
(1.0
ꢀ‑ꢀ
sat_gain)+ g
ꢀꢀꢀ
... (2)
60.sat_rwb表示经过了颜色饱和度降低处理的r像素值，并且sat_bwb表示经过了颜色饱和度降低处理的b像素值。rwb表示wb系数乘法图像的r像素值。g表示wb系数乘法图像的g像素值。bwb表示wb系数乘法图像的b像素值。sat_gain表示颜色饱和度降低增益。在本示例性实施例中，颜色饱和度降低处理单元504在不对g像素值进行任何处理的情况下输出g像素值。
61.图11c指示通过对wb系数乘法图像进行颜色饱和度降低处理而获得的像素值。
62.根据式(1)和式(2)，当sat_gain是最大值1.0时，如图11c所示，sat_rwb的像素值和sat_bwb的像素值变为等于g像素值，并且经过了颜色饱和度降低处理的部分变为非彩色。也就是说，式(1)和式(2)表示通过颜色饱和度降低增益来控制r像素值和b像素值与g像素值近似的程度、并降低颜色饱和度的处理。
63.在步骤s605中，wb逆系数乘法单元505将经过了wb处理的颜色饱和度降低处理图像乘以wb逆系数。图11d示出了通过将经过了wb处理的颜色饱和度降低处理图像乘以wb逆系数而获得的图像数据。图11d示出了作为将颜色饱和度降低处理图像乘以wb逆系数的结果而使r像素值和b像素值分别变为颜色饱和度降低处理图像中的r像素值的1/1.8倍和颜色饱和度降低处理图像中的b像素值的1/1.5倍的示例。wb逆系数乘法单元505逐个颜色地将经过了wb处理的颜色饱和度降低处理图像乘以wb逆系数，生成如图11d所示的wb逆乘法图像，并且输出wb逆乘法图像作为没有经过wb处理的颜色饱和度降低图像。
64.如上所述，降低分割曝光图像中的具有接近饱和度水平的像素值的区域的颜色饱和度，这可以防止在根据多个图像所生成的合成图像中出现的色相偏移。
65.在本示例性实施例中，已经对输入/输出未乘以wb系数的bayer-raw格式图像数据的示例进行了描述，但是所输入/输出的图像数据可以是乘以wb系数的数据。在这种情况下，不需要进行图6中的流程图中的步骤s603中的wb系数乘法处理和步骤s605中的wb逆系数乘法处理。
66.随后，参考图8至图10和图11a至图11e描述合成单元200中所包括的明度校正单元202的细节。
67.图8是示出根据本示例性实施例的明度校正单元202的配置示例的图。明度校正单元202包括去拜耳处理单元801、亮度增强增益计算单元802和亮度增强处理单元803。
68.接下来，参考图9中的流程图详细描述明度校正单元202所进行的用于增加与分割曝光图像中的饱和区域相对应的颜色饱和度降低图像的区域的明度的处理的流程。
69.图9是示出根据本示例性实施例的明度校正单元202所进行的处理的流程的流程图。在步骤s901中，去拜耳处理单元801对bayer-raw格式的分割曝光图像进行去拜耳处理，并且输出rgb 444格式的图像数据。假设根据本示例性实施例的去拜耳处理采用了使用利
用平滑滤波器的插值处理的已知方法，并且省略了对该方法的详细描述。
70.在步骤s902中，亮度增强增益计算单元802在rgb 444格式的图像数据中，基于在相应位置处的r像素值、g像素值和b像素值中的最大像素值来计算亮度增强增益。参考图10详细描述亮度增强增益的计算方法。图10是示出根据本示例性实施例的亮度增强增益计算曲线的示例的图。如图10所示，亮度增强增益计算单元802计算亮度增强增益，使得亮度增强增益随着最大像素值变得更接近饱和度水平而增加。当最大像素值小时，亮度增强增益为1.0(无增益)。
71.在步骤s903中，亮度增强处理单元803将颜色饱和度降低图像乘以在步骤s902中计算出的亮度增强增益。具体地，基于以下式(3)、式(4)和式(5)，将颜色饱和度降低图像乘以亮度增强增益。
72.brt_r ＝ sat_r
ꢀ×ꢀ
brt_gain
ꢀꢀꢀ
... (3)
73.brt_g ＝ sat_g
ꢀ×ꢀ
brt_gain
ꢀꢀꢀ
... (4)
74.brt_b ＝ sat_b
ꢀ×ꢀ
brt_gain
ꢀꢀꢀ
... (5)
75.brt_r表示乘以亮度增强增益的r像素值。brt_g表示乘以亮度增强增益的g像素值。brt_b表示乘以亮度增强增益的b像素值。sat_r表示颜色饱和度降低图像的r像素值。sat_g表示颜色饱和度降低图像的g像素值。sat_b表示颜色饱和度降低图像的b像素值。brt_gain表示亮度增强增益。
76.图11e示出了通过将图11d中的wb逆系数乘法图像(颜色饱和度降低图像)乘以两倍的亮度增强增益而获得的亮度增强图像的像素值。
77.如式(3)、式(4)和式(5)所示，亮度增强处理单元803通过将颜色饱和度降低图像乘以亮度增强增益来进行用于增加颜色饱和度降低图像的明度的校正，并且输出亮度增强图像。
78.如上所述，增加与分割曝光图像中的具有接近饱和度水平的像素值的区域相对应的颜色饱和度降低图像的区域的明度，这可以防止在根据多个图像所生成的合成图像中出现的明度降低。
79.接下来，参考图12至图14描述合成单元200中所包括的积分图像合成单元205的细节。
80.图12是示出根据本示例性实施例的积分图像合成单元205的配置示例的图。积分图像合成单元205包括去拜耳处理单元1201、合成比率计算单元1202和合成处理单元1203。
81.随后，参考图13中的流程图详细描述积分图像合成单元205所进行的用于将饱和度校正积分图像和单纯积分图像进行合成的处理的流程。
82.图13是示出根据示例性实施例的积分图像合成单元205所进行的处理的流程的流程图。
83.在步骤s1301中，去拜耳处理单元1201对bayer-raw格式的单纯积分图像进行去拜耳处理，并输出rgb 444格式的图像数据。假设根据本示例性实施例的去拜耳处理采用了使用利用平滑滤波器的插值处理的已知方法，并且省略了对该方法的详细描述。
84.在步骤s1302中，合成比率计算单元1202在rgb 444格式的图像数据中，基于在相应位置处的r像素值、g像素值和b像素值中的最大像素值来计算合成比率。参考图14详细描述合成比率的计算方法，其示出根据本示例性实施例的合成比率计算曲线的示例。如图14
所示，合成比率计算单元1202计算单纯积分图像的合成比率，使得合成比率随着最大像素值在超过某个值之后变得更接近积分图像的饱和度水平而增加。这里提到的积分图像的饱和度水平是通过将分割曝光图像的饱和度水平乘以积分图像的数量而获得的值。
85.现在对合成比率计算单元1202计算合成比率使得单纯积分图像的合成比率随着最大像素值变得更接近积分图像的饱和度水平而变得更高的原因进行描述。在与分割曝光图像中的被摄体保持静止的饱和区域相对应的饱和度校正积分图像的一部分中，颜色饱和度降低，并且明度也增强。相反，在与分割曝光图像中的被摄体保持静止的饱和区域相对应的单纯积分图像的一部分中，图像质量大体上等同于可以在附接有物理nd滤波器的情况下实现的图像质量。因此，合成比率计算单元1202针对分割曝光图像中的被摄体保持静止的饱和区域增加单纯积分图像的合成比率。
86.由于与分割曝光图像中的被摄体保持静止的饱和区域相对应的所有分割曝光图像的各个部分具有接近饱和度水平的像素值，因此与前述区域相对应的单纯积分图像的区域具有接近积分图像的饱和度水平的像素值。相反，在分割曝光图像中的被摄体正在移动的饱和区域中，存在分割曝光图像中的部分具有接近饱和度水平的像素值的情况、以及分割曝光图像中的部分由于被摄体的移动而不具有接近饱和度水平的像素值的情况这两者。因此，与分割曝光图像中的被摄体正在移动的饱和区域相对应的单纯积分图像的区域具有远离积分图像的饱和度水平的低像素值。
87.因此，合成比率计算单元1202计算合成比率，使得单纯积分图像的合成比率随着单纯积分图像中的最大像素值变得更接近积分图像的饱和度水平而变得更高，由此单纯积分图像的合成比率在分割曝光图像中的被摄体保持静止的饱和区域中变得更高。
88.在步骤s1303中，合成处理单元1203基于在步骤s1302中计算出的合成比率来将饱和度校正积分图像和单纯积分图像进行合成，并且输出合成图像作为积分合成图像。
89.如上所述，通过将饱和度校正积分图像和单纯积分图像进行合成，可以增加单纯积分图像在与具有接近单纯积分图像的饱和度水平的像素值的区域相对应的饱和度校正积分图像的区域中的比率。
90.在本示例性实施例中，已经对合成单元200对分割曝光图像中的饱和区域进行颜色校正和明度校正这两者的示例进行了描述，但是合成单元200可以仅进行颜色校正或仅进行明度校正。
91.此外，在本示例性实施例中，已经对积分图像合成单元205基于单纯积分图像来计算合成比率的示例进行了描述，但是积分图像合成单元205可以基于饱和度校正积分图像来计算合成比率。在基于饱和度校正积分图像来计算合成比率的情况下，饱和度校正积分图像的像素值通过颜色校正和明度校正来改变。因此，应该根据饱和度校正积分图像的像素值的变化量来改变积分图像的饱和度水平。
92.在合成单元200对分割曝光图像中的饱和区域仅进行颜色校正而不进行明度校正的情况下，单纯积分图像中的g像素值和饱和度校正积分图像中的g像素值是相同的，因此积分图像合成单元205可以基于饱和度校正积分图像的g像素值来计算合成比率。
93.在本示例性实施例中，已经对增益乘法单元206将合成积分图像乘以增益的示例进行了描述，但是要经过与该增益的乘法的图像不限于此。例如，增益乘法单元206可以进行将通过将饱和度校正积分图像和单纯积分图像中的每一个乘以增益而获得的图像进行
合成的处理。
94.其他示例性实施例
95.虽然在上述示例性实施例中进行了基于个人数字照相机的描述，但是示例性实施例适用于的设备实现合成功能，并且示例性实施例也可以适用于移动装置、智能电话和连接到服务器的网络照相机等。
96.本公开还可以通过经由网络或存储介质向系统或设备供给用于实现上述示例性实施例的一个或多于一个功能的程序、并使该系统或设备的计算机中的一个或多于一个处理器读取和执行该程序来实现。此外，本公开可以通过用于实现一个或多于一个功能的电路(例如，专用集成电路(asic))来实现。
97.根据本公开，调整多个图像中的饱和区域的明度和颜色中的至少一个，这可以防止根据多个图像所生成的合成图像中的色相偏移和明度降低。
98.其他实施例
99.本公开的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给系统或设备，该系统或设备的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并进行程序的方法。
100.虽然已经参考示例性实施例描述了本公开，但是应当理解，本公开不限于所公开的示例性实施例。所附权利要求书的范围应符合最广泛的解释，以便涵盖所有这样的修改以及等同的结构和功能。

技术特征：
1.一种图像处理设备，包括：检测单元，其被配置为检测多个图像中的各个图像的饱和区域；校正单元，其被配置为校正所述饱和区域的颜色和明度中的至少一个，并且生成多个饱和度校正图像；第一合成单元，其被配置为使用所述多个饱和度校正图像来生成第一合成图像；第二合成单元，其被配置为使用所述多个图像来生成第二合成图像；以及第三合成单元，其被配置为将所述第一合成图像和所述第二合成图像进行合成以生成第三合成图像。2.根据权利要求1所述的图像处理设备，其中，所述第三合成单元被配置为基于所述第二合成图像的像素值来计算用于生成所述第三合成图像的合成比率。3.根据权利要求1或2所述的图像处理设备，其中，所述第三合成单元被配置为基于所述第一合成图像的像素值来计算用于生成所述第三合成图像的合成比率。4.根据权利要求1或2所述的图像处理设备，其中，所述第一合成单元被配置为对所述多个饱和度校正图像进行积分以生成所述第一合成图像。5.根据权利要求1或2所述的图像处理设备，其中，所述第二合成单元被配置为对所述多个图像进行积分以生成所述第二合成图像。6.根据权利要求1或2所述的图像处理设备，还包括增益乘法单元，所述增益乘法单元被配置为对所述第三合成图像进行增益乘法。7.根据权利要求1或2所述的图像处理设备，还包括增益乘法单元，所述增益乘法单元被配置为对所述第一合成图像和所述第二合成图像进行增益乘法，其中，所述第三合成单元被配置为将经过了所述增益乘法单元所进行的增益乘法的所述第一合成图像和所述第二合成图像进行合成，并且生成所述第三合成图像。8.根据权利要求1或2所述的图像处理设备，其中，所述校正单元被配置为进行校正，以降低所述饱和区域的颜色饱和度。9.根据权利要求1或2所述的图像处理设备，其中，所述校正单元被配置为进行校正，以增加所述饱和区域的明度。10.根据权利要求1或2所述的图像处理设备，其中，所述检测单元被配置为基于所述多个图像的像素值来检测所述饱和区域。11.根据权利要求10所述的图像处理设备，其中，所述检测单元被配置为将具有大于或等于预定值的像素值的区域检测为所述饱和区域。12.根据权利要求1或2所述的图像处理设备，其中，所述多个图像包括具有线性信号特性的红色像素即r像素、绿色像素即g像素和蓝色像素即b像素。13.根据权利要求1或2所述的图像处理设备，其中，所述多个图像的曝光是相同的。14.一种摄像设备，包括：摄像单元，其被配置为拍摄多个图像；检测单元，其被配置为检测所述多个图像中的饱和区域；校正单元，其被配置为校正所述饱和区域的颜色和明度中的至少一个，并且生成多个饱和度校正图像；第一合成单元，其被配置为使用所述多个饱和度校正图像来生成第一合成图像；
第二合成单元，其被配置为使用所述多个图像来生成第二合成图像；以及第三合成单元，其被配置为将所述第一合成图像和所述第二合成图像进行合成以生成第三合成图像。15.根据权利要求14所述的摄像设备，其中，所述摄像单元被配置为在不附接中性密度滤波器即nd滤波器的情况下拍摄所述多个图像。16.一种图像处理设备，包括：检测单元，其被配置为检测多个图像中的各个图像的饱和区域；校正单元，其被配置为校正所述饱和区域的颜色，并且生成多个饱和度校正图像；以及合成单元，其被配置为使用所述多个饱和度校正图像来生成合成图像。17.一种图像处理设备，包括：合成单元，其被配置为使用多个图像，并且以伪方式生成曝光时间长于所述多个图像中的各个图像的曝光时间的合成图像；以及校正单元，其被配置为校正所述合成图像中的饱和移动体区域。18.一种图像处理方法，包括：检测多个图像中的各个图像的饱和区域；校正所述饱和区域的颜色和明度中的至少一个，并且生成多个饱和度校正图像；使用所述多个饱和度校正图像来生成第一合成图像；使用所述多个图像来生成第二合成图像；以及将所述第一合成图像和所述第二合成图像进行合成以生成第三合成图像。19.一种计算机可读存储介质，其存储有使计算机执行方法的程序，所述方法包括：检测多个图像中的各个图像的饱和区域；校正所述饱和区域的颜色和明度中的至少一个，并且生成多个饱和度校正图像；使用所述多个饱和度校正图像来生成第一合成图像；使用所述多个图像来生成第二合成图像；以及将所述第一合成图像和所述第二合成图像进行合成以生成第三合成图像。

技术总结
本发明涉及图像处理设备、摄像设备、图像处理方法和存储介质。图像处理设备包括：检测单元，其被配置为检测多个图像中的各个图像的饱和区域；校正单元，其被配置为校正所述饱和区域的颜色和明度中的至少一个，并且生成多个饱和度校正图像；第一合成单元，其被配置为使用所述多个饱和度校正图像来生成第一合成图像；第二合成单元，其被配置为使用所述多个图像来生成第二合成图像；以及第三合成单元，其被配置为将所述第一合成图像和所述第二合成图像进行合成以生成第三合成图像。图像进行合成以生成第三合成图像。图像进行合成以生成第三合成图像。


技术研发人员：小林悟
受保护的技术使用者：佳能株式会社
技术研发日：2023.03.17
技术公布日：2023/9/26