一种图像传感器、图像处理系统、图像处理方法及装置与流程

1.本技术涉及图像传感器设计领域，尤其涉及一种图像传感器、图像处理系统、图像处理方法及装置。


背景技术：

2.传统的rgbir传感器在rgb通道感应一部分红外分量，且红外分量较大。在部分存在红外光能量较多的场景中，去除可见光通道的红外分量后，色彩信息会有一定程度的丢失。并且，rgb通道与红外通道的曝光参数相同，较难兼顾两路信息均达到曝光合适。


技术实现要素：

3.有鉴于此，本技术提供一种图像传感器、图像处理系统、图像处理方法及装置。
4.具体地，本技术是通过如下技术方案实现的：
5.根据本技术实施例的第一方面，提供一种图像传感器，包括像素阵列，所述像素阵列包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素；
6.在可见光波长范围[t1，t2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值；
[0007]
白光像素对近红外波长范围[t3，t4]内的光信号截止；
[0008]
全透光像素对近红外波长范围[t3，t4]内的光信号有响应。
[0009]
根据本技术实施例的第二方面，提供一种图像传感器，包括像素阵列，所述像素阵列包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素；
[0010]
在可见光波长范围[t1，t2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值；
[0011]
在近红外波长范围[t3，t4]内，第一颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的n1倍，第二颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的n1倍，第三颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的n1倍，白光像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的n1倍；n1≥10，全透光像素对近红外波长范围[t3，t4]内的光信号有响应。
[0012]
根据本技术实施例的第三方面，提供一种图像处理系统，至少包括图像传感器单元、光学单元、图像处理单元、曝光控制单元、所述图像传感器单元第一方面或第二方面提供的图像传感器，其中，
[0013]
所述光学单元，用于对入射光的部分波长区间光谱进行阻挡，输出入射所述图像传感器的目标光信号；
[0014]
所述图像传感器单元，用于通过所述图像传感器的像素阵列中各像素对所述目标
光信号的感光转化为电信号，并经过所述图像传感器的读出电路后，输出图像信号；
[0015]
所述曝光控制单元，用于输出曝光控制信号给所述图像传感器单元，以控制所述图像传感器单元的所述图像传感器的像素阵列中各像素的各个通道的曝光；
[0016]
所述图像处理单元，用于对所述图像信号进行处理，得到输出图像。
[0017]
根据本技术实施例的第四方面，提供一种图像处理方法，应用于第三方面提供的图像处理系统，所述方法包括：
[0018]
获取图像传感器输出的图像信号；
[0019]
对所述图像传感器输出的图像信号进行处理得到输出图像。
[0020]
根据本技术实施例的第五方面，提供一种图像处理装置，部署于第三方面提供的图像处理系统，所述装置包括：获取单元以及处理单元；其中：
[0021]
所述获取单元，用于获取图像传感器输出的图像信号；
[0022]
所述处理单元，用于对图像传感器输出的图像信号进行处理得到输出图像。
[0023]
本技术实施例的图像传感器，通过包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素的像素阵列，实现了像素级别的近红外光感应控制，白光像素对近红外波长范围[t3，t4]内的光信号截止，全透光像素对近红外波长范围[t3，t4]内的光信号有响应，从而，在光照不足的低照度环境下，可以通过开启红外补光灯，利用全透光像素对近红外光信号的感应来提升图像信噪比和图像高频信息，利用白光像素的红外截止来提升色彩效果，此外，白光像素对可见光信号的感应强于颜色像素对可见光信号的感应，提升了低照度环境下的可见光进光量，从而，可以提高图像的信噪比，在红外信息和可见信息不匹配的位置处，通过更多利用白光像素的信息，提升可见光的处理效果。
附图说明
[0024]
图1是本技术一示例性实施例示出的一种图像传感器的结构示意图；
[0025]
图2是本技术一示例性实施例示出的一种像素阵列中不同像素的光谱响应曲线的示意图；
[0026]
图3a是本技术一示例性实施例示出的一种rgbcw像素单元的像素排列示意图；
[0027]
图3b是本技术又一示例性实施例示出的另一种rgbcw像素单元的像素排列示意图；
[0028]
图4是本技术一示例性实施例示出的一种三路控制信号场景下的信号走线示意图；
[0029]
图5是本技术一示例性实施例示出的一种曝光时序的示意图；
[0030]
图6是本技术一示例性实施例示出的一种像素阵列中不同像素的光谱响应曲线的示意图；
[0031]
图7是本技术一示例性实施例示出的一种图像处理系统的结构示意图；
[0032]
图8是本技术又一示例性实施例示出的另一种图像处理系统的结构示意图；
[0033]
图9是本技术又一示例性实施例示出的另一种图像处理系统的结构示意图；
[0034]
图10是本技术一示例性实施例示出的一种图像处理方法的流程示意图；
[0035]
图11是本技术一示例性实施例示出的一种图像传感器输出的图像信号采用卷积神经网络进行端到端处理的示意图；
[0036]
图12是本技术一示例性实施例示出的一种图像传感器输出的图像信号采用卷积神经网络进行端到端处理并进行去红外处理的示意图；
[0037]
图13是本技术一示例性实施例示出的一种图像处理装置的结构示意图；
[0038]
图14是本技术一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
[0039]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
[0040]
在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0041]
为了使本领域技术人员更好地理解本技术实施例提供的技术方案，并使本技术实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本技术实施例中技术方案作进一步详细的说明。
[0042]
请参见图1，为本技术实施例提供的一种图像传感器的结构示意图，如图1所示，该图像传感器可以包括：像素阵列，该像素阵列包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素。
[0043]
实施例一、白光像素红外截止的情况
[0044]
下面基于图1所示图像传感器，对于白光像素红外截止的情况进行说明。
[0045]
示例性的，在可见光波长范围[t1，t2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值。
[0046]
需要说明的是，相同能量的不同波长光线通过滤色单元及光电转换单元转化为电信号的大小是不同的，可以将指定能量的某一波长光线通过滤色单元及光电转换单元转化为的电信号的大小称为该波长光线的光谱响应。
[0047]
示例性的，白光像素对近红外波长范围[t3，t4]内的光信号截止。
[0048]
示例性的，全透光像素对近红外波长范围[t3，t4]内的光信号有响应。
[0049]
本技术实施例中，为了提高图像传感器的可见光进光量，图像传感器的像素阵列中可以包括对可见光信号的感应比颜色像素对可见光信号更强的白光像素。
[0050]
示例性的，在可见光波长范围[t1，t2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值。
[0051]
示例性的，可见光波长范围t1≥380nm，t2＜700nm。
[0052]
示例性的，第一颜色像素、第二颜色像素、第三颜色像素可以包括红色像素、绿色像素、蓝色像素；或者，可以包括黄色像素、青色像素、品红像素等。
[0053]
本技术实施例中，为了优化图像处理器处理得到的图像的色彩效果，提升图像处理器的处理效果，白光像素对近红外波长范围[t3，t4]内的光信号截止。
[0054]
示例性的，白光像素对近红外波长范围[t3，t4]内的光信号截止是指近红外波长范围[t3，t4]内的光信号在白光像素上无电信号响应，或，白光像素在近红外波长范围[t3，t4]内的累积光线能量透过率小于预设阈值，如0.001。
[0055]
举例来说，以像素包含微透镜、滤色单元及感光单元为例，白光像素的滤色单元对近红外波长范围[t3，t4]内的光信号截止，或者，近红外波长范围[t3，t4]内的光信号通过白光像素的滤色单元后到达感光单元的光线能量，与其达到白光像素的滤色单元时的光线能量的比值小于预设阈值，如0.001。
[0056]
本技术实施例中，为了提高图像的信噪比上限，图像传感器的像素阵列中还可以包括全透光像素，该全透光像素对近红外波长范围[t3，t4]内的光信号有响应。
[0057]
示例性的，波长范围t3≥700nm，t4＜1000nm。
[0058]
可见，在图1所示图像传感器中，通过包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素的像素阵列，实现了像素级别的近红外光感应控制，白光像素对近红外波长范围[t3，t4]内的光信号截止，全透光像素对近红外波长范围[t3，t4]内的光信号有响应，从而，在光照不足的低照度环境下，可以通过开启红外补光灯，利用全透光像素对近红外光信号的感应来提升图像信噪比和图像高频信息，利用白光像素的红外截止来提升色彩效果，此外，白光像素对可见光信号的感应强于颜色像素对可见光信号的感应，提升了低照度环境下的可见光进光量，从而，可以提高图像的信噪比，在红外信息和可见信息不匹配的位置处，通过更多利用白光像素的信息，提升可见光的处理效果。
[0059]
需要说明的是，对于光照相对充足的场景，如白天的时候，可以利用白光像素和全透光像素对可见光信号的感应，提高可见光进光量，提升亮度分量的信噪比。
[0060]
在一些实施例中，对于可见光波长范围[t1，t2]内的任一波长，该波长对应的白光像素的光谱响应曲线的值均大于该波长对应的第一颜色像素的光谱响应曲线的值、该波长对应的第二颜色像素的光谱响应曲线的值，以及，该波长对应的第三颜色像素的光谱响应曲线的值。
[0061]
示例性的，为了提高低照度环境的进光量，对于可见光波长范围内[t1，t2]内的任一波长，白光像素对该波长的光信号的响应可以强于颜色像素(包括第一颜色像素、第二颜色像素或第三颜色像素)对该波长的光信号的响应，从而，可以提高低照度环境下的可见光进光量，提高图像信噪比。
[0062]
在一些实施例中，第一颜色像素对近红外波长范围[t3，t4]内的光信号截止，第二颜色像素对近红外波长范围[t3，t4]内的光信号截止，第三颜色像素对近红外波长范围[t3，t4]内的光信号截止。
[0063]
示例性的，为了避免近红外光对图像颜色的影响，使图像效果更接近人眼观看效果一致，像素阵列中的颜色像素对近红外波长范围[t3，t4]内的光信号截止，避免颜色信息中混入近红外光信号。
[0064]
示例性的，颜色像素对近红外波长范围[t3，t4]内的光信号截止是指近红外波长范围[t3，t4]内的光信号在颜色像素上无电信号响应，或，颜色像素在近红外波长范围[t3，t4]内的累积光线能量透过率小于预设阈值，如0.001。
[0065]
举例来说，以像素包含微透镜、滤色单元及感光单元为例，颜色像素的滤色单元对近红外波长范围[t3，t4]内的光信号截止，或者，近红外波长范围[t3，t4]内的光信号通过
颜色像素的滤色单元后到达感光单元的光线能量，与其达到颜色像素的滤色单元时的光线能量的比值小于预设阈值，如0.001。
[0066]
在一些实施例中，全透光像素在近红外波长范围[t3，t4]内的光谱响应曲线的最大值与白光像素在可见光波长范围[t1，t2]内的光谱响应曲线的最大值的比值大于第一阈值。
[0067]
示例性的，为了提高全透光像素对近红外光信号的感应对图像信噪比上限的提升效果，应尽量提高全透光像素对近红外光的感应能力。
[0068]
由于白光像素对可见光信号的感应能力较强(强于颜色像素对可见光信号的感应能力)，因而，可以以白光像素对可见光信号的感应能力为基准，确定全透光像素对近红外光信号的感应能力。
[0069]
示例性的，全透光像素在近红外波长范围[t3，t4]内的光谱响应曲线的最大值与白光像素在可见光波长范围[t1，t2]内的光谱响应曲线的最大值的比值大于第一阈值。
[0070]
示例性的，第一阈值可以大于等于0.3，且在可实现的情况下，第一阈值越高，图像信噪比上限越高。
[0071]
在一个示例中，像素阵列中不同像素的光谱响应曲线可以如图2所示。其中，r像素为第一颜色像素，g像素为第二颜色像素、b像素为第三颜色像素，c像素为白光像素，w像素为全透光像素。
[0072]
如图2所示，对于可见光波长范围[t1，t2]内的任一波长，该波长对应的c像素的光谱响应曲线的值分别大于该波长对应的r像素的光谱响应曲线的值、该波长对应的g像素的光谱响应曲线的值，以及，该波长对应的b像素的光谱响应曲线的值。
[0073]
r像素、g像素、b像素，以及c像素对近红外波长范围[t3，t4]内的光信号的响应极低，如对于近红外波长范围[t3，t4]内的光信号，r像素、g像素、b像素，以及c像素光谱响应曲线的值均处于小于0.01范围。
[0074]
w像素对近红外波长范围[t3，t4]内的光信号有较高感应，如对于近红外波长范围[t3，t4]内的光信号，w像素的光谱响应曲线的值处于0.25～0.6范围，在典型波长730nm或850nm附近，w像素的光谱响应曲线的值高于0.5。
[0075]
在一些实施例中，像素阵列包括多个4*4像素单元；
[0076]
4*4像素单元中，白光像素至少占3个像素、全透光像素至少占3个像素，第一颜色像素、第二颜色像素以及第三颜色像素之和至少占8个像素。
[0077]
示例性的，图像传感器的像素阵列可以包括多个4*4像素单元。
[0078]
示例性的，对于任一4*4像素单元，全透光像素可以至少占3个像素，通过全透光像素对近红外光信号的感应能力，在有红外补光的情况下，能够显著提升低照度下图像亮度分量的信息量以及信噪比。
[0079]
例如，全透光像素可以占4个像素，即占4*4像素单元中所有像素的1/4。
[0080]
此外，白光像素可以至少占3个像素，通过白光像素对可见光信号的高响应能力，提高可见光信号的进光量，从而提升处理图像的信噪比。
[0081]
例如，白光像素可以占4个像素，即占4*4像素单元中所有像素的1/4。
[0082]
示例性的，第一颜色像素、第二颜色像素和第三颜色像素之和至少占8个像素。
[0083]
例如，第二颜色像素占所有像素的1/4(即4个像素)，第一颜色像素和第三颜色像
素各占所有像素的1/8(即2个像素)，即第一颜色像素、第二颜色像素和第三颜色像素之和占8个像素。
[0084]
在一个示例中，4*4像素单元中，任一白光像素和任一全透光像素均不同行不同列，同一行的白光像素至少相隔一个像素，同一列的白光像素至少相隔一个像素，同一行的全透光像素至少相隔一个像素，同一列的全透光像素至少相隔一个像素。
[0085]
颜色像素利用白光像素对可见光信号的高响应，能够兼顾色彩与图像细节。同时该排列在红外信息和可见信息不匹配位置实现了较兼顾的图像效果。
[0086]
在一个示例中，4*4像素单元中，第二颜色像素沿45
°
对角线排列，第一颜色像素分布在第二颜色像素的左上，第三颜色像素分布在第二颜色像素的右下。
[0087]
示例性的，如图3a所示，以第二颜色像素为g像素，第一颜色像素为r像素，第三颜色像素为b像素为例，4*4像素单元中，g像素沿45
°
对角线排列，r像素分布在g像素的左上，b分布在g像素的右下。
[0088]
在另一个示例中，4*4像素单元中，第二颜色像素分布在白光像素所在行的剩余位置，第一颜色像素和第三颜色像素中同一通道的两个像素之间斜向间隔一个像素。
[0089]
示例性的，通道是指一种像素在图像传感器中的集合，本技术中的图像传感器可理解为5通道的传感器，包含第一颜色通道、第二颜色通道、第三颜色通道、白光通道和全透光通道。
[0090]
例如，第一颜色像素对应第一颜色通道，4*4像素单元中的两个第一颜色像素之间斜向间隔一个其他像素。
[0091]
第三颜色像素对应第三颜色通道，4*4像素单元中的两个第三颜色像素之间斜向间隔一个其他像素。
[0092]
示例性的，如图3b所示，以第二颜色像素为g像素，第一颜色像素为r像素，第三颜色像素为b像素为例，4*4像素单元中，g像素分布在白光像素(c像素)所在行的剩余位置，r像素和b像素中同一通道的两个像素之间斜向间隔一个像素。
[0093]
示例性的，图像传感器中，在像素阵列的下方，是传感器的电路部分，包括电荷读出及控制电路，该电荷读取及控制电路可以包括电荷读出以及控制电路两部分。
[0094]
电荷读出用于将传感器曝光时间内累计的电信号(电荷)进行转移，在电路的控制信号作用下，将像素的电荷读出。
[0095]
示例性的，图像传感器处理的整体物理过程为：光线进入像素阵列后，在像素阵列中按照入射光能量大小以及传感器的光谱响应曲线将光能量转化为电荷值。电荷读出模块将所述感光器件累积的电荷输出，得到感光结果。
[0096]
在一些实施例中，图像传感器还可以包括：曝光时间控制电路(图中未示出)；曝光时间控制电路用于至少输出两路曝光时间控制信号，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光时间，第二路曝光时间控制信号用于控制全透光像素的曝光时间。
[0097]
示例性的，图像传感器的曝光时间控制电路可以至少输出两路曝光时间控制信号(至少包括第一路曝光时间控制信号以及第二路曝光时间控制信号)，分别用于控制颜色像素(包括第一颜色像素、第二颜色像素以及第三颜色像素)以及全透光像素的曝光时间。
[0098]
示例性的，第一路曝光时间控制信号用于控制颜色像素的曝光时间，第二路曝光
时间控制信号用于控制全透光像素的曝光时间。示例性的，图像传感器的曝光时间控制电路在对颜色像素以及全透光像素的曝光时间进行控制时，两路控制信号彼此独立。
[0099]
示例性的，全透光像素单独控制曝光时间的优势在于：一方面在环境可见光较弱时，可通过增加颜色像素和白光像素的曝光时间，以提高进光量；另一方面，减少全透光像素的曝光时间，可以避免曝光不匹配导致的图像动态范围损失，同时还能够减少由于曝光时间较长而导致的图像运动较快区域的运动模糊问题。
[0100]
示例性的，曝光时间控制电路可以利用第一路曝光时间控制信号控制白光像素的曝光时间，即第一路曝光时间控制信号可以控制颜色像素和白光像素的曝光时间，即通过两路曝光时间控制信号控制颜色像素、白光像素以及全透光像素的曝光时间，降低曝光时间控制电路的工艺实现难度。
[0101]
或者，曝光时间控制电路可以利用专门的一路曝光时间控制信号(可以称为第三路曝光时间控制信号)控制白光的曝光时间，即第一路曝光时间控制信号可以控制颜色像素的曝光时间，第二路曝光时间控制信号用于控制全透光像素的曝光时间，第三路曝光时间控制信号用于控制白光像素的曝光时间，三路控制信号彼此独立，细化控制粒度。
[0102]
由于白光像素对可见光波段的光信号的感应强于颜色像素对可见光波段的光信号的感应，在光照充足的条件下，为了保证白光像素不过曝，需要单独区分颜色像素和白光像素的曝光时间。
[0103]
示例性的，曝光时间控制电路通过三路曝光时间控制信号分别控制颜色像素(以rgb像素为例)、白光像素(c像素)和全透光像素(w像素)的曝光时间的示意图可以如图4所示。
[0104]
需要说明的是，图4所示控制信号中，信号走线只表示信号的连接关系，并不代表物理硬件或软件上的实现。
[0105]
举例来说，假设r为像素在传感器阵列的行位置，c为像素在传感器阵列的列位置。
[0106]
所有r％2＝1c％2＝1是c像素，r％2＝0c％2＝0的像素位置是w像素，其中％为求余运算。其余位置的像素表示r/g/b像素。
[0107]
需要说明的是，对于其他的满足要求的rgbcw排列方式传感器，信号线的连接会有所不同。
[0108]
在一个示例中，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光结束时间，第二路曝光时间控制信号用于控制全透光像素的曝光结束时间，第三路曝光时间控制信号用于控制白光像素的曝光结束时间。
[0109]
示例性的，图像传感器的曝光时间控制电路输出的曝光时间控制信号可以用于对曝光结束时间进行控制，以控制对应像素的曝光时间。
[0110]
示例性的，第一路曝光时间控制信号可以用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光结束时间，第二路曝光时间控制信号可以用于控制全透光像素的曝光结束时间，第三路曝光时间控制信号可以用于控制白光像素的曝光结束时间。
[0111]
示例性的，图像传感器的曝光时间控制电路的曝光开始信号上升沿统一曝光开始的时间，曝光开始后，第一路曝光时间控制信号、第二路曝光时间控制信号以及第三路曝光时间控制信号分别选通对应像素开始曝光，当达到图像传感器配置的所需曝光时间时，第一路曝光时间控制信号、第二路曝光时间控制信号以及第三路曝光时间控制信号发出脉冲
信号，结束曝光，其示意图可以如图5所示。从曝光开始信号的上升沿到控制信号输出上升沿的时间即为对应像素的曝光时间。由于三路控制信号独立，因此脉冲信号时间不同对应了不同的曝光时间。
[0112]
在一些实施例中，图像传感器还包括：传感器增益控制电路；传感器增益控制电路用于至少输出两路增益控制信号，第一路增益控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益。
[0113]
示例性的，除了曝光时间可控，图像传感器的控制电路还可以包括传感器增益控制电路，用于实现对各像素的增益控制。
[0114]
示例性的，增益可以包括模拟增益和/或数字增益。
[0115]
示例性的，在实际应用中，由于前面描述的不同像素的光谱响应特性，白光像素、可见光像素、全透光像素的感光量相差较大。此外，白光像素、可见光像素、全透光像素之间的曝光时间可能不同，若传感器配置以某一个通道的感光量所适合的增益，则其他通道的图像或欠曝或过曝，不利于后续的图像处理效果，因此，图像传感器的传感器增益控制电路可以通过三路增益控制信号对各像素的增益进行控制，以优化图像效果。
[0116]
示例性的，传感器增益控制电路可以用于至少输出两路增益控制信号(可以包括第一路增益控制信号以及第二路增益控制信号)。
[0117]
第一路增益控制信号可以用于控制颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益，颜色像素以及全透光像素的传感器增益通过独立设置以使不同像素不同的感光特性都达到合适曝光。
[0118]
示例性的，增益控制信号线取决于cmos传感器的设计类型，本技术实施例对此不做具体限定。
[0119]
示例性的，传感器增益控制电路可以利用第一路增益控制信号控制白光像素的增益，即第一路增益控制信号可以控制颜色像素和白光像素的增益，即通过两路增益控制信号控制颜色像素、白光像素以及全透光像素的增益，降低传感器增益控制电路的工艺实现难度。
[0120]
或者，传感器增益控制电路可以利用专门的一路增益控制信号(可以称为第三路增益控制信号)控制白光的增益，即第一路增益控制信号可以控制颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益，第三路增益控制信号用于控制白光像素的增益，三路控制信号彼此独立，细化控制粒度。
[0121]
作为一种可能的实现方式，增益控制线连接像素阵列的列放大器，每一列对应一个列放大器即模拟可编程放大器。相同增益的模拟放大器采用相同的信号线进行连接。
[0122]
实施例二、白光像素红外弱感的情况
[0123]
下面基于图1所示图像传感器，对于白光像素红外弱感的情况进行说明。
[0124]
示例性的，在可见光波长范围[t1，t2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值。
[0125]
示例性的，在近红外波长范围[t3，t4]内，第一颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的n1倍，第二颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的n1倍，第三颜色像素的光谱响应曲线的积分值
小于全透光像素的光谱响应曲线的积分值的n1倍，白光像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的n1倍，全透光像素对近红外波长范围[t3，t4]内的光信号有响应。
[0126]
本技术实施例中，为了提高图像传感器的可见光进光量，图像传感器的像素阵列中可以包括对可见光信号的感应比颜色像素对可见光信号更强的白光像素。
[0127]
示例性的，在可见光波长范围[t1，t2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值。
[0128]
示例性的，可见光波长范围t1≥380nm，t2＜700nm。
[0129]
示例性的，第一颜色像素、第二颜色像素、第三颜色像素可以包括红色像素、绿色像素、蓝色像素；或者，可以包括黄色像素、青色像素、品红像素等。
[0130]
本技术实施例中，为了提高图像的信噪比上限，图像传感器的像素阵列中还可以包括全透光像素，该全透光像素对近红外波长范围[t3，t4]内的光信号有响应。
[0131]
示例性的，波长范围t3≥700nm，t4＜1000nm。
[0132]
本技术实施例中，为了避免近红外光对图像颜色的影响，使图像效果更接近人眼观看效果一致，优化图像处理器处理得到的图像的色彩效果，提升图像处理器的处理效果，颜色像素以及白光像素对近红外光的感应能力应尽量弱。
[0133]
示例性的，在近红外波长范围[t3，t4]内，颜色像素以及白光像素的光谱响应曲线积分值均应小于全透光像素的光谱响应值的n1倍。
[0134]
示例性的，n1≥10。
[0135]
在一些实施例中，在可见光波长范围[t1，t2]内，全透光像素的光谱响应曲线的积分值均小于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值。
[0136]
示例性的，为了优化依据全透光通道的信息对颜色通道的图像进行去红外处理的效果，全透光像素对可见光信号的感应弱于颜色像素对可见光信号的感应。
[0137]
相应地，在可见光波长范围[t1，t2]内，全透光像素的光谱响应曲线的积分值均小于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值，以减少全透光通道中的可见光成分，进而，可以优化依据全透光通道的信息对颜色通道的图像进行去红外处理的效果。
[0138]
在一个示例中，对于可见光波长范围[t1，t2]内的任一波长，该波长对应的全透光像素的光谱响应曲线的值均小于该波长对应的第一颜色像素的光谱响应曲线的值的n2倍、该波长对应的第二颜色像素的光谱响应曲线的值的n2倍，以及，该波长对应的第三颜色像素的光谱响应曲线的值的n2倍。
[0139]
示例性的，为了减少全透光通道中的可见光成分，对于可见光波长范围[t1，t2]内的任一波长，该波长对应的全透光像素的光谱响应曲线的值均小于该波长对应的第一颜色像素的光谱响应曲线的值的n2倍、该波长对应的第二颜色像素的光谱响应曲线的值的n2倍，以及，该波长对应的第三颜色像素的光谱响应曲线的值的n2倍，从而，可以优化依据全透光通道的信息对颜色通道的图像进行去红外处理的效果。
[0140]
示例性的，n2≥10。
[0141]
在一些实施例中，全透光像素在近红外波长范围[t3，t4]内的光谱响应曲线的最大值与白光像素在可见光波长范围[t1，t2]内的光谱响应曲线的最大值的比值大于第二阈值。
[0142]
示例性的，为了提高全透光像素对近红外光信号的感应对图像信噪比上限的提升效果，应尽量提高全透光像素对近红外光的感应能力。
[0143]
由于白光像素对可见光信号的感应能力较强(强于颜色像素对可见光信号的感应能力)，因而，可以以白光像素对可见光信号的感应能力为基准，确定全透光像素对近红外光信号的感应能力。
[0144]
示例性的，全透光像素在近红外波长范围[t3，t4]内的光谱响应曲线的最大值与白光像素在可见光波长范围[t1，t2]内的光谱响应曲线的最大值的比值大于第二阈值。
[0145]
示例性的，第二阈值可以大于或等于0.3，且在可实现的情况下，第二阈值越高，图像信噪比上限越高。
[0146]
在一个示例中，像素阵列中不同像素的光谱响应曲线可以如图6所示。其中，r像素为第一颜色像素，g像素为第二颜色像素、b像素为第三颜色像素，c像素为白光像素，w像素为全透光像素。
[0147]
如图6所示，对于可见光波长范围[t1，t2]内的任一波长，该波长对应的c像素的光谱响应曲线的值分别大于该波长对应的r像素的光谱响应曲线的值、该波长对应的g像素的光谱响应曲线的值，以及，该波长对应的b像素的光谱响应曲线的值。
[0148]
r像素、g像素、b像素，以及c像素对近红外波长范围[t3，t4]内的光信号的响应较低，如对于近红外波长范围[t3，t4]内的光信号，r像素、g像素、b像素，以及c像素光谱响应曲线的值均处于0.05～0.07范围。
[0149]
w像素对可见光波长范围[t1，t2]内的光信号的响应较低，对近红外波长范围[t3，t4]内的光信号有较高感应，如对可见光波长范围[t1，t2]内的光信号，w像素的光谱响应曲线的值可以处于0.04～0.12范围，对近红外波长范围[t3，t4]内的光信号，w像素的光谱响应曲线的值可以处于0.15～0.7范围。
[0150]
在一些实施例中，像素阵列包括多个4*4像素单元；
[0151]
4*4像素单元中，白光像素至少占3个像素、全透光像素至少占3个像素，第一颜色像素、第二颜色像素以及第三颜色像素之和至少占8个像素。
[0152]
示例性的，图像传感器的像素阵列可以包括多个4*4像素单元。
[0153]
示例性的，对于任一4*4像素单元，全透光像素可以至少占3个像素，通过全透光像素对近红外光信号的感应能力，在有红外补光的情况下，能够显著提升低照度下图像亮度分量的信息量以及信噪比。
[0154]
例如，全透光像素可以占4个像素，即占4*4像素单元中所有像素的1/4。
[0155]
此外，白光像素占可以至少占3个像素，通过白光像素对可见光信号的高响应能力，提高可见光信号的进光量，从而提升处理图像的信噪比。
[0156]
例如，白光像素可以占4个像素，即占4*4像素单元中所有像素的1/4。
[0157]
示例性的，第一颜色像素、第二颜色像素和第三颜色像素之和至少占8个像素。
[0158]
例如，第二颜色像素占所有像素的1/4(即4个像素)，第一颜色像素和第三颜色像素各占所有像素的1/8(即2个像素)，即第一颜色像素、第二颜色像素和第三颜色像素之和
占8个像素。
[0159]
在一个示例中，4*4像素单元中，任一白光像素和任一全透光像素均不同行不同列，同一行的白光像素至少相隔一个像素，同一列的白光像素至少相隔一个像素，同一行的全透光像素至少相隔一个像素，同一列的全透光像素至少相隔一个像素。
[0160]
颜色像素利用白光像素对可见光信号的高响应，能够兼顾色彩与图像细节。同时该排列在红外信息和可见信息不匹配位置实现了较兼顾的图像效果。
[0161]
在一个示例中，4*4像素单元中，第二颜色像素沿45
°
对角线排列，第一颜色像素分布在第二颜色像素的左上，第三颜色像素分布在第二颜色像素的右下。
[0162]
示例性的，如图3a所示，以第二颜色像素为g像素，第一颜色像素为r像素，第三颜色像素为b像素为例，4*4像素单元中，g像素沿45
°
对角线排列，r像素分布在g像素的左上，b分布在g像素的右下。
[0163]
在另一个示例中，4*4像素单元中，第二颜色像素分布在白光像素所在行的剩余位置，第一颜色像素和第三颜色像素中同一通道的两个像素之间斜向间隔一个像素。
[0164]
示例性的，如图3b所示，以第二颜色像素为g像素，第一颜色像素为r像素，第三颜色像素为b像素为例，4*4像素单元中，g像素分布在白光像素(c像素)所在行的剩余位置，r像素和b像素中同一通道的两个像素之间斜向间隔一个像素。
[0165]
示例性的，图像传感器中，在像素阵列的下方，是传感器的电路部分，包括电荷读出及控制电路，该电荷读取及控制电路可以包括电荷读出以及控制电路两部分。
[0166]
电荷读出用于将传感器曝光时间内累计的电信号(电荷)进行转移，在电路的控制信号作用下，将像素的电荷读出。
[0167]
示例性的，图像传感器处理的整体物理过程为：光线进入像素阵列后，在像素阵列中按照入射光能量大小以及传感器的光谱响应曲线将光能量转化为电荷值。电荷读出模块将所述感光器件累积的电荷输出，得到感光结果。
[0168]
在一些实施例中，图像传感器还可以包括：曝光时间控制电路(图中未示出)；曝光时间控制电路用于至少输出两路曝光时间控制信号，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光时间，第二路曝光时间控制信号用于控制全透光像素的曝光时间。
[0169]
示例性的，图像传感器的曝光时间控制电路可以至少输出两路曝光时间控制信号(至少包括第一路曝光时间控制信号以及第二路曝光时间控制信号)，分别用于控制颜色像素(包括第一颜色像素、第二颜色像素以及第三颜色像素)以及全透光像素的曝光时间。
[0170]
示例性的，第一路曝光时间控制信号用于控制颜色像素的曝光时间，第二路曝光时间控制信号用于控制全透光像素的曝光时间。
[0171]
示例性的，图像传感器的曝光时间控制电路在对颜色像素以及全透光像素的曝光时间进行控制时，两路控制信号彼此独立。示例性的，全透光像素单独控制曝光时间的优势在于：一方面在环境可见光较弱时，可通过增加颜色像素和白光像素的曝光时间，以提高进光量；另一方面，减少全透光像素的曝光时间，可以避免曝光不匹配导致的图像动态范围损失，同时还能够减少由于曝光时间较长而导致的图像运动较快区域的运动模糊问题。
[0172]
示例性的，曝光时间控制电路可以利用第一路曝光时间控制信号控制白光像素的曝光时间，即第一路曝光时间控制信号可以控制颜色像素和白光像素的曝光时间，即通过
两路曝光时间控制信号控制颜色像素、白光像素以及全透光像素的曝光时间，降低曝光时间控制电路的工艺实现难度。
[0173]
或者，曝光时间控制电路可以利用专门的一路曝光时间控制信号(可以称为第三路曝光时间控制信号)控制白光的曝光时间，即第一路曝光时间控制信号可以控制颜色像素的曝光时间，第二路曝光时间控制信号用于控制全透光像素的曝光时间，第三路曝光时间控制信号用于控制白光像素的曝光时间，三路控制信号彼此独立，细化控制粒度。
[0174]
由于白光像素对可见光波段的光信号的感应强于颜色像素对可见光波段的光信号的感应，在光照充足的条件下，为了保证白光像素不过曝，需要单独区分颜色像素和白光像素的曝光时间。
[0175]
示例性的，曝光时间控制电路通过三路曝光时间控制信号分别控制颜色像素(以rgb像素为例)、白光像素(c像素)和全透光像素(w像素)的曝光时间的示意图可以如图4所示。
[0176]
需要说明的是，图4所示控制信号中，信号走线只表示信号的连接关系，并不代表物理硬件或软件上的实现。
[0177]
举例来说，假设r为像素在传感器阵列的行位置，c为像素在传感器阵列的列位置。
[0178]
所有r％2＝1c％2＝1是c像素，r％2＝0c％2＝0的像素位置是w像素，其中％为求余运算。其余位置的像素表示r/g/b像素。
[0179]
需要说明的是，对于其他的满足要求的rgbcw排列方式传感器，信号线的连接会有所不同。
[0180]
在一个示例中，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光结束时间，第二路曝光时间控制信号用于控制全透光像素的曝光结束时间，第三路曝光时间控制信号用于控制白光像素的曝光结束时间。
[0181]
示例性的，图像传感器的曝光时间控制电路输出的曝光时间控制信号可以用于对曝光结束时间进行控制，以控制对应像素的曝光时间。
[0182]
示例性的，第一路曝光时间控制信号可以用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光结束时间，第二路曝光时间控制信号可以用于控制全透光像素的曝光结束时间，第三路曝光时间控制信号可以用于控制白光像素的曝光结束时间。
[0183]
示例性的，图像传感器的曝光时间控制电路的曝光开始信号上升沿统一曝光开始的时间，曝光开始后，第一路曝光时间控制信号、第二路曝光时间控制信号以及第三路曝光时间控制信号分别选通对应像素开始曝光，当达到图像传感器配置的所需曝光时间时，第一路曝光时间控制信号、第二路曝光时间控制信号以及第三路曝光时间控制信号发出脉冲信号，结束曝光，其示意图可以如图5所示。从曝光开始信号的上升沿到控制信号输出上升沿的时间即为对应像素的曝光时间。由于三路控制信号独立，因此脉冲信号时间不同对应了不同的曝光时间。
[0184]
在一些实施例中，图像传感器还包括：传感器增益控制电路；传感器增益控制电路用于至少输出两路增益控制信号，第一路增益控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益。
[0185]
示例性的，除了曝光时间可控，图像传感器的控制电路还可以包括传感器增益控制电路，用于实现对各像素的增益控制。
[0186]
示例性的，增益可以包括模拟增益和/或数字增益。
[0187]
示例性的，在实际应用中，由于前面描述的不同像素的光谱响应特性，白光像素、可见光像素、全透光像素的感光量相差较大。此外，白光像素、可见光像素、全透光像素之间的曝光时间可能不同，若传感器配置以某一个通道的感光量所适合的增益，则其他通道的图像或欠曝或过曝，不利于后续的图像处理效果，因此，图像传感器的传感器增益控制电路可以通过三路增益控制信号对各像素的增益进行控制，以优化图像效果。
[0188]
示例性的，传感器增益控制电路可以用于至少输出两路增益控制信号(可以包括第一路增益控制信号以及第二路增益控制信号)。
[0189]
第一路增益控制信号可以用于控制颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益，颜色像素以及全透光像素的传感器增益通过独立设置以使不同像素不同的感光特性都达到合适曝光。
[0190]
示例性的，增益控制信号线取决于cmos传感器的设计类型，本技术实施例对此不做具体限定。
[0191]
示例性的，传感器增益控制电路可以利用第一路增益控制信号控制白光像素的增益，即第一路增益控制信号可以控制颜色像素和白光像素的增益，即通过两路增益控制信号控制颜色像素、白光像素以及全透光像素的增益，降低传感器增益控制电路的工艺实现难度。
[0192]
或者，传感器增益控制电路可以利用专门的一路增益控制信号(可以称为第三路增益控制信号)控制白光的增益，即第一路增益控制信号可以控制颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益，第三路增益控制信号用于控制白光像素的增益，三路控制信号彼此独立，细化控制粒度。
[0193]
作为一种可能的实现方式，增益控制线连接像素阵列的列放大器，每一列对应一个列放大器即模拟可编程放大器。相同增益的模拟放大器采用相同的信号线进行连接。
[0194]
请参见图7，为本技术实施例提供的一种图像处理系统的结构示意图，如图7所示，该图像处理系统至少可以包括图像传感器单元710、光学单元720、图像处理单元730、曝光控制单元740。
[0195]
示例性的，该图像传感器单元710可以包括上述任一实施例中描述的图像传感器。
[0196]
示例性的，光学单元720，用于对入射光的部分波长区间光谱进行阻挡，输出入射图像传感器的目标光信号；
[0197]
图像传感器单元710，用于通过图像传感器的像素阵列中各像素对目标光信号的感光转化为电信号，并经过图像传感器的读出电路后，输出图像信号；
[0198]
曝光控制单元740，用于输出曝光控制信号给图像传感器单元，以控制图像传感器单元的图像传感器的像素阵列中各像素的各个通道的曝光；
[0199]
图像处理单元730，用于对图像信号进行处理，得到输出图像。
[0200]
示例性的，光学单元720可以用于对入射光的部分波长区间光谱进行阻挡，得到入射图像传感器的光信号(本文中称为目标光信号)。
[0201]
在一个示例中，光学单元720可以包括光学镜头及滤光装置。
[0202]
示例性的，光学镜头可以包括常规光学成像镜头。
[0203]
示例性的，滤光装置位于光学成像镜头和图像传感器之间，图像传感器位于滤光
装置的出光侧。
[0204]
在一个示例中，滤光装置包括第一滤光片、第二滤光片和切换部件，第一滤光片和第二滤光片均与切换部件连接。
[0205]
示例性的，切换部件，用于将第二滤光片切换到图像传感器的入光侧，或者将第一滤光片切换到图像传感器的入光侧。
[0206]
示例性的，为了提高滤光装置滤光的灵活性和可控性，滤光装置可以包括两个滤光片(本文中称为第一滤光片和第二滤光片)以及切换部件。第一滤光片和第二滤光片均与切换部件连接。
[0207]
切换部件可以根据指定策略控制第一滤光片切换到图像传感器的入光侧，或，控制第二滤光片切换到图像传感器的入光侧，以实现不同的滤光需求。
[0208]
在一个示例中，第一滤光片使可见光和部分近红外光通过；第二滤光片使可见光通过，阻挡近红外光。
[0209]
作为一种可能的实现方式，第一滤光片为双峰滤光片，该双峰滤光片用于使可见光波段[t1，t2]、及波段范围位于近红外波长范围[t3，t4]内的红外光通过，以滤除红外波段内第一颜色像素、第二颜色像素以及第三颜色像素光谱响应不同的部分。
[0210]
在另一个示例中，光学成像镜头上镀有滤光膜，该滤光膜用于使可见光波段[t1，t2]、及波段范围位于近红外波长范围[t1，t2]内的红外光通过；第一滤光片为全通滤光片，第二滤光片使可见光通过，阻挡所有近红外光。
[0211]
需要说明的是，第一滤光片也可以替换为玻片。
[0212]
示例性的，t3≥700nm，t4《1000nm。t4
–
t3《100nm。
[0213]
示例性的，考虑到本技术实施例中的光学镜头需要根据需求使指定波长范围内的可见光，或者，指定波长范围内的可见光和指定波长范围内的近红外光通过，对于其它波长范围的光信号需要进行阻挡。
[0214]
针对上述需求，除了可以分别通过不同滤光片来实现指定光信号的阻挡之外，还可以通过在光学成像镜头上增加滤光膜的方式实现。
[0215]
示例性的，光学成像镜头上可以镀有用于使可见光波段[t1，t2]、及波段范围位于近红外波长范围[t3，t4]内的红外光通过的滤光膜，以实现对其它波长范围的光信号的阻挡。
[0216]
对于需要近红外光的场景，可以将为全通滤光片的第一滤光片切换到图像传感器的入光侧；对于不需要近红外光的场景，可以将使可见光通过，但阻挡所有近红外光的第二滤光片切换到图像传感器的入光侧，以实现对近红外光的阻挡。
[0217]
需要说明的是，由于第一滤光片为全通滤光片的情况下，第一滤光片并不会对入射的光信号进行过滤，因此，第一滤光片可以一直处于图像传感器的入光侧，并根据需求选择是否将第二滤光片切换到图像传感器的入光侧；或者，可以不需要部署为全通滤光片的第一滤光片，而是根据需求选择是否将第二滤光片切换到图像传感器的入光侧。
[0218]
示例性的，典型的滤光区间为可见光波段[380，650]nm。
[0219]
示例性的，上述部分近红外光的波段[700，750]nm或[830，870]nm。
[0220]
示例性的，考虑到目前常见的红外补光灯的红外光波长范围一般是[700，750]nm或[830，870]nm，且这两个波长范围内的近红外光属于响应较强的波长范围，其补光效果较
好，因此，上述第一滤光片可以允许[700，750]nm或[830，870]nm波长范围内的近红外光通过，而对其它波长范围内的近红外光进行过滤，在保证补光效果的情况下，减少去红外处理的工作量。
[0221]
在一个示例中，如图8所示，图像处理系统还包括驱动控制单元750，驱动控制单元750，用于在图像处理系统使用第一工作模式时，控制切换部件将第二滤光片切换到图像传感器的入光侧；在图像处理系统使用第二工作模式时，控制切换部件将第一滤光片切换到图像传感器的入光侧。
[0222]
示例性的，为了适用不同的图像处理场景，图像处理系统可以设置至少两个不同的工作模式(本文中称为第一工作模式和第二工作模式)，不同工作模式下对于入射光中光信号的需求不同。
[0223]
示例性的，图像处理系统可以根据所使用的工作模式，通过驱动控制单元750控制切换部件将第一滤光片切换到图像传感器的入光侧，或，将第二滤光片切换到图像传感器的入光侧。
[0224]
示例性的，驱动控制单元750可以在图像处理系统使用第一工作模式时，控制切换部件将第二滤光片切换到图像传感器的入光侧；在图像处理系统使用第二工作模式时，控制切换部件将第一滤光片切换到图像传感器的入光侧。
[0225]
示例性的，第一工作模式在光照较好环境下使用，整体进光量优于常规拜耳传感器阵列，第二工作模式在低光照情况下使用，能够利用红外补光的高进光量且不造成人的视觉干扰。
[0226]
在一些实施例中，图像传感器单元710的图像传感器包括曝光时间控制电路；曝光控制单元740包括曝光时间控制单元，该曝光时间控制单元用于输出曝光时间控制信号给曝光时间控制电路；
[0227]
该曝光时间控制电路用于根据曝光时间控制单元输出的曝光时间控制信号，控制第一颜色像素、第二颜色像素、第三颜色像素以及白光像素的曝光时间不低于全透光像素的曝光时间。
[0228]
示例性的，曝光控制单元740可以包括曝光时间控制单元，曝光时间控制单元可以通过输出曝光时间控制信号给图像传感器中的曝光时间控制电路，以控制图像传感器中各像素的曝光时间。
[0229]
示例性的，图像传感器中的曝光时间控制电路接收到曝光时间控制单元输出的曝光时间控制信号时，可以输出三路曝光时间控制信号，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光时间，第二路曝光时间控制信号用于控制白光像素的曝光时间，第三路曝光时间控制信号用于控制全透光像素的曝光时间。
[0230]
示例性的，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光结束时间，第二路曝光时间控制信号用于控制白光像素的曝光结束时间，第二路曝光时间控制信号用于控制全透光像素的曝光结束时间。
[0231]
示例性的，曝光时间控制单元可以通过向曝光时间控制电路输出三路曝光时间控制信号，控制第一颜色像素、第二颜色像素、第三颜色像素以及白光像素的曝光时间不低于全透光像素的曝光时间，有利于增加可见光分量的进光量，并减少全透光通道曝光时间内运动物体的拖影模糊。
[0232]
示例性的，可以按可见光通道进行曝光统计为例，通过设置的曝光时间计算出可见光通道的图像信号平均亮度，按照预设的图像目标亮度值，计算出合适的传感器增益，将增益值配置给图像传感器，使输出的图像信号达到合适的亮度。
[0233]
在一个示例中，图像传感器单元710的图像传感器还包括：传感器增益控制电路；
[0234]
曝光控制单元740还包括增益控制单元，增益控制单元用于输出增益控制信号给传感器增益控制电路；
[0235]
传感器增益控制电路用于根据增益控制单元输出的增益控制信号，控制第一颜色像素、第二颜色像素以及第三颜色像素的传感器增益均大于白光像素的传感器增益，且白光像素的传感器增益不小于全透光像素的传感器增益。
[0236]
示例性的，曝光控制单元740还可以包括增益控制单元，增益控制单元可以通过输出增益控制信号给图像传感器中的传感器增益控制电路，以控制图像传感器中各像素的传感器增益。
[0237]
示例性的，考虑到不同通道的光谱响应特性，白光像素、可见光像素、全透光像素的感光量相差较大。此外，白光像素、可见光像素、全透光像素之间的曝光时间可能不同，若传感器配置以某一个通道的感光量所适合的增益，则其他通道的图像或欠曝或过曝，不利于后续的图像处理效果，因此，图像传感器的传感器增益控制电路可以通过三路增益控制信号对各像素的增益进行控制，以优化图像效果。
[0238]
示例性的，图像传感器中的传感器增益控制电路接收到增益控制单元输出的增益控制信号时，可以输出三路增益控制信号，第一路增益控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的增益，第二路增益控制信号用于控制白光像素的增益，第三路增益控制信号用于控制全透光像素的增益。
[0239]
示例性的，传感器增益控制电路可以用于根据增益控制单元输出的增益控制信号，控制第一颜色像素、第二颜色像素以及第三颜色像素的传感器增益均大于白光像素的传感器增益，且白光像素的传感器增益不小于全透光像素的传感器增益。
[0240]
示例性的，传感器增益可以包括模拟增益和/或数字增益。
[0241]
示例性的，可以通过增益控制信号，控制第一颜色像素、第二颜色像素以及第三颜色像素的传感器增益(模拟增益与数字增益之和)均大于白光像素的传感器增益(模拟增益与数字增益之和)，且白光像素的传感器增益(模拟增益与数字增益之和)不小于全透光像素的增益(模拟增益与数字增益之和)。
[0242]
例如，以第一颜色像素为r像素，第二颜色像素为g像素，第三颜色像素为b像素，白光像素为c像素，全透光像素为w像素为例，可以通过增益控制信号，控制r像素的模拟增益大于c像素的模拟增益，且r像素和c像素均不启用数字增益；g像素的模拟增益大于c像素的模拟增益，且g像素和c像素均不启用数字增益；b像素的模拟增益大于c像素的模拟增益，且b像素和c像素均不启用数字增益；
[0243]
或者，r像素的模拟增益与c像素的增益相同，且r像素的数字增益大于c像素的数字增益；g像素的模拟增益与c像素的增益相同，且g像素的数字增益大于c像素的数字增益；b像素的模拟增益与c像素的增益相同，且b像素的数字增益大于c像素的数字增益。
[0244]
示例性的，对于低照度场景，颜色像素的感光会比较差，而白光像素对可见光的响应强于颜色像素对可见光信号的响应，全透光像素对近红外光信号有响应，即白光像素和
全透光像素的感光均会比颜色像素好。因而，为了保证颜色像素、白光像素以及全透光像素的曝光效果，避免出现欠曝或过曝的情况，可以第一颜色像素、第二颜色像素以及第三颜色像素的传感器增益均大于白光像素的传感器增益，且白光像素的传感器增益不小于全透光像素的传感器增益，以优化图像的曝光效果。
[0245]
在一个示例中，在图7或图8所示图像处理的基础上，如图9所示(以在图7所示图像处理系统的基础上进行优化为例)，图像处理系统还可以包括：近红外补光控制单元760和近红外补光单元770；
[0246]
近红外补光控制单元760，用于向近红外补光单元发送补光控制信号，补光控制信号至少用于控制近红外补光单元770开启和关闭；
[0247]
近红外补光单元770，用于基于补光控制信号开启近红外补光或关闭近红外补光；其中，在第二滤光片切换到图像传感器的入光侧时，补光控制信号用于控制近红外补光单元关闭近红外补光；在第一滤光片切换到图像传感器的入光侧时，补光控制信号用于控制近红外补光单元开启近红外补光。
[0248]
示例性的，图像处理系统还可以包括近红外补光控制单元和近红外补光单元。
[0249]
近红外补光控制单元可以根据需求向近红外补光单元发送用于控制近红外补光单元开启和关闭的补光控制信号。
[0250]
示例性的，在第二滤光片对近红外光进行阻挡的情况下，若第二滤光片切换到图像传感器的入光侧，即当前不需要近红外光入射图像传感器时，可以通过近红外补光控制单元向近红外补光单元发送控制红外补光单元关闭的控制信号，以控制近红外补光单元关闭近红外补光，以节省系统资源；在第一滤光片不对近红外光进行阻挡，或，对部分近红外光进行阻挡的情况下，若第一滤光片切换到图像传感器的入光侧，即当前需要近红外光入射图像传感器时，可以通过近红外补光控制单元向近红外补光单元发送控制红外补光单元开启的控制信号，以控制近红外补光单元开启近红外补光，实现补光，以优图像处理效果。
[0251]
在一些实施例中，上述近红外补光控制单元760可以包括近红外补光强度控制单元。
[0252]
在一个示例中，在图像传感器的白光像素红外截止的情况(即上述图像传感器的实施例一)下：
[0253]
红外补光强度控制单元，用于根据各通道的曝光参数，确定近红外补光单元的补光强度，以使输出图像亮度达到参考亮度。
[0254]
示例性的，由于颜色像素以及白光像素均红外截止，红外补光强度控制单元可以根据各通道的曝光参数，确定近红外补光单元的补光强度，以使输出图像亮度达到参考亮度(预先设定的希望达到的图像亮度)，能够有效提升红外光响应部分的进光量，从而提升处理后图像的信噪比。
[0255]
在另一个示例中，在图像传感器的白光像素红外弱感的情况(即上述图像传感器的实施例二)下：
[0256]
红外补光强度控制单元，用于确定近红外补光强度相关系数，根据近红外补光强度相关系数确定近红外补光单元的补光强度。
[0257]
示例性的，当近红外补光强度相关系数大于第三阈值时，将近红外补光单元的当前补光强度调低；当近红外补光强度相关系数小于第四阈值时，将近红外补光单元的当前
补光强度调高。
[0258]
示例性的，第三阈值大于第四阈值。
[0259]
示例性的，对于颜色像素以及白光像素红外弱感的情况，为了优化近红外补光效果，可以根据补光需求调节近红外补光单元的补光强度。
[0260]
示例性的，可以通过近红外补光强度相关系数来表征补光需求。
[0261]
示例性的，近红外补光强度相关系数可以与补光需求负相关，当近红外光补光强度相关系数较大，如大于第三阈值时，确定补光需求低，可以将近红外补光单元的当前补光强度调低；当近红外光补光强度相关系数较小，如小于第四阈值时，确定补光需求高，可以将近红外补光单元的当前补光强度调高，以便将近红外光强度控制在合适范围时，提高全透光通道的信噪比，以及提高对颜色通道进行去红外处理后，颜色通道的信噪比，优化图像效果。
[0262]
举例来说，以第一颜色像素、第二颜色像素以及第三颜色像素分别为r像素、g像素以及b像素为例，可以根据rgb曝光的图像平均亮度y1以及去除红外后rgb图像的平均亮度y2，确定红外光能量占比：(y1-y2)/y1。
[0263]
示例性的，当红外光能量占比大于r(以上述第三阈值为r为例)，将红外补光强度调低；当红外能量占比小于s(以上述第四阈值为s为例)，将红外补光强度调高。
[0264]
示例性的，r取值范围为[5，10]，s取值范围[0.5，4]。
[0265]
请参见图10，为本技术实施例提供的一种图像处理方法的流程示意图，其中，该图像处理方法可以应用于上述任一实施例中的图像处理系统，如图10所示，该图像处理方法可以包括以下步骤：
[0266]
步骤s1000、获取图像传感器输出的图像信号；
[0267]
示例性的，图像处理器传感器的像素阵列中至少包括两类像素，其中第一类像素允许通过的近红外光的强度强于第二类像素允许通过的近红外光的强度。
[0268]
例如，第一类像素包括全透光像素，第二类像素包括第一颜色像素、第二颜色像素、第三颜色像素，以及白光像素。
[0269]
本技术实施例中，图像传感器可以将入射的目标光信号通过光电转换，转化为电信号，并将指定像素的电信号读取出来进行信号处理，得到图像信号。
[0270]
示例性的，图像信号是图像传感器根据接收到的曝光控制信号调整各个通道的曝光参数之后采集得到的。
[0271]
图像传感器根据接收到的曝光控制信号调整各个通道的曝光参数的具体实现可以参见上述实施例中的相关描述。
[0272]
步骤s1010、对图像传感器输出的图像信号进行处理得到输出图像。
[0273]
本技术实施例中，对于图像传感器输出的图像信号，可以对其进行指定处理，得到输出图像。
[0274]
在一些实施例中，图像处理系统包括图像传感器中白光像素红外截止的情况下(即上述实施例一)：
[0275]
上述对图像传感器输出的图像信号进行处理得到输出图像，可以包括：
[0276]
将图像信号输入到一个或多个卷积神经网络进行卷积操作，得到由一个或多个卷积神经网络输出的第一颜色通道全分辨率图像、第二颜色通道全分辨率图像，以及，第三颜
色通道全分辨率图像。
[0277]
示例性的，对于图像传感器中白光像素红外截止的情况，对于图像传感器输出的图像信号，可以采用卷积神经网络进行端到端处理的方式，得到第一颜色通道全分辨率图像、第二颜色通道全分辨率图像，以及，第三颜色通道全分辨率图像。
[0278]
例如，如图11所示，以像素阵列为rgbcw像素阵列为例，对于图像传感器输出的图像信号，可以采用卷积神经网络进行端到端处理的方式，分别得到r通道全分辨率图像、g通道全分辨率图像，以及，b通道全分辨率图像。
[0279]
示例性的，可以分别通过不同卷积神经网络对不同颜色像素位置进行处理，得到对应颜色通道的全分辨率图像，以提升图像处理性能。
[0280]
在一些实施例中，图像处理系统包括图像传感器中白光像素及颜色像素红外弱感的情况下(即上述实施例二)：
[0281]
上述对图像传感器输出的图像信号进行处理得到输出图像，可以包括：
[0282]
将图像信号输入到一个或多个卷积神经网络进行卷积操作，得到由一个或多个卷积神经网络输出的第一颜色通道全分辨率图像、第二颜色通道全分辨率图像、以及第三颜色通道全分辨率图像；
[0283]
利用全透光通道对第一颜色通道全分辨率图像、第二颜色通道全分辨率图像、以及第三颜色通道全分辨率图像进行去红外处理，得到去红外后的第一颜色通道全分辨率图像、去红外后的第二颜色通道全分辨率图、以及去红外后的第三颜色通道全分辨率图像。
[0284]
示例性的，对于图像传感器中白光像素以及颜色像素红外弱感的情况，在将图像传感器输出的图像信号处理为不同颜色通道的全分辨率图像之后，还需要对各颜色通道的全分辨率图像进行去红外处理，以使图像色彩效果与人眼观看效果一致性更高，优化图像处理效果。
[0285]
示例性的，对于图像传感器输出的图像信号，可以采用卷积神经网络进行端到端处理的方式，得到第一颜色通道全分辨率图像、第二颜色通道全分辨率图像，以及，第三颜色通道全分辨率图像。
[0286]
示例性的，可以分别通过不同卷积神经网络对不同颜色像素位置进行处理，得到对应颜色通道的全分辨率图像，以提升图像处理性能。
[0287]
示例性的，对于处理得到的第一颜色通道全分辨率图像、第二颜色通道全分辨率图像，以及，第三颜色通道全分辨率图像，利用全透光通道对所述第一颜色通道全分辨率图像、第二颜色通道全分辨率图像、以及第三颜色通道全分辨率图像进行去红外处理，得到去红外后的第一颜色通道全分辨率图像、去红外后的第二颜色通道全分辨率图、以及去红外后的第三颜色通道全分辨率图像。
[0288]
例如，如图12所示，以像素阵列为rgbcw像素阵列为例，对于图像传感器输出的图像信号，可以采用卷积神经网络进行端到端处理的方式，分别得到r通道全分辨率图像、g通道全分辨率图像，以及，b通道全分辨率图像，并利用w通道对r通道全分辨率图像、g通道全分辨率图像，以及，b通道全分辨率图像进行去红外处理，得到去红外后的r通道全分辨率图像、去红外后的g通道全分辨率图、以及去红外后的b通道全分辨率图像。
[0289]
示例性的，在利用全透光通道对各颜色通道全分辨率图像进行红外去除时，可以先对全透光通道分量进行修正，并依据修正后的全透光通道分量对各颜色通道全分辨率图
像进行红外去除。
[0290]
示例性的，可以根据全透光分量曝光修正系数对全透光分量进行修正。
[0291]
示例性的，全透光分量曝光修正系数根据图像传感器单元的w通道的感光度iso、以及可见光通道的感光度iso。
[0292]
例如，以rgbcw像素阵列为例，假设r通道的感光度iso为g11、g通道的感光度iso为g12、b通道传感器感光度iso为g13；w通道传感器感光度iso为g2，全透光分量曝光修正系数可以为g1/g2。
[0293]
示例性的，g1可以根据g11、g12和g13确定，如g1为g11、g12和g13的平均值。
[0294]
由于在曝光控制时全透光通道的传感器增益较低，因此在去除红外分量时，能减少可见路图像的噪声放大，更有利于从可见通道中提取色彩信息。
[0295]
请参见图13，为本技术实施例提供的一种图像处理装置的结构示意图，其中，该图像处理装置可以部署于上述任一实施例中的图像处理系统，如图13所示，该图像处理装置可以包括获取单元以及处理单元；其中：
[0296]
获取单元，用于获取图像传感器输出的图像信号；
[0297]
处理单元，用于对图像传感器输出的图像信号进行处理得到输出图像。
[0298]
在一些实施例中，在图像传感器中的白光像素红外截止的情况下(上述实施例一)：
[0299]
处理单元对图像传感器输出的图像信号进行处理得到输出图像，包括：
[0300]
将所述图像信号输入到一个或多个卷积神经网络进行卷积操作，得到由所述一个或多个卷积神经网络输出的第一颜色通道全分辨率图像、第二颜色通道全分辨率图像、以及第三颜色通道全分辨率图像
[0301]
在一些实施例中，在图像传感器中的白光像素以及颜色像素红外弱感的情况下(上述实施例二)：
[0302]
处理单元对图像传感器输出的图像信号进行处理得到输出图像，包括：
[0303]
将图像信号输入到一个或多个卷积神经网络进行卷积操作，得到由一个或多个卷积神经网络输出的第一颜色通道全分辨率图像、第二颜色通道全分辨率图像、以及第三颜色通道全分辨率图像；
[0304]
利用全透光通道对所述第一颜色通道全分辨率图像、第二颜色通道全分辨率图像、以及第三颜色通道全分辨率图像进行去红外处理，得到去红外后的第一颜色通道全分辨率图像、去红外后的第二颜色通道全分辨率图、以及去红外后的第三颜色通道全分辨率图像。
[0305]
请参见图14，为本技术实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器1401、存储有机器可执行指令的存储器1402。处理器1401与存储器1402可经由系统总线1403通信。并且，通过读取并执行存储器1402中的机器可执行指令，处理器1401可执行上文描述的图像处理方法。
[0306]
本文中提到的存储器1402可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram(radom access memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们
的组合。
[0307]
在一些实施例中，还提供了一种机器可读存储介质，如图14中的存储器1402，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的图像处理方法。例如，所述机器可读存储介质可以是rom、ram、cd-rom、磁带、软盘和光数据存储设备等。
[0308]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0309]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。

技术特征：
1.一种图像传感器，其特征在于，包括像素阵列，所述像素阵列包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素；在可见光波长范围[t1，t2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值；白光像素对近红外波长范围[t3，t4]内的光信号截止；全透光像素对近红外波长范围[t3，t4]内的光信号有响应。2.根据权利要求1所述的图像传感器，其特征在于，对于可见光波长范围[t1，t2]内的任一波长，该波长对应的白光像素的光谱响应曲线的值均大于该波长对应的第一颜色像素的光谱响应曲线的值、该波长对应的第二颜色像素的光谱响应曲线的值，以及，该波长对应的第三颜色像素的光谱响应曲线的值。3.根据权利要求1所述的图像传感器，其特征在于，第一颜色像素对近红外波长范围[t3，t4]内的光信号截止，第二颜色像素对近红外波长范围[t3，t4]内的光信号截止，第三颜色像素对近红外波长范围[t3，t4]内的光信号截止。4.根据权利要求1所述的图像传感器，其特征在于，全透光像素在近红外波长范围[t3，t4]内的光谱响应曲线的最大值与白光像素在可见光波长范围[t1，t2]内的光谱响应曲线的最大值的比值大于第一阈值。5.根据权利要求1-4任一项所述的图像传感器，其特征在于，所述第一波长范围t1≥380nm，t2＜700nm，所述第二波长范围t3≥700nm，t4＜1000nm。6.根据权利要求5所述的图像传感器，其特征在于，近红外波长范围[t3，t4]包括[700，750]nm或[830，870]nm。7.根据权利要求1-4任一项所述的图像传感器，其特征在于，所述像素阵列包括多个4*4像素单元；所述4*4像素单元中，白光像素至少占3个像素、全透光像素至少占3个像素；第一颜色像素、第二颜色像素以及第三颜色像素之和至少占8个像素。8.根据权利要求7所述的图像传感器，其特征在于，所述4*4像素单元中，任一白光像素和任一全透光像素均不同行不同列，同一行的白光像素至少相隔一个像素，同一列的白光像素至少相隔一个像素，同一行的全透光像素至少相隔一个像素，同一列的全透光像素至少相隔一个像素；或，所述4*4像素单元中，第二颜色像素沿45
°
对角线排列，第一颜色像素分布在第二颜色像素的左上，第三颜色像素分布在第二颜色像素的右下；或，第二颜色像素分布在白光像素所在行的剩余位置，第一颜色像素和第三颜色像素中同一通道的两个像素之间斜向间隔一个像素。9.根据权利要求1-4任一项所述的图像传感器，其特征在于，所述图像传感器还包括：曝光时间控制电路，所述曝光时间控制电路用于至少输出两路曝光时间控制信号，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光时间，第二路曝光时间控制信号用于控制全透光像素的曝光时间。10.根据权利要求9所述的图像传感器，其特征在于，所述曝光时间控制电路用于输出
三路曝光时间控制信号，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光时间，第二路曝光时间控制信号用于控制全透光像素的曝光时间，第三路曝光时间控制信号用于控制白光像素的曝光时间。11.根据权利要求10所述的图像传感器，其特征在于，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光结束时间，第二路曝光时间控制信号用于控制全透光像素的曝光结束时间，第三路曝光时间控制信号用于控制白光像素的曝光结束时间。12.根据权利要求1-4任一项所述的图像传感器，其特征在于，所述图像传感器还包括：传感器增益控制电路，所述传感器增益控制电路用于至少输出两路增益控制信号，第一路增益控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益。13.根据权利要求12所述的图像传感器，其特征在于，所述传感器增益控制电路用于输出三路增益控制信号，第一路增益控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益，第三路增益控制信号用于控制白光像素的增益。14.一种图像传感器，其特征在于，包括像素阵列，所述像素阵列包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素；在可见光波长范围[t1，t2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值；在近红外波长范围[t3，t4]内，第一颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的n1倍，第二颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的n1倍，第三颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的n1倍，白光像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的n1倍；n1≥10，全透光像素对近红外波长范围[t3，t4]内的光信号有响应。15.根据权利要求14所述的图像传感器，其特征在于，在可见光波长范围[t1，t2]内，全透光像素的光谱响应曲线的积分值均小于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值。16.根据权利要求14所述的图像传感器，其特征在于，对于可见光波长范围[t1，t2]内的任一波长，该波长对应的全透光像素的光谱响应曲线的值均小于该波长对应的第一颜色像素的光谱响应曲线的值的n2倍、该波长对应的第二颜色像素的光谱响应曲线的值的n2倍，以及，该波长对应的第三颜色像素的光谱响应曲线的值的n2倍；n2≥10。17.根据权利要求14所述的图像传感器，其特征在于，全透光像素在近红外波长范围[t3，t4]内的光谱响应曲线的最大值与白光像素在可见光波长范围[t1，t2]内的光谱响应曲线的最大值的比值大于第二阈值，第二阈值大于或等于0.3。18.根据权利要求14-17任一项所述的图像传感器，其特征在于，所述第一波长范围t1≥380nm，t2＜700nm，所述第二波长范围t3≥700nm，t4＜1000nm。19.根据权利要求18所述的图像传感器，其特征在于，近红外波长范围[t3，t4]包括
[700，750]nm或[830，870]nm。20.根据权利要求14-17任一项所述的图像传感器，其特征在于，所述像素阵列包括多个4*4像素单元；所述4*4像素单元中，白光像素至少占3个像素、全透光像素至少占3个像素；第一颜色像素、第二颜色像素以及第三颜色像素之和至少占8个像素。21.根据权利要求20所述的图像传感器，其特征在于，所述4*4像素单元中，任一白光像素和任一全透光像素均不同行不同列，同一行的白光像素至少相隔一个像素，同一列的白光像素至少相隔一个像素，同一行的全透光像素至少相隔一个像素，同一列的全透光像素至少相隔一个像素；或，所述4*4像素单元中，第二颜色像素沿45
°
对角线排列，第一颜色像素分布在第二颜色像素的左上，第三颜色像素分布在第二颜色像素的右下；或，第二颜色像素分布在白光像素所在行的剩余位置，第一颜色像素和第三颜色像素中同一通道的两个像素之间斜向间隔一个像素。22.根据权利要求14-17任一项所述的图像传感器，其特征在于，所述图像传感器还包括：曝光时间控制电路，所述曝光时间控制电路用于至少输出两路曝光时间控制信号，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光时间，第二路曝光时间控制信号用于控制全透光像素的曝光时间。23.根据权利要求22所述的图像传感器，其特征在于，所述曝光时间控制电路用于输出三路曝光时间控制信号，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光时间，第二路曝光时间控制信号用于控制全透光像素的曝光时间，第三路曝光时间控制信号用于控制白光像素的曝光时间。24.根据权利要求23所述的图像传感器，其特征在于，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光结束时间，第二路曝光时间控制信号用于控制全透光像素的曝光结束时间，第三路曝光时间控制信号用于控制白光像素的曝光结束时间。25.根据权利要求14-17任一项所述的图像传感器，其特征在于，所述图像传感器还包括：传感器增益控制电路，所述传感器增益控制电路用于至少输出两路增益控制信号，第一路增益控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益。26.根据权利要求25所述的图像传感器，其特征在于，所述图像传感器还包括：传感器增益控制电路，所述传感器增益控制电路用于输出三路增益控制信号，第一路增益控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益，第三路增益控制信号用于控制白光像素的增益。27.一种图像处理系统，其特征在于，至少包括图像传感器单元、光学单元、图像处理单元、曝光控制单元、所述图像传感器单元包括权利要求1-13或14-26中任一项所述的图像传感器，其中，所述光学单元，用于对入射光的部分波长区间光谱进行阻挡，输出入射所述图像传感器的目标光信号；
所述图像传感器单元，用于通过所述图像传感器的像素阵列中各像素对所述目标光信号的感光转化为电信号，并经过所述图像传感器的读出电路后，输出图像信号；所述曝光控制单元，用于输出曝光控制信号给所述图像传感器单元，以控制所述图像传感器单元的所述图像传感器的像素阵列中各像素的各个通道的曝光；所述图像处理单元，用于对所述图像信号进行处理，得到输出图像。28.根据权利要求27所述的图像处理系统，其特征在于，所述图像传感器单元的所述图像传感器包括曝光时间控制电路；所述曝光控制单元包括曝光时间控制单元，所述曝光时间控制单元用于输出曝光时间控制信号给所述曝光时间控制电路；所述曝光时间控制电路用于根据所述曝光时间控制单元输出的所述曝光时间控制信号，控制第一颜色像素、第二颜色像素、第三颜色像素以及白光像素的曝光时间均不低于全透光像素的曝光时间。29.根据权利要求27所述的图像处理系统，其特征在于，所述图像传感器单元的所述图像传感器包括：传感器增益控制电路；所述曝光控制单元还包括增益控制单元，所述增益控制单元用于输出增益控制信号给所述传感器增益控制电路；所述传感器增益控制电路用于根据所述增益控制单元输出的所述增益控制信号，控制第一颜色像素、第二颜色像素以及第三颜色像素的传感器增益均大于白光像素的传感器增益，且白光像素的传感器增益不小于全透光像素的传感器增益。30.根据权利要求27所述的图像处理系统，其特征在于，所述光学单元包括光学成像镜头和滤光装置，其中，所述滤光装置位于所述光学成像镜头和所述图像传感器之间，所述图像传感器位于所述滤光装置的出光侧。31.根据权利要求30所述的图像处理系统，其特征在于，所述滤光装置包括第一滤光片、第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接；其中，所述切换部件，用于将所述第二滤光片切换到所述图像传感器的入光侧，或者将所述第一滤光片切换到所述图像传感器的入光侧；所述第一滤光片使可见光和部分近红外光通过；所述第二滤光片使可见光通过，阻挡近红外光。32.根据权利要求31所述的图像处理系统，其特征在于，所述部分近红外光的波段包括[700，750]nm或[830，870]nm。33.根据权利要求31所述的图像处理系统，其特征在于，所述图像处理系统还包括：近红外补光控制单元和近红外补光单元；所述近红外补光控制单元，用于向所述近红外补光单元发送补光控制信号，所述补光控制信号至少用于控制所述近红外补光单元开启和关闭；所述近红外补光单元，用于基于所述补光控制信号开启近红外补光或关闭近红外补光；其中，在所述第二滤光片切换到所述图像传感器的入光侧时，所述补光控制信号用于控制所述近红外补光单元关闭近红外补光；在所述第一滤光片切换到所述图像传感器的入光侧时，所述补光控制信号用于控制所述近红外补光单元开启近红外补光。34.根据权利要求33所述的图像处理系统，其特征在于，所述近红外补光控制单元包括近红外补光强度控制单元，其中，在所述图像传感器单元包括权利要求1-13任一项所述的
图像传感器的情况下：所述红外补光强度控制单元，用于根据各通道的曝光参数，确定所述近红外补光单元的补光强度，以使输出图像亮度达到参考亮度。35.根据权利要求33所述的图像处理系统，其特征在于，所述近红外补光控制单元包括近红外补光强度控制单元，其中，在所述图像传感器单元包括权利要求14-26任一项所述的图像传感器的情况下：所述红外补光强度控制单元，用于确定近红外补光强度相关系数，根据所述近红外补光强度相关系数确定所述近红外补光单元的补光强度；其中，当所述近红外补光强度相关系数大于第三阈值时，将所述近红外补光单元的当前补光强度调低；当所述近红外补光强度相关系数小于第四阈值时，将所述近红外补光单元的当前补光强度调高；所述第三阈值大于所述第四阈值。36.根据权利要求35所述的图像处理系统，其特征在于，所述第三阈值大于或等于5，且小于或等于10；所述第四阈值大于或等于0.5，且小于或等于4。37.一种图像处理方法，其特征在于，应用于权利要求27-36中任一项所述的图像处理系统，所述方法包括：获取图像传感器输出的图像信号；对所述图像传感器输出的图像信号进行处理得到输出图像。38.根据权利要求37所述的方法，其特征在于，在所述图像处理系统包括权利要求1-13中任一项所述的图像传感器的情况下：所述对所述图像传感器输出的图像信号进行处理得到输出图像，包括：将所述图像信号输入到一个或多个卷积神经网络进行卷积操作，得到由所述一个或多个卷积神经网络输出的第一颜色通道全分辨率图像、第二颜色通道全分辨率图像以及第三颜色通道全分辨率图像。39.根据权利要求37所述的方法，其特征在于，在所述图像处理系统包括权利要求14-26中任一项所述的图像传感器的情况下：所述对所述图像传感器输出的图像信号进行处理得到输出图像，包括：将所述图像信号输入到一个或多个卷积神经网络进行卷积操作，得到由所述一个或多个卷积神经网络输出的第一颜色通道全分辨率图像、第二颜色通道全分辨率图像以及第三颜色通道全分辨率图像；利用全透光通道对所述第一颜色通道全分辨率图像、第二颜色通道全分辨率图像以及第三颜色通道全分辨率图像进行去红外处理，得到去红外后的第一颜色通道全分辨率图像、去红外后的第二颜色通道全分辨率图、以及去红外后的第三颜色通道全分辨率图像。40.一种图像处理装置，其特征在于，部署于权利要求27-36中任一项所述的图像处理系统，所述装置包括：获取单元以及处理单元；其中：所述获取单元，用于获取图像传感器输出的图像信号；所述处理单元，用于对图像传感器输出的图像信号进行处理得到输出图像。

技术总结
本申请提供一种图像传感器、图像处理系统、图像处理方法及装置，该图像传感器包括像素阵列，所述像素阵列包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素；在可见光波长范围[T1，T2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值；白光像素对近红外波长范围[T3，T4]内的光信号截止；全透光像素对近红外波长范围[T3，T4]内的光信号有响应。该图像传感器可以实现像素级别的近红外光感应控制，提升提照度环境下的图像效果。照度环境下的图像效果。照度环境下的图像效果。


技术研发人员：叶鹏钊 蔡晓望 黄芳 李梦阳 范蒙
受保护的技术使用者：杭州海康威视数字技术股份有限公司
技术研发日：2022.03.10
技术公布日：2023/9/23