车载用传感系统以及门控照相机的制作方法

1.本公开涉及车辆用的传感系统。


背景技术：

2.为了进行驾驶辅助或自动驾驶，使用对存在于车辆的周围的物体的位置及种类进行感测的物体识别系统。物体识别系统包括传感器和对传感器的输出进行解析的运算处理装置。考虑用途、要求精度、成本地从照相机、lidar(light detection and ranging：光检测和测距、laser imaging detection and ranging：激光成像检测和测距)、毫米波雷达、超声波声纳、主动式传感器等中选择传感器。
3.作为替代tof照相机的主动式传感器，提出了门控照相机(gating camera或者gated camera)(专利文献1、2)。门控照相机将拍摄范围划分为多个范围，针对每个范围使曝光定时和曝光时间变化地进行拍摄。由此，针对每个对象的范围得到切片图像，各切片图像仅包含对应的范围中包含的物体。
4.[在先技术文献]
[0005]
[专利文献]
[0006]
专利文献1：日本特开2009-257983号公报
[0007]
专利文献2：国际公开wo2017/110413a1


技术实现要素：

[0008]
[发明要解决的课题]
[0009]
行驶中的雨或雪、雾等，对视野的好坏、各种传感器的性能造成很大影响，因此是重要的。以往，为了检测天气，需要使用雨滴传感器、雾传感器等专用的传感器，成为成本上升的主要原因。
[0010]
本公开鉴于以上状况而完成，其一个方案的例示性的目的之一在于，提供一种能够取得与天气相关的信息的门控照相机。
[0011]
[用于解决技术课题的技术方案]
[0012]
本公开的一个方案涉及将视野在进深方向上划分为多个范围，并生成与多个范围对应的多个切片图像的门控照相机。门控照相机包括：向视野照射脉冲照明光的照明装置；图像传感器；对照明装置的发光定时以及图像传感器的曝光的定时进行控制的照相机控制器；以及对图像传感器生成的图像数据进行处理的运算处理装置。照相机控制器在天气检测模式下针对规定范围进行拍摄，运算处理装置基于针对宽范围得到的图像数据，取得与天气相关的信息。
[0013]
本公开的其他方案也是门控照相机。该门控照相机包括：向视野照射脉冲照明光的照明装置；图像传感器；对照明装置的发光定时以及图像传感器的曝光的定时进行控制的照相机控制器；以及对图像传感器生成的图像数据进行处理的运算处理装置。照相机控制器在天气检测模式下，对窄范围和将窄范围向近前方向扩展后的宽范围进行拍摄，运算
处理装置基于针对窄范围得到的第1图像数据和针对宽范围得到的第2图像数据，取得与天气相关的信息。
[0014]
[发明效果]
[0015]
根据本公开，能够通过门控照相机取得与天气相关的信息。
附图说明
[0016]
图1是实施方式1的传感系统的框图。
[0017]
图2是说明门控照相机的动作的图。
[0018]
图3的(a)、图3的(b)是说明通过门控照相机得到的图像的图。
[0019]
图4的(a)～图4的(c)是说明恶劣天气下的门控照相机的优点的图。
[0020]
图5是说明传感系统的动作的时序图。
[0021]
图6是说明实施例1的门控照相机的动作的图。
[0022]
图7是说明实施例2的门控照相机的动作的图。
[0023]
图8是说明实施例3的拍摄模式的图。
[0024]
图9是实施方式2的传感系统的框图。
[0025]
图10是实施方式3的传感系统的框图。
[0026]
图11是实施方式4的传感系统的框图。
[0027]
图12是实施方式5的传感系统的框图。
[0028]
图13是实施方式6的传感系统的框图。
[0029]
图14的(a)、图14的(b)是表示具备实施方式的传感系统的汽车的图。
[0030]
图15是表示实施方式的车辆用灯具的框图。
[0031]
图16是包括实施方式7的门控照相机的传感系统的框图。
[0032]
图17的(a)、图17的(b)是表示由门控照相机拍摄到的切片图像的图。
[0033]
图18的(a)是表示图17的(a)的切片图像的直方图的图，图18的(b)是表示图17的(b)的切片图像的直方图的图。
[0034]
图19的(a)是图17的(b)的切片图像的上部的空间的图像数据，图19的(b)是表示图19的(a)的图像数据的直方图的图。
[0035]
图20是说明天气检测模式下的拍摄范围的图。
[0036]
图21的(a)～图21的(c)是说明实施例3中的差分图像的生成的图。
[0037]
图22的(a)、图22的(b)是说明基于差分图像的天气推测的图。
具体实施方式
[0038]
说明本公开的几个例示性的实施方式的概要。本概要作为后述的详细说明的前置，以实施方式的基本理解为目的，对1个或多个实施方式的几个概念进行简化说明，并非限定发明或者公开的广度。另外，本概要并非考虑的所有实施方式的总括的概要,并非限定实施方式的不可欠缺的构成要素。为了方便，“一实施方式”有时作为指示本说明书中公开的一个实施方式(实施例、变形例)或多个实施方式(实施例、变形例)而使用。
[0039]
一实施方式的门控照相机将视野在进深方向上划分为多个范围，并生成与多个范围对应的多个切片图像。门控照相机包括：向视野照射脉冲照明光的照明装置；图像传感
器；对照明装置的发光定时以及图像传感器的曝光的定时进行控制的照相机控制器；以及对图像传感器生成的图像数据进行处理的运算处理装置。运算处理装置基于在天气检测模式下针对规定范围得到的所述图像数据，取得与天气相关的信息。
[0040]
雾或雨、雪对于视野的平面内以及进深方向随机地、换言之均匀地存在。另一方面，雾或雨、雪之外的物标(车辆或行人、交通标识、道路标线等)局部地、非随机地存在。即，在恶劣天气时，在针对规定范围得到的切片图像中会拍摄到被均匀分布的雾或雨、雪漫反射的光，这显示出与随机噪声相似的性质。基于该性质，通过解析切片图像，基于噪声成分的有无或过多，能够得到与天气相关的信息。“与天气相关的信息”可以是雾、雨、雪的存在的有无或种类，也可以是它们的量(浓度)。
[0041]
照相机控制器可以在天气检测模式下以进深比通常的拍摄模式长的宽范围作为规定范围来进行拍摄。通过以门控照相机拍摄到较近的区域的方式针对比通常宽的范围进行拍摄，能够生成较大地受到雾或雨、雪的影响的切片图像，能够提高检测精度。
[0042]
运算处理装置也可以基于针对宽范围得到的图像数据中包含的规定区域，取得与天气相关的信息。在恶劣天气时，通过以仅包含雾、雨、雪的方式确定规定区域，能提高检测精度。
[0043]
规定区域也可以位于图像数据的上方。通过将天空的部分选择为规定区域，能够不受到车辆及行人、交通标识、道路标线等物标的影响而推测天气。
[0044]
运算处理装置也可以计算规定区域的直方图，并基于直方图，取得与天气相关的信息。若拍摄雾、雨、雪等，则直方图呈现出基于雾或雨、雪等的种类或量的规定的倾向。因此，通过生成直方图并对其进行解析，能够推定雾或雨、雪的有无、量等。
[0045]
运算处理装置也可以基于直方图的形状，取得与天气相关的信息。若存在雾或雨、雪等，则直方图呈现出接近正态分布的形状。
[0046]
运算处理装置也可以基于直方图的平均、方差的至少一者，取得与天气相关的信息。
[0047]
一实施方式的门控照相机包括：向视野照射脉冲照明光的照明装置；图像传感器；对照明装置的发光定时以及图像传感器的曝光的定时进行控制的照相机控制器；以及对图像传感器生成的图像数据进行处理的运算处理装置。照相机控制器在天气检测模式下，对窄范围和将窄范围向近前方向扩展后的宽范围进行拍摄，运算处理装置基于针对窄范围得到的第1图像数据和针对宽范围得到的第2图像数据，取得与天气相关的信息。
[0048]
例如，将存在于窄范围的物标的影响通过图像处理而除去，由此能够提取存在于成为差分的范围的雾或雨、雪的影响，能够得到与天气相关的信息。
[0049]
运算处理装置也可以计算第1图像数据和第2图像数据各自的直方图，并基于2个直方图取得与天气相关的信息。例如，考虑在窄范围内存在物标的情况。在这种情况下，针对窄范围得到的第1图像数据的直方图偏离正态分布。在好天气下，针对宽范围得到的第2图像数据的直方图也偏离正态分布。在恶劣天气下，在针对宽范围得到的第2图像数据中，由雾或雨、雪引起的噪声重叠，因此其直方图接近正态分布。
[0050]
运算处理装置也可以计算2个直方图各自的平均和方差，并基于平均和方差取得与天气相关的信息。例如，也可以在平均的差分以及/或方差的差分超过规定的阈值时，判定为恶劣天气。
[0051]
运算处理装置也可以基于2个直方图各自的形状，取得与天气相关的信息。
[0052]
运算处理装置也可以生成表示第1图像数据与第2图像数据的差分的差分图像，并基于差分图像取得与天气相关的信息。在恶劣天气时得到的差分图像中，由雾或雨、雪引起的噪声成分被支配性地包含在内。因此，基于差分图像中包含的噪声成分，能够取得与天气相关的信息。
[0053]
差分图像也可以针对拍摄到存在于窄范围的物体的范围而生成。
[0054]
运算处理装置也可以生成差分图像的直方图，并基于直方图取得与天气相关的信息。
[0055]
(实施方式)
[0056]
以下，参照附图对优选的实施方式进行说明。对各附图所示的相同或同等的构成要素、构件、处理标注相同的附图标记，适当省略重复的说明。另外，实施方式不限定公开及发明而是例示，并非实施方式所述的所有特征及其组合都是公开及发明的本质性内容。
[0057]
(实施方式1)
[0058]
图1是实施方式1的传感系统10a的框图。该传感系统10a以驾驶辅助或者自动驾驶为目的而被搭载于汽车、摩托车等车辆，对存在于车辆的周围的物体obj进行检测。
[0059]
传感系统10a包括主传感器组50、主控制器60以及门控照相机20。主传感器组50可以包括一个或者多个传感器。例如，主传感器组50包括照相机52和毫米波雷达54。或者，主传感器组50也可以包括立体照相机。或者，主传感器组50也可以包含lidar等。
[0060]
主控制器60基于主传感器组50的输出来检测车辆的周围的物体的位置、种类，并输出检测结果result。例如，主控制器60也可以具备识别器(分类器)，检测结果result也可以包含物标的种类(类别、类)以及与位置相关的信息。
[0061]
门控照相机20将视野在进深方向上划分为多个范围rng1～rngn，并生成与多个范围rng1～rngn对应的多个切片图像imgs1～imgsn。相邻的范围彼此也可以在它们的边界上在进深方向上重叠。
[0062]
门控照相机20包括照明装置22、图像传感器24、照相机控制器26以及运算处理装置28。
[0063]
照明装置22(投光器)与从照相机控制器26提供的发光定时信号s1同步地，向车辆前方的视野照射脉冲照明光l1。脉冲照明光l1优选为红外光，但不限于此，也可以是具有规定的波长的可见光。照明装置22例如可以使用激光二极管(ld)或led。在仅夜间使用门控照相机20的系统中，可以将脉冲照明光l1的波长设为800nm附近的近红外。在昼夜均使用门控照相机20的系统中，可以将脉冲照明光l1设为比1μm长的波长范围。
[0064]
图像传感器24包括多个像素，能够进行与从照相机控制器26提供的曝光定时信号s2同步的曝光控制，生成由多个像素构成的切片图像imgr。图像传感器24对与脉冲照明光l1相同的波长具有灵敏度，拍摄物体obj反射的反射光(返回光)l2。图像传感器24针对第i个范围rngi生成的切片图像imgr根据需要称为原始图像或者一次图像，与作为门控照相机20的最终输出的切片图像imgs进行区分。另外，也将原始图像imgr和切片图像imgs统称为切片图像img。
[0065]
照相机控制器26针对每个范围rng使发光定时信号s1和曝光定时信号s2变化，使照明装置22的发光与图像传感器24的曝光的时间差变化。发光定时信号s1规定发光开始的
定时和发光时间。曝光定时信号s2规定曝光开始的定时(与发光的时间差)和曝光时间。
[0066]
运算处理装置28能够通过cpu(central processing unit：中央处理单元)或mpu(micro processing unit：微处理单元)、微型计算机、gpu(graphics processing unit：图形处理单元)等处理器(硬件)，以及处理器(硬件)所执行的软件程序的组合来实现。运算处理装置28也可以仅由硬件构成。运算处理装置28对图像传感器24生成的原始图像数据imgr进行处理，输出最终的切片图像imgs。此外，在将图像传感器24的输出imgr直接作为切片图像imgs使用的情况下，可以省略运算处理装置28。
[0067]
图2是说明门控照相机20的动作的图。在图2中示出将第i个范围rngi作为兴趣范围来进行测定时的状态。照明装置22与发光定时信号s1同步地，在时刻t0～t1之间的发光期间τ1的期间发光。在最上方，示出横轴表示时间、纵轴表示距离的光线的图表。将从门控照相机20到范围rngi的近前的边界的距离设为d
mini
，将到范围rngi的深侧的边界的距离设为d
maxi
。
[0068]
在某一时刻从照明装置22发出的光到达距离d
mini
而其反射光返回图像传感器24为止的往返时间t
mini
为t
mini
＝2
×dmini
/c。c为光速。
[0069]
同样，在某一时刻从照明装置22发出的光到达距离d
maxi
而其反射光返回图像传感器24为止的往返时间t
maxi
为t
maxi
＝2
×dmaxi
/c。
[0070]
在仅要对范围rngi中包含的物体obj进行拍摄时，照相机控制器26以在时刻t2＝t0+t
mini
时开始曝光，在时刻t3＝t1+t
maxi
时结束曝光的方式生成曝光定时信号s2。这是1次曝光动作。
[0071]
在对第i个范围rngi进行拍摄时，也可以进行多次曝光。在这种情况下，照相机控制器26只要以规定的周期τ2反复进行多次上述照射和曝光的动作的组即可。此时，图像传感器24生成的原始图像数据imgr成为多次曝光的累计结果。
[0072]
在本实施方式中，为了使曝光(切片图像内的物体像的亮度值)不针对每个范围产生偏差，门控照相机20针对每个范围使快门速度(曝光时间)、曝光次数、灵敏度、脉冲照明光的照射强度等(拍摄参数)最佳化。
[0073]
图3的(a)、图3的(b)是说明通过门控照相机20得到的图像的图。在图3的(a)的示例中，在范围rng2中存在物体(行人)obj2，在范围rng3中存在物体(车辆)obj3。在图3的(b)中，示出在图3的(a)的状况下得到的多个切片图像img1～img3。在拍摄切片图像img1时，由于图像传感器24仅通过来自范围rng1的反射光曝光，因此在切片图像img1中没有拍摄到任何物体像。
[0074]
在拍摄切片图像img2时，由于图像传感器24仅通过来自范围rng2的反射光曝光，因此在切片图像img2中仅拍摄到物体像obj2。同样，在拍摄切片图像img3时，由于图像传感器24仅通过来自范围rng3的反射光曝光，因此在切片图像img3中仅拍摄到物体像obj3。像这样，根据门控照相机20，能够针对每个范围分离物体地进行拍摄。
[0075]
门控照相机20在恶劣天气下的拍摄中是有利的。以下，说明其理由。图4的(a)～图4的(c)是说明恶劣天气下的门控照相机20的优点的图。图4的(a)表示恶劣天气时的行驶场景的一个示例。在范围rng3中存在物体(车辆)obj3。另外，图中所示的点示意性地表示雨滴、雪或者雾等障碍物。在图4的(b)中，示出在图4的(a)的状况下得到的第3个范围的切片图像img3。在拍摄切片图像img3时，由于图像传感器24仅通过来自范围rng3的反射光曝光，因此
在切片图像img3中未拍摄到范围rng1、rng2的障碍物(雨滴、雪、雾)。即，能够除去测定对象的范围之外的范围中包含的雨、雪、雾。
[0076]
在图4的(c)中，示出一般的照相机拍摄相同视野而得到的图像。在通过一般的照相机进行拍摄时，由于拍摄到所有的范围rng
1～3
的物体的反射光，因此较多的障碍物会以遮挡obj3的方式映入。
[0077]
由图4的(b)与(c)的比较可知，门控照相机20生成的切片图像img在恶劣天气时，比一般照相机包含更多的信息。
[0078]
返回图1。在本实施方式中，门控照相机20被用作辅助主传感器组50的辅助传感器。因此，门控照相机20并非始终动作，而是根据行驶环境，自适应性地选择动作状态(使能状态en)、停止状态(禁用状态dis)。
[0079]
若门控照相机20成为动作状态，则照相机控制器26生成发光定时信号s1和曝光定时信号s2，由此生成多个范围的切片图像。在门控照相机20的停止状态下，照相机控制器26不生成发光定时信号s1和曝光定时信号s2，因此不生成切片图像。
[0080]
在恶劣天气时门控照相机20生成的切片图像img被提供给主控制器60。并且，门控照相机20的输出被用于驾驶辅助或自动驾驶的控制。
[0081]
以上是传感系统10a的构成。接着说明其动作。图5是说明传感系统10a的动作的时序图。
[0082]
在天气(视野)良好的条件下，主传感器组50的可靠性高。在这种情况下，门控照相机20成为停止状态，主控制器60基于主传感器组50的输出而进行物标的检测。
[0083]
在天气(视野)差的条件下，主传感器组50的可靠性降低。在这种情况下，门控照相机20成为动作状态，主控制器60替代主传感器组50的输出或者除了其之外，基于门控照相机20的检测结果而进行物标的检测。
[0084]
以上是传感系统10a的动作。根据该传感系统10a，能够抑制门控照相机20的消耗功率的增加，并且抑制恶劣天气时的传感系统10a的性能降低。
[0085]
返回图1。门控照相机20被构成为在动作状态下能够切换多个拍摄模式。多个拍摄模式包含性能相对较高、消耗电力较大的第1拍摄模式和性能相对较低、消耗电力较小的第2拍摄模式。
[0086]
关于多个拍摄模式，说明几个实施例。
[0087]
(实施例1)
[0088]
针对每个拍摄模式，帧率也可以不同。“帧率”是测定作为测定对象的所有范围的频率，并且是帧周期的倒数。在帧率高的拍摄模式中，能够进行高速的感测，相对地消耗功率增加。在帧率低的拍摄模式中，传感速度降低，相对地能够削减消耗功率。
[0089]
图6是说明实施例1的门控照相机20的动作的图。在第1拍摄模式mode1期间，以第1帧周期t
f1
执行多个范围rng1～rng3的拍摄时。在本示例中范围的个数是3个。此外，在1个范围的拍摄期间，也可以反复执行多次发光和曝光。
[0090]
在第2拍摄模式mode2期间，以第2帧周期t
f2
(t
f2
＞t
f1
)执行多个范围rng1～rng3的拍摄时。由于帧率降低，第2拍摄模式mode2的消耗功率比第1拍摄模式mode1的消耗功率低。
[0091]
在恶劣天气时这样的需要门控照相机20的状态下，根据状况有时也不要求最高的性能。例如，即使是恶劣天气，但基于主传感器组50的输出的感测的精度(可靠度)在一定程
度上较高的状况下，降低门控照相机20的帧率也不会对感测产生障碍。因此，在这样的情况下，通过选择第2拍摄模式mode2，能够削减消耗功率。
[0092]
例如，也可以根据雨或雪的量、雾的浓度来选择拍摄模式。例如，也可以是，在雨或雪相对较多、或者雾相对较浓的状况下，选择第1拍摄模式mode1，在雨或雪相对较少、或者雾相对较薄的状况下，选择第2拍摄模式mode2。
[0093]
或者，也可以根据当前的恶劣天气的原因(是雨、雪、雾中的哪一者)来选择模式。例如，也可以是，在发生雾或者降雪时选择第1拍摄模式，在降雨时选择第2拍摄模式mode2。
[0094]
或者，也可以根据行驶场景来切换第1拍摄模式mode1和第2拍摄模式mode2。例如，也可以是，在行驶速度相对较高的状况下，选择第1拍摄模式mode1，在行驶速度相对较低的状况下，选择第2拍摄模式mode2。
[0095]
(实施例2)
[0096]
在实施例2中，针对每个拍摄模式，测定的范围的个数不同。例如，在第1拍摄模式mode1中，测定3个范围rng1～rng3，在第2拍摄模式mode2中，测定2个范围rng1～rng2。
[0097]
图7是说明实施例2的门控照相机20的动作的图。例如，假设第1范围rng1为0～25m，第2范围rng2为25～50m，第3范围rng3为50～100m。根据天气，即使具有门控照相机20的性能，也可能产生不能进行比50m更前方的感测的情况。在这样的情况下，通过选择第2模式mode2，能够削减消耗功率。
[0098]
另外，自动驾驶控制或者驾驶辅助控制所需的能见度依赖于车速。具体而言，速度越高，越需要更远的物标的信息。因此，也可以是，在车速比某一阈值高的情况下，选择第1拍摄模式mode1，在车速比阈值低的情况下，选择第2拍摄模式mode2。
[0099]
此外，在图7中，第2拍摄模式mode2的帧率比第1拍摄模式mode1的帧率低，但帧率也可以相同。
[0100]
第1拍摄模式mode1中的距最远的范围的深侧的边界的距离(最远拍摄距离)为d
max3
，第2拍摄模式mode2中的最远拍摄距离为d
max2
，第1拍摄模式mode1与第2拍摄模式mode2不同。
[0101]
在这样的情况下，如图7所示，第2拍摄模式mode2中的脉冲照明光的强度也可以比第1拍摄模式mode1的该脉冲照明光低。此外，图7的脉冲照明光的强度并非意味着连续发光。在第2拍摄模式mode2中，由于不需要将脉冲照明光投射至远距离，因此能够使强度降低。另外，能够减少照明装置22的发热量。
[0102]
(实施例3)
[0103]
在实施例3中，针对每个拍摄模式，多个范围的进深不同。图8是说明实施例3的拍摄模式的图。例如，在第1拍摄模式mode1中，第1范围rng1为0～25m，第2范围rng2为25～50m，第3范围rng3为50～100m，而在第2拍摄模式mode2中，第1范围rng1为0～25m，第2范围rng2为25～50m，第3范围rng3为50～75m。即，与第1拍摄模式mode1的最远拍摄距离为100m相比，第2拍摄模式mode2的最远拍摄距离变短至75m。
[0104]
在实施例3中也与实施例2同样，在第2拍摄模式mode2中，由于不需要将脉冲照明光投射至远距离，因此能够使强度降低。另外，能够减少照明装置22的发热量。
[0105]
实施例3中的拍摄模式的选择也与实施例2同样，可以基于天气或视野的好坏来进行，也可以基于车速来进行。
[0106]
(实施例4)
[0107]
在实施例4中，门控照相机20除多个拍摄模式之外，能够切换为待机模式。在待机模式中，门控照相机20处于随时能够进行拍摄的状态，但不进行自发的拍摄而待机。在待机模式下，照相机控制器26能够与主控制器60之间进行通信，若从主控制器60接受到拍摄指示的指令，则立即执行拍摄。通过仅在被主控制器26指示时进行拍摄，能够削减无用的消耗功率。
[0108]
接着，对门控照相机20的动作状态/停止状态的控制以及拍摄模式的控制进行说明。
[0109]
在本实施方式中，门控照相机20的动作状态/停止状态的控制以及拍摄模式的控制由门控照相机20自身自主地进行。
[0110]
(控制方法1)
[0111]
在控制方法1中，门控照相机20基于自身生成的切片图像img来进行动作状态/停止状态的切换以及拍摄模式的选择。
[0112]
在切片图像img中拍摄到包含于视野的进深方向的特定范围的被摄体。通过利用该性质，能够推测视野的好坏及天气，并活用于门控照相机的控制。关于基于拍摄图像img的天气推测、视野推测，在后述说明。
[0113]
照相机控制器26基于切片图像img来决定门控照相机20的动作/停止。照相机控制器26在推测出主传感器组50的可靠性的降低的状况下，将门控照相机20切换为动作状态。
[0114]
进而，照相机控制器26基于切片图像img来选择第1拍摄模式mode1、第2拍摄模式mode2。选择的条件可以基于与拍摄模式相关的实施例1～4来确定。
[0115]
此外，在该控制方法1中，门控照相机20在停止状态下，间歇地(例如数十秒间隔～数分钟间隔)进行用于控制拍摄模式以及动作/停止的拍摄。
[0116]
(控制方法2)
[0117]
在控制方法2中，门控照相机20的照相机控制器26基于至少一个车辆信号来进行动作状态/停止状态的切换。车辆信号可例示出雨传感器的输出、雾传感器的输出、车速信息、表示主传感器的功能不全的故障信号、表示主控制器的功能不全或识别精度降低的故障信号、雨刷器的控制信号、雾灯的控制信号等。照相机控制器26在基于车辆信号判定为恶劣天气的情况下，使门控照相机20为动作状态而开始拍摄。
[0118]
照相机控制器26对于拍摄模式，与控制方法1同样，基于切片图像img来执行。
[0119]
在控制方法2中，不需要像控制方法1那样，在停止状态期间进行用于控制动作/停止的拍摄。
[0120]
(控制方法3)
[0121]
在控制方法3中，照相机控制器26基于至少一个车辆信号来进行动作状态/停止状态的切换以及拍摄模式的控制的二者。
[0122]
(控制方法4)
[0123]
在控制方法4中，照相机控制器26基于切片图像img来进行动作状态/停止状态的切换，基于至少一个车辆信号来进行拍摄模式的控制。
[0124]
动作状态/停止状态的控制、拍摄模式的控制也可以基于车辆信号和切片图像的解析结果的二者来进行。
[0125]
(实施方式2)
[0126]
图9是实施方式2的传感系统10b的框图。在实施方式2中，门控照相机20的动作状态/停止状态基于来自外部的使能信号en而被控制，门控照相机20的拍摄模式由门控照相机20自身自主地控制。
[0127]
例如，在图9中，门控照相机20的动作状态/停止状态被主控制器60控制。主控制器60也可以与实施方式1中说明的同样，基于至少一个车辆信号来决定门控照相机20的动作状态/停止状态，并生成使能信号en。另外，主控制器60也可以基于门控照相机20生成的切片图像img来控制门控照相机20的动作状态/停止状态。
[0128]
或者，主控制器60也可以基于车辆信号和切片图像的二者来控制门控照相机20的动作状态/停止状态。
[0129]
另一方面，在实施方式2中，照相机控制器26也可以基于切片图像img来选择门控照相机20的拍摄模式。或者，照相机控制器26也可以基于车辆信号来选择门控照相机20的拍摄模式。或者，照相机控制器26也可以基于车辆信号和切片图像的二者来选择门控照相机20的拍摄模式。
[0130]
(实施方式3)
[0131]
图10是实施方式3的传感系统10c的框图。在实施方式3中，门控照相机20被搭载于车辆用灯具200。车辆用灯具200包括未图示的统括地控制近光及远光的灯具ecu(electronic control unit：电子控制单元)210。
[0132]
门控照相机20的动作状态/停止状态基于灯具ecu210生成的使能信号en而被控制，门控照相机20的拍摄模式由门控照相机20自身自主地控制。灯具ecu210基于车辆信号和切片图像的至少一者来控制门控照相机20的动作状态/停止状态。
[0133]
(实施方式4)
[0134]
图11是实施方式4的传感系统10d的框图。在实施方式4中，门控照相机20在行驶中基本上始终动作，仅拍摄模式能够进行切换。
[0135]
门控照相机20(照相机控制器26)基于切片图像img和车辆信号的至少一者来选择拍摄模式。
[0136]
(实施方式5)
[0137]
图12是实施方式5的传感系统10e的框图。在实施方式5中，门控照相机20不支持多个拍摄模式的切换，仅能够进行动作状态(使能状态)/停止状态(禁用状态)的切换。
[0138]
门控照相机20(照相机控制器26)基于切片图像img和车辆信号的至少一者来切换门控照相机20的动作状态/停止状态。
[0139]
(实施方式6)
[0140]
图13是实施方式6的传感系统10f的框图。在实施方式6中，省略主传感器组50的一部分(在本示例中为照相机52)或者全部。
[0141]
如实施方式1～5中说明的那样，门控照相机20能够控制动作状态/停止状态的切换、拍摄模式的切换的二者或者任意一者。关于动作状态/停止状态的切换、拍摄模式的切换如实施方式1～5的说明。
[0142]
图14的(a)、图14的(b)是表示具备实施方式的传感系统10的汽车300的图。参照图14的(a)。汽车300具备前照灯(灯具)302l、302r。
[0143]
主传感器组50的照相机52、毫米波雷达54被配置于适于车辆的感测的部位。例如，照相机52被设于室内后视镜的里侧，毫米波雷达54被配置于车辆的前方。主控制器60被配置于车厢内或者发动机室内。
[0144]
门控照相机20的照明装置22被内置于左右的前照灯302l、302r的至少一者。图像传感器24能够安装于车辆的一部分、例如室内后视镜的里侧。或者，图像传感器24也可以设于前格栅或前保险杠，照相机控制器26可以设于车厢内，也可以设于发动机室，也可以内置于前照灯。
[0145]
参照图14的(b)。如图14的(b)所示，图像传感器24也可以内置于左右的前照灯302l、302r的任意一者。
[0146]
图15是表示实施方式的车辆用灯具200的框图。车辆用灯具200与图14的(b)的前照灯302对应，包括近光单元202、远光单元204、灯具ecu210以及门控照相机20。
[0147]
灯具ecu210基于来自车辆侧ecu310的控制指令，对近光单元202和远光单元204的接通、断开或配光进行控制。另外，在几个实施方式、实施例中，灯具ecu210也可以切换门控照相机20的动作状态/停止状态。
[0148]
另外，门控照相机20被内置于车辆用灯具200的壳体。此外，图像传感器24、照相机控制器26、运算处理装置28的至少一个也可以设于车辆用灯具200的壳体的外侧。
[0149]
(基于切片图像的视野推测、天气推测)
[0150]
门控照相机能够对进深自由地设定关注范围，仅拍摄该关注范围中包含的物体。对以下技术进行说明：利用该特性，门控照相机20自身基于由自身拍摄到的切片图像img，取得与天气相关的信息。
[0151]
图16是具备实施方式7的门控照相机20g的传感系统10g的框图。门控照相机20g包括照明装置22、图像传感器24、照相机控制器26g、运算处理装置28g。
[0152]
照相机控制器26g除通常的拍摄模式之外，能够选择天气检测模式。在天气检测模式中，进行以为了进行天气检测而确定的规定范围作为对象的拍摄。运算处理装置28g基于在天气检测模式下针对规定范围得到的图像数据(切片图像)imgf，取得与天气相关的信息info_fcst。
[0153]
雾或雨、雪在视野的平面内以及进深方向上随机地、换言之均匀地存在。另一方面，雾或雨、雪之外的物标(车辆或行人、交通标识、道路标线等)是局部地、非随机地存在。即，在恶劣天气时，在针对规定范围rngf得到的切片图像中拍摄到被雾或雨、雪漫反射的光，这表示与随机噪声相似的性质。基于该性质，通过分析图像数据imgf，能够得到与天气相关的信息。
[0154]
以下，基于实施例1～实施例3来说明天气检测的具体例。
[0155]
(实施例1)
[0156]
照相机控制器26g在天气检测模式下，将进深方向比通常的拍摄模式长的宽范围rngw作为规定的rngf而进行拍摄。宽范围rngw也可以是将通常的拍摄模式下的某一范围在近前放大的范围。例如，假设在通常的拍摄模式中，将rng1设为0～25m、将rng2设为25～50m、将rng3设为50～75m、将rng4设为75～100m，对4个范围rng1～rng4进行拍摄。天气检测用的宽范围rngw可以设为将第2个范围rng2在近前方向放大的范围，例如也可以确定为10～50m。为了将范围放大，照相机控制器26g延长图像传感器24的曝光时间。
[0157]
图17的(a)、图17的(b)是表示由门控照相机拍摄到的切片图像的图。图17的(a)是在恶劣天气下(基于红外光能量的能见度为50m左右的雾中)针对通常拍摄模式的某个范围(25～100m)得到的切片图像。图17的(b)是在相同状况下针对将图17的(a)的范围在近前侧放大的宽范围imgw(6～100m)得到的切片图像imgf。
[0158]
相对于在图17的(a)的切片图像中仅拍摄到来自存在于深侧的物体的反射光，在图17的(b)的切片图像imgf中，除来自深侧的物体的反射光之外，还映入了位于在近前放大的范围的雾(雨、雪)的反射光，因此深侧的物体被近前侧的雾、雨、雪遮蔽。即，在近前侧广泛拍摄的切片图像imgf较多地含有雾(雨、雪)的信息。通过在天气检测模式下拍摄这样的切片图像imgf，能够进行天气的推测。
[0159]
图18的(a)是表示图17的(a)的切片图像的直方图的图，图18的(b)是表示图17的(b)的切片图像的直方图的图。各直方图的横轴表示像素值(灰度值)，纵轴表示频率(发生频率)。如图18的(a)所示，来自深侧的物标的反射光的直方图反映物标的大小以及反射率，作为其结果，成为具有陡峭的边缘及多个峰值的图，偏离正态分布。另一方面，如图18的(b)所示，在针对较宽地确定的范围rngw得到的切片图像中，由于深侧的物体被近前的雾、雨、雪遮蔽，因此切片图像的直方图接近包含随机噪声的图像的直方图。结果，直方图成为单峰，并且肩变得平缓。
[0160]
像这样，在恶劣天气下，针对规定范围rngf得到的切片图像imgf的直方图具有接近图18的(b)所示直方图的倾向。相反地，在不存在雾、雨、雪的好天气下，切片图像imgf的直方图接近图18的(a)的直方图。因此，运算处理装置28g通过取得切片图像imgf的直方图，能够判定天气的好坏。
[0161]
此外，在天气检测模式下，延长规定范围rngf的进深并非必须，也可以是与通常的拍摄模式相同的进深长度。
[0162]
运算处理装置28g可以针对切片图像imgf的整体制作直方图，也可以仅提取其一部分(规定区域)而生成直方图。
[0163]
以在恶劣天气时仅包含雾、雨、雪，在好天气时不存在任何物体的方式确定规定区域，由此能够提高检测精度。具体而言，也可以将天空的部分确定为规定区域。在这种情况下，规定区域可以配置于图像数据的上方的中央。
[0164]
图19的(a)是图17的(b)的切片图像imgf的上部的空间的图像数据，图19的(b)是表示图19的(a)的图像数据的直方图的图。像这样，在恶劣天气时，若生成相当于天空的部分的直方图，则可得到接近正态分布的直方图，另一方面，在好天气时，由于没有反射，因此直方图的分布集中于低灰度的区域。
[0165]
也可以是，运算处理装置28g生成切片图像imgf的一部分(或者整体)的直方图，基于在恶劣天气下直方图中出现的特征来判定天气。例如，运算处理装置28g也可以基于直方图的形状来判定天气，例如也可以在判定为直方图接近正态分布的情况下而判定为恶劣天气。关于是否接近正态分布，也可以利用已知为正态性的检验的公知的算法。或者，在恶劣天气时如图18的(b)所示，直方图的肩变得平缓，因此方差σ变大。因此，也可以在方差σ超过规定的阈值时，判定为恶劣天气。或者，也可以方差σ越大而判定为恶劣天气(雾浓、雨或雪的量多)。
[0166]
(实施例2)
[0167]
在实施例1中，基于针对1个规定范围rngf得到的1张切片图像imgf来推测天气，但在实施例2中针对2个规定范围rngfx、rngfy进行拍摄，并基于针对各范围而得到的2张切片图像imgfx、imgfy来推测天气。
[0168]
具体而言，2个规定范围的一个(也称为窄范围)rngfx的进深方向被确定为相对较窄，另一个(也称为宽范围)rngfy的进深方向被确定为相对较宽。宽范围rngfy也可以是将窄范围rngfx在近前侧扩张的关系。图20是说明天气检测模式下的拍摄范围的图。虚线表示图像传感器24的视野。
[0169]
在恶劣天气时，若针对窄范围rngfx和宽范围rngfy通过门控照相机进行拍摄，则得到如图17的(a)、(b)所示的2张切片图像(称为第1切片图像、第2切片图像)。
[0170]
运算处理装置28g能够基于针对窄范围rngfx得到的第1图像数据imgfx和针对宽范围rngfy得到的第2图像数据imgfy，取得与天气相关的信息。
[0171]
具体而言，运算处理装置28g计算第1图像数据imgfx和第2图像数据imgfy各自的直方图，并基于2个直方图而取得与天气相关的信息。这2个直方图相当于图18的(a)、(b)所示的2个直方图。
[0172]
针对第1图像数据imgfx得到的直方图具有与窄范围rngfx中包含的物标对应的形状及方差、平均。另一方面，针对第2图像数据imgfy得到的直方图在好天气时接近第1图像数据imgfx的直方图。另一方面，在恶劣天气时，第2图像数据imgfy的直方图接近较多地包含随机噪声的图像的直方图。具体而言，在恶劣天气时的直方图中出现以下特征：(i)形状接近正态分布，(ii)肩平缓，(iii)方差较大。
[0173]
因此，运算处理装置28g也可以计算2个直方图各自的平均，在平均的差分超过规定的阈值时(条件1)，判定为恶劣天气。或者，运算处理装置28g也可以计算2个直方图各自的方差σ，在方差的差分超过规定的阈值时(条件2)，判定为恶劣天气。
[0174]
运算处理装置28g可以在条件1和2的二者为真时判定为恶劣天气，也可以在任意一者为真时判定为恶劣天气。
[0175]
运算处理装置28g也可以对2个直方图各自的形状是否相似进行判定，在不相似的情况下判定为恶劣天气。
[0176]
(实施例3)
[0177]
在实施例3中，与实施例2同样，针对窄范围rngfx和宽范围rngfy生成切片图像imgfx、imgfy，并基于2个切片图像imgfx、imgfy而取得与天气相关的信息。更具体而言，运算处理装置28g生成表示第1图像数据imgfx与第2图像数据imgfy的差分的差分图像imgd，并基于差分图像imgd而取得与天气相关的信息。
[0178]
图21的(a)～图21的(c)是说明实施例3中的差分图像的生成的图。差分图像imgd的各像素的像素值imgd(i)是第1图像数据imgfx和第2图像数据imgfy所对应的像素的像素值imgfx(i)、imgfy(i)的差分。
[0179]
imgd(i)＝imgfy(i)-imgfx(i)
[0180]
img#(i)表示图像img#的第i个像素的像素值。在差分图像中，位于深侧的物体的反射光的大多被消除，较多地包含距照相机近的区域的噪声成分(雾、雨、雪)。
[0181]
运算处理装置28g可以基于差分图像imgd的整体来推测天气，也可以基于其一部分来推测天气。如图20所示，在照相机的视野fov中的标注了阴影的一部分视角内，未拍摄
到存在于深侧的范围rngfx的物体。因此，运算处理装置28g可以将第2图像数据imgfy中的相当于标注了阴影的视角的部分除外，基于剩余的部分(有效区域)来推测天气。有效区域可以理解为拍摄到存在于窄范围rngfx的物体的范围。
[0182]
图22的(a)、图22的(b)是说明基于差分图像imgd的天气推测的图。在图22的(a)的差分图像imgd中示出矩形区域。该矩形区域被设于上述有效区域。图22的(b)表示图22的(a)的矩形区域内的直方图。运算处理装置28g基于该直方图，取得与天气相关的信息。
[0183]
运算处理装置28g与实施例1中说明的同样，能够基于直方图来推测天气。具体而言，基于直方图的形状、峰的个数、肩的倾斜、方差等，来判定直方图是由噪声引起的还是由物体引起的。
[0184]
实施方式7中说明的天气的推测，能够与实施方式1～实施方式6的技术组合而用于门控照相机20的拍摄模式的控制、接通/断开的切换，但并不限于此。
[0185]
以上，基于实施方式对本发明进行了说明。本领域技术人员应该理解，该实施方式只是例示，其各构成要素、各处理工艺的组合可以存在各种变形例，并且这样的变形例也在本发明的范围内。以下，对这样的变形例进行说明。
[0186]
(变形例1)
[0187]
在实施方式中，说明了从门控照相机20对主控制器60输出切片图像img的情况，但不限于此。例如，也可以是，在门控照相机20的运算处理装置28中安装识别器(分类器)，将识别结果、即物标的种类(类别)和位置输出到主控制器60。
[0188]
(变形例2)
[0189]
在实施方式中，说明了将门控照相机20的输出用于驾驶辅助或自动驾驶的控制的情况，但并不限于此。例如，也可以是，在恶劣天气时使门控照相机20活动，将门控照相机20生成的切片图像img显示于hud(head up display：抬头显示器)等显示装置，辅助用户的视野。
[0190]
(变形例3)
[0191]
在实施方式中，说明了切换2个拍摄模式的情况，但可切换的拍摄模式的个数也可以为3个以上。
[0192]
基于实施方式，使用具体的语句对本发明进行了说明，但实施方式只表示本发明的原理、应用的一个侧面，在实施方式中，在不脱离权利要求书中规定的本发明的思想的范围内，可承认多种变形例及配置的变更。
[0193]
[工业可利用性]
[0194]
本公开能够用于车辆用的传感系统。
[0195]
[附图标记说明]
[0196]
s1 发光定时信号
[0197]
s2 曝光定时信号
[0198]
10 传感系统
[0199]
20 门控照相机
[0200]
22 照明装置
[0201]
24 图像传感器
[0202]
26 照相机控制器
[0203]
28 运算处理装置
[0204]
50 主传感器组
[0205]
52 照相机
[0206]
54 毫米波雷达
[0207]
60 主控制器
[0208]
200 车辆用灯具
[0209]
202 近光单元
[0210]
204 远光单元
[0211]
210灯具ecu
[0212]
300 汽车
[0213]
302 前照灯
[0214]
310车辆侧ecu

技术特征：
1.一种门控照相机，是将视野在进深方向上划分为多个范围，并生成与多个范围对应的多个切片图像的门控照相机，其特征在于，包括：向视野照射脉冲照明光的照明装置，图像传感器，对所述照明装置的发光定时以及所述图像传感器的曝光的定时进行控制的照相机控制器，以及对所述图像传感器生成的图像数据进行处理的运算处理装置；所述运算处理装置基于在天气检测模式下针对规定范围得到的所述图像数据，取得与天气相关的信息。2.如权利要求1所述的门控照相机，其特征在于，所述照相机控制器在所述天气检测模式下将进深比通常的拍摄模式长的宽范围作为所述规定范围来进行拍摄。3.如权利要求1或2所述的门控照相机，其特征在于，所述运算处理装置基于所述图像数据中包含的规定区域，取得与天气相关的信息。4.如权利要求3所述的门控照相机，其特征在于，所述规定区域位于所述图像数据的上方。5.如权利要求3或4所述的门控照相机，其特征在于，所述运算处理装置计算所述规定区域的直方图，并基于所述直方图，取得与天气相关的信息。6.如权利要求5所述的门控照相机，其特征在于，所述运算处理装置基于所述直方图的形状，取得与天气相关的信息。7.如权利要求5所述的门控照相机，其特征在于，所述运算处理装置基于所述直方图的平均、方差的至少一者，取得与天气相关的信息。8.一种门控照相机，是将视野在进深方向上划分为多个范围，并生成与多个范围对应的多个切片图像的门控照相机，其特征在于，包括：向视野照射脉冲照明光的照明装置，图像传感器，对所述照明装置的发光定时以及所述图像传感器的曝光的定时进行控制的照相机控制器，以及对所述图像传感器生成的图像数据进行处理的运算处理装置；所述照相机控制器在天气检测模式下，对窄范围和将所述窄范围向近前方向扩展后的宽范围进行拍摄；所述运算处理装置基于针对所述窄范围得到的第1图像数据和针对所述宽范围得到的第2图像数据，取得与天气相关的信息。9.如权利要求8所述的门控照相机，其特征在于，所述运算处理装置计算所述第1图像数据和所述第2图像数据各自的直方图，并基于2个直方图取得所述与天气相关的信息。10.如权利要求9所述的门控照相机，其特征在于，所述运算处理装置计算所述2个直方图各自的平均和方差，并基于所述平均和所述方
差取得所述与天气相关的信息。11.如权利要求9所述的门控照相机，其特征在于，所述运算处理装置基于所述2个直方图各自的形状，取得所述与天气相关的信息。12.如权利要求8所述的门控照相机，其特征在于，所述运算处理装置生成表示所述第1图像数据与所述第2图像数据的差分的差分图像，并基于所述差分图像取得所述与天气相关的信息。13.如权利要求12所述的门控照相机，其特征在于，所述差分图像是针对拍摄到存在于所述窄范围的物体的范围而生成的。14.如权利要求12或13所述的门控照相机，其特征在于，所述运算处理装置生成所述差分图像的直方图，并基于所述直方图取得所述与天气相关的信息。

技术总结
门控照相机(20G)包括照明装置(22)、图像传感器(24)、照相机控制器(26G)以及运算处理装置(28G)。照相机控制器(26G)对照明装置(22)的发光定时以及图像传感器(24)的曝光的定时进行控制。运算处理装置(28G)对图像传感器(24)生成的图像数据(IMGf)进行处理。运算处理装置(28G)基于在天气检测模式下针对规定范围得到的图像数据(IMGf)，取得与天气相关的信息。息。息。


技术研发人员：远藤与至久 狩野淳 加藤学 绵野裕一
受保护的技术使用者：布莱特瓦维森有限公司
技术研发日：2021.08.19
技术公布日：2023/8/28