图像处理装置、可移动设备、图像处理方法和存储介质与流程

1.本发明涉及图像处理装置、可移动设备、图像处理方法和存储介质等。


背景技术：

2.近来，已知有将由车辆中所安装的多个照相机所拍摄的图像进行合成以生成俯视图像的图像处理装置。例如，日本特开2015-75966描述了如下的图像处理装置，该图像处理装置通过使用照相机所拍摄的图像和距离传感器所测量出的到周围物体的距离的数据来显示无失真的俯视图像。
3.关于上述图像处理装置，照相机所拍摄的图像需要与距离传感器所测量出的到周围物体的距离的数据一致。然而，通常，照相机拍摄图像的定时与距离传感器获取距离数据的定时不一致。例如，在照相机1秒拍摄60帧的图像的期间，距离传感器1秒仅可以获取到例如十周的、车辆周围的物体的距离，因此以不同的间隔获取图像和距离信息，并且难以完全使定时一致。
4.因此，当车辆正在移动或在车辆周围有移动物体时，照相机所拍摄的图像中所记录的物体的位置与距离传感器所获取的距离数据中的位置不一致，因此存在物体未显示在正确位置处的问题。


技术实现要素：

5.根据本发明的方面的图像处理装置包括：至少一个处理器或电路，其被配置为用作：图像获取单元，用于获取通过对可移动设备周围的物体进行拍摄而获得的图像；距离信息获取单元，用于获取用于指示到所述可移动设备周围的所述物体的距离的距离信息；第一俯视图像生成单元，用于通过使用所述距离信息从多个拍摄图像生成第一俯视图像；第二俯视图像生成单元，用于在不使用所述距离信息的情况下从多个拍摄图像生成第二俯视图像；移动状态检测单元，用于检测所述可移动设备和所述物体其中至少之一的移动状态；以及控制单元，用于使所述第一俯视图像生成单元或所述第二俯视图像生成单元根据所述移动状态来生成所述第一俯视图像或所述第二俯视图像。
6.通过以下参照附图对实施例的描述，本发明的其他特征将变得明显。
附图说明
7.图1是用于描述根据第一实施例的摄像单元和车辆之间的位置关系的图。
8.图2是用于描述根据第一实施例的图像处理装置的配置的功能框图。
9.图3是用于描述根据第一实施例的综合处理单元50的一系列操作的流程图。
10.图4a和图4b是示出从上方俯瞰车辆1的车辆俯视图像的显示示例的图。
11.图5是示出摄像单元21至24进行摄像的定时和距离测量单元41获取从车辆1到周围物体的距离的数据的定时的图。
12.图6是示出车辆1正在行驶时车辆1的位置和物体601的位置的示例的图。
13.图7是用于描述根据第二实施例的图像处理装置的配置的功能框图。
14.图8是用于描述根据第二实施例的综合处理单元50的一系列操作的流程图。
15.图9是示出车辆1停在交通量大的道路的路肩上的状况的图。
16.图10是用于描述根据第三实施例的综合处理单元50的一系列操作的流程图。
17.图11是用于描述根据第四实施例的综合处理单元50的一系列操作的流程图。
具体实施方式
18.在下文中，参照附图，将使用实施例来描述本发明的良好模式。在各个图中，将相同的附图标记应用于相同的构件或元件，并且将省略或简化重复的描述。
19.[第一实施例]
[0020]
图1是用于描述根据第一实施例的摄像单元和车辆之间的位置关系的图。
[0021]
在第一实施例中，如图1所示，照相机单元11、12、13和14分别安设在例如是作为可移动设备(可移动设备主体)的汽车的车辆1的前面、右侧、后面和左侧。此外，距离测量单元15安设在车辆的顶上。
[0022]
此外，尽管第一实施例中提供了四个照相机单元和一个距离测量传感器，但照相机单元的数量不限于四个，并且可以提供至少一个照相机单元。此外，距离测量单元的数量也不限于一个，并且可以提供至少一个距离测量单元。
[0023]
此外，由于照相机单元11至14将用作可移动设备的车辆1的前侧、右侧、左侧和后侧作为预定摄像范围进行摄像，因此照相机单元各自具有用于拍摄光学图像的图像传感器以及用于在图像传感器的光接收面上形成光学图像的光学系统。
[0024]
此外，在第一实施例中，照相机单元11至14的光学系统各自具有共同的光学特性，并且图像传感器各自具有相同数量的像素。然而，一些照相机单元的光学系统的光学特性和图像传感器的像素数可能与其他照相机单元的光学系统的光学特性和图像传感器的像素数不同。
[0025]
此外，在第一实施例中，安设照相机单元11和13使得它们的光学系统的光轴在车辆1处于水平面时基本水平，并且安设照相机单元12和14使得它们的光学系统的光轴相对于水平略微面向下方或面向正下方。可替代地，在第一实施例中使用的照相机单元11至14的光学系统包括鱼眼镜头或广角镜头，其中利用鱼眼镜头或广角镜头可以拍摄宽范围的周围环境。
[0026]
距离测量单元15是用于测量到对象物体的距离的距离测量单元，并且例如是根据从被照明的对象物体接收反射光所花费的时间或反射光的相位来计算距离的光探测和测距(lidar)方法或飞行时间(tof)方法的距离测量单元。
[0027]
换句话说，距离信息获取单元51b被配置成获取用于指示以lidar方法或tof方法测量出的到周围物体的距离的距离信息。
[0028]
图2是用于描述根据第一实施例的图像处理装置等的配置的功能框图。此外，通过使综合处理单元50中包括的用作计算机的cpu 53执行用作存储介质的存储器54中所存储的计算机程序，来实现图2所示的一些功能块。
[0029]
然而，功能块中的部分或全部功能块可以实现为硬件。作为硬件，可以使用专用电路(asic)或处理器(可重新配置的处理器或dsp)等。可替代地，图2中所示的功能块可以不
构建在相同壳体中，或者可以被配置为经由信号路径相互连接的单独装置。
[0030]
图2中的图像处理装置100安装在用作可移动设备的车辆1中，并且至少包括综合处理单元50。摄像单元21至24分别布置在照相机单元11至14的壳体中。摄像单元21至24分别包括用作光学系统的镜头21c至24c以及例如cmos图像传感器或ccd图像传感器等的图像传感器21d至24d。
[0031]
用作光学系统的镜头21c至24c各自由至少一个以上的光学透镜形成，并在图像传感器21d至24d各自的光接收面上形成光学图像。图像传感器21d至24d用作摄像单元，并且将光学图像进行光电转换以输出摄像信号。例如，针对图像传感器21d至24d的光接收面上的各个像素排列rgb滤色器。rgb的阵列例如是拜耳阵列。
[0032]
因此，图像传感器根据拜耳阵列例如从预定行顺次输出r、g、r和g信号，并从相邻行顺次输出g、b、g和b信号。
[0033]
附图标记31至34表示分别与摄像单元21至24一起容纳在同一照相机单元11至14的同一壳体中的照相机处理单元，并处理从摄像单元21至24输出的各个摄像信号。此外，在图2中，为了方便起见，省略了摄像单元24和照相机处理单元34的细节以及它们的布线。
[0034]
照相机处理单元31至34分别具有图像处理单元31a至34a。图像处理单元31a至34a分别处理从摄像单元21至24输出的摄像信号。此外，照相机处理单元31的部分或全部功能可以由堆叠在图像传感器21d至24d内部的信号处理单元来进行。
[0035]
具体而言，图像处理单元31a至34a对根据拜耳阵列从摄像单元21至24输入的各个图像数据进行去拜耳处理，并将结果转换为rgb光栅格式的图像数据。此外，图像处理单元进行诸如白平衡调整、增益/偏移调整、伽马处理、颜色矩阵处理和无损压缩处理等的各种校正处理。然而，在第一实施例中，在不进行有损压缩处理等的情况下，形成所谓的原始(raw)图像信号。
[0036]
此外，照相机处理单元31至34包括用作计算机的cpu和用作用于存储计算机程序的存储介质的存储器。此外，cpu执行存储器中所存储的计算机程序以控制照相机处理单元31至34中的各个照相机处理单元。
[0037]
此外，在第一实施例中，图像处理单元31a至34a使用例如专用电路(asic)或处理器(可重配置处理器或dsp)等的硬件。利用该配置，可以以高速实现高清晰度区域中的图像识别，因此可以增加避免事故的机会。此外，图像处理单元31a至34a可以具有失真校正功能，以校正镜头21c至24c各自的失真。
[0038]
此外，尽管通过使cpu执行存储器中所存储的计算机程序可以实现照相机处理单元31至34中所包括的功能块中的部分或全部功能块，但在该情况下，期望提高cpu的处理速度。
[0039]
附图标记41表示容纳在距离测量单元15的壳体中的并且由lidar型距离传感器或tof型距离传感器构成的距离测量单元。距离测量单元41安装在例如每秒旋转10次的旋转机构中，并且可以周期性地获取用于指示从车辆1到存在于车辆1周围360度范围中的物体的距离的距离信息。
[0040]
附图标记50表示包括片上系统(soc)/现场可编程门阵列(fpga)51、缓冲存储器52、作为计算机的cpu 53以及作为存储介质的存储器54的综合处理单元。
[0041]
此外，综合处理单元50可以具有诸如专用于图像处理的gpu等的处理器。cpu 53执
行存储器54中所存储的计算机程序，以对图像处理装置100整体进行各种控制。
[0042]
此外，在第一实施例中，综合处理单元50容纳在与照相机单元分离的壳体中。此外，尽管在第一实施例中综合处理单元50和显示单元60安装在作为可移动设备的车辆1中，但是综合处理单元和显示单元可以布置在远离可移动设备的位置处，并且在那样的情况下，多个照相机单元11至14通过通信单元连接到距离测量单元41。
[0043]
此外，通过通信单元获取来自照相机单元11至14的图像和来自距离测量单元41的距离数据，以生成并显示俯视图像。此外，通过通信单元与用作移动控制单元的驱动控制ecu进行双向通信。
[0044]
soc/fpga51包括图像获取单元51a、距离信息获取单元51b、第一俯视图像生成单元51c和第二俯视图像生成单元51d。第一俯视图像生成单元51c生成通过使用距离信息而获得的第一俯视图像，以及第二俯视图像生成单元生成在不使用距离信息的情况下获得的第二俯视图像。
[0045]
图像获取单元51a从照相机处理单元31至34获取原始图像信号，并将信号存储在缓冲存储器52中。图像获取单元51a例如以每秒60帧读取原始图像信号。此外，图像获取单元51a进行用于获取通过可移动设备上所布置的多个照相机单元拍摄可移动设备的周围环境而获得的图像的图像获取步骤。
[0046]
基于图像传感器21d至24d的规格来确定图像获取单元51a读取原始图像信号的周期。在第一实施例中，假设每秒可以读取来自图像传感器21d至24d的最多60帧，并且每16.6毫秒(其等于1秒/60帧)同时读取来自照相机处理单元31至34的四个图像。
[0047]
距离信息获取单元51b从距离测量单元41获取距离数据，并将数据存储在缓冲存储器52中。距离信息获取单元51b每秒读取十周的车辆1周围360度的距离数据。换句话说，距离信息获取单元51b进行用于获取用于指示到可移动设备周围的物体的距离的距离信息的距离信息获取步骤。
[0048]
距离信息获取单元51b读取距离数据的周期是根据距离测量单元41的规格来确定的，假设在第一实施例中可以每秒读取十周。换句话说，获取一周数据花费100毫秒。
[0049]
此外，车辆1的一周(360度)的距离测量数据不是一次发送，而是将一周的距离测量数据例如分21701次来进行发送。为此，距离信息获取单元51b在缓冲存储器52中每46.08微秒(＝1秒
÷
10周
÷
21701次)存储0.166度(＝360
÷
21701)的数据。
[0050]
缓冲存储器52中所存储的距离数据的量为车辆1的一周+α(例如，1.2周的数据等)，并且通过使用环形缓冲区等来重写旧数据。
[0051]
第一俯视图像生成单元51c从缓冲存储器52读取图像获取单元51a所获取的图像数据和距离信息获取单元51b所获取的距离数据，然后通过使用距离信息来生成无失真的第一俯视图像。
[0052]
换句话说，第一俯视图像生成单元51c使用距离信息从多个拍摄图像生成第一俯视图像。在图像获取单元51a从照相机处理单元31至34读取了一帧时段的图像数据的每个定时，生成俯视图像。
[0053]
此时，通过使用从照相机处理单元31至34获取的四个图像数据和最近一周的距离测量数据(距离信息)，来生成第一俯视图像。另外，由于每次完成从照相机处理单元31至34读取一帧时段的图像数据时创建俯视图像，所以第一俯视图像生成单元51c通过使用距离
信息每16.6毫秒生成一个第一俯视图像。
[0054]
第二俯视图像生成单元51d仅从缓冲存储器52读取图像获取单元51a所获取的图像数据，然后在不使用距离信息的情况下生成第二俯视图像。这里，第二俯视图像生成单元51d用作用于在不使用距离信息的情况下从多个拍摄图像生成第二俯视图像的第二俯视图像生成部件。
[0055]
因为此时未使用距离数据，所以生成了大的失真的俯视图像。另外，与第一俯视图像生成单元51c类似，在不使用距离信息的情况下每16.6毫秒生成一个第二俯视图像。
[0056]
附图标记60表示例如液晶显示器等的显示单元，并且显示单元安设在例如车辆1的驾驶员的座椅前方在车辆宽度方向上的中央的附近的操作面板周围。第一俯视图像生成单元51c和第二俯视图像生成单元51d所生成的俯视图像显示在显示单元60上。此外，显示单元60可以设置在远离如上所述的可移动设备的位置处。
[0057]
附图标记70表示安装在车辆1中的驱动控制ecu，其中驱动控制ecu是内置有用于总体地进行车辆1的驱动控制和方向控制等的计算机和存储器的单元。
[0058]
综合处理单元50从驱动控制ecu 70获取与车辆的驱动(移动状态)有关的信息(例如，驱动速度、驱动方向、换挡杆、换挡齿轮、转向指示器的状态和地磁传感器所指示的车辆方向等)等作为车辆控制信号。此外，驱动控制ecu 70用作基于来自综合处理单元50的信息等对作为可移动设备的车辆1的移动进行控制的可移动设备控制单元。
[0059]
此外，综合处理单元50用作移动状态检测单元，其中移动状态检测单元进行用于从驱动控制ecu 70获取诸如可移动设备的移动速度等的移动状态的移动状态检测步骤。
[0060]
图3是用于描述根据第一实施例的综合处理单元50的一系列操作的流程图。通过综合处理单元50的cpu 53进行存储器54中所存储的计算机程序，来顺次进行图3的流程。
[0061]
在步骤s301中，cpu 53判断车辆1的当前行驶速度是否低于或等于预定速度。从驱动控制ecu 70接收驱动速度。另外，通过使用诸如控制器局域网(can)、flexray或以太网(注册商标)等的协议，经由内部设置的通信单元(未示出)来进行与驱动控制ecu 70的通信。
[0062]
在步骤s301中，如果判断为车辆1的车辆速度低于或等于预定速度，则cpu 53转到步骤s302，以使第一俯视图像生成单元51c使用距离信息生成第一俯视图像。由此可以生成没有失真的俯视图像。这里，步骤s302用作通过使用距离信息从多个拍摄图像生成第一俯视图像的第一俯视图像生成步骤。
[0063]
图4a和图4b是示出从上方俯瞰车辆1的车辆俯视图像的显示示例的图。图4a是示出当通过使用距离信息生成第一俯视图像时的显示示例的图，并且图4b是示出当在不使用距离信息的情况下生成第二俯视图像时的显示示例的图。
[0064]
附图标记401表示用于指示车辆1的图标，附图标记402表示停在车辆1旁边的另一车辆，以及附图标记403表示另一车辆402的后轮胎。在图4a所示的使用距离信息生成的第一俯视图像中，另一车辆402和后轮403以没有(很少)失真的形式显示。另一方面，在图4b所示的在不使用距离信息的情况下生成的第二俯视图像中，另一车辆402和后轮胎以显著的失真显示。
[0065]
在步骤s301中，如果判断为车辆1的车辆速度高于预定速度，则cpu 53转到步骤s303，以使图2的第二俯视图像生成单元51d生成第二俯视图像。因此，如图4b所示，生成了
附近的被摄体具有显著失真的俯视图像。此外，步骤s303用作用于在不使用距离信息的情况下从多个拍摄图像生成第二俯视图像的第二俯视图像生成步骤。
[0066]
如上所述，在步骤s301至s303中，如果可移动设备的移动速度低于或等于预定速度，则第一俯视图像生成单元生成第一俯视图像，以及如果移动速度高于预定速度，则第二俯视图像生成单元生成第二俯视图像。
[0067]
此处，步骤s301至s303用作根据可移动设备的移动状态在第一俯视图像生成步骤或第二俯视图像生成步骤中生成第一俯视图像或第二俯视图像的控制步骤(控制单元)。
[0068]
此外，尽管步骤s301中的用于判断车辆速度的预定速度被设置为例如10km/h等，但不限于该值。然而，当车辆1正在以相对高速行驶并且通过使用距离信息来生成第一俯视图像时，周围物体未显示在正确位置处，因此，期望将步骤s301中的预定速度设置为相对低速(例如，车辆被视为缓慢的速度)。
[0069]
因为用于生成第一俯视图像的距离信息是在摄像时刻之前的0至100毫秒所获取的距离信息，所以随着车辆速度增加，俯视图像显著失真或部分缺失。此外，如果车辆速度相对高，则车辆附近的被摄体的失真相对可以忽略。
[0070]
图5是示出摄像单元21至24进行摄像的定时和距离测量单元41获取从车辆1到周围物体的距离的数据的定时的图。如以上参照图2所述，距离信息获取单元51b花费100毫秒来获取车辆1周围360度中的物体的距离信息，因此通过使用在摄像时刻之前的0至100毫秒所获取的距离数据(距离信息)来生成第一俯视图像。
[0071]
如上所述，获取拍摄图像的周期与获取距离信息的周期不同。因此，当从附图标记501所指示的时刻t拍摄的图像生成第一俯视图像时，参考在从[时刻t-100毫秒]至时刻t的时段中获取的距离数据来生成俯视图像。换句话说，拍摄图像的时刻与获取距离数据的时刻不完全一致。
[0072]
图6是示出车辆1正在行驶时车辆1的位置和物体601的位置的示例的图。当在摄像单元21至24在时刻t进行摄像时车辆1正在位置602处行驶的期间，在作为开始获取用于生成第一俯视图像所要参考的距离数据的时刻的[时刻t-100毫秒]，车辆1正在位置603处行驶。
[0073]
附图标记604表示用于指示在车辆1正在位置602处行驶的时刻t从车辆1到物体601的距离和方向的线，以及附图标记605表示用于指示在车辆1正在位置603处行驶的[时刻t-100毫秒]从车辆1到物体601的距离和方向的线。
[0074]
可以看出从车辆1到物体601的距离和方向存在差异，这是因为线603和604的长度不同且具有角度606。
[0075]
此外，随着车辆1的车辆速度变得更高，车辆1在100毫秒期间移动更长的距离，因此，当进行摄像和当进行测量时，车辆的位置和到物体的距离将存在更大的差异，因此，当显示第一俯视图像时，物体601不会显示在正确位置处。为此，期望将用于步骤s301的判断的预定速度设置为例如10km/h等的低速。
[0076]
当车辆1正在以低速行驶或车辆1停止时，在摄像期间和测量期间，到物体601的距离和车辆的位置没有显著变化，因此，当显示通过使用距离信息而获得的第一俯视图像时，物体显示在正确位置处。
[0077]
根据第一实施例，当车辆正在以车辆将会受到照相机和距离传感器之间的不同步
的显著影响的高速行驶时，第二俯视图像在不使用距离数据的情况下生成。因此，可以生成物体在相对正确位置处显示的俯视图像。
[0078]
另一方面，当车辆正在以车辆将几乎不受照相机和距离传感器之间不同步的影响的相对低速行驶时，通过使用距离信息来生成第一俯视图像，因此可以显示可容易地找出到车辆附近的物体的距离的、物体无失真的俯视图像。
[0079]
[第二实施例]
[0080]
接下来，下面将使用图7和图8描述第二实施例。图7是用于描述根据第二实施例的图像处理装置的配置的功能框图。
[0081]
第二实施例的功能框图与第一实施例中所述的图2的功能框图的不同之处在于增加了识别单元51e和追踪单元51f。识别单元51e识别摄像单元21至24所拍摄的图像，并检测图像中的物体。
[0082]
此外，这里的识别单元51e用作用于检测可移动设备周围的物体的移动状态的移动状态检测单元，并且还用作用于获取物体相对于可移动设备的相对移动速度的图像识别单元。追踪单元51f追踪所识别出的物体并指定该物体的位置。
[0083]
图8是用于描述根据第二实施例的综合处理单元50的一系列操作的流程图。通过综合处理单元50的cpu 53进行存储器54中所存储的计算机程序，来顺次进行图8的流程。
[0084]
在步骤s801中，cpu 53使识别单元51e检测摄像单元21至24所拍摄的图像中的物体。换言之，识别单元51e通过图像识别来检测小汽车、摩托车、人、信号、标志、道路白线和光线等。此时，连同所检测到的物体的类型一起，识别单元以像素为单位检测图像上的物体的大小及其位置信息，并将检测结果存储在存储器54中。
[0085]
接下来，cpu 53前进至步骤s802，以使追踪单元51f追踪在步骤s801中检测到的物体。追踪单元51f基于摄像单元21至24所拍摄的图像来指定在步骤s801中检测到的物体的位置。
[0086]
然后，每次拍摄所指定的物体中的各个物体的一帧图像时，将所指定的物体中的各个物体的位置信息存储在存储器54中，将物体的位置与拍摄先前帧时的物体的位置进行比较，从而判断步骤s801中检测到的物体是否移动了预定量以上。此外，对于步骤s801的物体检测和步骤s802的物体追踪，例如，可以使用作为由英特尔公司开发的开源库的“opencv”。
[0087]
如果物体在图像中未移动预定量以上，则cpu 53转到步骤s302，以使第一俯视图像生成单元51c使用距离信息来生成第一俯视图像。
[0088]
另一方面，在步骤s802中，如果物体移动了预定量以上，则cpu 53转到步骤s303，以使第二俯视图像生成单元51d在不使用距离信息的情况下生成第二俯视图像。
[0089]
如上所述，在第二实施例中，当车辆1周围的照相机和距离传感器之间的不同步具有显著影响且通过图像识别检测到以相对高速移动的可移动设备时，第二俯视图像生成单元51d在不使用距离信息的情况下生成第二俯视图像。因此，可以防止生成可移动设备没有显示在正确位置处的俯视图像。
[0090]
图9是示出车辆1停在交通量大的道路的路肩上的状况的图。例如，如图9所示，当停在交通量大的道路的路肩上的车辆1旁边的诸如其他车辆901和902等的可移动设备正在以高速行驶时，第二俯视图像生成单元51d在不使用距离信息的情况下生成第二俯视图像。
[0091]
此外，在步骤s801中检测到的物体例如是标志或信号等的固定物体，在步骤s802中，如果判断出了物体的移动量，则可以判断车辆1是否正在以相对固定物体的高速移动。
[0092]
例如，在每次取入图像时固定在道路上且将不会移动的信号或标志的位置移动预定量以上的情况表示车辆1正在相对行驶。
[0093]
尽管在第一实施例中从图2的驱动控制ecu 70获取车辆速度以确定车辆1的车辆速度，但在第二实施例中基于图像来确定车辆1的行驶状态，因此无需从驱动控制ecu 70获取车辆速度。因此，可以提供如下的俯视图像处理装置，其中，该俯视图像处理装置利用比第一实施例中更简单的配置、即使当车辆正在移动时也将物体布置在图像中的正确位置处。
[0094]
[第三实施例]
[0095]
图10是用于描述根据第三实施例的综合处理单元50的一系列操作的流程图。通过综合处理单元50的cpu 53进行存储器54中所存储的计算机程序，来顺次进行图10的流程。
[0096]
在步骤s1001中，cpu 53判断车辆1的换挡杆是否位于r(倒档)位置处。从驱动控制ecu 70接收换挡杆的位置。
[0097]
在步骤s1001中，如果车辆1的换挡杆位于r位置处，则cpu 53转到步骤s302，以使第一俯视图像生成单元51c生成第一俯视图像。换句话说，如果用作可移动设备的车辆1的移动方向被检测为向后方向，车辆不以高速行驶，因此生成第一俯视图像，其中利用该第一俯视图像可以容易地估计到物体的距离且物体的形状没有失真。
[0098]
另一方面，在步骤s1001中，如果车辆1的换挡杆位于除r位置以外的位置处，则cpu 53转到步骤s303，以使第二俯视图像生成单元51d生成第二俯视图像。
[0099]
此外，即使换挡杆位于r位置处，在步骤s1101中，如果车辆1的车辆速度高于预定值，则也在步骤s303中，cpu 53使图2的第二俯视图像生成单元51d生成第二俯视图像。
[0100]
[第四实施例]
[0101]
第四实施例是组合了第一实施例至第三实施例的实施例。
[0102]
图11是用于描述根据第四实施例的综合处理单元50的一系列操作的流程图。通过综合处理单元50的cpu 53进行存储器54中所存储的计算机程序，来顺次进行图11的流程。
[0103]
在步骤s1101中，cpu 53判断车辆1的换挡杆是否位于r(倒档)位置处。如果步骤s1101的答案为是，则cpu 53转到步骤s1102，以使第一俯视图像生成单元51c生成第一俯视图像。
[0104]
另一方面，在步骤s1101中，如果车辆1的换挡杆置于除r位置以外的位置处，则cpu 53转到步骤s1103，以判断车辆1的车辆速度是否低于或等于预定速度。
[0105]
如果步骤s1103的答案为是，则cpu 53转到步骤s1104，以及如果答案为否，则cpu 53转到步骤s1105，以使第二俯视图像生成单元51d生成第二俯视图像。
[0106]
在步骤s1104中，cpu 53判断物体是否移动了预定量以上，以及如果答案为是，则cpu 53转到步骤s1105，以及如果答案为否，则cpu 53转到步骤s1102，以使第一俯视图像将被生成。如上所述，尽管在第四实施例中组合第一实施例至第三实施例进行控制，但是本发明不限于该组合。
[0107]
此外，已在上述实施例中描述了图像处理装置连接至诸如车辆等的可移动设备的示例。然而，实施例中的这样的可移动设备不限于诸如汽车等的车辆，并且这样的可移动设
备可以是任何可移动设备，只要诸如火车、船、飞行器、机器人或无人机等的这样的可移动设备移动即可。
[0108]
此外，实施例中的图像处理装置可以连接到或安装在这样的可移动设备中，或者可以不安装该图像处理装置。此外，实施例的配置甚至可以应用于例如基于显示单元60上所显示的图像等利用远程控制器来对可移动设备进行控制的情况。
[0109]
尽管已参照示例性实施例对本发明进行了描述，但应理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以涵盖所有这样的修改和等同的结构和功能。此外，可以适当地组合上述实施例。
[0110]
此外，作为根据实施例的控制的一部分或全部，用于实现上述实施例的功能的计算机程序可以通过网络或各种存储介质被供给至图像处理装置。然后，图像处理装置的计算机(或cpu或mpu等)可以被配置为读取并执行该程序。在这样的情况下，程序和用于存储程序的存储介质配置本发明。
[0111]
本技术要求2022年4月6日提交的日本专利申请2022-063488的权益，其全部内容通过引用并入本文。

技术特征：
1.一种图像处理装置，包括：图像获取单元，其被配置为获取通过对可移动设备周围的物体进行拍摄而获得的图像；距离信息获取单元，其被配置为获取用于指示到所述可移动设备周围的所述物体的距离的距离信息；第一俯视图像生成单元，其被配置为通过使用所述距离信息从多个拍摄图像生成第一俯视图像；第二俯视图像生成单元，其被配置为在不使用所述距离信息的情况下从多个拍摄图像生成第二俯视图像；移动状态检测单元，其被配置为检测所述可移动设备和所述物体其中至少之一的移动状态；以及控制单元，其被配置为使所述第一俯视图像生成单元或所述第二俯视图像生成单元根据所述移动状态来生成所述第一俯视图像或所述第二俯视图像。2.根据权利要求1所述的图像处理装置，其中，在所述可移动设备或所述物体的移动速度低于预定速度的情况下，所述控制单元使所述第一俯视图像生成单元生成所述第一俯视图像，以及在所述移动速度高于所述预定速度的情况下，所述控制单元使所述第二俯视图像生成单元生成所述第二俯视图像。3.根据权利要求1所述的图像处理装置，其中，所述移动状态检测单元从被配置为对所述可移动设备的移动进行控制的移动状态控制单元获取所述可移动设备的移动速度。4.根据权利要求1所述的图像处理装置，其中，所述移动状态检测单元包括被配置为获取所述物体相对于所述可移动设备的相对移动速度的图像识别单元。5.根据权利要求1所述的图像处理装置，其中，在所述移动状态检测单元检测到所述可移动设备的移动方向是向后方向的情况下，所述控制单元使所述第一俯视图像生成单元生成所述第一俯视图像。6.根据权利要求1所述的图像处理装置，其中，所述图像获取单元从所述可移动设备中所布置的多个照相机单元获取拍摄图像。7.根据权利要求1所述的图像处理装置，其中，所述距离信息获取单元获取用于指示lidar或tof所测量到的到所述物体的距离的距离信息。8.根据权利要求1所述的图像处理装置，其中，获取拍摄图像的周期与获取所述距离信息的周期不同。9.一种可移动设备，包括：图像获取单元，其被配置为获取通过对可移动设备周围的物体进行拍摄而获得的图像；距离信息获取单元，其被配置为获取用于指示到所述可移动设备周围的所述物体的距离的距离信息；
第一俯视图像生成单元，其被配置为通过使用所述距离信息从多个拍摄图像生成第一俯视图像；第二俯视图像生成单元，其被配置为在不使用所述距离信息的情况下从多个拍摄图像生成第二俯视图像；移动状态检测单元，其被配置为检测所述可移动设备和所述物体其中至少之一的移动状态；控制单元，其被配置为使所述第一俯视图像生成单元或所述第二俯视图像生成单元根据所述移动状态来生成所述第一俯视图像或所述第二俯视图像；多个照相机单元，其被配置为获取拍摄图像；距离测量单元，其被配置为获取用于指示到所述可移动设备周围的物体的距离的距离信息；以及移动控制单元，其被配置为控制所述可移动设备的移动。10.一种图像处理方法，包括：获取通过对可移动设备周围的物体进行拍摄而获得的图像；获取用于指示到所述可移动设备周围的所述物体的距离的距离信息；检测所述可移动设备和所述物体其中至少之一的移动状态；以及根据所述移动状态进行以下处理操作其中之一：通过使用所述距离信息从多个拍摄图像生成第一俯视图像，以及在不使用所述距离信息的情况下从多个拍摄图像生成第二俯视图像。11.一种非暂时性计算机可读存储介质，其存储有用于使计算机执行图像处理方法的程序，所述图像处理方法包括：获取通过对可移动设备周围的物体进行拍摄而获得的图像；获取用于指示到所述可移动设备周围的所述物体的距离的距离信息；检测所述可移动设备和所述物体其中至少之一的移动状态；以及根据所述移动状态进行以下处理操作其中之一：通过使用所述距离信息从多个拍摄图像生成第一俯视图像，以及在不使用所述距离信息的情况下从多个拍摄图像生成第二俯视图像。

技术总结
本公开提供了图像处理装置、可移动设备、图像处理方法和存储介质。图像处理装置包括：图像获取单元，用于获取通过对可移动设备周围的物体进行拍摄而获得的图像；距离信息获取单元，用于获取用于指示到所述可移动设备周围的所述物体的距离的距离信息；第一俯视图像生成单元，用于通过使用所述距离信息从多个拍摄图像生成第一俯视图像；第二俯视图像生成单元，用于在不使用所述距离信息的情况下从多个拍摄图像生成第二俯视图像；移动状态检测单元，用于检测所述可移动设备和所述物体其中至少之一的移动状态；以及控制单元，用于使所述第一俯视图像生成单元或所述第二俯视图像生成单元根据所述移动状态来生成所述第一俯视图像或所述第二俯视图像。像或所述第二俯视图像。像或所述第二俯视图像。


技术研发人员：东山辉幸
受保护的技术使用者：佳能株式会社
技术研发日：2023.04.04
技术公布日：2023/10/19