图像处理设备、图像处理方法和计算机可读介质与流程

1.本发明涉及图像处理设备、图像处理方法和计算机可读介质。


背景技术：

2.wo 2013/046886指出分别使用两个摄像镜头来拍摄两个图像(用于右眼的图像和用于左眼的图像)，并且立体地显示这两个图像。日本特开2020-106932指出，运动图像被实时地分发(实时流传输)。
3.在一般实时流传输中，图像以预定的帧频被顺次分发。然而，在用于立体观看的实时流传输的情况下，必须提供用于右眼的图像和用于左眼的图像，这意味着处理时间(用于准备要分发的图像的时间)比通常的实时流传输更长。因此，难以实时分发用于右眼的图像和用于左眼的图像。


技术实现要素：

4.本发明提供了能够在短时间以良好的图像质量获取用于立体观看的预定格式的图像的技术。
5.根据本发明的一种图像处理设备包括：获取单元，其被配置为获取布置有第一图像区域和第二图像区域的图像，其中，所述第一图像区域和所述第二图像区域各自是鱼眼图像的区域；以及转换单元，其被配置为将所述第一图像区域和所述第二图像区域转换成第三图像区域和第四图像区域，其中，所述第三图像区域和所述第四图像区域各自分别是等距圆柱图像的区域，其中，所述转换单元进行以下操作：将所述第一图像区域中的各个位置和所述第三图像区域中的各个位置进行对应，基于所述第一图像区域中的各个位置和所述第三图像区域中的各个位置之间的对应关系，判断所述第二图像区域中的各个位置和所述第四图像区域中的各个位置之间的对应关系，以及作为用于从鱼眼图像中的多个像素值获取等距圆柱图像中的像素值的插值处理，对所述第三图像区域中的第一部分区域和所述第四图像区域中的第二部分区域进行第一插值处理，以及对所述第三图像区域中的第三部分区域和所述第四图像区域中的第四部分区域进行比所述第一插值处理更简单的第二插值处理。
6.根据以下参考附图对示例性实施例的描述，本发明的其他特征将变得明显。
附图说明
7.图1是描绘系统的一般配置的示例的示意图；
8.图2是描绘pc的配置的示例的框图；
9.图3是描绘pc的操作的示例的流程图；
10.图4是描绘鱼眼图像区域和等距圆柱图像区域之间的对应的示例的示意图；
11.图5是描绘与图3中的步骤s330中的处理有关的细节的流程图；以及
12.图6是描绘插值处理的示例的示意图。
具体实施方式
13.现在将描述本发明的实施例。图1是描绘根据本实施例的系统的一般配置的示例的示意图。根据本实施例的系统包括数字照相机(照相机)100和个人计算机(pc)110。
14.双镜头单元105安装在照相机100中(连接到照相机100)。通过安装双镜头单元105，照相机100可以拍摄包括具有预定视差的两个图像区域的一个图像(静止图像或运动图像)。双镜头单元105是用于获取vr 180图像的vr 180镜头单元，其中，vr 180图像是能够双目立体观看的虚拟现实(vr)图像的一个格式。
15.pc 110是用于处置摄像设备(例如，照相机100)所拍摄的图像的信息处理设备。图1指示照相机100和pc 110经由高清多媒体接口线缆115可通信地互连的配置。照相机100和pc 110可以经由不同种类的线缆(例如，通用串行总线(usb)线缆)可通信地互连或者无线可通信地互连。
16.pc 110从照相机100接收照相机100所拍摄的图像的信号(视频信号、图像信号)，并将信号转换成可以流传输的格式，从而信号可以经由云125分别被分发给多个用户130的各个设备。pc 110还可以将所接收到的视频信号直接发送到诸如头戴式显示器(hmd)120等的显示装置。pc 110经由线缆或无线地连接到hmd 120或因特网(包括用户130的设备和云125)。
17.图2是描绘pc 110的配置的示例的框图。控制单元205例如是中央处理单元(cpu)，并且控制整个pc 110。只读存储器(rom)210非临时地存储程序和参数。随机存取存储器(ram)215临时存储从外部装置等供给的程序和数据。记录介质220是固定到pc 110的硬盘或闪存，或者是可以从pc 110拆卸的光卡、ic卡或存储卡等。操作单元225接受用户在pc 110上进行的操作。用于用户进行操作的操作构件可以是pc 110上所布置的按钮或触摸面板等，或者可以是可以从pc 110拆卸的键盘或鼠标等。显示单元230显示pc 110所保持的数据和从外部供给的数据等。显示单元230可以是pc 110的一部分，或者可以是与pc 110分离的显示装置。pc 110可以基于来自照相机100的视频信号在显示单元230上显示视频(图像)。通信单元235可以用于与外部进行通信。例如，pc 110将视频信号从通信单元235发送(分发)到hmd 120或云125。外部i/f 240也可以用于与外部进行通信。例如，pc 110从照相机100经由外部i/f240接收视频信号。系统总线245连接pc 110的组成元件以可相互通信。
18.图3是描绘pc 110的操作的示例的流程图。通过控制单元205将rom 210中所存储的程序(应用程序)展开在ram 215中并执行该程序来实现该操作。例如，当用户指示pc 110以启动所指定的应用时，图3中的操作开始。图3中的操作是分发(实时流传输)由照相机100实时拍摄(得到)的运动图像的操作。
19.在步骤s300中，控制单元205判断是否从外部接收到hdmi信号。控制单元205等待hdmi信号的接收，并且如果接收到信号，则将处理进行到步骤s305。
20.在步骤s305中，控制单元205判断从外部接收hdmi信号是否停止。如果hdmi信号的接收停止，则控制单元205结束图3中的操作，或者如果hdmi信号的接收没有停止，则将处理进行到步骤s310。
21.在步骤s310中，控制单元205从所接收到的hdmi信号中提取图像数据(图像信号)。
22.在步骤s315中，控制单元205判断在步骤s310中提取出的图像(所提取出的图像数据所表示的图像)是否包括两个鱼眼图像区域(圆周鱼眼图像的图像区域)。该判断可以被
视为判断所提取出的图像是否是安装有双镜头单元105的照相机100所拍摄的图像。如果所提取出的图像包括两个鱼眼图像区域，即如果所提取出的图像是安装有双镜头单元105的照相机100所拍摄的图像，则处理进行到s320，或者，如果所提取出的图像不包括两个鱼眼图像区域，则处理进行到步骤s305。在图4的图像400中，鱼眼图像区域410和鱼眼图像区域420并排布置。如果提取(获取)了图像400，则处理进行到步骤s320。
23.在步骤s315中，控制单元205例如通过将亮度值是阈值或小于阈值的像素值转换成黑色像素值并且将亮度值大于阈值的像素值转换成白色像素值，来将所提取出的图像转换成单色二值图像。然后，控制单元205判断二值图像是否包括两个圆形白色区域，以判断所提取出的图像是否包括两个鱼眼图像区域。例如，控制单元205选择白色区域的外周上的两点(第一点和离第一点最远的第二点)的多个对，并为各个对设置用于将两点连接的线。然后，控制单元205通过判断以上所设置的多个线是否相交于一点来判断白色区域的形状是否为圆形。考虑到误差，即使存在多个线的两个或多于两个交点，只要所有交点都在预定范围内，也可以判断为白色区域的形状是圆形。作为判断为所提取出的图像包括两个鱼眼图像区域的条件，不仅可以使用二值图像包括两个圆形白色区域的条件，还可以使用两个白色区域各自的大小(像素数)类似的条件。
24.在本实施例中，为了立体观看，两个鱼眼图像区域各自都被转换成等距圆柱图像区域(等距圆柱图像(等距圆柱投影格式的图像)的区域)。在步骤s320中，针对两个鱼眼图像区域中的各个鱼眼图像区域，控制单元205判断鱼眼图像区域中的各个位置(坐标)和等距圆柱图像区域中的各个位置(坐标)是否相对应。如果相对应，则处理进行到步骤s330，如果不相对应，则进行到步骤s325。
25.在步骤s325中，针对两个鱼眼图像区域中的各个鱼眼图像区域，控制单元205将鱼眼图像区域中的各个位置和等距圆柱图像区域中的各个位置进行对应。针对第一鱼眼图像区域，例如，控制单元205使用模板匹配或考虑与用于拍摄鱼眼图像区域的光学系统(例如，摄像镜头)有关的镜头信息(例如，光学系统的个体值)的方法来将位置进行对应。针对第二鱼眼图像区域，控制单元205基于针对第一鱼眼图像区域所获取的对应(鱼眼图像区域中的各个位置和等距圆柱图像区域中的各个位置之间的对应)来确定对应。因此，与分别将两个鱼眼图像区域各自的位置进行对应的情况相比，可以减少处理时间。
26.将参考图4描述步骤s325中的处理的具体示例。图像大小没有特别限制，并且在图4的情况下，从hdmi信号提取出的图像400具有水平方向上的像素数
×
垂直方向上的像素数＝4096
×
2160的图像大小。在图像400中，使用右镜头(从右侧拍摄图像的光学系统)拍摄的鱼眼图像区域410布置在右边，以及使用左镜头(从左侧拍摄图像的光学系统)拍摄的鱼眼图像区域420布置在左边。在图4中，假设图像400(4096
×
2160像素)被转换成图像430(4096
×
2048像素)。在图像430中，与鱼眼图像区域410相对应的等距圆柱图像区域440布置在右侧，以及与鱼眼图像区域420相对应的等距圆柱图像区域450布置在左侧。鱼眼图像区域410的图像大小和鱼眼图像区域420的图像大小相同，以及等距圆柱图像区域440的图像大小和等距圆柱图像区域450的图像大小相同。鱼眼图像区域410和420被布置的位置没有特别限制，并且例如使用右镜头摄像的鱼眼图像区域410可以布置在左侧，以及使用左镜头摄像的鱼眼图像区域420可以显示在右侧。类似地，布置等距圆柱图像区域440和450的位置没有特别限制。
27.首先，控制单元205将右侧的鱼眼图像区域410中的各个位置和等距圆柱图像区域440中的各个位置进行对应。例如，针对等距圆柱图像区域440中的各个像素生成位置(生成像素的位置)，控制单元205确定与各个像素生成位置相对应的鱼眼图像区域410中的位置。对于该处理，如上所述，使用模板匹配或考虑镜头信息的方法等。与等距圆柱图像区域440中的像素生成位置相对应的鱼眼图像区域410中的位置变成在用于从鱼眼图像中的多个像素值获取等距圆柱图像区域中的像素值的插值处理中用于选择多个像素值的基准位置。在图4中，等距圆柱图像区域440中的像素生成位置435(坐标(水平位置，垂直位置)＝(2148,500))与鱼眼图像区域410中的位置415(坐标(2150.42,487.32))相对应。在该情况下，根据位置415周围的多个像素值来计算像素生成位置435处的像素值。
28.然后，控制单元205将左侧的鱼眼图像区域420中的各个位置和等距圆柱图像区域450中的各个位置进行对应。使用鱼眼图像区域410中的各个位置和等距圆柱图像区域440中的各个位置之间的对应关系(对应的结果)来进行该处理。在鱼眼图像区域410和420以及等距圆柱图像区域440和450的图像大小和位置已知的情况下，基于上述对应的结果，可以容易地确定鱼眼图像区域420中的各个位置和等距圆柱图像区域450中的各个位置之间的对应关系。在图4中的示例的情况下，通过将鱼眼图像区域410中的各个位置和等距圆柱图像区域440中的各个位置分别转移图像400和430的水平宽度的一半的距离，可以获取鱼眼图像区域420中的各个位置和等距圆柱图像区域450中的各个位置之间的对应关系。例如，根据鱼眼图像区域410中的位置415和等距圆柱图像区域440中的像素生成位置435之间的对应关系，可以容易地确定鱼眼图像区域420中的位置425(坐标(2148-2048,500)＝(100,500))和等距圆柱图像区域450中的像素生成位置455(坐标(2150.42-2048,487.32)＝(102.42,487.32)之间的对应关系。通过像这样利用鱼眼图像区域410中的各个位置和等距圆柱图像区域440中的各个位置之间的对应关系，可以减少将左侧的鱼眼图像区域420中的各个位置和等距圆柱图像区域450中的各个位置进行对应所需的处理时间。
29.在步骤s330中，针对两个鱼眼图像区域中的各个鱼眼图像区域，控制单元205进行插值处理，以从鱼眼图像中的多个像素值中获取等距圆柱图像区域中的像素值。稍后将详细描述步骤s330中的处理。在步骤s310中提取(获取)到图6中的图像600的情况下，通过经由插值处理确定两个等距圆柱图像区域的各个像素值来获取图像605(图像600被转换成图像605)。
30.在步骤s335中，控制单元205将被转换成等距圆柱图像的图像数据(与在步骤s330中获取的图像(两个等距圆柱图像区域并排布置的图像)有关的数据)经由通信单元235输出至外部(例如，hmd 120、云125)。
31.图5是描绘与图3中的步骤s330中的处理有关的细节的流程图。如上所述，在步骤s330中，针对两个鱼眼图像区域中的各个鱼眼图像区域，控制单元205进行插值处理，以从鱼眼图像中的多个像素值获取等距圆柱图像区域中的像素值。
32.在步骤s500中，控制单元205选择等距圆柱图像区域中的像素生成位置。例如，控制单元205选择图6中的像素生成位置610。
33.在步骤s505中，控制单元205判断在步骤s500中选择的像素生成位置是否在特定区域内。如果像素生成位置在特定区域内，则处理进行到步骤s510，或者，如果像素生成位置不在特定区域内，则进行到步骤s515。
34.特定区域是等距圆柱图像区域的一部分(部分区域)，并且是需要作为用于从鱼眼图像中的多个像素值获取等距圆柱图像区域中的像素值的插值处理的高级插值处理的区域。在佩戴hmd 120的用户正在面向前方的状态下最初显示在hmd 120上的区域(等距圆柱图像区域的一部分)更可能是用户主要观看的关键区域(关注的被摄体被拍摄的区域)。等距圆柱图像区域的剩余部分是用户无法观看的区域，除非用户的头部从正在面向前方的状态转向。在佩戴hmd 120的用户正在面向前方的状态下最初显示在hmd 120上的区域通常是等距圆柱图像区域的中心部分(图6中的区域625)的区域。因此，基于hmd 120的姿势和等距圆柱图像区域中的hmd 120上所显示的区域之间的对应关系，等距圆柱图像区域的中心部分处的区域(图6中的区域625)被用作特定区域。在步骤s500中选择了像素生成位置610的情况下，由于像素生成位置610在特定区域625中，所以处理进行到步骤s510。
35.在步骤s510中，控制单元205进行高级插值处理作为用于从鱼眼图像中的多个像素值获取等距圆柱图像区域中的像素值的插值处理，并确定在步骤s500中选择的像素生成位置的像素值。高级插值处理例如是基于双三次方法的插值处理。
36.在步骤s515中，控制单元205进行比步骤s510中的插值处理更简单的插值处理作为用于从鱼眼图像中的多个像素值获取等距圆柱图像区域中的像素值的插值处理，并确定在步骤s500中选择的像素生成位置的像素值。简化插值处理例如是基于最近邻方法的插值处理。
37.基于最近邻方法等的简化插值处理所需的时间比基于双三次方法等的高级插值处理所需的时间更短。如上所述，在本实施例中，对需要高级插值处理的特定区域(等距圆柱图像区域的一部分)进行高级插值处理，并且对除了特定区域之外的区域(等距圆柱图像区域的一部分)进行简化插值处理。由此，可以在抑制特定区域中的图像质量的劣化的同时减少直到插值处理完成为止的处理时间。
38.在步骤s500中选择了像素生成位置610且位置615与像素生成位置610相对应的情况下，在步骤s510或步骤s515中，根据位置615周围的多个像素值来计算像素生成位置610的像素值。如果像素存在于位置615处，则可以在不进行插值处理的情况下将位置615的像素值确定(使用)为像素生成位置610的像素值。
39.在步骤s520中，控制单元205判断两个等距圆柱图像区域中是否存在未选择的像素生成位置。如果存在未选择的像素生成位置，则处理进行到步骤s500，或者，如果不存在未选择的像素生成位置(如果插值处理完成并且已经确定了所有像素生成位置的像素值)，则图5中的处理结束。
40.如上所述，根据本实施例，对于第一鱼眼图像区域，以通常方法将鱼眼图像区域中的各个位置和等距圆柱图像区域中的各个位置进行对应。对于第二鱼眼图像区域，基于针对第一鱼眼图像区域所获取的对应关系(鱼眼图像区域中的各个位置和等距圆柱图像区域中的各个位置之间的对应关系)来确定对应关系。此外，对需要高级插值处理的特定区域(等距圆柱图像区域的一部分)进行高级插值处理，并且对除了特定区域之外的区域(等距圆柱图像区域的一部分)进行简化插值处理。由此，可以在短时间以良好的图像质量(抑制了特定区域中的图像质量劣化的图像质量)获取用于立体观看的预定格式的图像(两个等距圆柱图像区域并排布置的图像)。
41.在本实施例中，在基于对应关系的多个区域之间改变插值处理，其中该对应关系
是显示装置的姿势和等距圆柱图像区域的显示在显示装置上的区域之间的对应关系。具体地，对等距圆柱图像区域的中心部分处的区域进行高级插值处理，并且对等距圆柱图像区域的中心部分处的区域之外的区域进行简化插值处理。然而，插值处理改变的多个区域不限于此。
42.例如，可以基于镜头信息来确定插值处理改变的多个区域。
43.可以基于等距圆柱图像区域中的各个位置和与用于拍摄该等距圆柱图像区域的光学系统(例如，摄像镜头)的光轴相对应的位置之间的距离，确定插值处理改变的多个区域。在等距圆柱图像区域中，靠近与光轴相对应的位置的区域是拍摄关注的被摄体且可能需要高级插值处理的区域。此外，与光轴相对应的位置通常是等距圆柱图像区域的中心位置。因此，即使在确定多个区域的情况下，基于等距圆柱图像区域中的各个位置和与光轴相对应的位置之间的距离，可以对等距圆柱图像区域的中心部分处的区域进行高级插值处理，并且可以对中心部分处的区域之外的区域进行简化插值处理。此外，可以对距与光轴相对应的位置的距离小于阈值的区域进行高级插值处理，并且可以对距与光轴相对应的位置的距离是阈值以上的区域进行简化插值处理。
44.在等距圆柱图像区域中，远离与光轴相对应的位置的区域是图像的失真较大且可能需要高级插值处理的区域。因此，在基于等距圆柱图像区域中的各个位置和与光轴相对应的位置之间的距离来确定多个区域的情况下，可以对等距圆柱图像区域的中心部分处的区域之外的区域进行高级插值处理，并且可以对中心部分处的区域进行简化插值处理。此外，可以对距与光轴相对应的位置的距离是阈值以上的区域进行高级插值处理，并且可以对距与光轴相对应的位置的距离小于阈值的区域进行简化插值处理。
45.还可以基于等距圆柱图像区域中的各个位置处的图像的失真度，确定插值处理改变的多个区域。在基于等距圆柱图像区域中的各个位置处的图像的失真度进行确定的情况下，可以对等距圆柱图像区域的中心部分处的区域之外的区域进行高级插值处理，并且可以对中心部分处的区域进行简化插值处理。此外，可以对距与光轴相对应的位置的距离是阈值以上的区域进行高级插值处理，并且可以对距与光轴相对应的位置的距离小于阈值的区域进行简化插值处理。
46.此外，可以基于诸如鱼眼图像区域中的各个位置和等距圆柱图像区域中的各个位置之间的对应关系等的转换信息，确定插值处理改变的多个区域。此外，可以基于等距圆柱图像区域中的各个位置和与该等距圆柱图像区域中的鱼眼图像区域中的各个位置相对应的各个位置之间的距离，来确定插值处理改变的多个区域。在从鱼眼图像区域到等距圆柱图像区域的转换前后位置变化大的区域中，可能需要高级插值处理。因此，可以对等距圆柱图像区域中的位置和与该等距圆柱图像区域中的位置相对应的鱼眼图像区域中的位置之间的距离是阈值以上的区域进行高级插值处理，并且可以对该距离小于阈值的区域进行简化插值处理。
47.在本实施例中，双三次方法用作高级插值处理，并且最近邻方法用于简化插值处理，但本发明不限于此。例如，双三次方法可以用于高级插值处理，双线性方法可以用于简化插值处理。此外，双线性方法可以用于高级插值处理，并且最近邻方法可以用于简化插值处理。
48.在本实施例中，改变插值处理的方法(类型、算法)，但本发明不限于此。例如，可以
改变在插值处理中参照的鱼眼图像区域中的像素数(在鱼眼图像区域中的插值处理中参照的范围的大小)。在使用双三次方法的情况下，在高级插值处理中可以参考基准位置(与等距圆柱图像区域中的像素生成位置相对应的鱼眼图像区域中的位置)周围的36个像素，并且在简化插值处理中可以参考基准位置周围的9个像素。
49.此外，在本实施例中，在等距圆柱图像区域中的两个部分区域之间改变插值处理，但可以在三个或多于三个部分区域之间改变插值处理(使插值处理不同)。例如，当部分区域更靠近等距圆柱图像区域的中心时，可以进行更高级的插值处理。双三次方法可以用于靠近等距圆柱图像区域的中心的区域；近邻方法可以用于远离等距圆柱图像区域的中心的区域；以及双线性方法可以用于位于这些区域之间的区域。
50.上述各种控制由控制单元205进行，并且可以由一个硬件单元进行，或可以由多个硬件单元(例如，多个处理器和电路)共用，以控制整个设备。
51.尽管已描述了本发明的实施例，但本发明不限于这些具体实施例，而是包括不背离本发明的思想的范围内的各种模式。上述各个实施例仅仅是本发明的实施例，并且可以在必要时进行组合。
52.本发明不仅可以应用于pc，还可以应用于可以执行图像处理的任何电子设备(图像处理设备)。例如，本发明可以应用于照相机、pda、便携式电话、便携式图像查看器、打印机、数字相框、音乐播放器、游戏机和电子书阅读器等。本发明还可以应用于视频播放器、显示装置(包括投影装置)、平板终端、智能电话、ai扬声器、家用电子装置和车载装置等。
53.根据本发明，可以在短时间以良好的图像质量获取用于立体观看的预定格式的图像。
54.其他实施例
55.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
56.虽然已经参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。以下权利要求的范围符合最广泛的解释，以便包含所有这样的修改和等同的结构和功能。

技术特征：
1.一种图像处理设备，包括：获取单元，其被配置为获取布置有第一图像区域和第二图像区域的图像，其中，所述第一图像区域和所述第二图像区域各自是鱼眼图像的区域；以及转换单元，其被配置为将所述第一图像区域和所述第二图像区域转换成第三图像区域和第四图像区域，其中，所述第三图像区域和所述第四图像区域各自分别是等距圆柱图像的区域，其中，所述转换单元被配置为：将所述第一图像区域中的各个位置和所述第三图像区域中的各个位置进行对应，基于所述第一图像区域中的各个位置和所述第三图像区域中的各个位置之间的对应关系，判断所述第二图像区域中的各个位置和所述第四图像区域中的各个位置之间的对应关系，以及作为用于从鱼眼图像中的多个像素值获取等距圆柱图像中的像素值的插值处理，对所述第三图像区域中的第一部分区域和所述第四图像区域中的第二部分区域进行第一插值处理，以及对所述第三图像区域中的第三部分区域和所述第四图像区域中的第四部分区域进行比所述第一插值处理更简单的第二插值处理。2.根据权利要求1所述的图像处理设备，其中，所述第一部分区域和所述第三部分区域是基于以下的区域：显示装置的姿势和所述第三图像区域中的由所述显示装置显示的区域之间的对应关系；所述第三图像区域中的各个位置和与用于拍摄所述第三图像区域的光学系统的光轴相对应的位置之间的距离；所述第三图像区域中的各个位置处的图像的失真度；或者所述第三图像区域中的各个位置和与所述第三图像区域中的各个位置相对应的所述第一图像区域中的各个位置之间的距离，以及所述第二部分区域和所述第四部分区域是基于以下的区域：所述显示装置的姿势和所述第四图像区域中的由所述显示装置显示的区域之间的对应关系；所述第四图像区域中的各个位置和与用于拍摄所述第四图像区域的光学系统的光轴相对应的位置之间的距离；所述第四图像区域中的各个位置处的图像的失真度；或者所述第四图像区域中的各个位置和与所述第四图像区域中的各个位置相对应的所述第一图像区域中的各个位置之间的距离。3.根据权利要求1或2所述的图像处理设备，其中，所述第一部分区域是所述第三图像区域的中心部分处的区域，所述第三部分区域是所述第三图像区域中的在所述第一部分区域之外的区域，所述第二部分区域是所述第四图像区域的中心部分处的区域，以及所述第四部分区域是所述第四图像区域中的在所述第二部分区域之外的区域。4.根据权利要求1或2所述的图像处理设备，其中，所述第三部分区域是所述第三图像区域的中心部分处的区域，
所述第一部分区域是所述第三图像区域中的在所述第三部分区域之外的区域，所述第四部分区域是所述第四图像区域的中心部分处的区域，以及所述第二部分区域是所述第四图像区域中的在所述第四部分区域之外的区域。5.根据权利要求1或2所述的图像处理设备，其中，所述第一插值处理是使用双三次方法的插值处理，以及所述第二插值处理是使用最近邻方法的插值处理。6.根据权利要求1或2所述的图像处理设备，其中，所述第一插值处理是使用双三次方法的插值处理，以及所述第二插值处理是使用双线性方法的插值处理。7.根据权利要求1或2所述的图像处理设备，其中，所述第一插值处理是使用双线性方法的插值处理，以及所述第二插值处理是使用最近邻方法的插值处理。8.根据权利要求1或2所述的图像处理设备，其中，所述第二插值处理中要参考的鱼眼图像的像素数少于所述第一插值处理中要参考的鱼眼图像的像素数。9.根据权利要求1或2所述的图像处理设备，其中，所述转换单元针对所述第三图像区域和所述第四图像区域中的每一个，使插值处理在三个或多于三个部分区域之间有所不同。10.一种图像处理方法，包括：获取布置有第一图像区域和第二图像区域的图像，其中，所述第一图像区域和所述第二图像区域各自是鱼眼图像的区域；以及将所述第一图像区域和所述第二图像区域转换成第三图像区域和第四图像区域，其中，所述第三图像区域和所述第四图像区域各自分别是等距圆柱图像的区域，其中，在所述转换中：将所述第一图像区域中的各个位置和所述第三图像区域中的各个位置进行对应，基于所述第一图像区域中的各个位置和所述第三图像区域中的各个位置之间的对应关系，判断所述第二图像区域中的各个位置和所述第四图像区域中的各个位置之间的对应关系，以及作为用于从鱼眼图像中的多个像素值获取等距圆柱图像中的像素值的插值处理，对所述第三图像区域中的第一部分区域和所述第四图像区域中的第二部分区域进行第一插值处理，以及对所述第三图像区域中的第三部分区域和所述第四图像区域中的第四部分区域进行比所述第一插值处理更简单的第二插值处理。11.一种存储程序的计算机可读介质，所述程序用于使得计算机用作根据权利要求1至9中任一项所述的图像处理设备的各个单元。

技术总结
本公开提供了图像处理设备、图像处理方法以及计算机可读介质。图像处理设备获取布置有各自为鱼眼图像的区域的第一图像区域和第二图像区域的图像，并且将第一图像区域和第二图像区域转换成各自分别为等距圆柱图像的区域的第三图像区域和第四图像区域，其中，在转换中，作为用于从鱼眼图像中的多个像素值获取等距圆柱图像中的像素值的插值处理，对第三图像区域和第四图像区域中的特定区域进行第一插值处理，并且对除了特定区域之外的区域进行比第一插值处理更简单的第二插值处理。第一插值处理更简单的第二插值处理。第一插值处理更简单的第二插值处理。


技术研发人员：服部和佳树
受保护的技术使用者：佳能株式会社
技术研发日：2023.04.04
技术公布日：2023/10/19