图像处理装置、图像处理方法及程序与流程

1.本发明的技术涉及一种图像处理装置、图像处理方法及程序。


背景技术：

2.在日本特开2020-003883号公报中，公开了一种图像生成装置，其特征在于，具有如下单元：图像获取单元，获取基于由拍摄摄影对象区域的多个照相机从多个方向的摄影的图像数据；信息获取单元，获取表示虚拟视点的视点信息；及生成单元，根据由图像获取单元获取的图像数据和由信息获取单元获取的视点信息来生成与由视点信息表示的虚拟视点对应的虚拟视点图像，并且根据虚拟视点的位置使位于摄影对象区域中的特定对象在三维空间内的形状变形而生成虚拟视点图像。
3.在日本特开2014-041259号公报中，公开了一种广告传送装置，其特征在于，具备如下单元：接收单元，接收包含视点条件及广告信息的显示要求；广告框设定单元，在根据视点位置不同的摄像数据生成的任意视点位置的影像数据中设定与视点条件对应的广告框；广告信息设定单元，在由广告框设定单元设定的广告框中设定由接收单元接收的广告信息；及影像发送单元，将在广告框中设定了广告信息的任意视点位置的影像数据发送至终端装置。


技术实现要素：

4.发明要解决的技术课题
5.本发明的技术所涉及的一个实施方式提供一种能够向虚拟视点图像的观看者显示对象图像的图像处理装置、图像处理方法及程序。
6.用于解决技术课题的手段
7.本发明的技术所涉及的第1方式为图像处理装置，其具备：处理器；及存储器，与处理器连接或内置于处理器中，处理器进行如下处理：获取根据多个摄像图像生成的第1虚拟视点图像；获取视点信息；获取拍入摄像图像中的对象的位置信息；及根据视点信息及位置信息来获取包含表示对象的对象图像的第2虚拟视点图像。
8.本发明的技术所涉及的第2方式为第1方式所涉及的图像处理装置，其中，处理器进行如下处理：通过接收视点信息来获取视点信息；及通过根据位置信息确定所接收的视点信息来进行将对象图像包含在第2虚拟视点图像中的第1控制。
9.本发明的技术所涉及的第3方式为第2方式所涉及的图像处理装置，其中，视点信息包含所接收的第1视点路径。
10.本发明的技术所涉及的第4方式为第2方式所涉及的图像处理装置，其中，视点信息为确定由第2虚拟视点图像表示的区域的信息，处理器通过在由位置信息确定的位置包含在区域中的范围内接收视点信息来获取视点信息。
11.本发明的技术所涉及的第5方式为第1方式所涉及的图像处理装置，其中，处理器在根据视点信息确定的区域中不包含由位置信息确定的位置的情况下，变更位置信息及对
象图像的位置中的至少一个。
12.本发明的技术所涉及的第6方式为第1方式所涉及的图像处理装置，其中，处理器在视点信息及位置信息满足第1条件的情况下，变更位置信息及对象图像的位置中的至少一个。
13.本发明的技术所涉及的第7方式为第1方式至第6方式中的任一个方式所涉及的图像处理装置，其中，处理器通过根据位置信息使对象图像移动来进行将对象图像包含在第2虚拟视点图像中的第2控制。
14.本发明的技术所涉及的第8方式为第1方式至第7方式中的任一个方式所涉及的图像处理装置，其中，处理器通过根据位置信息变更视点信息来进行将对象图像包含在第2虚拟视点图像中的第3控制。
15.本发明的技术所涉及的第9方式为第8方式所涉及的图像处理装置，其中，视点信息包含能够确定第2视点路径的起点的位置的起点位置信息、能够确定第2视点路径的终点的位置的终点位置信息、能够确定第1视线方向的第1视线方向信息及能够确定视角的视角信息中的至少一个。
16.本发明的技术所涉及的第10方式为第8方式或第9方式所涉及的图像处理装置，其中，视点信息包含能够确定第2视线方向的第2视线方向信息，第3控制包含如下控制：通过作为视点信息在第3视点路径的起点的位置及第3视点路径的终点的位置中的至少一个中根据位置信息变更第2视线方向信息来将对象图像包含在第2虚拟视点图像中。
17.本发明的技术所涉及的第11方式为第2方式至第4方式中的任一个方式所涉及的图像处理装置，其中，第2虚拟视点图像包含表示被摄体的第1被摄体图像，处理器在第2虚拟视点图像内的第1被摄体图像的尺寸及位置中的至少一个满足第2条件的范围内进行第1控制。
18.本发明的技术所涉及的第12方式为第7方式所涉及的图像处理装置，其中，处理器根据由视点信息生成的第3虚拟视点图像内的表示被摄体的第2被摄体图像的尺寸及位置中的至少一个进行第2控制。
19.本发明的技术所涉及的第13方式为第8方式至第10方式中的任一个方式所涉及的图像处理装置，其中，处理器根据由视点信息生成的第3虚拟视点图像内的表示被摄体的第3被摄体图像的尺寸及位置中的至少一个进行第3控制。
20.本发明的技术所涉及的第14方式为第2方式、第3方式、第4方式或第11方式所涉及的图像处理装置，其中，对对象赋予显示的优先顺序，处理器在赋予了优先顺序的多个对象被拍入摄像图像中的情况下，根据优先顺序进行第1控制。
21.本发明的技术所涉及的第15方式为第7方式或第12方式所涉及的图像处理装置，其中，对对象赋予显示的优先顺序，处理器在赋予了优先顺序的多个对象被拍入摄像图像中的情况下，根据优先顺序进行第2控制。
22.本发明的技术所涉及的第16方式为第8方式、第9方式、第10方式或第13方式所涉及的图像处理装置，其中，对对象赋予显示的优先顺序，处理器在赋予了优先顺序的多个对象被拍入摄像图像中的情况下，根据优先顺序进行第3控制。
23.本发明的技术所涉及的第17方式为第14方式至第16方式中的任一个方式所涉及的图像处理装置，其中，优先顺序根据对象的属性来确定。
24.本发明的技术所涉及的第18方式为第14方式至第17方式中的任一个方式所涉及的图像处理装置，其中，处理器根据设定了视点信息的用户的属性来确定优先顺序。
25.本发明的技术所涉及的第19方式为第14方式至第18方式中的任一个方式所涉及的图像处理装置，其中，处理器根据由多个摄像装置拍摄的摄像对象的状况来确定优先顺序。
26.本发明的技术所涉及的第20方式为第1方式至第19方式中的任一个方式所涉及的图像处理装置，其中，处理器根据视点信息及位置信息变更对象图像的显示状态。
27.本发明的技术所涉及的第21方式为第1方式至第20方式中的任一个方式所涉及的图像处理装置，其中，处理器在根据视点信息确定的时间输出用于使第2虚拟视点图像显示在显示器上的数据。
28.本发明的技术所涉及的第22方式为图像处理方法，其包括：获取根据多个摄像图像生成的第1虚拟视点图像的步骤；获取视点信息的步骤；获取拍入摄像图像中的对象的位置信息的步骤；以及根据视点信息及位置信息来获取包含表示对象的对象图像的第2虚拟视点图像的步骤。
29.本发明的技术所涉及的第23方式为程序，其用于使计算机执行处理，所述处理包括如下步骤：获取根据多个摄像图像生成的第1虚拟视点图像的步骤；获取视点信息的步骤；获取拍入摄像图像中的对象的位置信息的步骤；以及根据视点信息及位置信息来获取包含表示对象的对象图像的第2虚拟视点图像的步骤。
附图说明
30.图1是表示图像处理系统的结构的一例的概念图。
31.图2是表示足球体育场的概略结构的一例及限定能够确定足球体育场内的位置的三维坐标的长方体的概略结构的一例的概念图。
32.图3是表示用户设备的电气系统的硬件结构的一例的框图。
33.图4是表示图像处理装置的cpu的主要功能的一例的框图。
34.图5是表示接收画面生成部的处理内容的一例及用户设备的显示器的显示内容的一例的概念图。
35.图6是表示用户设备的动作模式为视点设定模式时的接收画面的显示状态的一例的画面图。
36.图7是表示用户设备的动作模式为注视点设定模式时的接收画面的显示状态的一例的画面图。
37.图8是表示视点信息的内容的一例及视点信息从用户设备发送至图像处理装置的状态的一例的框图。
38.图9是表示虚拟视点图像生成部的处理内容的一例的概念图。
39.图10是表示能够看到广告牌的视点及看不到广告牌的视点的一例的概念图。
40.图11是表示虚拟视点图像生成部的处理内容的一例的概念图。
41.图12是表示虚拟视点影像从图像处理装置发送至用户设备的状态的一例的概念图。
42.图13是表示在用户设备的显示器上显示虚拟视点影像及接收画面的状态的一例
的画面图。
43.图14是表示图像生成处理的流程的一例的流程图。
44.图15是表示第2变形例的概念图。
45.图16是表示第3变形例的概念图。
46.图17是表示第4变形例的概念图。
47.图18是表示第5变形例的概念图。
48.图19是表示第6变形例的概念图。
49.图20是表示第7变形例的概念图。
50.图21是表示第7变形例的概念图。
51.图22是表示第8变形例的概念图。
52.图23是表示第9变形例的概念图。
53.图24是表示将存储于存储介质中的图像生成处理程序安装于图像处理装置的计算机中的状态的一例的概念图。
具体实施方式
54.根据附图对本发明的技术所涉及的图像处理装置、图像处理方法及程序的实施方式的一例进行说明。
55.首先，对以下说明中所使用的术语进行说明。
56.cpu是指“central processing unit：中央处理器”的缩写。gpu是指“graphics processing unit：图形处理器”的缩写。tpu是指“tensor proce ssing unit：张量处理器”的缩写。nvm是指“non-volatile memory：非易失性存储器”的缩写。ram是指“random access memory：随机存取存储器”的缩写。ssd是指“solid state drive：固态硬盘”的缩写。hdd是指“hard disk drive：硬盘驱动器”的缩写。eeprom是指“electrically erasable and programmable read only memory：电可擦和可编程只读存储器”的缩写。i/f是指“interface：接口”的缩写。asic是指“application specific integrated circuit：专用集成电路”的缩写。pld是指“programmable logic device：可编程逻辑器件”的缩写。fpga是指“field-programmable gate array：现场可编程门阵”的缩写。soc是指“system-on-a-chip：片上系统”的缩写。cmos是指“complementary metal oxide semiconductor：互补金属氧化物半导体”的缩写。ccd是指“charge coupled device：电荷耦合器件”的缩写。el是指“electro-luminescence：电致发光”的缩写。lan是指“local area network：局域网”的缩写。usb是指“universal serial bus：通用串行总线”的缩写。“hmd”是指“head mounted display：头戴式显示器”的缩写。lte是指“long term evolution：长期演进”的缩写。5g是指“5th generation(wireless technology for digital cellular networks)：第五代(数字蜂窝网络的无线技术)”的缩写。tdm是指“time-division multiplexing：时分多路复用”的缩写。gnss是指“global navigation satellite system：全球导航卫星系统”的缩写。ai是指“artificial intelligence：人工智能”的缩写。
57.作为一例，如图1所示，图像处理系统2具备图像处理装置10及用户设备12。
58.在本实施方式中，作为图像处理装置10的一例，可以应用服务器。服务器例如由大型商业服务器实现。但是，这仅仅是一例，例如服务器可以通过云计算、雾计算、边缘计算或
网格计算等网络计算来实现。并且，图像处理装置10可以为个人计算机，也可以为多台个人计算机，也可以为多台服务器，也可以为个人计算机与服务器组合而成的装置等。
59.并且，在本实施方式中，作为用户设备12的一例，可以应用智能手机。但是，智能手机仅仅是一例，例如可以为个人计算机，也可以为平板终端或头戴式显示器(以下，称为“hmd”)等便携式多功能终端。
60.并且，在本实施方式中，图像处理装置10及用户设备12例如经由基站(省略图示)以能够通信的方式连接。基站中所使用的通信标准包含如下标准：包含5g标准和/或lte标准等的无线通信标准；包含wifi(802.11)标准和/或bluetooth(注册商标)标准的无线通信标准；及包含tdm标准和/或以太网(注册商标)标准的有线通信标准。
61.图像处理装置10获取图像，并将所获取的图像发送至用户设备12。其中，图像例如是指通过拍摄而获得的摄像图像64(参考图5等)及根据摄像图像64(参考图5等)生成的图像等。作为根据摄像图像(参考图5等)生成的图像的一例，可以举出虚拟视点图像76(参考图11等)。
62.用户设备12由用户14使用。用户设备12具备触摸屏显示器16。触摸屏显示器16由显示器18及触摸屏20实现。作为显示器18的一例，可以举出el显示器(例如，有机el显示器或无机el显示器)。另外，并不限于el显示器，也可以为液晶显示器等其他种类的显示器。
63.触摸屏显示器16通过使触摸屏20与显示器18的显示区域重叠、或通过使其成为在显示器18的内部内置有触摸屏功能的内嵌型来形成。另外，内嵌型仅仅是一例，也可以为外挂型或外嵌型。
64.用户设备12执行与通过触摸屏20等从用户接收的指示对应的处理。例如，用户设备12根据通过触摸屏20等从用户接收的指示，在与图像处理装置10之间进行各种信息的收发。
65.用户设备12接收从图像处理装置10发送的图像，并使所接收的图像显示在显示器18上。用户14观看显示在显示器18上的图像。
66.图像处理装置10具备计算机22、收发装置24及通信i/f26。计算机22为本发明的技术所涉及的“计算机”的一例，并且具备cpu28、nvm30及ram32。图像处理装置10具备总线34，cpu28、nvm30及ram32经由总线34连接。在图1所示的例中，为了便于图示，作为总线34图示了一条总线，但是也可以为多条总线。并且，总线34可以包含串行总线或由数据总线、地址总线及控制总线等构成的并行总线。
67.cpu28为本发明的技术所涉及的“处理器”的一例。cpu28控制图像处理装置10的整体。nvm30存储各种参数及各种程序等。作为nvm30的一例，可以举出eeprom、ssd和/或hdd。ram32为本发明的技术所涉及的“存储器”的一例。ram32临时存储各种信息。ram32由cpu28用作工作存储器。
68.收发装置24与总线34连接。收发装置24为包含通信用处理器(省略图示)及天线等的装置，在cpu28的控制下经由基站(省略图示)在与用户设备12之间进行各种信息的收发。即，cpu28经由收发装置24在与用户设备12之间进行各种信息的收发。
69.通信i/f26例如由具有fpga的设备实现。通信i/f26经由lan电缆(省略图示)与多个摄像装置36连接。摄像装置36为具有cmos图像传感器的摄像用设备，并且搭载有光学变焦功能和/或数码变焦功能。另外，可以采用ccd图像传感器等其他种类的图像传感器来代
替cmos图像传感器。
70.例如，多个摄像装置36设置于足球体育场4(参考图2)上，并拍摄足球体育场4内的被摄体。通过由摄像装置36拍摄被摄体而获得的摄像图像64(参考图5等)例如用于生成虚拟视点图像76(参考图11等)。因此，多个摄像装置36中的每一个设置于足球体育场内彼此不同的部位、即可以获得能够生成虚拟视点图像76(参考图11等)的多个摄像图像64(参考图5等)的部位上。足球体育场4为包含足球场4a(参考图2)和以包围足球场4a的方式建设的观众席4b(参考图2)的三维区域，并且设为用户14的观察对象。观察者、即用户14能够从观众席或足球体育场4外的场所通过由用户设备12的显示器18显示的图像来观察足球体育场4内。
71.另外，其中，作为一例，例示足球体育场作为设置多个摄像装置36的场所，但是本发明的技术并不限定于此，关于设置多个摄像装置36的场所，如棒球场、橄榄球场、冰壶场、田径赛场、游泳场、音乐厅、户外音乐场及剧场等那样，只要为能够设置多个摄像装置36的场所，则可以为任何场所。
72.通信i/f26与总线34连接，并且在cpu28与多个摄像装置36之间管理各种信息的收发。例如，通信i/f26根据cpu28的要求来控制多个摄像装置36。通信i/f26将通过由多个摄像装置36中的每一个拍摄而获得的摄像图像64(参考图3、图4及图8等)输出至cpu28。另外，其中，通信i/f26例示为有线通信i/f，但是也可以为高速无线lan等无线通信i/f。
73.nvm30存储图像生成处理程序38。图像生成处理程序38为本发明的技术所涉及的“程序”的一例。cpu28通过从nvm30读取图像生成处理程序38且在ram32上执行图像生成处理程序38来进行图像生成处理(参考图14)。
74.作为一例，如图2所示，在足球场4a的周围设置有多个广告牌6。在广告牌6上例如以文字、图样和/或图案等形式描绘有与广告主相关的信息。广告牌6为本发明的技术所涉及的“对象”及“被摄体”的一例。
75.对足球体育场4赋予能够确定在足球体育场4内的位置的坐标。其中，作为能够确定在足球体育场4内的位置的坐标的一例，可以应用以内含足球体育场4的虚拟的长方体8的1个顶点为原点能够确定长方体8内的位置的三维坐标。
76.对多个广告牌6赋予位置信息39。作为位置信息39的一例，可以举出能够确定广告牌6在足球体育场4内的尺寸及位置的三维坐标。但是，这仅仅是一例，位置信息39也可以为表示通过利用gnss而获得的纬度、经度及高度的信息。
77.并且，在足球体育场4内的多个摄像装置36(参考图1)的设置位置也能够通过三维坐标来确定，对各摄像装置36赋予三维坐标。
78.作为一例，如图3所示，用户设备12具备显示器18、计算机40、摄像装置42、收发装置44、扬声器46、麦克风48及接收设备50。计算机40具备cpu52、nvm54及ram56。用户设备12具备总线58，cpu52、nvm54及ram56经由总线58连接。
79.在图3所示的例中，为了便于图示，作为总线58图示了一条总线，但是也可以为多条总线。并且，总线58可以包含串行总线或由数据总线、地址总线及控制总线等构成的并行总线。
80.cpu52控制用户设备12的整体。nvm54存储各种参数及各种程序等。作为nvm54的一例，可以举出eeprom。ram56临时存储各种信息。ram56由cpu52用作工作存储器。cpu52通过
从nvm54读取各种程序且在ram56上执行各种程序以根据各种程序进行处理。
81.摄像装置42为具有cmos图像传感器的摄像用设备，并且搭载有光学变焦功能和/或数码变焦功能。另外，可以采用ccd图像传感器等其他种类的图像传感器来代替cmos图像传感器。摄像装置42与总线58连接，cpu52控制摄像装置42。通过由摄像装置42拍摄而获得的摄像图像经由总线58由cpu52获取。
82.收发装置44与总线58连接。收发装置44为包含通信用处理器(省略图示)及天线等的装置，在cpu52的控制下经由基站(省略图示)在与图像处理装置10之间进行各种信息的收发。即，cpu52经由收发装置44在与图像处理装置10之间进行各种信息的收发。
83.扬声器46将电信号转换成声音。扬声器46与总线58连接。扬声器46经由总线58接收从cpu52输出的电信号，将所接收的电信号转换成声音，并将电信号转换而获得的声音输出至用户设备12的外部。
84.麦克风48将所收集的声音转换成电信号。麦克风48与总线58连接。将由麦克风48收集的声音转换而获得的电信号经由总线58由cpu52获取。
85.接收设备50接收来自用户14等的指示。作为接收设备50的一例，可以举出触摸屏20及硬键(省略图示)等。接收设备50与总线58连接，由接收设备50接收的指示由cpu52获取。
86.作为一例，如图4所示，cpu28通过从nvm30读取图像生成处理程序38且在ram32上执行图像生成处理程序38以作为接收画面生成部28a、视点信息获取部28b及虚拟视点图像生成部28c而动作。
87.作为一例，如图5所示，在用户设备12的显示器18上显示接收画面66及虚拟视点影像画面68。在图5所示的例中，在显示器18上排列显示有接收画面66及虚拟视点影像画面68。另外，这仅仅是一例，也可以根据从用户14向触摸屏20提供的指示来切换显示接收画面66和虚拟视点影像画面68，也可以设为由不同的显示设备单独显示接收画面66和虚拟视点影像画面68。
88.并且，在本实施方式中，在用户设备12的显示器18上显示有接收画面66，但是本发明的技术并不限定于此，例如可以设为在与制作或者编辑虚拟视点影像78(参考图11)的人所使用的设备(例如，个人计算机)连接的显示器上显示接收画面66。
89.用户设备12通过与图像处理装置10进行通信，从图像处理装置10获取虚拟视点影像78(参考图11)。在显示器18的虚拟视点影像画面68上显示由用户设备12从图像处理装置10获取的虚拟视点影像78(参考图11)。在图5所示的例中，在虚拟视点影像画面68上没有显示虚拟视点影像78。
90.用户设备12通过与图像处理装置10进行通信，从图像处理装置10获取表示接收画面66的接收画面数据70。在显示器18上显示根据由用户设备12从图像处理装置10获取的接收画面数据70表示的接收画面66。
91.接收画面66包含俯瞰影像画面66a、引导信息显示区域66b、确定键66c及取消键66d，并且显示生成虚拟视点影像78(参考图8)时所需的各种信息。用户14参考接收画面66向用户设备12提供指示。来自用户14的指示例如由触摸屏20接收。
92.在俯瞰影像画面66a上显示俯瞰影像72。俯瞰影像72为表示在俯瞰下观察足球体育场内时的状态的动态图像，并且根据通过由多个摄像装置36中的至少一个拍摄而获得的
多个摄像图像64生成。作为俯瞰影像72的一例，可以举出现场直播影像。
93.在引导信息显示区域66b上显示表示对用户14要求的操作的内容的各种信息。对用户14要求的操作例如是指生成虚拟视点影像78(参考图11)时所需的操作(例如，设定视点的操作及设定注视点的操作等)。
94.引导信息显示区域66b的显示内容根据用户设备12的动作模式来切换。例如，用户设备12具有设定视点的视点设定模式和设定注视点的注视点设定模式作为动作模式，并且根据视点设定模式的情况和注视点设定模式的情况而引导信息显示区域66b的显示内容不同。
95.确定键66c及取消键66d均为软键。确定键66c在确定由接收画面66接收的指示的情况下由用户14接通。取消键66d在取消由接收画面66接收的指示的情况下由用户14接通。
96.接收画面生成部28a从多个摄像装置36获取多个摄像图像64。摄像图像64包含摄像条件信息64a。摄像条件信息64a是指表示摄像条件的信息。作为摄像条件的一例，可以举出能够确定摄像装置36的设置位置的三维坐标、基于摄像装置36的摄像方向及基于摄像装置36的摄像中所使用的视角及在摄像装置36中应用的变焦倍率等。
97.接收画面生成部28a根据从多个摄像装置36获取的多个摄像图像64来生成俯瞰影像72。然后，接收画面生成部28a生成表示包含俯瞰影像72的接收画面66的数据作为接收画面数据70。
98.接收画面生成部28a将接收画面数据70输出至收发装置24。收发装置24将从接收画面生成部28a输入的接收画面数据70发送至用户设备12。用户设备12由收发装置44(参考图3)接收从收发装置24发送的接收画面数据70。根据由收发装置44接收的接收画面数据70表示的接收画面66显示在显示器18上。
99.作为一例，如图6所示，在用户设备12的动作模式为视点设定模式的情况下，在接收画面66的引导信息显示区域66b上显示信息66b1。信息66b1为向用户14提示用于生成虚拟视点影像78(参考图11)的视点的指示的信息。其中，视点是指观察足球体育场4内的虚拟视点。虚拟视点例如不是指设置如拍摄被摄体的物理照相机(例如，摄像装置36)那样实际存在的照相机的位置，而是指设置拍摄被摄体的虚拟照相机的位置。
100.触摸屏20在引导信息显示区域66b上显示有信息66b1的状态下接收来自用户14的指示。此时，来自用户14的指示是指视点的指示。视点与俯瞰影像72内的像素的位置对应。俯瞰影像72内的像素的位置与足球体育场4(参考图2)内的位置对应。关于视点的指示，通过由用户14经由触摸屏20指示俯瞰影像72内的像素的位置来进行。另外，视点可以为与俯瞰影像72内的三维位置对应的三维的坐标。指示三维位置的方法能够使用任意方法。例如，用户14可以直接输入三维的坐标位置，也可以通过显示从彼此垂直的两个平面观看足球体育场4时的2个图像并分别指定像素位置来指定三维的坐标位置。
101.在图6所示的例中，作为视点的一例，示出观察被摄体的路径即视点路径p1。视点路径p1为本发明的技术所涉及的“第1视点路径”、“第2视点路径”及“第3视点路径”的一例。
102.视点路径p1为从起点p1s至终点p1e以线状排列多个视点的集合体。视点路径p1沿用户14在触摸屏20的整个区域中与俯瞰影像72的显示区域对应的区域中使自身的指尖14a滑动(轻扫)的路径(在图6所示的例中，从起点p1s至终点p1e的曲折的路径)被限定。并且，从视点路径p1的观察时间(例如，在2个不同的视点之间观察的时间和/或在某一点上静止
观察的时间等)通过在经由触摸屏20形成视点路径p1的情况下在触摸屏20上进行的滑动的速度及停留在视点路径p1上的1个视点上的时间(例如，长按的时间)等来限定。
103.在图6所示的例中，在确定视点路径p1的情况下，确定键66c被接通，在取消视点路径p1的情况下，取消键66d被接通。
104.另外，在图6所示的例中，仅设定视点路径p1，但是这仅仅是一例，也可以设定多个视点路径。并且，并不限于视点路径，也可以为多个不连续的视点，也可以为1个视点。
105.作为一例，如图7所示，在用户设备12的动作模式为注视点设定模式的情况下，在接收画面66的引导信息显示区域66b上显示信息66b2。信息66b2为向用户14提示用于生成虚拟视点影像78(参考图11)的注视点的指示的信息。其中，注视点是指在从视点观察足球体育场内的情况下虚拟注视的点。若设定视点及注视点，则虚拟视线方向(虚拟照相机的摄像方向)也唯一确定。虚拟视线方向是指从视点朝向注视点的方向。
106.触摸屏20在引导信息显示区域66b上显示有信息66b2的状态下接收来自用户14的指示。此时，来自用户14的指示是指注视点的指示。注视点与俯瞰影像72内的像素的位置对应。俯瞰影像72内的像素的位置与足球体育场4(参考图2)内的位置对应。关于注视点的指示，通过由用户14经由触摸屏20指示俯瞰影像72内的像素的位置来进行。在图7所示的例中，示出注视点gp。注视点gp根据用户14在触摸屏20的整个区域中与俯瞰影像72的显示区域对应的区域中使自身的指尖14a触摸的部位来限定。在图7所示的例中，在确定注视点gp的情况下，确定键66c被接通，在取消注视点gp的情况下，取消键66d被接通。另外，注视点可以为与俯瞰影像72内的三维位置对应的三维的坐标。与视点位置的指示相同地，指示三维位置的方法能够使用任意手法。
107.另外，在图7所示的例中，仅指定注视点gp，但是这仅仅是一例，也可以为多个注视点，也可以为以线状排列多个注视点的路径(注视点路径)。注视点路径可以为1个，也可以为多个。
108.作为一例，如图8所示，用户设备12的cpu52根据视点路径p1及注视点gp来生成视点信息74。视点信息74为用于生成虚拟视点影像78(参考图11)的信息。视点信息74包含视点路径信息74a、视线方向信息74b、所需时间信息74c、经过时间信息74d、移动速度信息74e及视角信息74f。
109.视点路径信息74a为能够确定在视点设定模式下确定的视点路径p1(参考图6)在俯瞰影像72内的像素的位置的信息。作为确定视点路径p1在俯瞰影像72内的像素的位置的信息的一例，可以举出确定在俯瞰影像72内的视点路径p1的像素的位置的坐标。视点路径p1包含起点p1s及终点p1e(参考图6)。因此，视点路径信息74a也包含能够确定起点p1s的位置的起点位置信息(以下，也简称为“起点位置信息”)及能够确定终点p1e的位置的终点位置信息(以下，也简称为“终点位置信息”)。作为起点位置信息的一例，可以举出能够确定在俯瞰影像72内的起点p1s的像素的位置的坐标。作为终点位置信息的一例，可以举出能够确定在俯瞰影像72内的终点p1e的像素的位置的坐标。
110.视线方向信息74b为能够确定视线方向的信息。视线方向例如是指从视点路径p1朝向注视点gp观察被摄体的方向。视线方向信息74b例如针对视点路径信息74a中所包含的每个视点确定，并且通过能够确定视点的位置的信息(例如，能够确定在俯瞰影像72内的视点的像素的位置的坐标)及能够确定在注视点设定模式下确定的注视点gp的位置的信息
(例如，确定在俯瞰影像72内的注视点gp的像素的位置的坐标)来限定。另外，其中，视线方向为本发明的技术所涉及的“第1视线方向”及“第2视线方向”的一例，视线方向信息74b为本发明的技术所涉及的“第1视线方向信息”及“第2视线方向信息”的一例。
111.所需时间信息74c为表示在视点路径p1上观察被摄体的视点从第1位置移动至与第1位置不同的第2位置时所需的所需时间(以下，也简称为“所需时间”)的信息。其中，第1位置是指起点p1s(参考图6及图7)，第2位置例如是指终点p1e(参考图6及图7)。另外，这仅仅是一例，也可以第1位置为起点p1s(参考图6及图7)且第2位置为视点路径p1的中间的视点的位置，也可以第1位置为视点路径p1的中间的视点的位置且第2位置为终点p1e(参考图6及图7)。
112.经过时间信息74d为表示在视点路径p1上观察被摄体的视点的位置和与视点的位置对应的经过时间的信息。与视点的位置对应的经过时间(以下，也简称为“经过时间”)例如是指视点在视点路径p1上的某个视点的位置静止的时间。
113.移动速度信息74e为能够确定在视点路径p1上观察被摄体的视点的位置的移动速度的信息。视点的位置的移动速度(以下，也简称为“移动速度”)例如是指在经由触摸屏20形成视点路径p1的情况下在触摸屏20上进行的滑动的速度。移动速度信息74e与视点路径p1内的每个视点建立有关联。
114.视角信息74f为能够确定视角(以下，也简称为“视角”)的信息。其中，视角是指在视点路径p1上观察被摄体的观察角。在本实施方式中，视角固定为规定角度(例如，100度)。但是，这仅仅是一例，视角可以根据移动速度来确定。此时，例如，在确定视角的上限(例如，150度)和下限(例如，15度)的范围内，移动速度越慢，视角越窄。并且，也可以移动速度越快，视角越窄。并且，也可以根据经过时间来确定视角。此时，例如只要在经过时间超过了第1规定时间(例如，3秒)的情况下使视角最小或者在经过时间超过了第1规定时间的情况下使视角最大即可。并且，视角可以根据由接收设备50接收的指示来确定。此时，只要由接收设备50接收在视点路径p1上变更视角的视点的位置及与变更后的视角相关的指示即可。
115.cpu52将视点信息74输出至收发装置44。收发装置44将从cpu52输入的视点信息74发送至图像处理装置10。图像处理装置10的收发装置24接收视点信息74。
116.图像处理装置10的视点信息获取部28b获取视点信息。在图8所示的例中，视点信息获取部28b通过接收由收发装置24接收的视点信息74来获取视点信息74。即，收发装置24将所接收的视点信息74输出至视点信息获取部28b，视点信息获取部28b通过从收发装置24输入视点信息74来获取视点信息74。
117.作为一例，如图9所示，虚拟视点图像生成部28c根据视点信息74从多个摄像装置36获取多个摄像图像64。即，虚拟视点图像生成部28c从多个摄像装置36获取用于生成表示根据视点信息74观察被摄体时的被摄体的状态的图像即虚拟视点图像76(参考图11)的多个摄像图像64。
118.虚拟视点图像生成部28c从nvm30获取拍入摄像图像64中的广告牌6(参考图2)的位置信息39。若更详细地进行说明，则虚拟视点图像生成部28c参考各摄像图像64中所包含的摄像条件信息64a从nvm30获取与整体被拍入摄像图像64中的广告牌6相关的位置信息39。另外，其中，举出以广告牌6的整体被拍入摄像图像64中为条件从nvm30获取与广告牌6相关的位置信息39的形式示例，但是这仅仅是一例，也可以设为以广告牌6的一部分(例如，
50％以上)被拍入摄像图像64中为条件从nvm30获取与广告牌6相关的位置信息39。
119.虚拟视点图像生成部28c获取根据多个摄像图像64生成的虚拟视点图像76(参考图11)。其中，“虚拟视点图像76”为本发明的技术所涉及的“第1虚拟视点图像”的一例。
120.并且，虚拟视点图像生成部28c根据视点信息74及位置信息39来获取包含表示广告牌6的广告牌图像77(参考图11)的虚拟视点图像76。其中，包含广告牌图像77的虚拟视点图像76为本发明的技术所涉及的“第2虚拟视点图像”及“第3虚拟视点图像”的一例。广告牌图像77为本发明的技术所涉及的“对象图像”、“第1被摄体图像”、“第2被摄体图像”及“第3被摄体图像”的一例。
121.其中，虚拟视点图像生成部28c通过根据位置信息39确定由视点信息获取部28b接收的视点信息74来进行将广告牌图像77包含在虚拟视点图像76内的第1控制(以下，也简称为“第1控制”)。作为视点信息74的确定的一例，可以举出视点路径信息74a的限制。即，虚拟视点图像生成部28c限制视点路径信息74a以将视点路径p1缩短到广告牌6被拍入虚拟视点图像76中的范围内。在图9所示的例中，示出通过将视点路径p1缩短到广告牌6被拍入虚拟视点图像76中的范围内而获得的视点路径p2。视点路径p2包含起点p2s及终点p2e。起点p2s为与起点p1s相同位置的视点，终点p2e为视点路径p1的中途的位置的视点。
122.如此，在将视点路径p1变更为视点路径p2时，例如，如图10所示，采用视点路径p2中所包含的多个视点中能够看到广告牌6的视点，并且不采用看不到广告牌6的视点。即，由虚拟视点图像生成部28c制作能够生成包含广告牌图像77(图11)的虚拟视点图像76的视点信息74。
123.另外，可以设为在将视点路径p1变更为视点路径p2的情况下，表示视点路径p2的视点路径信息74a从虚拟视点图像生成部28c发送至用户设备12。此时，可以设为由用户设备12接收视点路径信息74a，并且由所接收的视点路径信息74a表示的视点路径p2显示在俯瞰影像画面66a上。用户14通过观看显示在俯瞰影像画面66a上的视点路径p2，能够在视觉上识别用户14最初指示的视点被限制。
124.并且，其中，通过缩短视点路径p1的长度来限制视点路径信息74a，但是本发明的技术并不限定于此，例如也可以限制视点路径信息74a以将视点路径p1的方向固定在一个方向上，也可以限制视点路径信息74a以固定起点p1s的位置、终点p1e的位置和/或视点路径p1的中间点的位置。
125.作为一例，如图11所示，虚拟视点图像生成部28c根据由位置信息39确定的视点信息74(例如，包含表示图9所示的视点路径p2的视点路径信息74a的视点信息74)来选择多个摄像图像64。然后，虚拟视点图像生成部28c根据所选择的多个摄像图像64来生成表示从由视点信息74(例如，包含表示图9所示的视点路径p2的视点路径信息74a的视点信息74)确定的视点观察被摄体时的被摄体的状态的图像即虚拟视点图像76。
126.例如，虚拟视点图像生成部28c根据视点路径p2(参考图9)来生成多帧的虚拟视点图像76。即，虚拟视点图像生成部28c针对视点路径p2上的每个视点生成虚拟视点图像76。多帧的虚拟视点图像76包含广告牌图像77。虚拟视点图像生成部28c通过将多帧的虚拟视点图像76按时间顺序排列来生成包含广告牌图像77的虚拟视点影像78。如此生成的虚拟视点影像78为在根据视点信息74(例如，包含表示图9所示的视点路径p2的视点路径信息74a的视点信息74)确定的时间用于显示在用户设备12的显示器18上的数据。
127.作为一例，如图12所示，虚拟视点图像生成部28c将虚拟视点影像78输出至收发装置24。收发装置24将从虚拟视点图像生成部28c输入的虚拟视点影像78发送至用户设备12。
128.作为一例，如图13所示，用户设备12由收发装置44接收虚拟视点影像78(参考图3)。虚拟视点影像78为将多帧的虚拟视点图像76按时间顺序排列的动态图像。多帧的虚拟视点图像76从第一帧至最后一帧以规定的帧速率(例如，几十帧/秒)显示在用户设备12的显示器18的虚拟视点影像画面68上。虚拟视点影像78在与视点信息74(例如，包含表示图9所示的视点路径p2的视点路径信息74a的视点信息74)对应的时间显示在虚拟视点影像画面68上。由此，由用户14观看包含广告牌图像77的虚拟视点影像78。
129.在图14中示出由图像处理装置10的cpu28进行的图像生成处理的流程的一例。图14所示的图像生成处理的流程为本发明的技术所涉及的图像处理方法的一例。
130.在图14所示的图像生成处理中，首先，在步骤st10中，接收画面生成部28a根据多个摄像图像64来生成接收画面数据70(参考图5)。在执行步骤st10的处理之后，图像生成处理转移至步骤st12。
131.在步骤st12中，接收画面生成部28a将在步骤st10中所生成的接收画面数据70相对于收发装置24发送至用户设备12。在执行步骤st12的处理之后，图像生成处理转移至步骤st14。
132.在通过执行步骤st12的处理以将接收画面数据70从图像处理装置10发送至用户设备12时，用户设备12接收接收画面数据70，并将由所接收的接收画面数据70表示的接收画面66显示在显示器18上(参考图5～图7)。在用户设备12的显示器18上显示接收画面66时，从用户14经由触摸屏20向用户设备12提供视点及注视点等的指示(参考图6及图7)。用户设备12的cpu52根据由触摸屏20接收的视点及注视点来生成视点信息74，并将所生成的视点信息74经由收发装置44发送至图像处理装置10(参考图8)。
133.在步骤st14中，视点信息获取部28b判定是否由收发装置24接收视点信息74。在步骤st14中，在由收发装置24没有接收视点信息74的情况下，判定被否定，图像生成处理转移至步骤st26。在步骤st14中，在由收发装置24接收视点信息74的情况下，判定被肯定，图像生成处理转移至步骤st16。视点信息获取部28b获取由收发装置24接收的视点信息74(参考图9)。
134.在步骤st16中，虚拟视点图像生成部28c根据由视点信息获取部28b获取的视点信息74从多个摄像装置36获取多个摄像图像64。在执行步骤st16的处理之后，图像生成处理转移至步骤st18(参考图9)。
135.在步骤st18中，虚拟视点图像生成部28c从在步骤st16中所获取的多个摄像图像64获取摄像条件信息64a，并参考所获取的摄像条件信息64a从nvm 30获取与拍入摄像图像64中的广告牌6相关的位置信息39(参考图9)。在执行步骤st18的处理之后，图像生成处理转移至步骤st20。
136.在步骤st20中，虚拟视点图像生成部28c根据在步骤st18中所获取的位置信息39确定视点信息74以使广告牌图像77包含在虚拟视点影像78中(参考图9)。在执行步骤st20的处理之后，图像生成处理转移至步骤st22。
137.在步骤st22中，虚拟视点图像生成部28c根据在步骤st20中所确定的视点信息74来生成虚拟视点影像78(参考图11)。在执行步骤st22的处理之后，图像生成处理转移至步
骤st24。
138.在步骤st24中，虚拟视点图像生成部28c将在步骤st22中所生成的虚拟视点影像78经由收发装置24发送至用户设备12(参考图12)。
139.在通过执行步骤st24的处理以将虚拟视点影像78从图像处理装置10发送至用户设备12时，用户设备12接收虚拟视点影像78，并将所接收的虚拟视点影像78显示在显示器18的虚拟视点影像画面68上(参考图13)。显示在虚拟视点影像画面68上的虚拟视点影像78由用户14观看。在执行步骤st24的处理之后，图像生成处理转移至步骤st26。
140.在步骤st26中，虚拟视点图像生成部28c判定是否满足图像生成处理结束的条件(以下，称为“结束条件”)。作为结束条件的第1例，可以举出由接收设备50(参考图3)接收使图像生成处理结束的指示等条件。作为结束条件的第2例，可以举出图像处理装置10与多个摄像装置36中预定的1个以上的摄像装置36之间的通信被切断等条件。作为结束条件的第3例，可以举出在步骤st14中判定未被肯定的情况下经过了第2规定时间(例如，60秒)等条件。
141.在步骤st26中，在不满足结束条件的情况下，判定被否定，图像生成处理转移至步骤st10。在步骤st26中，在满足结束条件的情况下，判定被肯定，图像生成处理结束。
142.如以上所说明，在本实施方式所涉及的图像处理装置10中，根据拍入摄像图像64中的广告牌6的位置信息39和视点信息74来获取包含广告牌图像77的虚拟视点影像78。然后，如此获取的虚拟视点影像78显示在显示器18上。由于虚拟视点影像78包含广告牌图像77，因此能够向虚拟视点影像78的观看者即用户14显示广告牌图像77。
143.并且，在本实施方式所涉及的图像处理装置10中，通过由视点信息获取部28b接收视点信息74来获取视点信息74，并根据位置信息39确定所接收的视点信息74。其中，确定例如表示视点信息74被限制。如此，通过根据位置信息39确定视点信息74，虚拟视点影像78包含广告牌图像77。因此，根据本结构，与和广告牌6的位置无关地仅生成虚拟视点图像76的情况相比，能够容易将广告牌图像77包含在虚拟视点影像78中。
144.并且，在本实施方式所涉及的图像处理装置10中，根据位置信息39确定视点路径信息74a。其中，确定例如表示视点路径信息74a被限制。视点路径信息74a被限制例如表示从与视点路径p1相关的视点路径信息74a变更为与视点路径p2相关的视点路径信息a(参考图9)。如此，通过根据位置信息39确定视点路径信息74a，虚拟视点影像78包含广告牌图像77。因此，根据本结构，与和广告牌6的位置无关地仅生成虚拟视点图像76的情况相比，能够容易将广告牌图像77包含在虚拟视点影像78中。
145.并且，在本实施方式所涉及的图像处理装置10中，在根据视点信息74确定的时间使虚拟视点影像78显示在显示器18上。因此，根据本结构，能够在根据视点信息74确定的时间向用户14显示虚拟视点影像78中所包含的广告牌图像77。
146.[第1变形例]
[0147]
在上述实施方式中，举出在由虚拟视点图像生成部28c根据位置信息39确定的位置包含在由虚拟视点图像76表示的区域(由视点信息74确定的区域)中的范围内视点信息74被限制的形式示例进行了说明，但是本发明的技术并不限定于此。例如，可以设为通过在由位置信息39确定的位置包含在由虚拟视点图像76表示的区域(由视点信息74确定的区域)中的范围内由视点信息获取部28b接收视点信息74来获取视点信息74。同样地，可以设
为在由位置信息39确定的位置包含在由虚拟视点图像76表示的区域(由视点信息74确定的区域)中的范围内接收注视点gp。此时，也与上述实施方式相同地，由于根据视点信息74生成虚拟视点影像78并显示在显示器18上，因此能够向虚拟视点影像78的观看者即用户14显示广告牌图像77。
[0148]
[第2变形例]
[0149]
在上述实施方式中，作为第1控制，例示与在虚拟视点图像76内的广告牌图像77的尺寸及位置无关地将广告牌图像77包含在虚拟视点图像76中的控制，但是本发明的技术并不限定于此。例如，可以设为虚拟视点图像生成部28c作为第1控制进行如下控制：通过在虚拟视点图像76内的广告牌图像77的尺寸及位置这两个均满足第1规定条件的范围内，根据位置信息39确定视点信息74，以将广告牌图像77包含在虚拟视点图像76中。其中，第1规定条件为本发明的技术所涉及的“第2条件”的一例。作为第1规定条件的一例，可以举出广告牌图像77的80％以上位于通过将虚拟视点图像76在上下方向上二等分且在左右方向上分割而获得的左上区域、右上区域、左下区域及右下区域中的特定区域(在图15所示的例中为右上区域)中，并且具有虚拟视点图像76内的15％以上的占有率(＝广告牌图像77的尺寸/虚拟视点图像76的整体的尺寸)等条件。另外，在此所例示的分割区域的确定方法及占有率仅仅是一例。例如，在将虚拟视点图像76的区域分割为中央部区域和外围部区域的情况下，第1规定条件可以为广告牌图像77位于外围部区域中，并且广告牌图像77的整体进入外围部区域中的尺寸等条件。并且，位于特定区域中的广告牌图像77的比例的条件和/或广告牌图像77的尺寸的条件可以为固定值，也可以为根据由接收设备50接收的指示和/或各种条件(例如，摄像条件)等而变更的可变值等。
[0150]
并且，其中，举出在虚拟视点图像76内的广告牌图像77的尺寸及位置这两个均满足第1规定条件的例，但是这仅仅是一例，也可以设为虚拟视点图像生成部28c作为第1控制进行如下控制：通过在虚拟视点图像76内的广告牌图像77的尺寸及位置中的一个满足第1规定条件的范围内，根据位置信息39确定视点信息74，以将广告牌图像77包含在虚拟视点图像76中。
[0151]
根据本第2变形例，与和在虚拟视点影像78内广告牌图像77的尺寸及位置中的任一个无关地进行第1控制的情况相比，能够抑制以向用户14提供的一侧(例如，广告主)所不希望的尺寸和/或位置将广告牌图像77包含在虚拟视点影像78中。
[0152]
[第3变形例]
[0153]
在上述实施方式中，作为第1控制，例示与广告牌6的属性无关地将广告牌图像77包含在虚拟视点图像76中的控制，但是本发明的技术并不限定于此。例如，可以设为对多个广告牌6(参考图2)赋予了显示的优先顺序，虚拟视点图像生成部28c在赋予了显示的优先顺序的多个广告牌6被拍入摄像图像64中的情况下，根据显示的优先顺序进行第1控制。其中，显示的优先顺序例如表示显示在显示器18上的优先顺序。在以下，为了便于说明，将显示的优先顺序简称为“优先顺序”。
[0154]
作为一例，如图16所示，在nvm30中存储有优先顺序信息80。优先顺序信息80为表示针对多个广告牌6的优先顺序的信息。虚拟视点图像生成部28c从nvm30获取优先顺序信息80。然后，虚拟视点图像生成部28c作为第1控制进行如下控制：通过参考从nvm30获取的优先顺序信息80，并根据位置信息39确定视点信息74，以将广告牌图像77包含在虚拟视点
图像76中。
[0155]
例如，在将视点路径p1划分为生成表示优先顺序第1位的广告牌6的广告牌图像77的范围和生成表示优先顺序第10位的广告牌6的广告牌图像77而不生成表示优先顺序第1位的广告牌6的广告牌图像77的范围的情况下，虚拟视点图像生成部28c生成表示将视点路径p1仅限制在生成表示优先顺序第1位的广告牌6的广告牌图像77的范围内的视点路径p3的视点路径信息74a。此时，由虚拟视点图像生成部28c生成包含表示优先顺序第1位的广告牌6的广告牌图像77的虚拟视点影像78。如此生成的虚拟视点影像78显示在显示器18上。并且，例如在视点路径p1上的某个视点位置生成表示优先顺序第1位的广告牌6的广告牌图像77的一部分和表示优先顺序第10位的广告牌6的广告牌图像77的一部分的情况下，虚拟视点图像生成部28c可以将视点位置变更为表示优先顺序第1位的广告牌6的广告牌图像77全部生成的视点位置且表示优先顺序第10位的广告牌6的广告牌图像77不生成的视点位置。
[0156]
根据本第3变形例，能够在多个广告牌6被拍入摄像图像64中的情况下，向用户14显示表示根据优先顺序确定的广告牌6的广告牌图像77。
[0157]
并且，在本第3变形例中，优先顺序根据广告牌6的属性来确定。作为广告牌6的属性的一例，可以举出对广告牌6的收费。即，收费越多的广告牌6，优先顺序越高。此时，能够根据由广告牌6的属性确定的优先顺序向用户14显示广告牌图像77。
[0158]
另外，广告牌6的属性并不限定于收费，例如也可以为广告牌6的尺寸、广告牌6的广告主的种类、在广告牌6上描绘的信息和/或广告牌6的背景颜色等。
[0159]
[第4变形例]
[0160]
在上述第3变形例中，举出根据广告牌6的属性来确定优先顺序的形式示例进行了说明，但是本发明的技术并不限定于此。例如，可以设为根据设定了视点信息74的用户14的属性来确定优先顺序。
[0161]
此时，作为一例，如图17所示，表示设定了视点信息74的用户14(例如，在视点设定模式下指示视点且在注视点设定模式下指示注视点的用户14)的属性的用户属性信息74g包含在视点信息74中。用户14的属性例如是指用户14的性别、年龄、出生地、支持的团队、职业、服装、种族、携带品和/或喜欢的选手姓名等。
[0162]
虚拟视点图像生成部28c从视点信息74提取用户属性信息74g。然后，虚拟视点图像生成部28c根据从视点信息74提取的用户属性信息74g来确定优先顺序。例如，在用户14的属性为女性的情况下，通过使符合女性的喜好的广告牌6的优先顺序高于其他广告牌6的优先顺序，在虚拟视点影像78中比表示除了符合女性的喜好的广告牌6以外的广告牌6的广告牌图像77更容易包含表示符合女性的喜好的广告牌6的广告牌图像77。
[0163]
根据本第4变形例，与和设定了视点信息74的用户14的属性无关地确定优先顺序的情况相比，能够容易向用户14显示符合用户14的喜好的广告牌图像77。
[0164]
[第5变形例]
[0165]
在上述第4变形例中，举出根据用户14的属性来确定优先顺序的形式示例进行了说明，但是本发明的技术并不限定于此。例如，可以设为根据由多个摄像装置36拍摄的摄像对象的状况来确定优先顺序。
[0166]
此时，作为一例，如图18所示，虚拟视点图像生成部28c获取多个摄像图像64。虚拟视点图像生成部28c通过识别拍入多个摄像图像64中的被摄体来确定摄像对象的状况。作
为被摄体的识别方法，可以举出利用了ai的被摄体识别方法或利用了模板匹配的被摄体识别方法等。虚拟视点图像生成部28c根据所确定的摄像对象的状况来确定优先顺序。
[0167]
其中，摄像对象的状况例如是指多个动体(例如，多个人物)的密集的程度。密集的程度例如由人口密度等表示。例如，作为针对多个广告牌6的优先顺序，预定密集的程度高于规定值时的优先顺序和密集的程度为规定值以下时的优先顺序，虚拟视点图像生成部28c根据所确定的密集的程度来确定是使用密集的程度高于规定值时的优先顺序还是使用密集的程度为规定值以下时的优先顺序。规定值可以为固定值，也可以为根据由接收设备50接收的指示和/或各种条件(例如，摄像条件)等而变更的可变值。
[0168]
根据本第5变形例，能够按照根据由多个摄像装置36拍摄的摄像对象的状况确定的优先顺序向用户14显示广告牌图像77。
[0169]
另外，其中，作为摄像对象的状况的一例，示出密集的程度，但是这仅仅是一例，摄像对象的状况例如也可以为被摄体的移动的速度、被摄体的尺寸、被摄体的位置、被摄体的亮度和/或被摄体的种类等。
[0170]
[第6变形例]
[0171]
在上述实施方式中，作为第1控制，例示将广告牌图像77包含在虚拟视点图像76中的控制，但是在仅表示广告牌6的背面侧(例如，没有描绘任何广告主想要发送的信息的一侧)的图像作为广告牌图像77包含在虚拟视点图像76中的情况下，无法期待广告主所希望的宣传效果。
[0172]
因此，作为一例，如图19所示，虚拟视点图像生成部28c根据视点信息74及位置信息39来变更广告牌图像77的显示状态。此时，例如，虚拟视点图像生成部28c参考视点信息74及位置信息39判定仅表示广告牌6的背面侧的图像是否作为广告牌图像77包含在虚拟视点图像76中。然后，在判定为仅表示广告牌6的背面侧的图像作为广告牌图像77包含在虚拟视点图像76中的情况下，虚拟视点图像生成部28c进行如下控制：将表示广告牌6的正面侧(例如，描绘有广告主想要发送的信息的一侧)的图像包含在虚拟视点图像76中。
[0173]
在本第6变形例中，能够向用户14显示根据视点信息74及位置信息39变更显示状态的广告牌图像77。
[0174]
其中，举出虚拟视点图像生成部28c变更广告牌图像77的朝向的形式示例，但是本发明的技术并不限定于此，也可以设为虚拟视点图像生成部28c参考视点信息74及位置信息39，若虚拟视点图像76中所包含的广告牌图像77的尺寸小于基准尺寸，则将广告牌图像77的尺寸变更为基准尺寸以上或者强调广告牌图像77的轮廓，从而变更广告牌图像77的显示状态。
[0175]
[第7变形例]
[0176]
在上述实施方式中，例示第1控制，但是这仅仅是一例，也可以设为代替第1控制或与第1控制一起进行第2控制。其中，第2控制是指通过根据位置信息39使广告牌图像77移动以将广告牌图像77包含在虚拟视点图像76中的控制。
[0177]
作为一例，如图20所示，在虚拟视点图像生成部28c根据视点信息74(在图20所示的例中，包含表示视点路径p1的视点路径信息74a的信息)获取多个摄像图像64且根据所获取的多个摄像图像64生成虚拟视点影像78的情况下，在虚拟视点影像78中所包含的至少最后一帧的虚拟视点图像76中有时不包含广告牌图像77。
[0178]
因此，在这种情况下，虚拟视点图像生成部28c进行第2控制。此时，作为一例，如图21所示，首先，虚拟视点图像生成部28c从nvm30获取与由虚拟视点影像78内除了不包含广告牌图像77的虚拟视点图像76以外的虚拟视点图像76中所包含的广告牌图像77表示的广告牌6相关的位置信息39。接着，虚拟视点图像生成部28c获取用于生成不包含广告牌图像77的虚拟视点图像76(例如，最后一帧的虚拟视点图像76)的视点信息74。然后，虚拟视点图像生成部28c参考位置信息39及视点信息74使另一帧的虚拟视点图像76内的广告牌图像77移动至不包含广告牌图像77的虚拟视点图像76内。例如，虚拟视点图像生成部28c使表示广告牌6的广告牌图像77移动至不包含广告牌图像77的虚拟视点图像76内，所述广告牌6存在于从由用于生成不包含广告牌图像77的虚拟视点图像76(例如，最后一帧的虚拟视点图像76)的视点信息74中所包含的视角信息74f(参考图8)确定的视角最近的位置。由此，与和广告牌6的位置无关地仅简单生成虚拟视点影像78的情况相比，能够容易将广告牌图像77包含在虚拟视点影像78中。
[0179]
另外，对第7变形例能够应用上述第2变形例。即，可以设为虚拟视点图像生成部28c根据在根据视点信息74生成的虚拟视点图像76内的广告牌图像77的尺寸及位置中的至少一个进行第2控制。此时，与和在虚拟视点影像78内广告牌图像77的尺寸及位置中的任一个无关地进行第2控制的情况相比，能够抑制以向用户14提供的一侧(例如，广告主)所不希望的尺寸和/或位置将广告牌图像77包含在虚拟视点影像78中。
[0180]
并且，对第7变形例能够应用上述第3变形例。即，可以设为对多个广告牌6(参考图2)赋予了优先顺序，虚拟视点图像生成部28c在赋予了优先顺序的多个广告牌6被拍入摄像图像64中的情况下，根据优先顺序进行第2控制。此时，也可以获得与第3变形例相同的效果。
[0181]
另外，优先顺序可以根据广告牌6的属性来确定。并且，在本第7变形例中，优先顺序可以通过第4变形例及第5变形例中所说明的方法来确定。并且，在本第7变形例中，广告牌图像77的显示状态可以通过第6变形例中所说明的方法来变更。
[0182]
[第8变形例]
[0183]
在上述实施方式中，例示第1控制，但是这仅仅是一例，也可以设为代替第1控制或与第1控制一起进行第3控制。并且，可以设为代替第7变形例中所说明的第2控制或与第2控制一起进行第3控制。其中，第3控制是指通过根据位置信息39变更视点信息74以将广告牌图像77包含在虚拟视点图像76中的控制。
[0184]
作为一例，如图22所示，与上述实施方式相同地，虚拟视点图像生成部28c根据由视点信息获取部28b接收的视点信息74从多个摄像装置36获取多个摄像图像64。即，虚拟视点图像生成部28c从多个摄像装置36获取用于生成表示根据视点信息74观察被摄体时的被摄体的状态的虚拟视点图像76(参考图11)的多个摄像图像64。虚拟视点图像生成部28c参考各摄像图像64中所包含的摄像条件信息64a从nvm30获取与整体被拍入摄像图像64中的广告牌6相关的位置信息39。
[0185]
虚拟视点图像生成部28c作为第3控制进行如下控制：通过根据位置信息39确定由视点信息获取部28b接收的视点信息74，以将广告牌图像77包含在虚拟视点图像76内。在本第8变形例中，作为视点信息74的确定的一例，可以举出视点路径信息74a的变更。即，虚拟视点图像生成部28c变更视点路径信息74a以使广告牌6拍入虚拟视点图像76中。此时，例
如，如图22所示，视点路径p1改变为视点路径p4。并且，可以设为变更视点路径信息74a中的起点位置信息和/或终点位置信息。另外，其中，例示视点路径信息74a的变更，但是这仅仅是一例，也可以设为变更视线方向信息74b和/或视角信息74f等以使广告牌6拍入虚拟视点图像76中。
[0186]
根据本第8变形例，与和广告牌6的位置无关地仅简单生成虚拟视点影像78的情况相比，能够容易将广告牌图像77包含在虚拟视点影像78中。
[0187]
并且，对第8变形例能够应用上述第3变形例。即，可以设为对多个广告牌6(参考图2)赋予了优先顺序，虚拟视点图像生成部28c在赋予了优先顺序的多个广告牌6被拍入摄像图像64中的情况下，根据优先顺序进行第3控制。此时，也可以获得与第3变形例相同的效果。
[0188]
在对第8变形例应用上述第3变形例的情况下，优先顺序可以根据广告牌6的属性来确定。并且，在本第8变形例中，优先顺序可以通过第4变形例及第5变形例中所说明的方法来确定。并且，在本第8变形例中，广告牌图像77的显示状态可以通过第6变形例中所说明的方法来变更。
[0189]
并且，对第8变形例也能够应用上述第2变形例。即，可以设为虚拟视点图像生成部28c根据在根据视点信息74生成的虚拟视点图像76内的广告牌图像77的尺寸及位置中的至少一个进行第3控制。此时，与和在虚拟视点影像78内广告牌图像77的尺寸及位置中的任一个无关地进行第2控制的情况相比，能够抑制以向用户14提供的一侧(例如，广告主)所不希望的尺寸和/或位置将广告牌图像77包含在虚拟视点影像78中。
[0190]
[第9变形例]
[0191]
在第8变形例中，例示变更视点路径信息74a的形式示例，但是本发明的技术并不限定于此。例如，可以设为在由视点路径信息74a表示的视点路径p1的起点p1s的位置和/或终点p1e的位置根据位置信息39变更视线方向信息74b。此时，例如，如图23所示，虚拟视点图像生成部28c参考位置信息39变更终点p1e的位置的视线方向以在终点p1e的位置使广告牌图像77包含在虚拟视点图像76中。在图23所示的例中，示出在终点p1e的位置变更视线方向的方式，但是也可以设为在起点p1s的位置变更视线方向。
[0192]
根据本第9变形例，与在视点路径p1的起点p1s的位置及视点路径p1的终点p1e的位置视线方向被固定在一个方向上的情况相比，能够容易将广告牌图像77包含在虚拟视点影像78中。
[0193]
并且，对第9变形例能够应用上述第3变形例。即，可以设为对多个广告牌6(参考图2)赋予了优先顺序，虚拟视点图像生成部28c在赋予了优先顺序的多个广告牌6被拍入摄像图像64中的情况下，根据优先顺序进行第3控制。此时，也可以获得与第3变形例相同的效果。
[0194]
在对第9变形例应用上述第3变形例的情况下，优先顺序可以根据广告牌6的属性来确定。并且，在本第9变形例中，优先顺序可以通过第4变形例及第5变形例中所说明的方法来确定。并且，在本第9变形例中，广告牌图像77的显示状态可以通过第6变形例中所说明的方法来变更。
[0195]
另外，在第9变形例中，举出在视点路径p1的起点p1s的位置和/或终点p1e的位置变更视线方向的形式示例进行了说明，但是本发明的技术并不限定于此，也可以设为在视
点路径p1的中途的位置变更视线方向。例如，可以设为若由所需时间信息74c(参考图8)表示的所需时间为第1阈值(例如，30秒)以上，则虚拟视点图像生成部28c参考位置信息39变更视线方向以在经过所需时间为止的期间使广告牌图像77包含在虚拟视点图像76中。并且，例如可以设为若由经过时间信息74d(参考图8)表示的经过时间为第2阈值(例如，10秒)以上，则虚拟视点图像生成部28c参考位置信息39变更视线方向以在与表示第2阈值以上的经过时间的经过时间信息74d对应的视点的位置使广告牌图像77包含在虚拟视点图像76中。并且，例如可以设为若由移动速度信息74e(参考图8)确定的移动速度为第3阈值(例如，1米/秒)以上，则虚拟视点图像生成部28c参考位置信息39变更视线方向以在与第3阈值以上的移动速度对应的视点的位置使广告牌图像77包含在虚拟视点图像76中。并且，例如可以设为若由视角信息74f(参考图8)确定的视角的每单位时间的变更量为第4阈值(例如，30度)以上，则虚拟视点图像生成部28c参考位置信息39变更视线方向以在每单位时间的变更量成为第4阈值以上的视点的位置使广告牌图像77包含在虚拟视点图像76中。
[0196]
并且，可以设为不仅变更视线方向，而且在变更视线方向的视点的位置还变更在虚拟视点图像76内的广告牌图像77的尺寸。可以设为还变更视角。如此，若在变更视线方向的时刻强调并显示广告牌图像77，则与未强调并显示广告牌图像77的情况相比，能够提高由广告牌图像77向用户14的宣传效果。
[0197]
另外，在上述例中，在虚拟视点图像76中不包含广告牌图像77的情况下，限制视点信息74、使广告牌图像77移动或者变更视点信息74，但是本发明的技术并不限定于此。例如，可以设为在根据由视点信息获取部28b接收的视点信息74确定的区域中不包含由位置信息39确定的位置、即广告牌6的位置的情况下，虚拟视点图像生成部28c变更位置信息39。此时，即使在根据视点信息74确定的区域中不包含由位置信息39确定的位置的情况下，也能够向用户14显示广告牌图像77。另外，其中，例示位置信息39的变更，但是并不限于此，也可以设为代替位置信息39的变更或与位置信息39的变更一起进行广告牌图像77的位置的变更。
[0198]
并且，例如可以设为在由视点信息获取部28b接收的视点信息74和位置信息39满足第1条件的情况下，虚拟视点图像生成部28c变更位置信息39和/或广告牌图像77的位置。
[0199]
其中，作为第1条件的第1例，可以举出在根据由视点信息获取部28b接收的视点信息74确定的区域中仅包含由位置信息39确定的广告牌6的一部分(例如，广告牌6的10％)等条件。并且，作为第1条件的第2例，可以举出在根据由视点信息获取部28b接收的视点信息74确定的区域的特定区域(例如，中央部)中包含由位置信息39确定的广告牌6等条件。
[0200]
在满足作为第1条件的第1例示出的条件的情况下，例如，虚拟视点图像生成部28c变更位置信息39和/或广告牌图像77的位置以使广告牌6的整体包含在根据视点信息74确定的区域中。并且，在满足作为第1条件的第2例示出的条件的情况下，例如，虚拟视点图像生成部28c变更位置信息39和/或广告牌图像77的位置以使广告牌6的整体包含在根据视点信息74确定的区域的端部。
[0201]
如此，在由视点信息获取部28b接收的视点信息74和位置信息39满足第1条件的情况下，根据由虚拟视点图像生成部28c变更位置信息39和/或广告牌图像77的位置等结构，能够根据视点信息74与位置信息39的关系，向用户14显示广告牌图像77。
[0202]
并且，在上述例中，虚拟视点图像生成部28c根据多个摄像图像64和视点信息74来
生成表示从由视点信息74确定的视点观察被摄体时的被摄体的状态的图像即虚拟视点图像76，但是本发明的技术并不限定于此，也可以设为虚拟视点图像生成部28c在与图像处理装置10以能够通信的方式连接的外部装置(例如，服务器)中生成虚拟视点图像76，并从外部装置获取虚拟视点图像76。
[0203]
并且，在上述例中，例示广告牌6，但是本发明的技术并不限定于此，例如也可以为足球选手的衣服(含广告的衣服)、含广告的球囊、含广告的吉祥物、含广告的旗帜和/或由投影仪投影的广告面等对象。也可以为不包含广告的特定的对象(例如，作为商标受到保护的立体的形状物)。
[0204]
并且，在上述例中，举出在虚拟视点图像76中包含广告牌图像77的整体的形式示例进行了说明，但是本发明的技术并不限定于此，只要在虚拟视点图像76中包含广告牌图像77的一部分(例如，一半以上)即可。
[0205]
并且，在上述例中，举出由图像处理装置10的计算机22执行图像生成处理的形式示例进行了说明，但是本发明的技术并不限定于此，也可以设为由用户设备12的计算机40执行图像生成处理，也可以设为由图像处理装置10的计算机22和用户设备12的计算机40进行分散处理。
[0206]
并且，在上述例中，例示计算机22，但是本发明的技术并不限定于此。例如，可以应用包含asic、fpga和/或pld的设备来代替计算机22。并且，可以使用硬件结构及软件结构的组合来代替计算机22。对用户设备12的计算机40也相同。
[0207]
并且，在上述例中，在nvm30中存储有图像生成处理程序38，但是本发明的技术并不限定于此，作为一例，如图24所示，也可以在非临时性存储介质即ssd或usb存储器等任意便携式存储介质300中存储图像生成处理程序38。此时，将存储于存储介质300中的图像生成处理程序38安装于计算机22中，cpu28根据图像生成处理程序38执行图像生成处理。
[0208]
并且，可以设为在经由通信网(省略图示)与计算机22连接的其他计算机或服务器装置等存储器中预先存储图像生成处理程序38，并根据图像处理装置10的要求将图像生成处理程序38下载到图像处理装置10中。此时，由计算机22的cpu28根据所下载的图像生成处理程序38执行图像生成处理。
[0209]
并且，在上述例中，例示cpu28，但是也可以设为代替cpu28或与cpu28一起使用其他至少一个cpu、至少一个gpu和/或至少一个tpu。
[0210]
作为执行图像生成处理的硬件资源，能够使用如下所示的各种处理器。作为处理器，例如，如上所述，可以举出作为根据软件、即程序执行图像生成处理的硬件资源而发挥作用的通用的处理器即cpu。并且，作为其他处理器，例如可以举出fpga、pld或asic等作为具有为了执行专门的处理而专门设计的电路结构的处理器的专用电路。在每个处理器中均内置或连接有存储器，每个处理器均通过使用存储器来执行图像生成处理。
[0211]
执行图像生成处理的硬件资源可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个fpga的组合或cpu与fpga的组合)构成。并且，执行图像生成处理的硬件资源可以为1个处理器。
[0212]
作为由1个处理器构成的例，第1有如下方式：如以客户端及服务器等计算机为代表，由1个以上的cpu和软件的组合构成1个处理器，并由该处理器作为执行图像生成处理的硬件资源而发挥作用。第2有如下方式：如以soc等为代表，使用由1个ic芯片实现包含执行
图像生成处理的多个硬件资源的系统整体的功能的处理器。如此，使用上述各种处理器的1个以上作为硬件资源来实现图像生成处理。
[0213]
而且，作为这些各种处理器的硬件结构，更具体而言，能够使用组合半导体元件等电路元件的电路。
[0214]
并且，上述图像生成处理仅仅是一例。因此，在不脱离主旨的范围内，可以删除不需要的步骤或者追加新的步骤或者替换处理顺序，这是不言而喻的。
[0215]
以上所示的记载内容及图示内容为对本发明的技术所涉及的部分的详细说明，并且仅为本发明的技术的一例。例如，与上述结构、功能、作用及效果相关的说明为与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此，在不脱离本发明的技术的主旨的范围内，对以上所示的记载内容及图示内容，可以删除不需要的部分或者追加新的要素或者替换，这是不言而喻的。并且，为了避免复杂化而容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，在能够实施本发明的技术的基础上省略与不需要特别说明的技术常识等相关的说明。
[0216]
在本说明书中，“a和/或b”与“a及b中的至少一个”的含义相同。即，“a和/或b”为如下含义：可以仅为a，也可以仅为b，也可以为a及b的组合等。并且，在本说明书中，即使在用“和/或”结合表示3个以上的事项的情况下，也应用与“a和/或b”相同的想法。
[0217]
本说明书中所记载的所有文献、日本专利申请及技术标准以与具体地且单独地记载作为参考被编入的每个文献、日本专利申请及技术标准的情况相同的方式作为参考被编入本说明书中。

技术特征：
1.一种图像处理装置，其具备：处理器；及存储器，与所述处理器连接或内置于所述处理器中，所述处理器进行如下处理：获取根据多个摄像图像生成的第1虚拟视点图像；获取视点信息；获取拍入所述摄像图像中的对象的位置信息；及根据所述视点信息及所述位置信息来获取包含表示所述对象的对象图像的第2虚拟视点图像。2.根据权利要求1所述的图像处理装置，其中，所述处理器进行如下处理：通过接收所述视点信息来获取所述视点信息；及通过根据所述位置信息确定所接收的所述视点信息来进行将所述对象图像包含在所述第2虚拟视点图像中的第1控制。3.根据权利要求2所述的图像处理装置，其中，所述视点信息包含所接收的第1视点路径。4.根据权利要求2所述的图像处理装置，其中，所述视点信息为确定由所述第2虚拟视点图像表示的区域的信息，所述处理器通过在由所述位置信息确定的位置包含在所述区域中的范围内接收所述视点信息来获取所述视点信息。5.根据权利要求1所述的图像处理装置，其中，所述处理器在根据所述视点信息确定的区域中不包含由所述位置信息确定的位置的情况下，变更所述位置信息及所述对象图像的位置中的至少一个。6.根据权利要求1所述的图像处理装置，其中，所述处理器在所述视点信息及所述位置信息满足第1条件的情况下，变更所述位置信息及所述对象图像的位置中的至少一个。7.根据权利要求1至6中任一项所述的图像处理装置，其中，所述处理器通过根据所述位置信息使所述对象图像移动来进行将所述对象图像包含在所述第2虚拟视点图像中的第2控制。8.根据权利要求1至7中任一项所述的图像处理装置，其中，所述处理器通过根据所述位置信息变更所述视点信息来进行将所述对象图像包含在所述第2虚拟视点图像中的第3控制。9.根据权利要求8所述的图像处理装置，其中，所述视点信息包含能够确定第2视点路径的起点的位置的起点位置信息、能够确定所述第2视点路径的终点的位置的终点位置信息、能够确定第1视线方向的第1视线方向信息及能够确定视角的视角信息中的至少一个。10.根据权利要求8或9所述的图像处理装置，其中，所述视点信息包含能够确定第2视线方向的第2视线方向信息，所述第3控制包含如下控制：通过作为所述视点信息在第3视点路径的起点的位置及所
述第3视点路径的终点的位置中的至少一个中根据所述位置信息变更所述第2视线方向信息来将所述对象图像包含在所述第2虚拟视点图像中。11.根据权利要求2至4中任一项所述的图像处理装置，其中，所述第2虚拟视点图像包含表示被摄体的第1被摄体图像，所述处理器在所述第2虚拟视点图像内的所述第1被摄体图像的尺寸及位置中的至少一个满足第2条件的范围内进行所述第1控制。12.根据权利要求7所述的图像处理装置，其中，所述处理器根据由所述视点信息生成的第3虚拟视点图像内的表示被摄体的第2被摄体图像的尺寸及位置中的至少一个进行所述第2控制。13.根据权利要求8至10中任一项所述的图像处理装置，其中，所述处理器根据由所述视点信息生成的第3虚拟视点图像内的表示被摄体的第3被摄体图像的尺寸及位置中的至少一个进行所述第3控制。14.根据权利要求2、3、4或11所述的图像处理装置，其中，对所述对象赋予显示的优先顺序，所述处理器在赋予了所述优先顺序的多个所述对象被拍入所述摄像图像中的情况下，根据所述优先顺序进行所述第1控制。15.根据权利要求7或12所述的图像处理装置，其中，对所述对象赋予显示的优先顺序，所述处理器在赋予了所述优先顺序的多个所述对象被拍入所述摄像图像中的情况下，根据所述优先顺序进行所述第2控制。16.根据权利要求8、9、10或13所述的图像处理装置，其中，对所述对象赋予显示的优先顺序，所述处理器在赋予了所述优先顺序的多个所述对象被拍入所述摄像图像中的情况下，根据所述优先顺序进行所述第3控制。17.根据权利要求14至16中任一项所述的图像处理装置，其中，所述优先顺序根据所述对象的属性来确定。18.根据权利要求14至17中任一项所述的图像处理装置，其中，所述处理器根据设定了所述视点信息的用户的属性来确定所述优先顺序。19.根据权利要求14至18中任一项所述的图像处理装置，其中，所述处理器根据由所述多个摄像装置拍摄的摄像对象的状况来确定所述优先顺序。20.根据权利要求1至19中任一项所述的图像处理装置，其中，所述处理器根据所述视点信息及所述位置信息变更所述对象图像的显示状态。21.根据权利要求1至20中任一项所述的图像处理装置，其中，所述处理器在根据所述视点信息确定的时间输出用于使所述第2虚拟视点图像显示在显示器上的数据。22.一种图像处理方法，其包括：获取根据多个摄像图像生成的第1虚拟视点图像的步骤；获取视点信息的步骤；获取拍入所述摄像图像中的对象的位置信息的步骤；以及
根据所述视点信息及所述位置信息来获取包含表示所述对象的对象图像的第2虚拟视点图像的步骤。23.一种程序，其用于使计算机执行处理，所述处理包括如下步骤：获取根据多个摄像图像生成的第1虚拟视点图像的步骤；获取视点信息的步骤；获取拍入所述摄像图像中的对象的位置信息的步骤；以及根据所述视点信息及所述位置信息来获取包含表示所述对象的对象图像的第2虚拟视点图像的步骤。

技术总结
一种图像处理装置，其具备：处理器；及存储器，与处理器连接或内置于处理器中。处理器进行如下处理：获取根据多个摄像图像生成的第1虚拟视点图像，获取视点信息，获取拍入摄像图像中的对象的位置信息，并根据视点信息及位置信息来获取包含表示对象的对象图像的第2虚拟视点图像。视点图像。视点图像。


技术研发人员：宫田真彦 青木贵嗣 村上泰规
受保护的技术使用者：富士胶片株式会社
技术研发日：2022.02.14
技术公布日：2023/10/15