影像传输系统、车辆以及影像传输方法与流程

1.本发明涉及影像的传输。


背景技术：

2.存在用于使影像的传输高效化的技术。与此相关，例如在专利文献1中公开了如下系统：在连接了多个摄像机的系统中，通过对影像信号进行复用，从而进行高效的影像传输。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2005-328479号


技术实现要素：

6.发明要解决的问题
7.本公开的目的在于高效地传输多个影像。
8.用于解决问题的方案
9.本公开的实施方式的一方案是一种影像传输系统，其中，该影像传输系统具有：第一发送器，使用第一影像传输标准，将两个以上的第一影像信号叠加，生成第二影像信号；第二发送器，使用与所述第一影像传输标准不同的第二影像传输标准，将第三影像信号与所述第二影像信号叠加，生成第四影像信号；第一接收器，接收通过单一的线缆传输的所述第四影像信号，将所述第二影像信号与所述第三影像信号分离；以及第二接收器，从所述第二影像信号分离所述两个以上的第一影像信号。
10.本公开的实施方式的一方案是一种车辆，其中，该车辆具有：多个摄像机，对车外的图像进行拍摄；第一装置，使用第一影像传输标准，将两个以上的第一影像信号叠加，生成第二影像信号，并且，使用与所述第一影像传输标准不同的第二影像传输标准，将第三影像信号与所述第二影像信号叠加，生成第四影像信号；以及第二装置，接收通过单一的线缆传输的所述第四影像信号，将所述第二影像信号与所述第三影像信号分离，并且，从所述第二影像信号分离所述两个以上的第一影像信号。
11.另外，作为其他方案，可列举出上述系统、车辆执行的方法、用于使计算机执行该方法的程序、或者非易失性地存储有该程序的计算机可读存储介质。
12.发明效果
13.根据本公开，能够高效地传输多个影像。
附图说明
14.图1是实施方式的车辆系统的概要图。
15.图2是通过gvif将影像信号叠加的系统的概略图。
16.图3是通过mipi将影像信号叠加的系统的概略图。
17.图4是在车辆后退时由车载终端20显示的图像的例子。
18.图5是在第一实施方式中影像传输系统进行的处理的概要图。
19.图6是在ecu10与车载终端20之间传输的影像信号的概略图。
20.图7是概略性地表示车辆100的结构的一例的框图。
21.图8是说明控制部11所具有的功能模块和模块间的数据的流动的图。
22.图9是由车载终端20发送的选择数据的一例。
23.图10是说明控制部21所具有的功能模块和模块间的数据的流动的图。
24.图11是选择摄像机时车载终端20参照的数据的例子。
25.图12是ecu10和车载终端20执行的处理的流程图。
26.图13是第二实施方式中的控制部11的模块结构图。
27.图14是例示设于车辆的摄像机的位置的图。
28.附图标记说明
29.100
…
车辆；10
…
ecu；20
…
车载终端；11、21
…
控制部；12、22
…
存储部；13、23
…
通信部；14
…
影像接口；24
…
输入输出部；30
…
摄像机。
具体实施方式
30.近年来，车载用的摄像机正在增加。作为车载摄像机，例如除了行车记录仪之外，还可列举出后部摄像机、侧部摄像机、自动驾驶用的立体摄像机、驾驶员监视用的摄像机等。图14是例示设于车辆的外部的摄像机的图。如图所示，在车辆中具备多个摄像机，以便能够监视多个方向。这些摄像机与管理影像的电子控制单元(ecu)连接。另外，该电子控制单元与车载装置(导航装置)等连接。
31.在影像的传输中，利用预定的影像传输标准。作为影像传输标准，有gvif(gigabit video interface，千兆视频接口)(注册商标)、mipi(mobile industry processor interface，移动产业处理器接口)(注册商标)这样的标准。
32.影像的传输能够经由收发影像的模块和将模块彼此连接的线缆来进行。然而，若车载的摄像机的数量增加，则存在用于收发影像的模块和线缆的数量增加的问题。
33.作为解决该问题的方法，有叠加传输影像的方法。通过叠加传输影像信号，能够削减在影像的收发中利用的模块、线缆的数量。
34.另一方面，若叠加的影像增加，则需要的硬件增加，有可能导致成本增加。虽然也有能够用单一的硬件叠加多个影像的标准，但需要统一影像的分辨率、帧率，不适合搭载有各种摄像机的车辆。另外，若叠加影像，则也有可能发生比特率的降低等，以画质为代表的影像质量降低。特别是，与安全相关的影像(例如，后部摄像机的影像等)必须满足规定的质量要件，有时不允许影像质量的降低(画质等的降低)。
35.本发明的影像传输系统在确保质量要件的基础上，能够进行多个影像的叠加传输。
36.本公开的一方案是一种影像传输系统。
37.具体而言，具有：第一发送器，使用第一影像传输标准，将两个以上的第一影像信号叠加，生成第二影像信号；第二发送器，使用与所述第一影像传输标准不同的第二影像传输标准，将第三影像信号与所述第二影像信号叠加，生成第四影像信号；第一接收器，接收
通过单一的线缆传输的所述第四影像信号，将所述第二影像信号与所述第三影像信号分离；以及第二接收器，从所述第二影像信号分离所述两个以上的第一影像信号。
38.两个以上的第一影像信号与第三影像信号是经由单一的线缆在不同装置间传输的影像信号。在将影像传输系统应用于车辆的情况下，两个以上的第一影像信号以及第三影像信号也可以是由车载摄像机生成的影像信号。
39.第一发送器将两个以上的第一影像信号叠加，生成第二影像信号。进而，第二发送器对第二影像信号进一步叠加第三影像信号，生成第四影像信号。
40.第一发送器利用的影像传输标准和第二发送器利用的影像传输标准分别是不同的标准。
41.例如，第一发送器使用能够叠加多个影像的第一影像传输标准，将两个以上的第一影像信号叠加。其结果得到的第二影像信号被向第二发送器发送，第二影像信号和第三影像信号被叠加。第二发送器使用第二影像传输标准进行该叠加，生成第四影像信号。
42.第一及第二接收器通过相反的顺序，进行叠加后的影像信号的分离。即，从第四影像信号中，使用第二影像传输标准，将第三影像信号与第二影像信号分离。进而，使用第一影像传输标准，将第二影像信号分离成两个以上的第一影像信号。
43.由此，能够组合不同的多个影像传输标准，进行影像的叠加和分离。
44.如果通过单一的影像传输标准叠加传输影像，则会产生以下这样的问题。
45.·
当传输的影像信号的数量发生变化时，分配给各个影像信号的频带发生变化，因此影像的质量发生变化
46.·
难以使分辨率、帧率不同的影像混合存在
47.另一方面，通过组合不同的多个影像传输标准，能够一边确保影像的质量要件，一边同时传输分辨率、帧率不同的多个影像信号。
48.以下，基于附图对本公开的具体实施方式进行说明。各实施方式中记载的硬件结构、模块结构、功能结构等只要没有特别记载，就不意味着将公开的保护范围仅限定于此。
49.(第一实施方式)
50.参照图1对第一实施方式的车辆系统的概要进行说明。本实施方式的车辆系统构成为包括车辆100。
51.车辆100是搭载有多个摄像机的汽车。作为多个摄像机，例如可列举出后部摄像机、侧部摄像机、行车记录仪用摄像机、自动驾驶用摄像机、驾驶员监视用摄像机等。
52.车辆100也可以是能够从驾驶席监测该车辆的外部的车辆。另外，车辆100也可以是能够进行自动驾驶或半自动驾驶的车辆。车辆100所具有的多个摄像机与ecu10连接。
53.ecu10是对多个摄像机所获取的影像信号进行处理的电子控制单元。ecu10也被称为摄像机ecu。
54.ecu10构成为能够从多个摄像机获取影像信号，能够基于来自其他电子控制单元、车载终端20的请求，选择并提供影像信号。需要说明的是，在图1中例示了单一的ecu，但车辆100也可以构成为包括多个其他ecu。作为其他ecu，例如能够例示发动机ecu、车身ecu、自动驾驶ecu、功率控制ecu等。ecu10既可以仅管理摄像机影像，也可以基于摄像机影像进行其他处理(例如，自动驾驶、驾驶员辅助等)。
55.车载终端20是搭载于车辆100的信息终端。车载终端20也被称为信息娱乐终端，具
有对车辆的乘员提供信息(例如交通信息、路径引导)、娱乐(例如音乐、动画)的功能。车载终端20例如既可以如汽车导航装置那样单独发挥功能，也可以具有与智能手机等协作的功能。
56.另外，车载终端20也可以构成为能够经由通信模块与网络通信。
57.车载终端20构成为能够根据车辆的状态输出摄像机影像。例如，在档位为“倒档”的情况下，车载终端20也可以从ecu10接收与后部摄像机对应的影像，并经由显示器输出。另外，在车辆100的车速低于一定速度且车辆100位于视野差的交叉路口的情况下，车载终端20也可以从ecu10接收与左右的前侧摄像机对应的影像，并经由显示器输出。
58.另外，车载终端20也可以构成为能够基于驾驶员的操作输出摄像机影像。例如，在启动了监测车辆的全方位的功能的情况下，车载终端20也可以从ecu10接收与多个摄像机对应的影像，将其合成，生成俯视车辆100的视点下的影像(以下，称为全方位影像)，并经由显示器输出。
59.在此，对影像的传输中的问题点进行说明。
60.车内的影像的传输(例如，ecu10～车载终端20间的传输)能够使用预定的影像传输标准来进行。例如，若使用作为影像传输标准之一的gvif(gigabit video interface，千兆视频接口)(注册商标)，则能够通过单一的线缆高速地串行传输影像信号。
61.图2的(a)是通过gvif传输影像的系统的概略图。如图所示，传输能够通过利用发送器对影像信号进行串行化(serialize)来进行。被串行化的信号在接收侧(接收器)被解码(反串行化)，由此，影像信号被取出。
62.另一方面，在多个摄像机生成影像信号的情况下，需要将它们汇总传输。例如，是为了生成全方位影像而同时传输与捕捉车辆的外部的多个摄像机对应的影像的情况。作为实现这一点的方法之一，如图2的(b)所示，有设置多个收发影像信号的单元(发送器及接收器)、以及传输线缆的方法。然而，在该方法中，需要与摄像机的个数相应的硬件，花费成本。
63.作为另一方法，如图2的(c)所示，有叠加多个影像信号的方法。在gvif标准所利用的发送器(串行化器)中，具有将影像信号彼此叠加的功能，利用该功能，能够同时传输多个摄像机输出的影像信号。发送器通过时间分割来顺序地发送多个影像信号。叠加的多个影像能够由接收器(反串行化器)分离。
64.需要说明的是，本公开中的叠加是指用于在一个传输路径中顺序地传输多个影像信号的处理。作为这样的处理，例如能够例示出按每1帧切换影像信号的源的处理(frame interleaving，帧交织)、按每1行切换影像信号的源的处理(line interleaving，行交织)。
65.然而，该方法也存在问题。是gvif所利用的发送器在现有的影像信号中只能加入一个影像信号这一点。即，在想要传输由3个摄像机生成的影像信号的情况下，需要3个发送器和3个接收器。即，在成本方面产生问题。
66.另一方面，通过利用作为影像传输标准之一的mipi(mobile industry processor interface，移动产业处理器接口)(注册商标)，也能够叠加多个影像信号。图3是通过mipi叠加影像信号的系统的概略图。例如，已知有将多个(最大4通道)的mipi标准的影像信号转换为串行信号的发送器。
67.然而，在利用该方法的情况下，若同时传输的影像信号的数量增加，则每一个的频带都被压迫，产生质量降低的问题。
68.图4是在车辆后退时由车载终端20显示的图像的例子。在车辆后退时，例如如图4的(a)所示，有时输出与后部摄像机对应的影像。在该情况下，被传输的影像为1种。另一方面，如图4的(b)所示，有时除了与后部摄像机对应的影像之外，还同时传输用于生成全方位影像的多个摄像机影像。在这种情况下，被传输的影像为4种。即，根据图像的显示方法，分配给一个摄像机的频带发生变化。
69.为了确保安全，优选以高优先级传输与后部摄像机对应的影像。然而，在前述的方法中，在显示了全方位影像的情况下，与后部摄像机对应的摄像机影像的频带被压迫。若频带被压迫，则产生帧率降低、画质降低、影像冻结这样的不良情况，有可能在安全上成为问题。
70.进而，在mipi标准中，在使不同的分辨率、帧率的图像叠加的情况下，存在无法进行稳定的传输的问题。即，难以仅对后部摄像机采用高分辨率的摄像机。
71.为了解决该问题，本实施方式中的影像传输系统通过mipi标准的发送器叠加多个摄像机影像，通过gvif标准的发送器进一步对叠加后的影像信号进行叠加。图5是本实施方式中的影像传输系统进行的处理的概要图。另外，图6是说明影像的传输频带的图。
72.在此，影像信号1表示来自前述的后部摄像机的影像信号(即，优先级高的影像信号)。影像信号2～4表示来自其他摄像机(例如，前部摄像机、侧部摄像机等)的影像。
73.在gvif标准中，一个发送器上能够叠加的影像信号最大为2组，因此传输频带如附图标记601和附图标记602那样被分配。即，对于影像信号1(即，来自后部摄像机的影像信号)，能够最低限度地保证附图标记601所示的频带。
74.另外，由于将按照预定的标准(mipi)叠加而得的影像信号进一步按照不同的标准(gvif)叠加，因此能够使分辨率、帧率不同的影像混合存在。
75.接下来，对车辆100所具有的各构成要素进行详细说明。
76.图7是概略地表示图1所示的车辆100的结构的一例的框图。车辆100构成为具有ecu10以及车载终端20。这些构成要素通过传输影像信号的线缆和传输控制信号的线缆相互连接。需要说明的是，在本例中，作为车辆100所具有的构成要素，例示了ecu10以及车载终端20，但在车辆100中也可以搭载发动机ecu、车身ecu等负责车辆的控制的多个电子控制单元。
77.首先，对ecu10进行说明。
78.ecu10是对车载的多个摄像机所获取的影像信号进行处理的电子控制单元。ecu10也被称为摄像机ecu。ecu10基于来自其他电子控制单元、车载终端20的请求，选择并提供影像信号。需要说明的是，在本实施方式中，ecu10仅管理摄像机影像，但也可以使ecu10执行基于摄像机影像的其他处理(例如，自动驾驶、驾驶辅助等)。在该情况下，也可以将ecu10称为adas-ecu等。
79.ecu10构成为具有控制部11、存储部12、通信部13以及影像接口14。
80.控制部11是通过执行预定的程序来实现ecu10的各种功能的运算单元。控制部11例如能够通过cpu等来实现。
81.控制部11基于从外部(典型的是车载终端20)接收到的指令，执行选择并发送由多个摄像机生成的影像信号的处理。例如，在车载终端20请求了显示车辆100的全方位的全景影像的情况下，控制部11选择用于生成该全景影像的摄像机，将对应的影像信号发送到车
载终端20。
82.关于控制部11所执行的处理的详细情况，将在后述。
83.存储部12是包括主存储装置和辅助存储装置的存储装置。在辅助存储装置中储存操作系统(os)、各种程序、各种表等，通过将储存在其中的程序加载到主存储装置中并执行，能够实现如后所述的符合预定的目的的各功能。
84.通信部13是用于连接ecu10和车载终端20的接口单元。在本实施方式中，ecu10和车载终端20通过传输影像的路径和传输控制信号的路径这两个路径连接。作为传输影像的路径，能够例示出双绞线线缆、同轴线缆。在本实施方式中，为了叠加传输多路影像，线缆为一条。另外，作为传输控制信号的路径，能够例示出车载网络。例如，能够通过基于can(controller area network，控制器局域网)的网络、以太网(注册商标)来传输控制信号。需要说明的是，传输控制信号的路径也可以与其他ecu等共用。
85.通信部13是连接它们的接口。通信部13也可以包括用于传输影像的硬件接口和用于传输控制信号的硬件接口(例如can控制器)。
86.影像接口14是用于连接被车载的多个摄像机的接口单元。在本实施方式中，影像接口14从摄像机接收遵循mipi标准(例如，mipi csi-2)的影像信号。
87.摄像机30a～30e是搭载于车辆100的多个摄像机。作为搭载于车辆100的摄像机，能够例示出录像(行车记录仪)用的摄像机、自动驾驶用的摄像机、驾驶员的安全确认用的摄像机、驾驶员监视用的摄像机等。另外，作为摄像机的配置位置，例如能够例示出前部、前侧、侧部、后部等。在图7的例子中，车辆100构成为具有作为后部摄像机的摄像机30a、作为前部摄像机的摄像机30b、作为侧部摄像机的摄像机c～e。后部摄像机30a用作车辆后退时等的安全确认用。前部摄像机30b用作驾驶辅助用、行车记录仪的录像用。侧部摄像机30c～e用作死角的确认用。另外，能够基于这些摄像机获取的影像，生成全方位影像。
88.这些摄像机通过mipi标准(例如，mipi csi-2)而与ecu10连接。
89.接下来，对控制部11的功能进行说明。
90.图8是说明控制部11所具有的功能模块和模块间的数据的流动的图。图示的功能模块能够通过利用cpu等执行存储于rom等存储部件的程序来实现。
91.首先，经由影像接口14获取的多个影像信号被输入到控制部11。在本例中，将来自作为后部摄像机的摄像机30a的影像信号称为第一摄像机信号。另外，将来自摄像机30b～e的影像信号称为第二摄像机信号。在本实施方式中，第一摄像机信号是处理优先级最高的影像信号。这是因为，第一摄像机信号包含捕捉车辆后方的影像，因此应该实时地传输(例如，若在车辆的后退中影像丢帧，则有可能无法捕捉到横穿车辆后方的行人)。与此相比，第二摄像机信号是用于生成辅助性的影像(全方位影像)的信号，因此与第一摄像机信号相比，优先级相对变低。
92.与第一摄像机信号必须向车载终端20发送相比，第二摄像机信号基于来自车载终端20的指示而适当选择。例如，在由车载终端20请求了侧部摄像机的影像的情况下，仅选择来自侧部摄像机的影像信号。
93.影像选择部111从多个第二摄像机信号中选择成为发送的对象的信号。在本实施方式中，车载终端20对影像选择部111发送指定摄像机的数据(图中的“选择数据”)，影像选择部111对此进行响应，进行第二摄像机信号的选择。图9的(a)是选择数据的一例。
94.例如，在车载终端20发送了请求用于生成全方位影像的影像的选择数据的情况下，影像选择部111选择用于生成全方位影像的第二摄像机信号。
95.在本实施方式中，“第一摄像机信号”与“影像选择部111所选择的第二摄像机信号”成为叠加的对象。
96.图像处理部112对作为叠加的对象的多个第二摄像机信号进行调整。例如，图像处理部112对多个第二摄像机信号分别进行使分辨率、帧率一致的处理。例如，在叠加遵循mipi标准的影像信号的情况下，为了使通信速度平滑化，优选使所有的影像信号的分辨率、帧率一致。分辨率既可以通过图像的拉伸、缩小来调整，也可以通过加涂、裁剪等来调整。
97.需要说明的是，图像处理部112进行的处理不限于用于影像信号的叠加的处理。例如，也可以考虑led信号机的发光周期(例如60hz)，进行调整影像的帧率(例如，将30fps的影像信号转换为29fps)的处理。
98.第一叠加部113进行将由影像选择部111选择的多个第二摄像机信号叠加的处理。由此，多个影像信号被转换为包含多个通道的单一的影像信号。需要说明的是，第二摄像机信号的选择以及信号的叠加能够在影像信号的标准内(例如，最大比特率的范围内)自由地实施。转换后的信号例如能够设为csi-2。
99.第二叠加部114进行将由第一叠加部113叠加的影像信号与第一摄像机信号叠加的处理。因此，如图6所示，能够得到具有嵌套结构的影像信号。影像信号1～4遵循mipi标准，第二叠加部114生成的影像信号(附图标记603)遵循gvif标准。
100.由第二叠加部114生成的影像信号向车载终端20发送。
101.接下来，对图7所示的车载终端20进行说明。
102.车载终端20是向车辆100的乘员提供信息的装置，也被称为汽车导航系统、信息娱乐系统、汽车音响主机。车载终端20能够对车辆的乘员进行导航、娱乐的提供。车载终端20也可以具有通过与车辆100的外部网络通信来下载交通信息、道路地图数据、音乐、动态图像等的功能。
103.车载终端20能够由通用的计算机构成。即，车载终端20能够构成为具有cpu、gpu等处理器、ram、rom等主存储装置、eprom、硬盘驱动器、可移动介质等辅助存储装置的计算机。在辅助存储装置中储存有操作系统(os)、各种程序、各种表等，通过执行储存在其中的程序，能够实现后述那样的符合预定的目的的各功能。但是，一部分或者全部的功能也可以通过asic、fpga那样的硬件电路来实现。
104.车载终端20构成为具有控制部21、存储部22、通信部23以及输入输出部24。
105.控制部21是负责车载终端20的控制的部件。控制部21例如由cpu(central processing unit，中央处理器)、gpu(graphics processing unit，图形处理器)等信息处理单元构成。
106.控制部21对车辆的乘员进行信息的提供。作为所提供的信息，例如有交通信息、导航信息、音乐、影像、无线电广播、数字电视广播等。控制部21经由输入输出部24进行信息的输出。
107.并且，控制部21提供利用了车载摄像机的驾驶辅助功能。作为利用车载摄像机的驾驶辅助功能，例如能够例示出在后退时监视车辆的后方的功能、在视野差的交叉路口监视左右的交通状况的功能等。在提供利用车载摄像机的驾驶辅助功能的情况下，控制部21
对ecu10请求影像的发送。控制部21也可以执行基于从ecu10发送的影像信号来生成要输出的图像的处理、生成用户界面画面的处理。
108.关于控制部21所执行的处理的详细情况，将在以后叙述。
109.存储部22是存储信息的部件，由ram、磁盘、闪速存储器等存储介质构成。在存储部22中存储有由控制部21执行的各种程序、该程序所利用的数据等。
110.通信部23是用于连接车载终端20和ecu10的接口单元。通信部23与通信部13同样地，具有与传输影像的路径对应的接口和与传输控制信号的路径对应的接口这两个接口。与传输影像的路径对应的接口例如是双绞线线缆、同轴线缆。传输控制信号的路径所对应的接口例如是can(controller area network，控制器局域网)。
111.输入输出部24是受理用户进行的输入操作并对用户提示信息的部件。具体而言，由触摸面板及其控制部件、液晶显示器及其控制部件构成。触摸面板和液晶显示器在本实施方式中由一个触摸面板显示器构成。另外，输入输出部24也可以具有用于输出声音的扬声器等。
112.接下来，对控制部21的功能进行说明。
113.图10是说明控制部21所具有的功能模块和模块间的数据的流动的图。图示的功能模块能够通过由cpu等执行存储于rom等存储部件的程序来实现。
114.选择部211对ecu10发送用于指定获取影像的摄像机的数据(选择数据)。
115.选择部211基于驾驶员的操作，决定对ecu10请求哪个摄像机的影像。例如，在车辆100后退的情况下，如图4的(a)所例示的那样，有时输出后部摄像机的影像。在该情况下，选择后部摄像机。另外，在车辆100后退的情况下，如图4的(b)所例示的那样，有时输出后部摄像机的影像和全方位影像。在该情况下，选择包括后部摄像机在内的外部监视器用的所有摄像机。
116.所使用的摄像机既可以基于驾驶员的操作来决定，也可以基于车辆100的状态来决定。例如，在档位为“倒车”的情况下，也可以决定后退时使用的摄像机。因此，车载终端20也可以存储将车辆的状态(模式)与所使用的摄像机建立了关联的数据，基于该数据来生成选择数据。选择部211例如能够基于图11所例示的数据来生成选择数据。这样的数据也可以存储于存储部22。
117.第一分离部212经由通信部23接收从ecu10发送的影像信号，将该影像信号分离。如图6所示说明的那样，在ecu10与车载终端20之间收发的影像信号是遵循gvif标准的信号，通过将其分离，能够得到遵循mipi标准的两个影像信号(图6中的附图标记601、602)。分离后的影像信号中的第一摄像机信号(附图标记601)(即，后部摄像机生成的影像信号)被向信息提供部214发送。
118.除第一摄像机信号以外的影像信号(附图标记602)被向第二分离部213发送。
119.第二分离部213对从第一分离部212发送的影像信号进行分离，获取多个第二摄像机信号。多个第二摄像机信号与第一摄像机信号同样地，向信息提供部214发送。
120.信息提供部214基于第一摄像机信号和第二摄像机信号，生成向车辆的乘员(驾驶员)提供的用户界面画面。例如，信息提供部214将摄像机捕捉到的影像嵌入到预定的图形中并输出。此时，也可以叠加表示车辆的位置、预想轨迹等的引导线等。另外，也可以基于多个摄像机捕捉到的影像，进行生成一张图像(全方位影像等)的处理。
121.(处理的流程)
122.图12是ecu10和车载终端20所执行的处理的流程图。
123.首先，在步骤s11中，选择部211决定获取影像的摄像机。本步骤既可以在驾驶员进行了预定的操作的情况下执行，也可以在车辆成为预定的状态的情况下执行。选择部211基于驾驶员的操作或车辆的状态来决定所使用的摄像机，将用于指定该摄像机的数据(选择数据)向ecu10发送。
124.在步骤s12中，ecu10(影像选择部111)基于选择数据来确定获取影像信号的一个以上的摄像机，选择来自该摄像机的影像信号。所选择的影像信号(第二摄像机信号)被交给图像处理部112。
125.接下来，在步骤s13中，图像处理部112进行用于进行影像信号的叠加的预处理。具体而言，对第二摄像机信号进行帧率的转换、分辨率的转换等。需要说明的是，只要是用于叠加多个影像信号的预处理，就可以在本步骤中执行例示的处理以外的处理。需要说明的是，如果没有必要，本步骤也能够省略。图像处理部112进行处理后的第二摄像机信号被交给第一叠加部113。
126.接下来，在步骤s14中，第一叠加部113将输入的多个第二摄像机信号叠加，生成单一的影像信号。
127.接下来，在步骤s15中，第二叠加部114将利用第一叠加部113叠加后的第二摄像机信号与第一摄像机信号叠加。叠加后的影像信号经由用于传输影像的接口发送到车载终端20。
128.在步骤s16中，第一分离部212对接收到的影像信号进行分离，得到第一摄像机信号。分离后的影像信号向第二分离部213发送。在步骤s17中，第二分离部213对接收到的影像信号进行分离，得到第二摄像机信号。第一摄像机信号及第二摄像机信号被向信息提供部214发送。
129.信息提供部214基于接收到的第一摄像机信号和第二摄像机信号，对车辆的乘员进行信息提供。
130.如以上说明的那样，本实施方式的ecu10根据不同的两种影像传输标准，将多个摄像机生成的影像信号多级叠加。由此，能够针对预定的影像信号确保质量要件的同时，叠加传输多个影像信号。另外，对于要求质量的影像信号，能够将分辨率、帧率设定得比其他影像信号高。
131.(第二实施方式)
132.在第一实施方式中，以高优先级传输由后部摄像机生成的影像信号。另一方面，也可以从ecu10的外部指定使哪个影像信号优先(即，将哪个影像信号作为第一摄像机信号来处理)。
133.第二实施方式是从车载终端20对ecu10指示影像信号的优先级的实施方式。
134.图13是第二实施方式中的ecu10(控制部11)的模块结构图。在本实施方式中，与第一实施方式的不同点在于，影像选择部111选择第一摄像机信号以及第二摄像机信号这两者，以及在从车载终端20发送的选择数据中包含优先级的指定。
135.图9的(b)是第二实施方式中的选择数据的例子。如图所示，在本实施方式中，选择数据是将利用的摄像机按每个优先级建立关联的数据。在本例中，示出了优先级最高的摄
像机是后部摄像机的意思。即，第一摄像机信号成为后部摄像机生成的影像信号。第二摄像机信号成为其他摄像机所生成的影像信号。
136.影像选择部111基于该选择数据进行影像信号的选择，并且按每个优先级决定其输出目的地。具体而言，将与优先级最高的摄像机对应的影像信号作为第一摄像机信号发送给第二叠加部114，将其他影像信号作为第二摄像机信号发送给第一叠加部113。
137.以后的处理与第一实施方式是同样的。
138.如以上说明的那样，根据第二实施方式，能够动态地指定影像信号的优先级。由此，例如能够进行在车辆后退的场景中使后部摄像机的影像优先、在车辆汇合的场景中使侧部摄像机的影像优先这样的区分使用。
139.(变形例)
140.上述的实施方式只不过是一个例子，本发明能够在不脱离其主旨的范围内适当变更而实施。
141.例如，在本公开中说明的处理、部件只要不产生技术上的矛盾，就能够自由地组合实施。
142.另外，在实施方式的说明中，设为多个摄像机输出遵循mipi标准的影像信号，但摄像机输出的影像信号也可以遵循其他标准。
143.另外，在实施方式的说明中，设为通过遵循gvif标准的影像信号，进行ecu10与车载终端20间的传输，但装置间的影像的传输也可以利用其他标准。但是，能够采用的标准优选满足以下的条件中的至少一个。
144.(1)是能够对于要叠加传输的至少一个影像信号，保证预定的质量要件的标准。
145.预定的质量要件例如是指实时要件。由此，能够实时地传输第一摄像机信号。
146.(2)是能够对于要叠加传输的至少一个影像信号始终分配预定值以上的频带的标准。
147.由此，例如，能够将预定值以上的频带分配给第一摄像机信号，将剩余的频带分配给第二摄像机信号。
148.(3)是能够多个分辨率和帧率混合存在的标准。
149.另外，作为1个装置所进行的处理而说明的处理也可以由多个装置分担执行。或者，作为不同的装置所进行的处理说明的处理也可以由1个装置执行。在计算机系统中，能够灵活地变更由怎样的硬件结构(服务器结构)实现各功能。
150.本公开也能够通过如下方式实现：向计算机供给安装有在上述实施方式中说明的功能的计算机程序，该计算机所具有的1个以上的处理器读取并执行程序。这样的计算机程序既可以由能够与计算机的系统总线连接的非易失性的计算机可读存储介质向计算机提供，也可以经由网络向计算机提供。非易失性的计算机可读存储介质例如包括磁盘(软盘(注册商标)、硬盘驱动器(hdd)等)、光盘(cd-rom、dvd盘、蓝光光盘等)等任意的类型的盘、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁卡、闪速存储器、光卡、适于储存电子指令的任意的类型的介质。

技术特征：
1.一种影像传输系统，其中，该影像传输系统具有：第一发送器，使用第一影像传输标准，将两个以上的第一影像信号叠加，生成第二影像信号；第二发送器，使用与所述第一影像传输标准不同的第二影像传输标准，将第三影像信号与所述第二影像信号叠加，生成第四影像信号；第一接收器，接收通过单一的线缆传输的所述第四影像信号，将所述第二影像信号与所述第三影像信号分离；以及第二接收器，从所述第二影像信号分离所述两个以上的第一影像信号。2.根据权利要求1所述的影像传输系统，其中，所述第三影像信号是要求预定的质量要件的影像信号。3.根据权利要求2所述的影像传输系统，其中，所述预定的质量要件是实时要件。4.根据权利要求1～3中任一项所述的影像传输系统，其中，所述第二影像传输标准是能够对叠加传输的至少一个影像信号保证预定的质量要件的标准。5.根据权利要求1～3中任一项所述的影像传输系统，其中，所述第二影像传输标准是能够对所述第三影像信号分配预定值以上的频带的标准。6.根据权利要求1～3中任一项所述的影像传输系统，其中，对所述第三影像信号分配预定值的频带，对包含所述两个以上的所述第一影像信号的所述第二影像信号分配剩余的频带。7.根据权利要求6所述的影像传输系统，其中，所述第三影像信号是单一的影像信号，所述第二影像信号所包含的所述第一影像信号的数量基于来自外部的指定而决定。8.根据权利要求1所述的影像传输系统，其中，所述第一影像信号和所述第三影像信号是由对车辆的外部进行拍摄的摄像机生成的影像信号。9.根据权利要求8所述的影像传输系统，其中，所述第三影像信号是由后部摄像机生成的影像信号，所述第一影像信号是由配置在后部以外的摄像机生成的影像信号。10.根据权利要求8或9所述的影像传输系统，其中，搭载于所述车辆的预定的电子控制单元具有所述第一发送器和所述第二发送器。11.根据权利要求10所述的影像传输系统，其中，搭载于所述车辆的车载终端具有所述第一接收器和所述第二接收器。12.根据权利要求11所述的影像传输系统，其中，所述车载终端对所述电子控制单元发送指定生成所述第一影像信号的两个以上的摄像机的第一数据，所述电子控制单元所具有的所述第一发送器将由所述第一数据指定的两个以上的摄像机所生成的所述第一影像信号叠加。13.一种车辆，其中，该车辆具有：
多个摄像机，对车外的图像进行拍摄；第一装置，使用第一影像传输标准，将两个以上的第一影像信号叠加，生成第二影像信号，并且，使用与所述第一影像传输标准不同的第二影像传输标准，将第三影像信号与所述第二影像信号叠加，生成第四影像信号；以及第二装置，接收通过单一的线缆传输的所述第四影像信号，将所述第二影像信号与所述第三影像信号分离，并且，从所述第二影像信号分离所述两个以上的第一影像信号。14.根据权利要求13所述的车辆，其中，所述第一装置是管理所述多个摄像机的电子控制单元，所述第二装置是车载终端。15.根据权利要求13所述的车辆，其中，所述第三影像信号是要求预定的质量要件的影像信号。16.根据权利要求15所述的车辆，其中，所述预定的质量要件是实时要件，所述第三影像信号是由后部摄像机生成的影像信号。17.根据权利要求15或16所述的车辆，其中，所述第二影像传输标准是能够对叠加传输的至少一个影像信号保证所述预定的质量要件的标准。18.根据权利要求15或16所述的车辆，其中，所述第二影像传输标准是能够对所述第三影像信号分配预定值以上的频带的标准。19.一种影像传输方法，其中，该影像传输方法包括：第一步骤，在该第一步骤中，使用第一影像传输标准，将两个以上的第一影像信号叠加，生成第二影像信号；第二步骤，在该第二步骤中，使用与所述第一影像传输标准不同的第二影像传输标准，将第三影像信号与所述第二影像信号叠加，生成第四影像信号；第三步骤，在该第三步骤中，通过单一的线缆发送所述第四影像信号；第四步骤，在该第四步骤中，接收所述第四影像信号，将所述第二影像信号与所述第三影像信号分离；以及第五步骤，在该第五步骤中，从所述第二影像信号分离所述两个以上的第一影像信号。20.根据权利要求19所述的影像传输方法，其中，还包括同时输出所述分离后的第三影像信号和所述分离后的所述两个以上的第一影像信号的步骤。

技术总结
本发明涉及影像传输系统、车辆以及影像传输方法。高效地传输多个影像。在影像传输系统中设置：第一发送器，使用第一影像传输标准，将两个以上的第一影像信号叠加，生成第二影像信号；第二发送器，使用与所述第一影像传输标准不同的第二影像传输标准，将第三影像信号和所述第二影像信号叠加，生成第四影像信号；第一接收器，接收通过单一的线缆传输的所述第四影像信号，将所述第二影像信号与所述第三影像信号分离；以及第二接收器，从所述第二影像信号分离所述两个以上的第一影像信号。分离所述两个以上的第一影像信号。分离所述两个以上的第一影像信号。


技术研发人员：羽鸟贵之
受保护的技术使用者：丰田自动车株式会社
技术研发日：2023.03.22
技术公布日：2023/9/26