车载相机的故障检测方法及相关装置与流程

1.本公开涉及智能驾驶技术领域，具体涉及自动驾驶、故障检测等技术领域，尤其涉及车载相机的故障检测方法、装置、电子设备、存储介质以及自动驾驶车辆。


背景技术：

2.车辆的正常行驶依赖于车载相机等外部传感器。如果车载相机出现故障后未得到及时的修复，则车辆在行驶过程中缺少视觉信息，有可能会对驾驶行为造成安全隐患。而目前针对车载相机故障的有效检测方法还尚未成熟。


技术实现要素：

3.本公开提供了车载相机的故障检测方法、装置、电子设备、存储介质以及自动驾驶车辆。
4.根据本公开的一方面，提供了一种车载相机的故障检测方法，包括：
5.在基于车载相机辅助驾驶的情况下，获取车载相机的故障信息；
6.从故障信息中解析出目标故障类型的累积故障量；
7.基于累积故障量，对车载相机的相机链路进行故障检测，得到相机链路产生故障的风险等级。
8.根据本公开的另一方面，提供了一种车载相机的故障检测装置，包括：
9.获取模块，用于在基于车载相机辅助驾驶的情况下，获取车载相机的故障信息；
10.解析模块，用于从故障信息中解析出目标故障类型的累积故障量；
11.检测模块，用于基于累积故障量，对车载相机的相机链路进行故障检测，得到相机链路产生故障的风险等级。
12.根据本公开的另一方面，提供了一种电子设备，包括：
13.至少一个处理器；以及
14.与该至少一个处理器通信连接的存储器；其中，
15.该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
16.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
17.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
18.根据本公开的另一方面，提供了一种自动驾驶车辆，包括前述的电子设备。
19.本公开实施例中，在车载相机辅助驾驶的情况下，对车载相机的相机链路实时进行故障检测，提前识别潜在风险，能够尽早发现相机链路故障，为及时有效地应对相机链路故障提供了可能，有利于规避车辆行驶过程中产生的安全隐患，有利于提升车辆行驶的安全性和可靠性。
20.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
21.附图用于更好地理解本方案，不构成对本公开的限定。其中：
22.图1是根据本公开一实施例中车载相机部署示意图；
23.图2是根据本公开另一实施例中车载相机的故障检测方法的流程示意图；
24.图3是根据本公开另一实施例中相机端口物理映射示意图；
25.图4是根据本公开另一实施例中链路变化检测示意图；
26.图5是根据本公开另一实施例中丢帧/坏帧检测示意图；
27.图6是根据本公开另一实施例中相机链路的整体风险预警模式示意图；
28.图7是根据本公开另一实施例中数据处理流向示意图；
29.图8是根据本公开一实施例中车载相机的故障检测装置的结构示意图；
30.图9是用来实现本公开实施例的车载相机的故障检测方法的电子设备的框图。
具体实施方式
31.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
32.车辆正常行驶过程中，传感器是其必不可少的功能器件，车辆传感器包括车载相机、激光雷达、毫米波雷达、高精地图等。其中，车载相机是通过相机链路，将车身不同方位的相机(即车载相机)连接至车载计算单元，从而完成图像信息的实时感知和处理。车载相机部署在车身的各个方位，如图1所示，为车载相机部署示意图。图1中，车辆一般包括前视相机、后视相机和侧方相机。其中，前视相机用于前方路况的图像采集，例如红绿灯、障碍物等的识别。侧方相机通常又分为左前侧相机、左侧相机、左后侧相机，右前侧相机、右侧相机、右后侧相机，用于车辆侧边障碍物的识别，包括用于转弯、超车等行为的计算和决策。后视相机用于后方路况的识别，例如对后方车辆检测或倒车辅助的识别。计算单元目前大多部署于车辆的后备箱位置。
33.相关技术中，大多只将车载相机作为其中一种传感器，与其他传感器进行感知融合和故障冗余，共同辅助车辆的行驶。故障冗余是应对所产生的相机链路故障的策略，即一旦某车载相机的相机链路出现故障后，将使用冗余的其他传感器(包括其他正常的车载相机)继续顶替该故障车载相机执行其任务，以保证驾驶行为的流畅进行。
34.但故障冗余方案可能需要在部署传感器的过程中额外配置冗余相机，会提升硬件成本。且如果某方位的相机出现故障失效，需要通过其他方位的相机的感知信息进行算法冗余。而由此执行的安全策略可能因为缺失故障相机的视觉信息，导致安全策略缺少完整性和健全性，存在一定的事故风险。此外，如果由于车辆的某路或多路相机故障，严重影响到驾驶行为的进行，车辆可能做出刹车或靠边停车等临时策略，在拥塞的路况或高速行驶过程中可能会造成道路风险，容易引发交通事故。由此可见，采用故障冗余应对相机链路故
障的方案可靠性有待提升。
35.车载相机出现故障，可能是车载相机本身出现了故障，也可能是连接车载相机的相机链路出现了故障。由于当车载相机本身出现故障时，能够通过检查立即发现故障从而修复故障。对于相机链路，受道路环境的影响，车辆行驶过程中会出现一定程度的颠簸震动，长此以往，将会对相机链路造成一定的影响。例如会影响相机链路传输的信号的完整性，造成车载相机采集的图像丢帧或坏帧，从而影响驾驶行为的正常进行。
36.而相机链路的故障可能在初发阶段不易被发现，随着相机链路故障的逐步累积，相机的视觉信息回传功能可能会在车辆行驶过程中突然瘫痪，对车辆行驶造成不可估量的风险。所以车辆行驶过程中，为了确保车辆能够及时获取到所需的视觉信息，避免产生安全隐患，对于相机链路的要求很高。尤其在自动驾驶车辆行驶过程中，对于相机链路的稳定性要求更高。例如，自动驾驶通常要求通过车载相机通过相机链路回传的帧率为10fps(frame per second，每秒帧数)或15fps，即每秒回传10帧或15帧图像信息，还要求相机链路的通信速率为6gbps(gigabit per second，千兆比特每秒)甚至更高。
37.有鉴于此，如果能够尽早发现相机链路故障，就能够及时有效地对出现故障的相机链路进行检修和处理，保证车辆驾驶过程的正常进行，可以很大程度避免车辆行驶过程中产生安全隐患。基于此技术构思，本公开实施例提供了一种车载相机的故障检测方法。
38.如图2所示，为本公开实施例中车载相机的故障检测方法的流程示意图，包括：
39.s201，在基于车载相机辅助驾驶的情况下，获取车载相机的故障信息。
40.其中，基于车载相机辅助驾驶指的是，在车辆启动后的正常运行过程中，由车载相机提供驾驶过程中所需的周围环境的图像信息。图像信息可提供给驾驶人员作为参考信息，用于做出驾驶决策。在自动驾驶中，图像信息用于供自动驾驶系统做出驾驶决策。
41.s202，从故障信息中解析出目标故障类型的累积故障量。
42.s203，基于累积故障量，对车载相机的相机链路进行故障检测，得到相机链路产生故障的风险等级。
43.其中，相机链路可包括fpd-link(flat panel display link，平板显示链路)和gmsl(gigabit multimedia serial links，千兆位多媒体串行链路)。也可以包括采用其他方式连接的相机链路，本公开对相机链路的连接方式不做具体限定。
44.本公开实施例中，在车载相机辅助驾驶的情况下，对车载相机的相机链路实时进行故障检测，提前识别潜在风险，能够尽早发现相机链路故障，为及时有效地应对相机链路故障提供了可能，有利于规避车辆行驶过程中产生的安全隐患，有利于提升车辆行驶的安全性和可靠性。
45.当相机链路产生故障的风险等级较低时，不需要对相机链路故障进行响应和相关处理，只有在产生故障的风险等级较高时，需要明确出现故障的相机链路。在一些实施例中，可以采用相机标识表示出现故障的相机链路。
46.在另一些实施例中，也可以采用相机的物理端口来表示出现故障的相机链路。例如，在风险等级为指定等级的情况下可以确定产生故障的风险等级较高，可基于车载相机的相机标识与物理端口之间的映射关系，确定车载相机的物理端口。
47.其中，车载相机的相机标识与车载相机的物理端口具有一一对应的映射关系。图3为本公开实施例中相机端口物理映射示意图，如图3所示，车辆全方位安装n个相机，依次分
布在车辆的车头、车身侧方和车尾。这n个相机的相机标识分别为vid-1
…
vid-n，物理端口的编号分别为p1-pn。对任意车辆，该映射关系都是既定的，因此基于相机标识可以很快确定出对应的物理端口，以便于采用物理端口表示故障相机的相机链路。
48.本公开实施例中，由于车载相机的相机标识是针对驱动代码和算法的编号，是为了方便算法的计算处理，但不能直接通过相机标识确定发生故障的具体位置。而通过相机标识与车载相机的物理端口之间一一对应的映射关系，能够在获得存在故障风险的车载相机的相机标识的同时，确定与该相机标识对应的唯一物理端口，提高了确定相机链路的时效性。由此便于运维人员能够准确找到故障的物理端口或相机链路的物理实体位置，直接输出反馈物理端口对运维行为更为友好，有利于确保运维人员维护、检修等行为的正确性。
49.其中，相机链路存在潜在的故障风险时，会有一定的表现，例如会丢帧、坏帧或发生链路变化。其中：
50.丢帧指的是车载相机无法正常地连续采集图像信息，或无法通过相机链路连续地获取车载相机所采集到的图像信息。
51.坏帧指的是获取到的图像信息受损，从而无法进一步地对获取到的图像信息进行正常解析和处理。
52.丢帧和坏帧都将影响到车载相机图像回传的完整性。如15fps的相机，每秒需要回传15张图像采集信息，但由于相机链路故障，会造成丢帧或坏帧，使得车辆中的计算单元无法接收到连续有效的图像数据，进而影响到自动驾驶计算的准确性和车辆行为的安全性。
53.链路变化指的是，相机的解串器对于回传信号的解析出现采样失锁，使车载相机无法正常对齐所采集的图像数据流，从而无法正确地解析出车辆正常行驶所需的必要数据。
54.需要说明的是，偶然发生的链路变化基本能够自动修复，不会影响驾驶安全，但链路变化的累积会导致相机出现连续或大量的采样失锁，从而也会造成图像采集的丢帧或坏帧，最终影响驾驶安全。
55.因此，实施时，本公开实施例中可以基于以上的表现对相机链路进行检测。可定义目标故障类型为故障类型集合中的故障类型，该故障类型集合包括以下中的至少一种：链路变化、丢帧、坏帧。也即，本公开实施例中可以对链路变化、丢帧、坏帧中的至少一种目标故障类型进行检测。
56.本公开实施例中，基于链路变化、丢帧、坏帧，对可能发生的相机链路故障进行检测，能够及时发现可能出现故障的相机链路，进而减轻相机链路故障带来的风险或消除相应相机链路故障，有利于提高车辆行驶过程中的安全性和可靠性。
57.下面针对不同的故障类型进行检测的方式进行说明。
58.1)基于链路变化检测相机链路
59.在一些实施例中，基于累积故障量，对车载相机的相机链路进行故障检测，得到相机链路产生故障的风险等级，包括：
60.a1，在目标故障类型为链路变化的情况下，将链路变化的累积故障量与上限阈值以及下限阈值进行对比，得到第一对比结果。
61.a2，基于第一对比结果确定风险等级。
62.本公开实施例在车辆硬件系统运行的全过程中，都将对车载相机的链路变化信息
进行实时的监控和检测，如果发现出现了链路变化的故障信息，将对链路变化的累积故障量追加计数，并更新相应的累积故障量。图4为本公开实施例中链路变化检测示意图，如图4所示，例如，某车载相机的链路变化发生了m次，则累积故障量为m；既定的上限阈值为j，下限阈值为k(m、k、j均为正整数)，将m分别与k和j进行对比，可以确定m所属的风险区间，从而能够确定m所对应的风险等级。
63.此外，随着不同产品的迭代和相关算法能力的逐步提升，可随时对上限阈值及下限阈值进行相应调整和优化。目的在于能够依据上限阈值及下限阈值，实现对故障风险更加高效准确的判断，提升车辆的风险识别能力。
64.本公开实施例中，将链路变化的累积故障量与上限阈值以及下限阈值进行对比，得到第一对比结果并确定风险等级。有利于实现对相机所产生的故障问题进行高效准确的判断和分级处理，有利于提升车辆的风险识别能力。还有利于后续针对不同的风险等级精准实施应对策略，以便于及时准确地处置不同风险等级所对应的相机链路故障。
65.在一些实施例中，上述基于第一对比结果确定风险等级，可实施为：
66.(1)在链路变化的累积故障量小于等于下限阈值的情况下，确定风险等级为低风险。
67.(2)在链路变化的累积故障量大于下限阈值且小于等于上限阈值的情况下，确定风险等级为中风险。
68.(3)在链路变化的累积故障量大于上限阈值的情况下，确定风险等级为高风险。
69.如图4所示，当m≤k时，可以认为该车载相机出现了低风险故障，不需要进行进一步的响应和处理，忽略风险或等待相机链路自行恢复正常即可。当k＜m≤j时，此时存在一定的风险累积为中风险，需要进一步解析出现相机标识与物理端口之间的对应关系，即直接进入图3所示的物理映射解析环节，以确定目标故障类型对应的相机链路，并对该相机链路进行运维和修复。当m＞j时，风险等级提升，为高风险，可以直接进入图3所示的物理映射解析环节，以对该相机链路尽快进行运维和修复。
70.例如，vid表示相机标识，实施时可采用相机的驱动标识来表示相机标识，上限阈值为30，下限阈值为10。获取的故障信息显示vid 3的链路变化累积故障量为1次，小于下限阈值，将其定位为低风险等级不予处理。而vid 5的链路变化累积故障量从15:23:51至15:48:58累积到了50次，可以定位为中风险等级，此时需要针对该风险对车载相机进行相关处理。利用车载相机的相机标识与物理端口之间的映射关系进行识别，进而确定vid5为右前侧相机的相机链路，则需要及时对该右前侧相机的相机链路进行进一步的检测及修复，以确保车辆能够继续安全行驶。
71.前述实施例中，将链路变化对应的风险等级划分为低、中、高3个等级，实施时，可以根据实际需求设定与累积故障量进行比对的阈值数量，划分的风险等级可以大于3个，也可以小于3个。
72.本公开实施例中，基于第一对比结果确定风险等级，有利于基于链路变化的累积故障量来及时有效地识别相机链路风险，从而为后续针对相应的风险等级制定相应策略并进行相关处理提供了可能，有利于提升车辆行驶的安全性和可靠性。
73.2)基于丢帧或坏帧检测相机链路
74.本公开实施例中丢帧为一种故障类型，坏帧为另一种故障类型。丢帧和坏帧需要
单独进行累积，并单独用于对相机链路故障进行检测。
75.在一些实施例中，基于累积故障量，对车载相机的相机链路进行故障检测，得到相机链路产生故障的风险等级，包括：
76.b1，在目标故障类型为丢帧或坏帧的情况下，将目标故障类型的累积故障量与目标阈值进行对比，得到第二对比结果。
77.b2，基于第二对比结果确定风险等级。
78.本公开实施例在车辆运行的全过程中，需要实时地分别检测丢帧和坏帧的累积故障量。如果发现出现了丢帧或坏帧的故障信息，将分别追加计数，并更新相应的丢帧或坏帧的累积故障量。图5为本公开实施例中丢帧/坏帧检测示意图，如图5所示，例如，以丢帧为例，某车载相机的丢帧发生了n次，则累积故障量为n；既定的目标阈值为q，将n与q进行对比，可以确定n所属的风险区间，从而能够确定n所对应的风险等级。
79.同理，随着不同产品的迭代和相关算法能力的逐步提升，可随时对目标阈值进行相应的调整和优化。目的在于能够依据目标阈值实现对故障风险更加高效准确的判断，提升车辆的风险识别能力。
80.本公开实施例中，将丢帧或坏帧的累积故障量与目标阈值进行对比，得到第二对比结果并确定风险等级。有利于实现对相机所产生的故障问题进行高效准确的判断和分级处理，有利于提升车辆的风险识别能力。还有利于后续针对不同的风险等级精准实施应对策略，以便于及时准确地处置不同风险等级所对应的相机链路故障。
81.在一些实施例中，上述基于第二对比结果确定风险等级，包括：
82.在目标故障类型的累积故障量小于等于目标阈值的情况下，确定风险等级为中风险。
83.由于在目标故障类型为丢帧或坏帧时，比链路变化所带来的不良影响要更加严重，因此本公开实施例中实行单阈值比较法。如图5所示，当n≤q时，表示此时的风险等级为中风险，可以直接进入图5所示的物理映射解析环节，以确定目标故障类型对应的相机链路，并对该相机链路进行运维和修复。
84.例如，目标阈值为25，相机vid 8有丢帧发生，获取的故障信息显示vid8的丢帧累积故障量为14次，小于目标阈值，将其定位为中风险等级，此时需要针对该风险进行修复处理。利用车载相机的相机标识与物理端口之间的映射关系进行识别，确定vid 8为左后侧相机，则需要及时对该左后侧相机的相机链路进行进一步的检测及修复，以确保车辆能够继续安全行驶。
85.本公开实施例中，基于第二对比结果确定风险等级，有利于基于丢帧或坏帧的累积故障量来及时有效地识别相机链路风险，从而为后续针对相应的风险等级进行相关处理提供了可能，有利于提升车辆行驶的安全性和可靠性。
86.在一些实施例中，在目标故障类型的累积故障量大于目标阈值的情况下，可以确定风险等级为高风险。
87.此外，为了能够更加准确的识别出风险等级，本公开实施例中，在目标故障类型的累积故障量大于目标阈值的情况下，还可以基于故障发生速率确定出合理的风险等级，可实施为：
88.c1，在目标故障类型的累积故障量大于目标阈值的情况下，计算目标故障类型的
发生速率。
89.c2，将发生速率与速率阈值进行对比，得到第三对比结果。
90.c3，基于第三对比结果确定风险等级。
91.本公开实施例在车辆运行的全过程中，都将对车载相机目标故障类型的累积故障量和故障发生时间进行实时的监控和检测，如果发现目标故障类型为丢帧或坏帧，将分别追加计数，以更新相应相机丢帧或坏帧的累积故障量。如图5所示，当丢帧或坏帧的累积故障量n大于目标阈值q时，则进入目标故障类型的发生速率计算环节。由于丢帧和坏帧的处理方式相同，这里以丢帧为例对目标故障类型的发生速率进行说明。
92.该环节将取最近时间段内两次丢帧的累积数进行差运算，即n2-n1(n2时刻为丢帧的最新时刻，n1时刻为上一次的丢帧时刻)，得到时间间隔t。并结合最近两次丢帧时刻t2和t1，求解出该段时间内丢帧的发生速率t1，求解出该段时间内丢帧的发生速率可以理解为瞬时丢帧速率。进一步地，将发生速率与既定速率阈值s做比较，可以确定v所属的风险区间，从而能够确定出风险等级。
93.同理，随着不同产品的迭代和相关算法能力的逐步提升，可随时对速率阈值进行相应调整和优化。目的在于能够依据速率阈值，实现对故障风险更加高效准确的判断，提升车辆的风险识别能力。
94.本公开实施例中，在目标故障类型的累积故障量大于目标阈值的情况下，进一步计算目标故障类型的发生速率，细化了风险等级的划分标准，有利于实现对相机链路故障，进行更加高效准确的判断和分级处理。将目标故障类型的发生速率与目标阈值进行对比，得到第三对比结果并确定风险等级。有利于提升车辆的风险识别能力。还有利于后续针对不同的风险等级精准实施应对策略，以便于及时准确地处置不同风险等级所对应的相机链路故障。
95.在一些实施例中，上述基于第三对比结果确定风险等级，包括：
96.(1)在发生速率小于等于速率阈值的情况下，确定风险等级为中风险。
97.(2)在发生速率大于速率阈值的情况下，确定风险等级为高风险。
98.如图5所示，当q《n且v≤s时，表示此时的风险等级为中风险，可以直接进入图3所示的物理映射解析环节，以确定目标故障类型对应的物理相机，并对该相机链路进行运维和修复。当s《v时，表示此时的风险等级为高风险，可以直接进入图3所示的物理映射解析环节，以对该相机链路尽快进行运维和修复。
99.例如，目标阈值为25，速率阈值为3，相机vid 7的坏帧累积量为28，由于28大于25所以需要确定坏帧的发生速率。假设从13:14:08至13:14:10的2秒内，坏帧的累积故障量从12增至19，可计算出瞬时坏帧率(即坏帧的发生速率)约3.5帧/秒。对于15fps相机来说，3.5帧/秒的坏帧率较高，因此可将该风险确定为高风险等级进行相应处理。利用车载相机的相机标识与物理端口之间的映射关系进行识别，确定vid 7为右后侧相机，则需要及时对该右后侧相机进行进一步的检测及修复，以确保车辆能够继续安全行驶。
100.本公开实施例中，基于第三对比结果确定风险等级，有利于基于相机链路的故障发生速率来更加准确有效地识别相机链路风险，从而为后续针对相应的风险等级进行相关处理提供了可能，有利于提升车辆行驶的安全性和可靠性。
101.本公开实施例中，可以采用不同的方式来获取车载相机的故障信息。
102.在一些实施例中，可以直接从目标故障类型的寄存器中读取出当前周期内目标故障类型的产生次数，并将该产生次数累加到历史产生次数中，以得到目标故障类型的故障信息。其中，每种故障类型可分别对应一个寄存器。该寄存器中存储了一个周期内相应故障类型的发生次数。可周期性的读取该寄存器中的数值进行加运算，最终生成故障信息，该故障信息中包含车载相机的相机标识和累积故障量。
103.在另一些实施例中，还可以从车辆的故障日志中获取车载相机的故障信息。其中，需要先基于前述的故障信息生成故障日志。例如，故障信息为“mar 2 15:48:58:vid5:warning！link change,50”，其中“mar 215:48:58”表示产生的故障信息的日期和时间，“vid5:warning！”表示相机标识为5的物理相机存在故障，“link change,50”表示目标故障类型为链路变化，且累积故障量为50。该种故障信息获取方式下，可以在生成故障日志的同时，对需要落日志的故障信息进行解析和风险等级判断；也可以在生成故障日志之后，再对故障日志中的故障信息进行解析和风险等级判断，适用于不严格要求解析故障记录和判断风险等级的时效性的故障检测需求。对故障日志进行解析时，只需检索故障日志中的关键字，以实现后续对相应的累积故障量进行更新，而不需要依次解析故障日志中每条故障信息的所有内容。
104.本公开实施例中，采用多种方式来获取车载相机的故障信息，有利于从多种途径获取故障信息，以便于在其中一种获取方式不可行的情况下，提供备选获取方案，以保证在大多数情况下都能顺利实现车载相机的故障信息的获取，有利于基于获取到的车载相机的故障信息进行后续的相关处理，有利于确保车辆行驶的安全性和可靠性。
105.对上述实施方式进行归纳可表示为图6所示。图6为本公开实施例中相机链路的整体风险预警模式示意图。如图6所示，当相机链路故障为链路变化时，链路变化偶发为低风险；链路变化累积超过下限阈值时为中风险；链路变化累积超过上限阈值时为高风险。当相机链路故障为丢帧/坏帧时，丢帧/坏帧偶发为中风险；丢帧/坏帧累积超过速率阈值为高风险。
106.在一些实施例中，在风险等级为中风险或高风险时，需要输出预警信息。其中，预警信息至少包含能反映风险等级以及风险所对应的物理相机的定位信息，例如“高风险，左前侧相机”或“高风险，物理端口1对应的车载相机”。该预警信息能够提醒运维人员有针对性地完成相机硬件链路的检测和维护，以避免故障进一步累积造成严重的问题或事故。
107.本公开实施例中，通过及时输出预警信息，准确有效地反映相机链路存在的较高故障风险，以便于能够尽早应对和处置相机链路故障，有利于规避车辆行驶过程中的潜在风险，有利于提升车辆行驶的安全性和可靠性。
108.为了便于更好地理解本公开提出的车载相机的故障检测方法，下面结合图7对车载相机的故障检测方法实施基础和数据处理流程进行说明。如图7所示，首先，车辆linux系统中的计算单元，从寄存器或内核的故障日志中获取故障信息并解析，从而针对目标故障类型得到累积故障量，进而评估风险等级。将风险等级评估结果传输给车载显示设备和/或云端，提醒运营维护人员及时处理相应故障，消除潜在风险。其中，风险等级评估结果可通过车身can(controller area network，控制器局域网)总线或车载以太网，将相应相机链路、风险等级等信息显示或记录在车载中控，运维人员可以调取该信息，以实施针对性的硬
件检测和维护。类似地，还可以通过车载5g或4g网络将预警信息实时回传到云端，以便于第一时间通知运营维护人员及时处理车辆的相机链路风险。
109.基于相同的技术构思，本公开实施例还提供一种车载相机的故障检测装置800，如图8所示，该装置包括：
110.获取模块801，用于在基于车载相机辅助驾驶的情况下，获取车载相机的故障信息；
111.解析模块802，用于从故障信息中解析出目标故障类型的累积故障量；
112.检测模块803，用于基于累积故障量，对车载相机的相机链路进行故障检测，得到相机链路产生故障的风险等级。
113.在一些实施例中，车载相机的故障检测装置800，还包括：
114.映射模块，用于在风险等级为指定等级的情况下，基于车载相机的相机标识与物理端口之间的映射关系，确定车载相机的物理端口。
115.在一些实施例中，目标故障类型为故障类型集合中的故障类型，故障类型集合包括以下中的至少一种：链路变化、丢帧、坏帧。
116.在一些实施例中，检测模块，包括：
117.第一对比单元，用于在目标故障类型为链路变化的情况下，将链路变化的累积故障量与上限阈值以及下限阈值进行对比，得到第一对比结果；
118.第一分级单元，用于基于第一对比结果确定风险等级。
119.在一些实施例中，第一分级单元，用于：
120.在链路变化的累积故障量小于等于下限阈值的情况下，确定风险等级为低风险；
121.在链路变化的累积故障量大于下限阈值且小于等于上限阈值的情况下，确定风险等级为中风险；
122.在链路变化的累积故障量大于上限阈值的情况下，确定风险等级为高风险。
123.在一些实施例中，检测模块，包括：
124.第二对比单元，用于在目标故障类型为丢帧或坏帧的情况下，将目标故障类型的累积故障量与目标阈值进行对比，得到第二对比结果；
125.第二分级单元，用于基于第二对比结果确定风险等级。
126.在一些实施例中，第二分级单元，用于：
127.在目标故障类型的累积故障量小于等于目标阈值的情况下，确定风险等级为中风险。
128.在一些实施例中，第二分级单元，包括：
129.计算子单元，用于在目标故障类型的累积故障量大于目标阈值的情况下，计算目标故障类型的发生速率；
130.对比子单元，用于将发生速率与速率阈值进行对比，得到第三对比结果；
131.分级子单元，用于基于第三对比结果确定风险等级。
132.在一些实施例中，分级子单元，用于：
133.在发生速率小于等于速率阈值的情况下，确定风险等级为中风险；
134.在发生速率大于速率阈值的情况下，确定风险等级为高风险。
135.在一些实施例中，获取模块，包括：
136.从目标故障类型的寄存器中读取出当前周期内目标故障类型的产生次数，并将产生次数累加到历史产生次数中得到目标故障类型的故障信息；或者，从车辆的故障日志中获取故障信息。
137.在一些实施例中，还包括预警模块，用于在风险等级为中风险或高风险时，输出预警信息。
138.本公开实施例的装置的各单元、子单元的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
139.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
140.图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
141.如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
142.设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
143.计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如车载相机的故障检测方法。例如，在一些实施例中，车载相机的故障检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的车载相机的故障检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行车载相机的故障检测方法。
144.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理
器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
145.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
146.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
147.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
148.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
149.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
150.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
151.基于相同的技术构思，本公开实施例还提供一种车辆，该车辆可包括如图9所示的电子设备。
152.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明
白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种车载相机的故障检测方法，包括：在基于车载相机辅助驾驶的情况下，获取所述车载相机的故障信息；从所述故障信息中解析出目标故障类型的累积故障量；基于所述累积故障量，对所述车载相机的相机链路进行故障检测，得到所述相机链路产生故障的风险等级。2.根据权利要求1所述的方法，还包括：在所述风险等级为指定等级的情况下，基于所述车载相机的相机标识与物理端口之间的映射关系，确定所述车载相机的物理端口。3.根据权利要求1或2所述的方法，其中，所述目标故障类型为故障类型集合中的故障类型，所述故障类型集合包括以下中的至少一种：链路变化、丢帧、坏帧。4.根据权利要求3所述的方法，其中，所述基于所述累积故障量，对所述车载相机的相机链路进行故障检测，得到所述相机链路产生故障的风险等级，包括：在所述目标故障类型为链路变化的情况下，将所述链路变化的累积故障量与上限阈值以及下限阈值进行对比，得到第一对比结果；基于所述第一对比结果确定所述风险等级。5.根据权利要求4所述的方法，其中，所述基于所述第一对比结果确定所述风险等级，包括：在所述链路变化的累积故障量小于等于所述下限阈值的情况下，确定所述风险等级为低风险；在所述链路变化的累积故障量大于所述下限阈值且小于等于所述上限阈值的情况下，确定所述风险等级为中风险；在所述链路变化的累积故障量大于所述上限阈值的情况下，确定所述风险等级为高风险。6.根据权利要求3所述的方法，其中，所述基于所述累积故障量，对所述车载相机的相机链路进行故障检测，得到所述相机链路产生故障的风险等级，包括：在所述目标故障类型为丢帧或坏帧的情况下，将所述目标故障类型的累积故障量与目标阈值进行对比，得到第二对比结果；基于所述第二对比结果确定所述风险等级。7.根据权利要求6所述的方法，其中，所述基于所述第二对比结果确定所述风险等级，包括：在所述目标故障类型的累积故障量小于等于所述目标阈值的情况下，确定所述风险等级为中风险。8.根据权利要求6或7所述的方法，其中，所述基于所述第二对比结果确定所述风险等级，包括：在所述目标故障类型的累积故障量大于所述目标阈值的情况下，计算所述目标故障类型的发生速率；将所述发生速率与速率阈值进行对比，得到第三对比结果；基于所述第三对比结果确定所述风险等级。
9.根据权利要求8所述的方法，其中，所述基于所述第三对比结果确定所述风险等级，包括：在所述发生速率小于等于所述速率阈值的情况下，确定所述风险等级为中风险；在所述发生速率大于所述速率阈值的情况下，确定所述风险等级为高风险。10.根据权利要求1-9中任一项所述的方法，其中，所述获取所述车载相机的故障信息，包括：从所述目标故障类型的寄存器中读取出当前周期内所述目标故障类型的产生次数，并将所述产生次数累加到历史产生次数中得到所述目标故障类型的所述故障信息；或者，从车辆的故障日志中获取所述故障信息。11.根据权利要求1-10中任一项所述的方法，还包括在所述风险等级为中风险或高风险时，输出预警信息。12.一种车载相机的故障检测装置，包括：获取模块，用于在基于车载相机辅助驾驶的情况下，获取所述车载相机的故障信息；解析模块，用于从所述故障信息中解析出目标故障类型的累积故障量；检测模块，用于基于所述累积故障量，对所述车载相机的相机链路进行故障检测，得到所述相机链路产生故障的风险等级。13.根据权利要求12所述的装置，还包括：映射模块，用于在所述风险等级为指定等级的情况下，基于所述车载相机的相机标识与物理端口之间的映射关系，确定所述车载相机的物理端口。14.根据权利要求12或13所述的装置，其中，所述目标故障类型为故障类型集合中的故障类型，所述故障类型集合包括以下中的至少一种：链路变化、丢帧、坏帧。15.根据权利要求14所述的装置，其中，所述检测模块，包括：第一对比单元，用于在所述目标故障类型为链路变化的情况下，将所述链路变化的累积故障量与上限阈值以及下限阈值进行对比，得到第一对比结果；第一分级单元，用于基于所述第一对比结果确定所述风险等级。16.根据权利要求15所述的装置，其中，所述第一分级单元，用于：在所述链路变化的累积故障量小于等于所述下限阈值的情况下，确定所述风险等级为低风险；在所述链路变化的累积故障量大于所述下限阈值且小于等于所述上限阈值的情况下，确定所述风险等级为中风险；在所述链路变化的累积故障量大于所述上限阈值的情况下，确定所述风险等级为高风险。17.根据权利要求14所述的装置，其中，所述检测模块，包括：第二对比单元，用于在所述目标故障类型为丢帧或坏帧的情况下，将所述目标故障类型的累积故障量与目标阈值进行对比，得到第二对比结果；第二分级单元，用于基于所述第二对比结果确定所述风险等级。18.根据权利要求17所述的装置，其中，所述第二分级单元，用于：在所述目标故障类型的累积故障量小于等于所述目标阈值的情况下，确定所述风险等
级为中风险。19.根据权利要求17或18所述的装置，其中，所述第二分级单元，包括：计算子单元，用于在所述目标故障类型的累积故障量大于所述目标阈值的情况下，计算所述目标故障类型的发生速率；对比子单元，用于将所述发生速率与速率阈值进行对比，得到第三对比结果；分级子单元，用于基于所述第三对比结果确定所述风险等级。20.根据权利要求19所述的装置，其中，所述分级子单元，用于：在所述发生速率小于等于所述速率阈值的情况下，确定所述风险等级为中风险；在所述发生速率大于所述速率阈值的情况下，确定所述风险等级为高风险。21.根据权利要求12-20中任一项所述的装置，其中，所述获取模块，包括：从所述目标故障类型的寄存器中读取出当前周期内所述目标故障类型的产生次数，并将所述产生次数累加到历史产生次数中得到所述目标故障类型的所述故障信息；或者，从车辆的故障日志中获取所述故障信息。22.根据权利要求12-21中任一项所述的装置，还包括预警模块，用于在所述风险等级为中风险或高风险时，输出预警信息。23.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。26.一种自动驾驶车辆，包括如权利要求23所述的电子设备。

技术总结
本公开提供了车载相机的故障检测方法及相关装置，涉及智能驾驶技术领域，具体涉及自动驾驶、故障检测等技术领域。具体实现方案为：在基于车载相机辅助驾驶的情况下，获取车载相机的故障信息；从故障信息中解析出目标故障类型的累积故障量；基于累积故障量，对车载相机的相机链路进行故障检测，得到相机链路产生故障的风险等级。本公开实施例中，在车载相机辅助驾驶的情况下，对车载相机的相机链路实时进行故障检测，能够尽早发现相机链路故障，有利于规避车辆行驶过程中产生的安全隐患，有利于提升车辆行驶的安全性和可靠性。提升车辆行驶的安全性和可靠性。提升车辆行驶的安全性和可靠性。


技术研发人员：邹东坡
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2023.05.11
技术公布日：2023/7/22