一种行车辅助影像处理方法、装置、设备及存储介质与流程

1.本发明涉及汽车智能技术领域，尤其涉及一种行车辅助影像处理方法、装置、设备及存储介质。


背景技术：

2.随着汽车的发展，汽车保有量越来越多，使得人们对汽车的功能需求越来越多，另外，由于驾驶员驾驶技术各有不同，遂有巡航辅助、倒车影像、全景影像、侧方影像等辅助功能出现，以辅助驾驶员更好地驾驶车辆，减轻驾驶员负担或减少用车成本。
3.目前，从后视镜到全景影像的汽车辅助功能发展，全景影像可提供多角度周围环境的观察，但不支持计算和直观显示两侧远处障碍物距离，仅有超声波雷达被动监测，此时已距离障碍物很近，驾驶员调整车辆的空间有限，且现有全景影像、侧方影像为拼装图像，存在失真、边缘模糊、角度过近以及图像时序存在误差等现象，不能真实、直观且实时地展现前方两侧障碍物，是否和车辆侧面有剐蹭风险。
4.因此，目前亟需一种能够提高行车辅助影像显示准确性，能够真实、直观且实时地展现前方两侧障碍物的方法。


技术实现要素：

5.本发明提供了一种行车辅助影像处理方法、装置、设备及存储介质，以解决现有技术中存在失真、边缘模糊、角度过近以及图像时序存在误差等现象，不能真实、直观且实时地展现前方两侧障碍物的技术问题。
6.为了解决上述技术问题，本发明实施例提供了一种行车辅助影像处理方法，包括：
7.响应于车辆处于启动阶段，建立以车辆为原点的标准坐标系；所述标准坐标系为三维坐标系；
8.持续获取设置于车辆两侧摄像头的图像数据，将所获取的图像数据与所述标准坐标系进行配对，并在所述图像数据中识别出车辆边框以及道路障碍物；
9.根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标；
10.根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，计算出所述车辆边框与所述道路障碍物之间的距离；
11.依次将标注了车辆边框、道路障碍物及其之间的距离的图像数据分别反馈至车机显示，从而完成行车辅助影像的处理。
12.作为优选方案，所述响应于车辆处于启动阶段，建立以车辆为原点的标准坐标系，具体为：
13.响应于车辆处于启动阶段，对设置于车辆两侧的摄像头进行初始化操作；
14.对初始化操作后的摄像头进行测试图像的采集，识别出所述测试图像中的车辆边框；
15.根据所述车辆边框占所述测试图像中的显示面积百分比，控制车辆两侧摄像头的采集角度，以使得每个摄像头中车辆边框占所述测试图像的预设百分比；
16.在结束控制摄像头后，确定各摄像头的最终采集角度，并根据各摄像头的最终采集角度，确定摄像头在车辆水平方向的交点，作为车辆的原点，建立标准坐标系。
17.作为优选方案，所述持续获取设置于车辆两侧摄像头的图像数据，将所获取的图像数据与所述标准坐标系进行配对，具体为：
18.根据预设采集时间间隔，持续采集设置于车辆两侧结束控制后的摄像头的图像数据；其中，在第一采集阶段中，将首次采集的第一组图像数据及其相邻的第二组图像数据，作为第一配对图像，并根据所述各摄像头的最终采集角度、车辆的原点和第一配对图像的视角位置，对第一配对图像和所述标准坐标系进行标定；所述第一配对图像包括首次通过两侧摄像头采集的第一组图像数据以及与所述第一组图像数据相邻的第二组图像数据；
19.在第二采集阶段中，将当前采集的图像数据与前一组图像数据进行差异检测，并根据差异检测得到的差异信息，对当前采集的图像数据配对到所述标准坐标系中，从而进行下一组图像数据的采集；持续采集包括第一采集阶段和第二采集阶段。
20.作为优选方案，所述在所述图像数据中识别出车辆边框以及道路障碍物，具体为：
21.在每采集到一组图像数据后，通过预设的识别模型，对所采集的图像数据进行特征采集，从而根据所采集的特征信息，识别出车辆边框和道路障碍物。
22.作为优选方案，所述根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，具体为：
23.根据所采集的特征信息，对所述车辆边框和道路障碍物进行二维位置坐标的获取；
24.基于当前的图像数据所配对的所述三维坐标系，根据在当前图像数据中的所述二维位置坐标，对所述二维位置坐标进行标定转换，从而得到所述车辆边框和道路障碍物在所述三维坐标系中对应的三位位置坐标。
25.作为优选方案，所述根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，计算出所述车辆边框与所述道路障碍物之间的距离，具体为：
26.根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，以及摄像头进行图像数据采集的预设比例尺，计算出所述车辆边框与所述道路障碍物之间的距离。
27.作为优选方案，还包括：
28.持续获取设置于车辆顶部的摄像头的图像数据，作为车顶图像数据；
29.根据车辆顶部摄像头所设置于车辆的预设位置，在所述标准坐标系中车辆顶部摄像头，从而将所述车顶图像数据和所述标准坐标系进行标定；
30.在所述车顶图像数据中，分别识别出车顶边框和顶部障碍物，并确定车顶边框和顶部障碍物分别在所述车顶图像数据中的第一位置坐标，进而转换并生成车顶边框和顶部障碍物分别在所述标准坐标系的第二位置坐标；
31.根据车顶边框和顶部障碍物在所述标准坐标系的第二位置坐标，计算出所述车顶边框和所述顶部障碍物之间的距离；
32.依次将标注了车顶边框、顶部障碍物及其之间的距离的车顶图像数据分别反馈至
车机显示。
33.相应地，本发明还提供一种行车辅助影像处理装置，包括：坐标系模块、获取模块、坐标定位模块、计算模块和显示模块；
34.所述坐标系模块，用于响应于车辆处于启动阶段，建立以车辆为原点的标准坐标系；所述标准坐标系为三维坐标系；
35.所述获取模块，用于持续获取设置于车辆两侧摄像头的图像数据，将所获取的图像数据与所述标准坐标系进行配对，并在所述图像数据中识别出车辆边框以及道路障碍物；
36.所述坐标定位模块，用于根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标；
37.所述计算模块，用于根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，计算出所述车辆边框与所述道路障碍物之间的距离；
38.所述显示模块，用于依次将标注了车辆边框、道路障碍物及其之间的距离的图像数据分别反馈至车机显示，从而完成行车辅助影像的处理。
39.相应地，本发明还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的行车辅助影像处理方法。
40.相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项所述的行车辅助影像处理方法。
41.相比于现有技术，本发明实施例具有如下有益效果：
42.本发明的技术方案通过对车辆处于启动阶段时进行标准坐标系的建立，使得标准坐标系能够实时根据车辆当前的状态进行建立，提高后续对图像数据配对和标定的准确性，进而通过取设置于车辆两侧摄像头的图像数据，实现车辆边框以及道路障碍物的识别，进而通过辆边框以及道路障碍物在图像数据上的二维位置坐标和在标准坐标系上的三维坐标转换，从而计算出车辆边框与道路障碍物之间的距离，进而将标注后的车辆边框、道路障碍物及其之间的距离的图像数据分别反馈至车机进行辅助显示，避免了将所采集的图像信息进行拼接与雷达共同实现障碍物识别的方案，实现车辆两侧真实图像以及距离显示的辅助判断，以达到直观、直接且实时显示两侧前方障碍物的效果。
附图说明
43.图1：为本发明实施例所提供的一种行车辅助影像处理方法的步骤流程图；
44.图2：为本发明实施例所提供的车辆两侧的行车辅助影像示意图；
45.图3：为本发明实施例所提供的车辆顶部的行车辅助影像示意图
46.图4：为本发明实施例所提供的一种行车辅助影像处理装置的结构示意图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.实施例一
49.请参照图1，为本发明实施例提供的一种行车辅助影像处理方法，包括以下步骤s101-s105：
50.步骤s101：响应于车辆处于启动阶段，建立以车辆为原点的标准坐标系；所述标准坐标系为三维坐标系。
51.作为本实施例的优选方案，所述响应于车辆处于启动阶段，建立以车辆为原点的标准坐标系，具体为：
52.响应于车辆处于启动阶段，对设置于车辆两侧的摄像头进行初始化操作；对初始化操作后的摄像头进行测试图像的采集，识别出所述测试图像中的车辆边框；根据所述车辆边框占所述测试图像中的显示面积百分比，控制车辆两侧摄像头的采集角度，以使得每个摄像头中车辆边框占所述测试图像的预设百分比；在结束控制摄像头后，确定各摄像头的最终采集角度，并根据各摄像头的最终采集角度，确定摄像头在车辆水平方向的交点，作为车辆的原点，建立标准坐标系。
53.在本实施例中，在车辆处理启动阶段时，需要对车辆两侧的摄像头进行初始化操作，从而确保车辆两侧的摄像头能够在每一次车辆启动阶段时，实现摄像头位置的校准，进而能够实施调整摄像头，使其能够实时采集外部的准确画面，进而提高行车辅助影像数据处理的准确性。
54.需要说明的是，优选地，摄像头进行初始化操作的过程是：将摄像头的角度进行控制，使得摄像头平行车身方向向外10
°
，向下20
°
，从而确保摄像头能够处于一个能够识别车声边框以及识别道路障碍物的视角。
55.在本实施例中，对初始化后的摄像头还需要进行测试图像的采集，避免由于不同车辆的高度或者车身长度距离的原因，导致摄像头固定角度所采集的图像数据存在较大的差异。进而通过获取初始化操作后摄像头的测试图像，识别出该测试图像中车身，并对车身进行边框的标注，从而能够确定在当前视角下的测试图像是否能够处于一个较合理的视野范围。优选地，通过车辆边框占整副测试图像中的显示面积百分比，来判断当前视角是否合理，可示例性地，预设百分比可根据实际车型进行设定为20％-30％，当车辆边框占测试图像的20％-30％时，则说明车辆边框并不会影响摄像头采集道路障碍物，从而能够直观、直接显示两侧前方障碍物。
56.在本实施例中，通过车辆边框占整副测试图像中的显示面积百分比，以及车辆边框在测试图像中的位置信息，计算出对应该测试图像的摄像头水平移动方向和竖直移动方向。可示例性地，通过在测试图像中进行“田”字型均分，对于设置于车辆左侧的摄像头，若车辆边框占整副测试图像中的显示面积百分比过大，则说明车辆边框超过了测试图像右下角所划分的区域，即需要控制摄像头水平方向向左移动，竖直方向向上移动。在计算出摄像头水平移动方向和竖直移动方向后，通过摄像头每在水平方向移动1
°
或在竖直方向移动1
°
，采集一次图像数据，再进行一次判断，直至车辆边框处于测试图像右下角(对应左侧摄像头)或测试图像左下角(对应右侧摄像头)所划分的区域。
57.进一步地，对于左侧摄像头，在车辆边框处于测试图像右下角所划分的区域后，记录下左侧摄像头当前的角度，作为最终采集角度进行存储，以使得下一次车辆处于启动阶段时，根据最终采集角度，来初始化操作控制左侧摄像头。同理，对于右侧摄像头，也采用相同的操作过程，
58.在本实施例中，根据车辆两侧的摄像头分别对应的最终采集角度，确定摄像头在车辆水平方向的交点，由于摄像头一般均对称设置于车辆的两侧，因此摄像头在水平方向延长线的交点，即可作为整个车辆的原点，进而建立三维的标准坐标系。优选地，车辆前进方向与x轴与y轴的平分线重合，车身左侧为x轴，车身右侧为y轴，车高对应z轴。
59.步骤s102：持续获取设置于车辆两侧摄像头的图像数据，将所获取的图像数据与所述标准坐标系进行配对，并在所述图像数据中识别出车辆边框以及道路障碍物。
60.作为本实施例的优选方案，所述持续获取设置于车辆两侧摄像头的图像数据，将所获取的图像数据与所述标准坐标系进行配对，具体为：
61.根据预设采集时间间隔，持续采集设置于车辆两侧结束控制后的摄像头的图像数据；其中，在第一采集阶段中，将首次采集的第一组图像数据及其相邻的第二组图像数据，作为第一配对图像，并根据所述各摄像头的最终采集角度、车辆的原点和第一配对图像的视角位置，对第一配对图像和所述标准坐标系进行标定；所述第一配对图像包括首次通过两侧摄像头采集的第一组图像数据以及与所述第一组图像数据相邻的第二组图像数据；在第二采集阶段中，将当前采集的图像数据与前一组图像数据进行差异检测，并根据差异检测得到的差异信息，对当前采集的图像数据配对到所述标准坐标系中，从而进行下一组图像数据的采集；持续采集包括第一采集阶段和第二采集阶段。
62.在本实施例中，通过将整个图像数据采集的阶段分为第一采集阶段和第二采集阶段，能够确保在不同的采集阶段时，对不同的图像数据进行不同的与标准坐标轴的标定处理，在第一采集阶段能够确保所有第一配对图像与标准坐标系进行准确的标定，但由于标定计算所需要的算力较大，需要花费较大的运算资源，因此在标定首次采集的第一组图像数据及其相邻的第二组图像数据后，则进入第二采集阶段，同时由于对于同一个摄像头所采集的图像数据，当预设采集时间间隔越小时，前一时刻所采集的图像数据和后一时刻所采集的图像数据之间的差异性较小，因此，可以通过将当前采集的图像数据与前一组图像数据进行差异检测，并根据差异检测得到的差异信息，来实现对当前采集的图像数据配对到标准坐标系，从而减少运算量，提高图像处理的效率。
63.进一步地，为了避免长时间处于第二采集阶段，导致图像数据由于长时间的配对，导致标定信息不准确的问题，可以通过检测车辆所处的状态，例如：车辆处于p档或车辆停车时长大于预设时间(等红灯、堵车、临停等场景)，可以重新进入第一采集阶段，对摄像头所采集的图像数据重新进行标定，并在标定结束后重新进入第二采集阶段，对摄像头所采集的图像数据进行配对，即实现第一采集阶段和第二采集阶段的交替，提高摄像头图像数据与标准坐标系之间的精度。
64.在本实施例中，对第一配对图像与标准坐标系进行标定，可通过摄像头标定技术实现，通过确定的标准坐标系、摄像头在标准坐标系上的位置(摄像头设置于在车辆上的位置)以及摄像头的角度，即可实现将所获取的第一配对图像与标准坐标系进行标定。进一步地，对当前采集的图像数据配对到标准坐标系，可通过三维图像重建融合差异信息融合算
法以及图像特征点标定实现，同时，由于预设采集时间间隔可以设置的足够小，使得前后分别所采集到的图像数据差异性很小，因此可以直接对前后分别所采集到的图像数据进行特征分析与匹配，定位图像数据中的特征点，进而使用特征点沿特征的周边定位多个边界点，拟合边界使用多个边界点，沿着特征的周边的线，使用拟合的边界线沿着周边定位特征点，并基于特征点生成透视变换矩阵，进而实现通过前一图像数据标定在标准坐标系后，将后一图像数据配对到标准坐标系上。
65.作为本实施例的优选方案，所述在所述图像数据中识别出车辆边框以及道路障碍物，具体为：
66.在每采集到一组图像数据后，通过预设的识别模型，对所采集的图像数据进行特征采集，从而根据所采集的特征信息，识别出车辆边框和道路障碍物。
67.在本实施例中，预设的识别模型通过预先进行车辆边框图像和道路障碍物图像的训练而成，优选地，预设的识别模型包括但不限于alexnet、vgg19、resnet_152、inceptionv4和densenet等模型。
68.步骤s103：根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标。
69.作为本实施例的优选方案，所述根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，具体为：
70.根据所采集的特征信息，对所述车辆边框和道路障碍物进行二维位置坐标的获取；基于当前的图像数据所配对的所述三维坐标系，根据在当前图像数据中的所述二维位置坐标，对所述二维位置坐标进行标定转换，从而得到所述车辆边框和道路障碍物在所述三维坐标系中对应的三位位置坐标。
71.在本实施例中，由于步骤s102中将图像数据配对或标定于标准坐标系之上，因此通过对车辆边框和道路障碍物分别在对应的图像数据上二维位置坐标的获取，即可转换至标准坐标系之上，从而实现二维位置坐标到三维坐标系之间的转换。
72.步骤s104：根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，计算出所述车辆边框与所述道路障碍物之间的距离。
73.作为本实施例的优选方案，所述根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，计算出所述车辆边框与所述道路障碍物之间的距离，具体为：
74.根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，以及摄像头进行图像数据采集的预设比例尺，计算出所述车辆边框与所述道路障碍物之间的距离。
75.在本实施例中，通过车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，并结合图像数据采集时摄像头所设定的预设比例尺，即可计算出所述车辆边框与所述道路障碍物之间的真实距离。
76.步骤s105：依次将标注了车辆边框、道路障碍物及其之间的距离的图像数据分别反馈至车机显示，从而完成行车辅助影像的处理。
77.在本实施例中，通过标定两侧的距离，来标注侧前方两侧影像的常显刻度尺，或支持实时计算两侧障碍物距离，显示在大屏avm左右侧前方影像模式，实时显示障碍物与车辆的横向距离，以辅助驾驶员判定障碍物距离车身两侧的距离，当物体距离车辆侧面距离(含
预判距离)＜100cm时，系统被触发，可手动关闭，关闭后当前触发不再显示。
78.进一步地，作为另一优选方案，请参阅图2，标注了车辆边框的线框，为固定线的水平显示，优选地，以外侧前后轮眉最突点为2点，确定固定线的方向，也可以根据需求自定义。标注的道路障碍物，可以标注为靠近障碍物的一侧线，为活动线的水平显示，可沿道路的形状或者障碍物的形状进行变化。可示例性地，依据物体与车侧面的距离，实时显示，依据侧面物体的形状，支持一定程度的弯曲显示，活动线的确定，以平行车辆的2点，以及最靠近车辆的点为依据，当距离＜50cm时，出现1hz频率报警，＜30cm时，2hz报警音，并提示请注意后视镜位置，＜10cm时，3hz。
79.可以理解的是，本实施例采用直接显示方式，不使用拼接，即不与后视、侧视的摄像头画面拼接组合。直接显示方式，对比拼接组合方式，优点在于图像不存在畸变，更接近驾驶员实际观察效果。图像数据传输原理为：摄像头探测环境图像到传输线，进而到域控，最后到达大屏，当手动打开行车辅助影像，或狭窄场景自动触发行车辅助影像时，大屏全屏或全屏以及相应软开关的显示模式，将前方行车环境显示在车机大屏上。
80.作为本实施例的优选方案，还包括：
81.持续获取设置于车辆顶部的摄像头的图像数据，作为车顶图像数据；根据车辆顶部摄像头所设置于车辆的预设位置，在所述标准坐标系中车辆顶部摄像头，从而将所述车顶图像数据和所述标准坐标系进行标定；在所述车顶图像数据中，分别识别出车顶边框和顶部障碍物，并确定车顶边框和顶部障碍物分别在所述车顶图像数据中的第一位置坐标，进而转换并生成车顶边框和顶部障碍物分别在所述标准坐标系的第二位置坐标；根据车顶边框和顶部障碍物在所述标准坐标系的第二位置坐标，计算出所述车顶边框和所述顶部障碍物之间的距离；依次将标注了车顶边框、顶部障碍物及其之间的距离的车顶图像数据分别反馈至车机显示。
82.在本实施例中，设置于车辆顶部的摄像头，可以确定其在标准坐标系上的坐标位置，进而通过图像数据的采集，进而识别顶边框和顶部障碍物，从而确定第一位置坐标，进而转换并生成车顶边框和顶部障碍物分别在标准坐标系的第二位置坐标，最终可以计算出车顶边框和顶部障碍物之间的距离，实现车顶碰撞显示与提醒。
83.优选地，请参阅图3，车顶边框为下辅助线，设置固定位置。进一步地，下辅助线标定时，以正前方预设距离(可根据所设置车顶摄像头的位置以及所标定该摄像头的预设比例尺，来标定得到)，优选为4m，同车顶高度标标定杆/线，来标定并固定下辅助线在该影像模式下的显示位置。顶部障碍物为上辅助线，设置为可移动位置，以正前方6m，高度2m的标定杆/线，来标定上辅助线的最高位置，并逐步下移3cm，来标定范围内的其他高度，告警触发逻辑，依据车辆本身高度而定，当距离＜50cm时，出现1hz频率报警，＜30cm时，2hz报警音，并提示请注意车顶安全，＜10cm时，3hz。
84.实施以上实施例，具有如下效果：
85.本发明的技术方案通过对车辆处于启动阶段时进行标准坐标系的建立，使得标准坐标系能够实时根据车辆当前的状态进行建立，提高后续对图像数据配对和标定的准确性，进而通过取设置于车辆两侧摄像头的图像数据，实现车辆边框以及道路障碍物的识别，进而通过辆边框以及道路障碍物在图像数据上的二维位置坐标和在标准坐标系上的三维坐标转换，从而计算出车辆边框与道路障碍物之间的距离，进而将标注后的车辆边框、道路
障碍物及其之间的距离的图像数据分别反馈至车机进行辅助显示，避免了将所采集的图像信息进行拼接与雷达共同实现障碍物识别的方案，实现车辆两侧真实图像以及距离显示的辅助判断，以达到直观、直接且实时显示两侧前方障碍物的效果。
86.实施例二
87.请参阅图4，其为本发明所提供一种行车辅助影像处理装置，包括：坐标系模块201、获取模块202、坐标定位模块203、计算模块204和显示模块205。
88.所述坐标系模块201，用于响应于车辆处于启动阶段，建立以车辆为原点的标准坐标系；所述标准坐标系为三维坐标系。
89.所述获取模块202，用于持续获取设置于车辆两侧摄像头的图像数据，将所获取的图像数据与所述标准坐标系进行配对，并在所述图像数据中识别出车辆边框以及道路障碍物。
90.所述坐标定位模块203，用于根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标。
91.所述计算模块204，用于根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，计算出所述车辆边框与所述道路障碍物之间的距离。
92.所述显示模块205，用于依次将标注了车辆边框、道路障碍物及其之间的距离的图像数据分别反馈至车机显示，从而完成行车辅助影像的处理。
93.作为优选方案，所述响应于车辆处于启动阶段，建立以车辆为原点的标准坐标系，具体为：
94.响应于车辆处于启动阶段，对设置于车辆两侧的摄像头进行初始化操作；对初始化操作后的摄像头进行测试图像的采集，识别出所述测试图像中的车辆边框；根据所述车辆边框占所述测试图像中的显示面积百分比，控制车辆两侧摄像头的采集角度，以使得每个摄像头中车辆边框占所述测试图像的预设百分比；在结束控制摄像头后，确定各摄像头的最终采集角度，并根据各摄像头的最终采集角度，确定摄像头在车辆水平方向的交点，作为车辆的原点，建立标准坐标系。
95.作为优选方案，所述持续获取设置于车辆两侧摄像头的图像数据，将所获取的图像数据与所述标准坐标系进行配对，具体为：
96.根据预设采集时间间隔，持续采集设置于车辆两侧结束控制后的摄像头的图像数据；其中，在第一采集阶段中，将首次采集的第一组图像数据及其相邻的第二组图像数据，作为第一配对图像，并根据所述各摄像头的最终采集角度、车辆的原点和第一配对图像的视角位置，对第一配对图像和所述标准坐标系进行标定；所述第一配对图像包括首次通过两侧摄像头采集的第一组图像数据以及与所述第一组图像数据相邻的第二组图像数据；在第二采集阶段中，将当前采集的图像数据与前一组图像数据进行差异检测，并根据差异检测得到的差异信息，对当前采集的图像数据配对到所述标准坐标系中，从而进行下一组图像数据的采集；持续采集包括第一采集阶段和第二采集阶段。
97.作为优选方案，所述在所述图像数据中识别出车辆边框以及道路障碍物，具体为：
98.在每采集到一组图像数据后，通过预设的识别模型，对所采集的图像数据进行特征采集，从而根据所采集的特征信息，识别出车辆边框和道路障碍物。
99.作为优选方案，所述根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，具体为：
100.根据所采集的特征信息，对所述车辆边框和道路障碍物进行二维位置坐标的获取；基于当前的图像数据所配对的所述三维坐标系，根据在当前图像数据中的所述二维位置坐标，对所述二维位置坐标进行标定转换，从而得到所述车辆边框和道路障碍物在所述三维坐标系中对应的三位位置坐标。
101.作为优选方案，所述根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，计算出所述车辆边框与所述道路障碍物之间的距离，具体为：
102.根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，以及摄像头进行图像数据采集的预设比例尺，计算出所述车辆边框与所述道路障碍物之间的距离。
103.作为优选方案，还包括，车顶识别模块206：
104.所述车顶识别模块206，用于持续获取设置于车辆顶部的摄像头的图像数据，作为车顶图像数据；根据车辆顶部摄像头所设置于车辆的预设位置，在所述标准坐标系中车辆顶部摄像头，从而将所述车顶图像数据和所述标准坐标系进行标定；在所述车顶图像数据中，分别识别出车顶边框和顶部障碍物，并确定车顶边框和顶部障碍物分别在所述车顶图像数据中的第一位置坐标，进而转换并生成车顶边框和顶部障碍物分别在所述标准坐标系的第二位置坐标；根据车顶边框和顶部障碍物在所述标准坐标系的第二位置坐标，计算出所述车顶边框和所述顶部障碍物之间的距离；依次将标注了车顶边框、顶部障碍物及其之间的距离的车顶图像数据分别反馈至车机显示。
105.所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
106.实施以上实施例，具有如下效果：
107.本发明的技术方案通过对车辆处于启动阶段时进行标准坐标系的建立，使得标准坐标系能够实时根据车辆当前的状态进行建立，提高后续对图像数据配对和标定的准确性，进而通过取设置于车辆两侧摄像头的图像数据，实现车辆边框以及道路障碍物的识别，进而通过辆边框以及道路障碍物在图像数据上的二维位置坐标和在标准坐标系上的三维坐标转换，从而计算出车辆边框与道路障碍物之间的距离，进而将标注后的车辆边框、道路障碍物及其之间的距离的图像数据分别反馈至车机进行辅助显示，避免了将所采集的图像信息进行拼接与雷达共同实现障碍物识别的方案，实现车辆两侧真实图像以及距离显示的辅助判断，以达到直观、直接且实时显示两侧前方障碍物的效果。
108.实施例三
109.相应地，本发明还提供一种终端设备，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项实施例所述的行车辅助影像处理方法。
110.该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序、计算机指令。所述处理器执行所述计算机程序时实现上述实施例一中的各个步骤，例如图1所示的步骤s101至s105。或者，所述处理器执行所述计算机程序时实现上述装置实施例中各模块/单元的功能，例如坐标定位模块203。
111.示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。例如，坐标定位模块203，用于根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标。
112.所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
113.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
114.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
115.其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
116.实施例四
117.相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项实施例所述的行车辅助影像处理方法。
118.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种行车辅助影像处理方法，其特征在于，包括：响应于车辆处于启动阶段，建立以车辆为原点的标准坐标系；所述标准坐标系为三维坐标系；持续获取设置于车辆两侧摄像头的图像数据，将所获取的图像数据与所述标准坐标系进行配对，并在所述图像数据中识别出车辆边框以及道路障碍物；根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标；根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，计算出所述车辆边框与所述道路障碍物之间的距离；依次将标注了车辆边框、道路障碍物及其之间的距离的图像数据分别反馈至车机显示，从而完成行车辅助影像的处理。2.如权利要求1所述的一种行车辅助影像处理方法，其特征在于，所述响应于车辆处于启动阶段，建立以车辆为原点的标准坐标系，具体为：响应于车辆处于启动阶段，对设置于车辆两侧的摄像头进行初始化操作；对初始化操作后的摄像头进行测试图像的采集，识别出所述测试图像中的车辆边框；根据所述车辆边框占所述测试图像中的显示面积百分比，控制车辆两侧摄像头的采集角度，以使得每个摄像头中车辆边框占所述测试图像的预设百分比；在结束控制摄像头后，确定各摄像头的最终采集角度，并根据各摄像头的最终采集角度，确定摄像头在车辆水平方向的交点，作为车辆的原点，建立标准坐标系。3.如权利要求2所述的一种行车辅助影像处理方法，其特征在于，所述持续获取设置于车辆两侧摄像头的图像数据，将所获取的图像数据与所述标准坐标系进行配对，具体为：根据预设采集时间间隔，持续采集设置于车辆两侧结束控制后的摄像头的图像数据；其中，在第一采集阶段中，将首次采集的第一组图像数据及其相邻的第二组图像数据，作为第一配对图像，并根据所述各摄像头的最终采集角度、车辆的原点和第一配对图像的视角位置，对第一配对图像和所述标准坐标系进行标定；所述第一配对图像包括首次通过两侧摄像头采集的第一组图像数据以及与所述第一组图像数据相邻的第二组图像数据；在第二采集阶段中，将当前采集的图像数据与前一组图像数据进行差异检测，并根据差异检测得到的差异信息，对当前采集的图像数据配对到所述标准坐标系中，从而进行下一组图像数据的采集；持续采集包括第一采集阶段和第二采集阶段。4.如权利要求3所述的一种行车辅助影像处理方法，其特征在于，所述在所述图像数据中识别出车辆边框以及道路障碍物，具体为：在每采集到一组图像数据后，通过预设的识别模型，对所采集的图像数据进行特征采集，从而根据所采集的特征信息，识别出车辆边框和道路障碍物。5.如权利要求4所述的一种行车辅助影像处理方法，其特征在于，所述根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，具体为：根据所采集的特征信息，对所述车辆边框和道路障碍物进行二维位置坐标的获取；基于当前的图像数据所配对的所述三维坐标系，根据在当前图像数据中的所述二维位置坐标，对所述二维位置坐标进行标定转换，从而得到所述车辆边框和道路障碍物在所述
三维坐标系中对应的三位位置坐标。6.如权利要求5所述的一种行车辅助影像处理方法，其特征在于，所述根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，计算出所述车辆边框与所述道路障碍物之间的距离，具体为：根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，以及摄像头进行图像数据采集的预设比例尺，计算出所述车辆边框与所述道路障碍物之间的距离。7.如权利要求6所述的一种行车辅助影像处理方法，其特征在于，还包括：持续获取设置于车辆顶部的摄像头的图像数据，作为车顶图像数据；根据车辆顶部摄像头所设置于车辆的预设位置，在所述标准坐标系中车辆顶部摄像头，从而将所述车顶图像数据和所述标准坐标系进行标定；在所述车顶图像数据中，分别识别出车顶边框和顶部障碍物，并确定车顶边框和顶部障碍物分别在所述车顶图像数据中的第一位置坐标，进而转换并生成车顶边框和顶部障碍物分别在所述标准坐标系的第二位置坐标；根据车顶边框和顶部障碍物在所述标准坐标系的第二位置坐标，计算出所述车顶边框和所述顶部障碍物之间的距离；依次将标注了车顶边框、顶部障碍物及其之间的距离的车顶图像数据分别反馈至车机显示。8.一种行车辅助影像处理装置，其特征在于，包括：坐标系模块、获取模块、坐标定位模块、计算模块和显示模块；所述坐标系模块，用于响应于车辆处于启动阶段，建立以车辆为原点的标准坐标系；所述标准坐标系为三维坐标系；所述获取模块，用于持续获取设置于车辆两侧摄像头的图像数据，将所获取的图像数据与所述标准坐标系进行配对，并在所述图像数据中识别出车辆边框以及道路障碍物；所述坐标定位模块，用于根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标；所述计算模块，用于根据所述车辆边框以及道路障碍物在所述标准坐标系的三维位置坐标，计算出所述车辆边框与所述道路障碍物之间的距离；所述显示模块，用于依次将标注了车辆边框、道路障碍物及其之间的距离的图像数据分别反馈至车机显示，从而完成行车辅助影像的处理。9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的行车辅助影像处理方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的行车辅助影像处理方法。

技术总结
本发明公开了一种行车辅助影像处理方法、装置、设备及存储介质，包括：响应于车辆处于启动阶段，建立以车辆为原点的标准坐标系；持续获取设置于车辆两侧摄像头的图像数据，将所获取的图像数据与标准坐标系进行配对，并在图像数据中识别出车辆边框以及道路障碍物；根据所识别出的车辆边框以及道路障碍物在对应的图像数据中的二维位置坐标，转换并生成车辆边框以及道路障碍物在标准坐标系的三维位置坐标；根据车辆边框以及道路障碍物在标准坐标系的三维位置坐标，计算出车辆边框与道路障碍物之间的距离；依次将标注了车辆边框、道路障碍物及其之间的距离的图像数据分别反馈至车机显示，从而完成行车辅助影像的处理。从而完成行车辅助影像的处理。从而完成行车辅助影像的处理。


技术研发人员：白俊辉 刘国清 杨广 王启程
受保护的技术使用者：深圳佑驾创新科技股份有限公司
技术研发日：2023.07.12
技术公布日：2023/9/23