一种图像数据处理方法、装置和电子设备与流程

1.本发明涉及计算机技术领域，更具体地，涉及一种图像处理方法、装置和电子设备。


背景技术：

2.深度学习模型训练时输入数据越多，推断时输出结果越精准，因此在模型训练过程中需要的标注数据极多。而在复杂多变的应用场景中(例如自动驾驶行驶过程等)，每日获取数据量极多，目前只能通过人工的方式对数据进行标注，耗时耗力且进度缓慢，难以满足模型更新迭代的需求。


技术实现要素：

3.有鉴于此，本发明实施例提供一种图像处理方法、装置和电子设备，实现了以第一传感器图像标注结果为先验信息，对第二传感器图像进行自动标注，从而实现了自动对不同传感器图像中的同一目标对象进行配对，提高了图像标注的效率以及目标检测结果的准确度。
4.第一方面，本发明实施例提供一种图像处理方法，所述方法包括：
5.获取第一传感器图像的第一图像标注结果；
6.根据所述第一图像标注结果确定对应的二维标注坐标；
7.根据各所述二维标注坐标对第二传感器图像进行预处理，获取对应的预处理图像；
8.对各所述预处理图像进行标注，以确定所述第二传感器图像的第二图像标注结果。
9.可选的，所述第一传感器图像为三维图像；
10.获取第一传感器图像的第一图像标注结果包括：
11.对所述第一传感器图像进行标注；其中，所述第一传感器图像的标注信息包括图像中各目标对象的三维标注框的各顶点坐标；
12.根据第一传感器和第二传感器的参数信息将标注后的第一传感器图像映射为对应的二维图像，所述二维图像的标注信息包括图像中各目标对应的二维标注框的各顶点坐标，所述二维标注框的各顶点坐标根据对应的三维标注框的各顶点坐标确定；
13.根据二维图像的标注信息确定所述第一图像标注结果。
14.可选的，根据所述第二图像标注结果确定对应的二维标注坐标包括：
15.将所述二维标注框的各所述顶点坐标中对应的各坐标轴最大值确定的坐标、以及各坐标轴最小值确定的坐标确定为所述二维标注坐标。
16.可选的，根据所述第二图像标注结果确定对应的二维标注坐标包括：
17.确定所述二维标注框的各所述顶点坐标中对应的各坐标轴最大值以及各坐标轴最小值；
18.将所述各坐标轴最大值分别增大第一预定值，将所述各坐标值最小值分别缩小第二预定值，以将增大后的各坐标轴最大值、缩小后的各坐标值最小值确定的坐标确定为所述二维标注坐标。
19.可选的，根据各所述二维标注坐标对第二传感器图像进行预处理，获取对应的预处理图像包括：
20.根据所述二维标注坐标对第二传感器图像进行剪切，以获取初始图像；
21.将所述初始图像放置于预定的背景图像上，以获取所述预处理图像。
22.可选的，根据所述二维标注坐标对第二传感器图像进行剪切，以获取初始图像包括：
23.根据所述二维标注坐标对第二传感器图像进行剪切，以获取剪切后的图像；
24.对所述剪切后的图像进行放大，以获取所述初始图像。
25.可选的，对所述剪切后的图像进行放大，以获取所述初始图像包括：
26.根据所述第二传感器图像的尺寸参数和所述剪切后的图像的尺寸参数确定放大系数；
27.根据所述放大系数放大所述剪切后的图像，以获取所述初始图像。
28.可选的，根据所述第二传感器图像的尺寸参数和所述剪切后的图像的尺寸参数确定放大系数包括：
29.确定所述第二传感器图像与所述剪切后的图像的各个边的长度比；
30.根据各所述长度比确定所述放大系数。
31.可选的，所述剪切后的图像的放大系数不大于预定值。
32.可选的，对所述第一传感器图像进行标注包括：
33.将所述第一传感器图像输入至第一图像标注模型中进行处理，以对所述第一传感器图像进行标注。
34.可选的，对各所述预处理图像进行标注，以确定所述第二传感器图像的第二图像标注结果包括：
35.将各所述预处理图像输入至预先训练的第二图像标注模型中进行标注，以确定所述第二图像标注结果。
36.可选的，所述第一传感器图像为雷达传感器图像，所述第二传感器图像为相机传感器图像。
37.第二方面，本发明实施例提供一种图像处理装置，所述装置包括：
38.第一标注单元，被配置为获取第一传感器图像的第一图像标注结果；
39.坐标确定单元，被配置为根据所述第一图像标注结果确定对应的二维标注坐标；
40.预处理单元，被配置为根据各所述二维标注坐标对第二传感器图像进行预处理，获取对应的预处理图像；
41.第二标注单元，被配置为对各所述预处理图像进行标注，以确定所述第二传感器图像的第二图像标注结果。
42.第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如上所述的方法。
43.第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
44.第五方面，本发明实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上所述的方法。
45.本发明实施例公开了一种图像处理方法、装置和电子设备，通过对第一传感器图像进行标注，确定第一图像标注结果，根据所述第一图像标注结果确定对应的二维标注坐标，根据所述二维标注坐标对第二传感器图像进行预处理，获取预处理图像，对所述预处理图像进行标注，确定所述第二传感器图像的第二图像标注结果。由此，本实施例通过以第一传感器图像标注结果为先验信息，对第二传感器图像进行自动标注，实现了自动对不同传感器图像中的同一目标对象进行配对，提高了图像标注的效率以及目标检测结果的准确度。
附图说明
46.通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
47.图1是本发明实施例的一种图像处理方法的流程图；
48.图2是本发明实施例的标注后的雷达传感器图像的示意图；
49.图3是本发明实施例的标注后的二维图像的示意图；
50.图4是本发明实施例的一种二维标注图像示意图；
51.图5是本发明实施例的另一种二维标注图像示意图；
52.图6是本发明实施例的第二传感器图像的示意图；
53.图7是本发明实施例的一种初始图像的示意图；
54.图8是本发明实施例的另一种初始图像的示意图；
55.图9是本发明实施例的预处理图像的示意图；
56.图10是本发明实施例的图像处理过程的示意图；
57.图11是本发明实施例的图像处理装置的示意图；
58.图12是本发明实施例的电子设备的示意图。
具体实施方式
59.以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
60.此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
61.除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
62.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义
是两个或两个以上。
63.目前，在具体应用场景中，例如自动驾驶场景，通常采用雷达(lidar)传感器和相机(camera)传感器进行联合标注，以提高目标检测的准确性。其中，雷达传感器获取的点云信息反映的是真实物理信息，同一物体大小不会发生改变，易于标注，而相机传感器获取的图像信息具有近大远小的特征，目标物体每帧都会有所变化，因此人工标注难度较高。在相关技术中，基于部分已标注的二维图像对图像标注模型进行训练，然后采用训练后的图像标注模型对待标注图像进行自动标注，以检测出图像中的目标物。由于应用场景的复杂多变，手动标注的训练数据不足，导致这种方式的标注准确率较低，也即目标检测准确率较低。同时，同一目标物体在不同传感器中的联合标注需进行配对处理，若手动对同一物体进行配对会耗费大量的人力物力，且效率较低。
64.基于此，本实施例提供一种图像处理方法。其中，本实施例采用第一传感器图像标注结果作为先验信息，来对第二传感器图像进行自动标注，从而实现了自动对不同传感器图像中的同一目标对象进行配对，进而提高了图像标注的效率以及目标检测结果的准确度。
65.图1是本发明实施例的一种图像处理方法的流程图。如图1所示，本实施例的图像处理方法包括以下步骤：
66.步骤s110，获取第一传感器图像的第一图像标注结果。可选的，第一传感器为便于标注的传感器。进一步可选的，第一传感器图像为三维图像，第二传感器为二维传感器。
67.在一种可选的实现方式中，第一传感器图像为雷达传感器图像，第一传感器为雷达传感器。其中，由于雷达传感器获取的点云信息反映真实物理信息，同一物体的大小不会发生改变，易于标注且标注结果较为准确。
68.在一种可选的实现方式中，本实施例对第一传感器图像进行标注，并根据第一传感器和第二传感器的参数信息将标注后的第一传感器图像转化为对应的二维图像。其中，第一传感器图像的标注信息包括图像中各目标对象的三维标注框的各顶点坐标，上述二维图像的标注信息包括图像中各目标对应的二维标注框的各顶点坐标，并且，目标对象的二维标注框的各顶点坐标根据该目标对象的三维标注框的各顶点坐标确定。由此，本实施例可以将上述二维图像的标注信息确定为第一图像标注结果。
69.可选的，在第一传感器图像中采用长方体标注对应的目标对象。进一步地，可以将该长方体标注的顶点坐标确定为对应目标对象的坐标。应理解，本实施例并不对图像中标注目标对象的形式进行限制，其也可以基于目标对象的形状确定。
70.在一种可选的实现方式中，图像的标注信息还可以包括各目标对象的类别信息，以便于统计图像中的目标对象，或者获取图像中的预定目标对象。
71.在本实施例中，第一传感器和第二传感器的参数信息可以包括第一传感器和第二传感器的相对位置和方位关系、第一传感器和第二传感器的内外参数等信息。可选的，本实施例可以基于上述参数信息进行坐标系变换(映射)，例如平移旋转等操作将标注后的第一传感器图像转化为对应的二维图像。
72.以第一传感器为雷达传感器，第二传感器为相机为例，可以通过人工对雷达传感器进行标注，也可以通过预先训练的第一图像标注模型进行标注，本实施例并不对此进行限制。其中，第一传感器标注模型可以为任何基于三维点云数据进行目标检测的网络模型，
例如mvf(end-to-end multi-view fusion，端到端多视图融合)模型、lasernet模型、面向激光雷达数据的新的网络框架birdnet、卷积神经网络lmnet、yolo3d模型等，本实施例并不对三维目标检测的网络模型进行限制。
73.在一种可选的实现方式中，第一图像标注模型通过以下步骤进行训练：获取训练数据，训练数据包括已标注的第一传感器图像，将训练数据输入至第一图像标注模型中进行处理，以调节模型参数，从而获得训练完成的第一图像标注模型。
74.图2是本发明实施例的标注后的雷达传感器图像的示意图。如图2所示，三维图像2为标注后的雷达传感器图像。其中，三维图像2中的各长方体21分别对应于一个目标对象，长方体21的各个顶点坐标表征对应的目标对象的坐标信息。
75.图3是本发明实施例的标注后的二维图像的示意图。如图3所示，本实施例可以根据雷达传感器和相机的参数信息将标注后的三维图像2转化为二维图像。其中，图3中的二维图像3仅示例了三维图像2对应的二维图像的部分图像，其并不与三维图像2一一对应。
76.以目标对象31为例，在目标对象31的三维标注框转化至二维后，形成二维标注框31'。其中，二维标注框31'的顶点a-h对应于三维图像中的三维标注框的各顶点，其基于对应的三维标注框映射后获得。在本实施例中，将二维图像3中的二维标注框31'的顶点a-h的顶点坐标信息确定为目标对象31对应的图像标注结果。由此，本实施例可以通过确定第一传感器图像对应的二维图像中的各目标对象的二维标注框的各顶点坐标信息，来确定该第一传感器图像的第一图像标注结果。
77.步骤s120，根据第一图像标注结果确定对应的二维标注坐标。
78.在一种可选的实现方式中，本实施例通过将二维标注框的各顶点坐标中对应的各坐标轴最大值确定的坐标、以及各坐标轴最小值确定的坐标确定为二维标注坐标。
79.图4是本发明实施例的一种二维标注图像示意图。以图3的示例、坐标系为x-y轴坐标系为例，以图像的左上角为原点，二维标注框31'的顶点a-h的坐标分别为(xa,ya)、(xb,yb)、(xc,yc)、(xd,yd)、(xe,ye)、(xf,yf)、(xg,yg)、(xh,yh)。进一步地，确定顶点a-h的坐标(xa,ya)、(xb,yb)、(xc,yc)、(xd,yd)、(xe,ye)、(xf,yf)、(xg,yg)、(xh,yh)中的x轴上的最大值x
max
、最小值x
min
以及y轴上的最大值y
max
、最小值y
min
。如图3所示，显然，顶点a和顶点c的x轴坐标值相同且最小，顶点a(或顶点c)的x轴坐标为x
min
，顶点f和顶点h的x轴坐标值相同且最大，顶点f(顶点h)的x轴坐标为x
max
，顶点d和顶点h的y轴坐标值相同且最大，顶点d(或顶点h)的y轴坐标为y
max
，顶点a、顶点b、顶点e以及顶点f的y轴坐标值相同且最小，顶点a(或顶点b、顶点e、顶点f)的y轴坐标为y
min
。进而，将各顶点坐标a-h中对应的各坐标轴最大值确定的坐标(x
min
,y
min
)、以及各坐标轴最小值确定的坐标(x
max
,y
max
)确定为二维标注坐标，以基于二维标注坐标(x
min
,y
min
)、(x
max
,y
max
)形成的矩形框标注目标对象31，如图4所示的矩形框41。
80.进一步可选的，在本实施例中，将二维标注框的各坐标轴最大值分别增大第一预定值，将所述各坐标值最小值分别缩小第二预定值，以将增大后的各坐标轴最大值、缩小后的各坐标值最小值确定的坐标确定为二维标注坐标。由此，本实施例可以调整三维图像映射到二维图像的偏差，进一步保证获取的二维标注坐标形成的矩形框能够完全覆盖目标对象。
81.应理解，在本实施例中，各坐标轴对应的第一预定值可以相同也可以不同，各坐标轴对应的第二预定值可以相同也可以不同，第一预定值和第二预定值可以相同也可以不
同。
82.图5是本发明实施例的另一种二维标注图像示意图。以上述实施例为例，如图4所示，矩形框41并未完全将目标对象31纳入框内，因此，本实施例可以通过进一步缩小x轴、y轴上的最小坐标值，并增大x轴、y轴上的最大坐标值，以增大用于标注目标对象31的矩形框。假设x轴对应的第一预定值为mx、第二预定值为nx，y轴对应的第一预定值为my、第二预定值为ny，则最终确定的二维标注坐标为(x
min-nx,y
min-ny)、(x
max
+mx,y
max
+my)，基于二维标注坐标(x
min-nx,y
min-ny)、(x
max
+mx,y
max
+my)形成的矩形框标注目标对象31。如图5所示的矩形框51，其能够完全将目标对象31纳入框内，由此，可以进一步提高图像标注的准确性，进而可以提高目标检测准确性。
83.步骤s130，根据各二维标注坐标对第二传感器图像进行预处理，获取预处理图像。
84.在一种可选的实现方式中，根据获取的二维标注坐标对第二传感器图像进行剪切，以获取初始图像，将初始图像放置于预定的背景图像上，以获取所述预处理图像。其中，由于同样大小的图像更便于标注，而由于剪切操作导致图像的尺寸不同，因此，本实施例通过将剪切后的初始图像放置于预定的背景图像上，以便于自动标注。可选的，本实施例采用黑色图像作为背景图像，应理解，不影响目标检测的图像均可作为背景图像，例如白色图像等，本实施例并不对此进行限制。
85.图6是本发明实施例的第二传感器图像的示意图。以第二传感器为相机为例，相机传感器图像6是与图2中的雷达点云三维图像2相对应的图像。其中，本实施例已经基于雷达传感器和相机传感器的内外参将标注后的三维图像2转换至二维图像3，显然二维图像3与相机传感器图像6处于相同的坐标体系。因此，可以采用步骤s120获取的各目标对象的二维标注坐标分别对第二传感器图像进行剪切，以获取各目标对应分别对应的初始图像。
86.图7是本发明实施例的一种初始图像的示意图。以相机传感器图像6中的目标对象31为例，基于目标对象31对应的二维标注坐标为(x
min-nx,y
min-ny)、(x
max
+mx,y
max
+my)对相机传感器图像6进行剪切，获取目标对象31对应的初始图像，如图7所示的初始图像7。
87.进一步可选的，本实施例根据各目标对象的二维标注坐标对第二传感器图像进行剪切，以获取剪切后的图像，对各剪切后的图像进行放大，以获取各目标对象分别对应的初始图像。由于基于目标对象的二维标注坐标获取的图像尺寸过小，不便于图像标注和目标检测，因此，可以通过对剪切后的图像进行不同程度的放大，以进一步提高图像标注和目标检测的准确性。
88.在一种可选的实现方式中，根据第二传感器图像的尺寸参数和剪切后的图像的尺寸参数确定放大系数，根据放大系数放大剪切后的图像，以获取对应的初始图像。可选的，确定第二传感器图像与剪切后的图像的各个边的长度比，根据各长度比确定放大系数。
89.在一种可选的实现方式中，第二传感器图像的长和宽分别为image_height和image_width，剪切后的图像的长和宽分别为h和w，获取第二传感器图像与剪切后的图像的各个边的长度比image_height/h、image_width/w。
90.假设image_height/h《image_width/w，将确定为该剪切后的图像的放大系数。
91.应理解，本实施例并不对放大系数的计算方式进行限定，其可以根据具体应用场景进行设置。进一步可选的，在本实施例中，放大系数不超过预定值，以避免放大后的图像
过大，与背景图像不匹配造成图像信息缺失。可选的预定值可以为3，应理解，本实施例并不对此进行限制，其可以根据具体应用场景进行确定。
92.图8是本发明实施例的另一种初始图像的示意图。以图7中的示例为例，由于初始图像7是基于二维标注坐标(x
min-nx,y
min-ny)、(x
max
+mx,y
max
+my)剪切获得，因此，初始图像7的边长：h＝((x
max
+mx)-(x
min-nx))、w＝((y
max
+my)-(y
min-ny))。之后，获取第二传感器图像6的长和宽分别为image_height和image_width，并基于image_height/h、image_width/w采用上述方法确定获取对应的放大系数，对初始图像7进行放大，得到初始图像8。
93.图9是本发明实施例的预处理图像的示意图。进而，在本实施例中，将初始图像8放置于预定的背景图像中，以获取预处理图像，如预处理图像9所示。本实施例以基于背景图像的左上角位置放置初始图像为例进行说明，应理解，本实施例并不对初始图像的放置位置进行限制，其可以基于左下角、右上角、右下角等放置，也可以放置于其他任一位置。
94.由此，本实施例通过背景图像使得待标注的预处理图像的尺寸一致，以进一步便于图像标注。
95.步骤s140，对各所述预处理图像进行标注，以确定所述第二传感器图像的第二图像标注结果。
96.在一种可选的实现方式中，将各预处理图像输入至第二图像标注模型中进行标注，以确定第二图像标注结果。其中，第二图像标注模型可以基于任意二维图像目标检测模型构建，例如r-cnn模型、yolo模型等，本实施例并不对此进行限制。
97.在一种可选的实现方式中，第二图像标注模型通过以下步骤进行训练：获取训练数据，训练数据包括已标注的二维图像数据，将训练数据输入至第二图像标注模型中进行处理，以调节模型参数，从而获得训练完成的第二图像标注模型。
98.本实施例通过对第一传感器图像进行标注，确定第一图像标注结果，根据所述第一图像标注结果确定对应的二维标注坐标，根据所述二维标注坐标对第二传感器图像进行预处理，获取预处理图像，对所述预处理图像进行标注，确定所述第二传感器图像的第二图像标注结果。由此，本实施例通过以较为准确的第一传感器图像标注结果为先验信息，对第二传感器图像进行自动标注，实现了自动对不同传感器图像中的同一目标对象进行配对，提高了图像标注的效率以及目标检测结果的准确度。
99.图10是本发明实施例的图像处理过程的示意图。如图10所示，对第一传感器图像101采用人工或第一图像标注模型进行图像标注，获取三维标注图像102。其中，三维标注图像102中包括标注目标对象的三维标注框的各顶点的坐标等信息。进而，将三维标注图像102基于第一传感器和第二传感器的内外参进行映射，获得对应的二维标注信息103。其中，二维标注图像103中包括标注目标对象的二维标注框，其中，二维标注框的各顶点坐标与对应的三维标注框的各顶点坐标相对应。进一步地，根据二维标注信息103确定各目标对象的二维标注坐标104。其中，根据二维标注信息103中的目标对象的二维标注框的各顶点坐标中的坐标轴最小值和坐标轴最大值确定该目标对象的二维标注坐标104。具体方式参见上述实施例，在此不再赘述。
100.进一步地，根据各目标对象的二维标注坐标104对第二传感器图像105进行剪切，并根据对应的放大系数分别放大各剪切后的图像，获取各目标对象的初始图像106。其中，放大系数可以基于剪切后的图像尺寸和第二传感器图像的尺寸确定，具体可参见上述实施
例，在此不再赘述。
101.进一步地，将各目标对象的初始图像106放置于背景图像中，获取各目标对象的预处理图像107。由此，可以使得各目标对象的预处理图像107的尺寸相同，以便于采用模型进行自动标注，提高了图像标注和目标检测效率。
102.进一步地，将各目标对象的预处理图像107输入至第二图像标注模型108中进行处理，获取第二图像标注结果109。其中，第二图像标注结果109包括各目标对象的标注框的坐标(例如矩形标注框的对角的顶点坐标等)以及目标对象的类别信息等。
103.本实施例通过对第一传感器图像进行标注，确定第一图像标注结果，根据所述第一图像标注结果确定对应的二维标注坐标，根据所述二维标注坐标对第二传感器图像进行预处理，获取预处理图像，对所述预处理图像进行标注，确定所述第二传感器图像的第二图像标注结果。由此，本实施例通过以较为准确的第一传感器图像标注结果为先验信息，对第二传感器图像进行自动标注，实现了自动对不同传感器图像中的同一目标对象进行配对，提高了图像标注的效率以及目标检测结果的准确度。
104.图11是本发明实施例的图像处理装置的示意图。如图11所示，本实施例的图像处理装置11包括第一标注单元111、坐标确定单元112、预处理单元113和第二标注单元114。
105.第一标注单元111被配置为获取第一传感器图像的第一图像标注结果。
106.在一种可选的实现方式中，所述第一传感器图像为三维图像。第一标注单元111包括标注子单元、映射子单元和标注结果确定子单元。
107.标注子单元被配置为对所述第一传感器图像进行标注。其中，所述第一传感器图像的标注信息包括图像中各目标对象的三维标注框的各顶点坐标。标注子单元进一步被配置为将所述第一传感器图像输入至第一图像标注模型中进行处理，以对所述第一传感器图像进行标注
108.映射子单元被配置为根据第一传感器和第二传感器的参数信息将标注后的第一传感器图像映射为对应的二维图像。所述二维图像的标注信息包括图像中各目标对应的二维标注框的各顶点坐标，所述二维标注框的各顶点坐标根据对应的三维标注框的各顶点坐标确定。
109.标注结果确定子单元被配置为根据二维图像的标注信息确定所述第一图像标注结果。
110.坐标确定单元112被配置为根据所述第一图像标注结果确定对应的二维标注坐标。在一种可选的实现方式中，坐标确定单元112包括第一坐标确定子单元。第一坐标确定子单元被配置为将所述二维标注框的各所述顶点坐标中对应的各坐标轴最大值确定的坐标、以及各坐标轴最小值确定的坐标确定为所述二维标注坐标。
111.在另一种可选的实现方式中，坐标确定单元112包括最值确定子单元和第二坐标确定子单元。最值确定子单元被配置为确定所述二维标注框的各所述顶点坐标中对应的各坐标轴最大值以及各坐标轴最小值。第二坐标确定子单元被配置为将所述各坐标轴最大值分别增大第一预定值，将所述各坐标值最小值分别缩小第二预定值，以将增大后的各坐标轴最大值、缩小后的各坐标值最小值确定的坐标确定为所述二维标注坐标。
112.预处理单元113被配置为根据各所述二维标注坐标对第二传感器图像进行预处理，获取对应的预处理图像。
113.在一种可选的实现方式中，预处理单元113包括剪切子单元和处理子单元。
114.剪切子单元被配置为根据所述二维标注坐标对第二传感器图像进行剪切，以获取初始图像。处理子单元被配置为将所述初始图像放置于预定的背景图像上，以获取所述预处理图像。
115.在一种可选的实现方式中，剪切子单元包括剪切模块和放大模块。
116.剪切模块被配置为根据所述二维标注坐标对第二传感器图像进行剪切，以获取剪切后的图像。放大模块被配置为对所述剪切后的图像进行放大，以获取所述初始图像。
117.在一种可选的实现方式中，放大模块包括放大系数确定子模块和放大子模块。
118.放大系数确定子模块被配置为根据所述第二传感器图像的尺寸参数和所述剪切后的图像的尺寸参数确定放大系数。放大子模块被配置为根据所述放大系数放大所述剪切后的图像，以获取所述初始图像。
119.在一种可选的实现方式中，放大系数确定子模块进一步被配置为确定所述第二传感器图像与所述剪切后的图像的各个边的长度比，根据各所述长度比确定所述放大系数。可选的，所述剪切后的图像的放大系数不大于预定值。
120.第二标注单元114被配置为对各所述预处理图像进行标注，以确定所述第二传感器图像的第二图像标注结果。可选的，第二标注单元114进一被配置为将各所述预处理图像输入至预先训练的第二图像标注模型中进行标注，以确定所述第二图像标注结果。
121.在一种可选的实现方式中，所述第一传感器图像为雷达传感器图像，所述第二传感器图像为相机传感器图像。
122.本实施例通过对第一传感器图像进行标注，确定第一图像标注结果，根据所述第一图像标注结果确定对应的二维标注坐标，根据所述二维标注坐标对第二传感器图像进行预处理，获取预处理图像，对所述预处理图像进行标注，确定所述第二传感器图像的第二图像标注结果。由此，本实施例通过以较为准确的第一传感器图像标注结果为先验信息，对第二传感器图像进行自动标注，实现了自动对不同传感器图像中的同一目标对象进行配对，提高了图像标注的效率以及目标检测结果的准确度。
123.图12是本发明实施例的电子设备的示意图。如图12所示，电子设备12为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器121和存储器122。处理器121和存储器122通过总线123连接。存储器122适于存储处理器121可执行的指令或程序。处理器121可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器121通过执行存储器122所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线123将上述多个组件连接在一起，同时将上述组件连接到显示控制器124和显示装置以及输入/输出(i/o)装置125。输入/输出(i/o)装置125可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置125通过输入/输出(i/o)控制器125与系统相连。
124.本领域的技术人员应明白，本技术的实施例可提供为方法、装置(设备)或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品。
125.本技术是参照根据本技术实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。
126.这些计算机程序指令可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现流程图一个流程或多个流程中指定的功能。
127.也可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
128.本发明的另一实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
129.即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指定相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
130.以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：获取第一传感器图像的第一图像标注结果；根据所述第一图像标注结果确定对应的二维标注坐标；根据各所述二维标注坐标对第二传感器图像进行预处理，获取对应的预处理图像；对各所述预处理图像进行标注，以确定所述第二传感器图像的第二图像标注结果。2.根据权利要求1所述的方法，其特征在于，所述第一传感器图像为三维图像；获取第一传感器图像的第一图像标注结果包括：对所述第一传感器图像进行标注；其中，所述第一传感器图像的标注信息包括图像中各目标对象的三维标注框的各顶点坐标；根据第一传感器和第二传感器的参数信息将标注后的第一传感器图像映射为对应的二维图像，所述二维图像的标注信息包括图像中各目标对应的二维标注框的各顶点坐标，所述二维标注框的各顶点坐标根据对应的三维标注框的各顶点坐标确定；根据二维图像的标注信息确定所述第一图像标注结果。3.根据权利要求2所述的方法，其特征在于，根据所述第二图像标注结果确定对应的二维标注坐标包括：将所述二维标注框的各所述顶点坐标中对应的各坐标轴最大值确定的坐标、以及各坐标轴最小值确定的坐标确定为所述二维标注坐标。4.根据权利要求2所述的方法，其特征在于，根据所述第二图像标注结果确定对应的二维标注坐标包括：确定所述二维标注框的各所述顶点坐标中对应的各坐标轴最大值以及各坐标轴最小值；将所述各坐标轴最大值分别增大第一预定值，将所述各坐标值最小值分别缩小第二预定值，以将增大后的各坐标轴最大值、缩小后的各坐标值最小值确定的坐标确定为所述二维标注坐标。5.根据权利要求1-4中任一项所述的方法，其特征在于，根据各所述二维标注坐标对第二传感器图像进行预处理，获取对应的预处理图像包括：根据所述二维标注坐标对第二传感器图像进行剪切，以获取初始图像；将所述初始图像放置于预定的背景图像上，以获取所述预处理图像。6.根据权利要求5所述的方法，其特征在于，根据所述二维标注坐标对第二传感器图像进行剪切，以获取初始图像包括：根据所述二维标注坐标对第二传感器图像进行剪切，以获取剪切后的图像；对所述剪切后的图像进行放大，以获取所述初始图像。7.根据权利要求6所述的方法，其特征在于，对所述剪切后的图像进行放大，以获取所述初始图像包括：根据所述第二传感器图像的尺寸参数和所述剪切后的图像的尺寸参数确定放大系数；根据所述放大系数放大所述剪切后的图像，以获取所述初始图像。8.根据权利要求7所述的方法，其特征在于，根据所述第二传感器图像的尺寸参数和所述剪切后的图像的尺寸参数确定放大系数包括：确定所述第二传感器图像与所述剪切后的图像的各个边的长度比；
根据各所述长度比确定所述放大系数。9.根据权利要求6-8中任一项所述的方法，其特征在于，所述剪切后的图像的放大系数不大于预定值。10.根据权利要求2所述的方法，其特征在于，对所述第一传感器图像进行标注包括：将所述第一传感器图像输入至第一图像标注模型中进行处理，以对所述第一传感器图像进行标注。11.根据权利要求1所述的方法，其特征在于，对各所述预处理图像进行标注，以确定所述第二传感器图像的第二图像标注结果包括：将各所述预处理图像输入至预先训练的第二图像标注模型中进行标注，以确定所述第二图像标注结果。12.根据权利要求1所述的方法，其特征在于，所述第一传感器图像为雷达传感器图像，所述第二传感器图像为相机传感器图像。13.一种图像处理装置，其特征在于，所述装置包括：第一标注单元，被配置为获取第一传感器图像的第一图像标注结果；坐标确定单元，被配置为根据所述第一图像标注结果确定对应的二维标注坐标；预处理单元，被配置为根据各所述二维标注坐标对第二传感器图像进行预处理，获取对应的预处理图像；第二标注单元，被配置为对各所述预处理图像进行标注，以确定所述第二传感器图像的第二图像标注结果。14.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-12中任一项所述的方法。15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-12任一项所述的方法。16.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-12中任一项所述的方法。

技术总结
本发明实施例公开了一种图像处理方法、装置和电子设备，通过对第一传感器图像进行标注，确定第一图像标注结果，根据所述第一图像标注结果确定对应的二维标注坐标，根据所述二维标注坐标对第二传感器图像进行预处理，获取预处理图像，对所述预处理图像进行标注，确定所述第二传感器图像的第二图像标注结果。由此，本实施例通过以第一传感器图像标注结果为先验信息，对第二传感器图像进行自动标注，实现了自动对不同传感器图像中的同一目标对象进行配对，提高了图像标注的效率以及目标检测结果的准确度。结果的准确度。结果的准确度。


技术研发人员：肖凝 姜波 牛靖博 蔡叶荷 童牧晨玄
受保护的技术使用者：北京航迹科技有限公司
技术研发日：2022.03.14
技术公布日：2023/9/22