一种数据处理方法、装置和电子设备与流程

1.本技术涉及智能驾驶领域，尤其涉及一种数据处理方法、装置和电子设备。


背景技术：

2.随着智能驾驶行业的发展，人们对智能驾驶技术的要求越来越高。智能驾驶功能的汽车是数十个高度复杂系统的集大成者，它将最先进的技术融入电子硬件、传感器、软件等，以满足人们的智能驾驶需求。为了实现智能驾驶或自动驾驶的感知、规划、定位、决策等任务，并完成车辆的实时控制，以及强大算力和确保所有任务执行的功能安全的需求，智能驾驶域控制器应运而生。
3.为了实现车辆的实时控制和驾驶安全，域控制器需要连接种类和数量繁多的传感器设备，对这些传感器采集的数据如何进行准确可靠的融合处理，是近年来智能驾驶领域重点研究的方向。其中，相机摄像头是自动驾驶汽车中重要的传感器之一，在自动驾驶过程中的首要任务就是道路识别，主要是图像特征法和模型匹配法来进行识别，行驶过程中需要进行障碍物检测和路标路牌识别等。另外，激光雷达也是自动驾驶领域的明星传感器，其距离的测量精度高、噪声比较少，能够极大地提高自动驾驶系统的感知精度。
4.为了促进智能驾驶落地应用和推广，如何实现相机和激光雷达这两种传感器数据在具体实践中的同步融合是业界正在不断攻克的问题。


技术实现要素：

5.有鉴于此，本技术的目的在于提供一种数据处理方法、装置和电子设备。
6.为解决上述技术问题，本技术采用以下技术方案：
7.第一方面，根据本技术实施例的一种数据处理方法，包括：
8.微控制器响应于第一授时设备发送的秒脉冲信号生成同步触发信号；
9.所述微控制器将所述同步触发信号发送至第一ai芯片；
10.所述第一ai芯片基于所述同步触发信号产生脉冲调制信号；
11.相机基于所述脉冲调制信号触发曝光产生相机数据，同时激光雷达基于所述脉冲调制信号获取点云数据，其中，所述相机包括前视相机、后视相机、周视相机、环视相机；
12.所述相机和所述激光雷达将所述相机数据和所述点云数据发送给所述第一ai芯片；
13.所述第一ai芯片对所述相机数据和所述点云数据进行预处理后，通过以太网交换机发送给第二ai芯片；
14.所述第二ai芯片对所述预处理后的所述相机数据和所述点云数据进行数据融合处理。
15.进一步的，所述第一授时设备向所述微控制器发送第一时间信息，所述第一时间信息包含gps信息和秒脉冲信号信息；
16.所述微控制器基于所述第一授时设备发送的所述第一时间信息进行授时；
17.所述微控制器向所述第一ai芯片和所述以太网交换机发送第二时间信息，所述第二时间信息包含指示所述第二时间信息离开所述微控制器的时间信息；
18.所述第一ai芯片和所述以太网交换机基于所述微控制器发送的所述第二时间信息进行授时。进一步的，所述第一ai芯片包括第一ai子芯片和第二ai子芯片，所述方法还包括：
19.所述微控制器将所述同步触发信号发送至所述第一ai子芯片；
20.所述第一ai子芯片基于所述同步触发信号产生所述脉冲调制信号；所述后视相机、所述周视相机、所述环视相机将响应所述脉冲调制信号获得的第一相机数据发送给所述第一ai子芯片；
21.所述前视相机和所述激光雷达将响应所述脉冲调制信号获得的第二相机数据和所述点云数据发送给所述第二ai子芯片；
22.所述第一ai子芯片对接收到的所述第一相机数据、所述第二ai子芯片对接收到的所述第二相机数据和所述点云数据进行预处理后，通过所述以太网交换机发送给所述第二ai芯片。
23.进一步的，所述以太网交换机包括第一以太网交换机和第二以太网交换机，所述方法包括：
24.所述第一ai子芯片对所述第一相机数据进行算法处理后，通过所述第一以太网交换机发送给所述第二ai芯片；
25.所述第二ai子芯片对所述第二相机数据以及所述点云数据进行算法处理后，通过所述第二以太网交换机发送给所述第二ai芯片。
26.进一步的，所述方法还包括：
27.第二授时设备向所述第一以太网交换机发送第三时间信息；
28.所述第一以太网交换机基于所述第三时间信息进行本地授时，得到第四时间信息；
29.所述第一以太网交换机基于所述第四时间信息向所述第一ai子芯片、所述第二ai子芯片、所述第二ai芯片、所述微控制器和所述第二以太网交换机授时。
30.进一步的，所述第一ai芯片对所述相机数据和所述点云数据进行预处理后，通过以太网交换机发送给第二ai芯片包括：
31.所述第一ai芯片将开始接收所述前视相机、所述后视相机和所述周视相机发送的相机数据的时间确定为第一接收时间信息；
32.所述第一ai芯片基于所述前视相机、所述后视相机和所述周视相机发送的相机数据确定第一曝光时长信息；
33.所述第一ai芯片基于所述第一接收时间信息和所述第一曝光时长信息确定第一触发时间戳信息；
34.所述第一ai芯片将所述第一触发时间戳信息通过以太网交换机发送给所述第二ai芯片。
35.进一步的，所述第一ai芯片对所述相机数据和所述点云数据进行预处理后，通过以太网交换机发送给第二ai芯片还包括：
36.所述第一ai芯片将开始接收所述环视相机发送的相机数据的时间确定为第二接
收时间信息；
37.所述第一ai芯片基于所述环视相机发送的相机数据确定第二曝光时长信息和信号处理时长信息；
38.所述第一ai芯片基于所述第二接收时间信息、所述第二曝光时长信息和所述信号处理时长信息确定第二触发时间戳信息；
39.所述第一ai芯片将所述第二触发时间戳信息通过以太网交换机发送给所述第二ai芯片。
40.进一步的，所述第一ai芯片对所述相机数据和所述点云数据进行预处理后，通过以太网交换机发送给第二ai芯片还包括：
41.所述第一ai芯片基于所述点云数据确定点云数据时间信息；
42.所述第一ai芯片将所述点云数据时间信息通过以太网交换机发送给所述第二ai芯片，
43.其中，所述第二ai芯片对所述预处理后的所述相机数据和所述点云数据进行数据融合处理包括：所述第二ai芯片基于所述第一触发时间戳信息、所述第二触发时间戳信息和所述云数据时间信息进行数据融合处理。
44.第二方面，根据本技术实施例的一种数据处理装置，包括：
45.第一信号生成模块，用于响应于第一授时设备发送的秒脉冲信号生成同步触发信号。
46.第二信号生成和预处理模块，用于获取所述第一信号生成模块发送的所述同步触发信号，并基于所述同步触发信号产生脉冲调制信号；还用于获取第一数据采集模块发送的相机数据和第二数据采集模块发送的点云数据，并对所述相机数据和所述点云数据进行预处理。
47.所述第一数据采集模块，用于基于从所述第二信号生成和预处理模块获取的所述脉冲调制信号触发曝光产生所述相机数据，其中，所述相机包括前视相机、后视相机、周视相机、环视相机。
48.所述第二数据采集模块，用于基于从所述第二信号生成和预处理模块获取的所述脉冲调制信号开始获取所述点云数据。
49.数据处理模块，用于通过以太网交换机获取所述第二信号生成和预处理模块发送的预处理后的所述相机数据和所述点云数据，并对所述预处理后的所述相机数据和所述点云数据进行数据融合处理。
50.第三方面，根据本技术实施例的一种电子设备，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行如前所述的方法。
51.本技术提出的数据处理方法、装置和电子设备，通过第一授时设备产生的秒脉冲信号的触发，使得相机和激光雷达可以同步工作，从而保证了数据采集的同步性，并为数据融合提供了良好的数据支撑，提升了智能驾驶控制的安全性。
附图说明
52.图1为本技术实施例提供的数据处理方法的应用系统的示意图；
53.图2为本技术实施例提供的数据处理方法的数据流向示意图；
54.图3为本技术实施例提供的数据处理方法的一种流程示意图；
55.图4为本技术实施例提供的数据处理装置的示意框图；
56.图5为本技术实施例提供的电子设备的结构示意图。
具体实施方式
57.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
58.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
59.为了使本技术实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术实施例，并不用于限定本技术实施例。本技术实施例的技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
60.参考说明书附图1，其示出了本技术一个实施例提供的应用本技术一个实施例提供的数据处理方法的应用系统示意图。需要注意的是，图1所示仅为可以应用本技术实施例的数据处理系统的示例，以帮助本领域技术人员理解本技术的技术内容，但并不意味着本技术实施例不可以用于其他设备、系统、环境或场景。如图1所示，该系统可以至少包括第一授时设备10、微控制器20、第一ai芯片设备30、相机40、雷达50、以太网交换机60、第二ai芯片70和第二授时设备80。其中，系统中的各设备之间均可选地采用有线或无线方式进行通信连接，本技术实施例对此不做限制。
61.具体地，本技术实施例中第二授时设备80可以是具有卫星定位功能的设备，例如可以是具有gnss授时功能的设备。gnss导航是根据gps/bd提供的位置信息，以及导航前规划的线路，指引用户行驶的一个系统。gnss信号可为iot(物联网(the internet of things，简称iot))应用提供原子钟级别的授时精度。gnss信号的授时单元可根据来自搭载原子钟的gnss卫星的信号确定其x、y和z坐标以及绝对时间，因此已成为同步移动通信网络基础设施的首选解决方案，并且非常适合广域应用。
62.本技术实施例中微控制器20承担的职责是功能安全等级要求高的重任，可以用它来承担自动驾驶功能激活期间的车辆控制功能，承担自动驾驶系统故障时的降级策略，检测智驾域内系统的运行状态，承担与车内通讯的网关功能等。实际应用中微控制器20可以采用infineon tricore系列芯片，如芯驰e3、德州仪器ti397系列芯片，具备双核锁步(dual-core lockstep)处理器结构的硬件冗余技术措施以及软硬件自检功能(bist，
build-in self test)、存储器纠错校验技术(ecc，error correcting code)，保证处理器的安全特性。
63.本技术实施例中第一ai芯片30可以是用于对该数据预处理芯片获取到的相机、雷达等数据进行去冗余去噪等图像处理的智能芯片。ai芯片也被称为ai加速器或计算卡，即专门用于处理人工智能应用中的大量计算任务的模块(其他非计算任务仍由cpu负责)。本技术实施例中第一ai芯片30可以采用基于linux系统的贝叶斯架构bpu(brain processor unit大脑处理器)的j5系列芯片，可接入超过16路高清视频输入；依托强大异构计算资源，不仅适用于最先进图像感知算法加速，还可支持激光雷达、毫米波雷达等多传感器融合；支持预测规划以及h.265/jpeg实时编解码，能够满足高级别自动驾驶需求。
64.本技术实施例中相机40可以包括前视相机、周视相机、后视相机、环视相机等应用于智能驾驶中进行视频等数据采集的相机。实际应用中，各相机的类型和数量均可以根据实际需要和第一ai芯片30所支持的接口和算力调整。
65.本技术实施例中雷达50可以包括激光雷达、前向激光雷达等应用于智能驾驶中进行点云等数据采集的传感器。
66.本技术实施例中以太网交换机60可以是用于车载以太网中的以太网交换机。车载以太网是在汽车中连接电子元器件的一种有线网络。车载以太网技术能够达到汽车传导干扰emi技术指标。现在，汽车制造商使用多种不同的专有标准来提供通信功能；大部分元器件都使用一条专用线路或电缆。而车载以太网是支持所有通信的统一标准。通过电缆即可以实现每个电子元器件与以太网交换机的连接。
67.本技术实施例中第二ai芯片70可以是具有对第一ai芯片30处理过的数据进行融合处理，并根据诸如地图工具和用户需求等进行路径规划的芯片。第二ai芯片70在实际应用中可以为一系统级soc芯片，为第一ai芯片30计算得到的ai数据进行融合处理提供算力支持，基于融合结果对智能驾驶的功能进行控制，不仅可以实现对海量数据的高效融合处理，也能满足智能驾驶领域的安全标准。也即可以减少数据传输的时间成本，提高智能驾驶安全性。第二ai芯片70在实际应用中可选为芯驰x9系列芯片，包括x9 hp和x9u芯片，算力达到100kdmips，能够满足泊车、座舱等相关算力需求。实际应用中，数据融合规划芯片70可以包括多个子芯片，例如，多个数据融合子芯片和多个导航/路径规划子芯片。
68.本技术实施例中第二授时设备80可以是具有授时功能的时间服务器。
69.本技术实施例中，微控制器20根据第一授时设备10发出的脉冲信号产生同步信号并发送给第一ai芯片30，第一ai芯片30再基于该同步信号产生脉宽调制信号pwm触发相机40曝光和雷达50工作，实现相机数据和雷达点云数据的同步采集。
70.进一步的，本技术的第一ai芯片30可以包括第一ai子芯片301和第一ai子芯片302(图1中未示出)，通过第一ai子芯片301和第一ai子芯片302分别进行相机和雷达数据的采集和预处理，其中可以是第一ai子芯片301用于全部相机数据的采集和预处理，也可以是用于部分相机数据的采集和预处理，另一部分由第二ai子芯片302采集和预处理，这里关系到智能驾驶的应用场景，具体是智能驾驶中对相机数据采集的角度和实时性均有非常高甚至严苛的要求，从而通过两个甚至更多第一ai子芯片的分工协同作业能够保证智能驾驶的安全性。
71.进一步的，本技术的以太网交换机60可以包括第一以太网交换机601和第二以太
网交换机602(图1中未示出)，通过设置第二以太网交换机602以太网交换机602分担第一以太网交换机601以太网交换机601的部分/全部工作，可以防止第一以太网交换机601出现故障时导致的驾驶不安全问题的出现，还可以增加第一以太网交换机601的使用寿命。
72.进一步的，本技术的实施例中，当第一授时设备10出现故障等不能进行授时的情况时，通过第二授时设备80为以太网交换机60进行网络授时，以太网交换机60作为主时钟，再通过以太网交换机60为与其相连的其他设备授时。由于智能驾驶的实时性要求高，而保证智能驾驶系统中各设备或模块的时间同步是数据同步和作业同步的基础，而保证智能驾驶系统中各设备或模块的时间同步的前提则是授时同步，本技术通过两种授时方式为实现系统中各设备或模块的授时同步提供了保障，从而可以进一步提升智能驾驶的安全性。实际应用中，可以通过在第一授时设备10正常工作时和第二授时设备80进行若干次比对，得到第一授时设备与第二授时设备时间差距的统计数据，当第一授时设备10不能工作时，根据该统计数据对第二授时设备的常规授时的时间进行纠偏后再授时，可以提高第二授时设备授时的精确度。
73.进一步的，本技术的实施例中，第二ai芯片70根据第一ai芯片30发送的触发相机40工作的触发时间戳信息确定相机数据，其中，触发时间戳信息根据相机40采集的相机数据的接收时间、相机曝光时间确定。进一步的，对环视相机的数据处理，还考虑了信号处理时间。通过对相机数据从采集到处理全过程时间的综合考虑，可以大大提升数据的同步性。
74.进一步的，本技术的实施例中，第二ai芯片70根据第一ai芯片30发送的雷达50获得的点云数据确定点云数据的时间，使得第二ai芯片70可以根据相机数据和雷达数据的时间信息进行数据融合处理，提升了对驾驶环境信息获取的同步性和正确性。需要说明的是，图1仅仅是本技术的示例。本领域技术人员可以理解，虽然图1中仅示出了一个第一ai芯片30、一个第二ai芯片70、一个以太网交换机60以及一个相机40和一个雷达50，但并不构成对本技术实施例的限定，根据实际需要，对它们的种类或用途或数量均可更改和替换。
75.本技术的数据处理方法主要应用在对如图1所示的智能驾驶领域中相机和雷达数据的同步和融合处理方面。如附图2和3所示，本技术实施例提供了一种数据处理方法，包括：
76.步骤101：微控制器响应于第一授时设备发送的秒脉冲信号生成同步触发信号。
77.该步骤中，秒脉冲信号即pps信号，pps英文全称是pulse per second，为脉冲数/秒。响应于pps信号生成的同步触发信号，可以使得相机和激光雷达等在pps信号上升沿的时候采集数据，并打上各自时钟的时间戳。
78.本说明书的实施例中，第一授时设备兼具为微控制器授时(授时方法在下文中说明)和发送秒脉冲信号以实现数据同步的功能。微控制器可以是mcu。
79.具体示例性地，mcu通过pps接收接口接收到pps信号后，处理成同步触发信号。
80.步骤102：微控制器将所述同步触发信号发送至第一ai芯片。
81.具体示例性地，将同步触发信号通过ap_sync同步接口发送给j5芯片。
82.步骤103：第一ai芯片基于同步触发信号产生脉冲调制信号。
83.本说明书实施例中，脉冲调制信号可以是pwm信号。
84.具体示例性地，j5芯片响应于接收到的同步触发信号生成pwm信号，并将pwm信号通过多个pwm接口传输到多个不同类型的相机和雷达中。其中，pwm是一种对模拟信号电平
进行数字编码的方法。
85.步骤104：相机基于所述脉冲调制信号触发曝光产生相机数据，同时激光雷达基于所述脉冲调制信号获取点云数据。其中，所述相机包括前视相机、后视相机、周视相机、环视相机。
86.该步骤中，前视相机、后视相机、周视相机、环视相机均基于同一脉冲调制信号产生相机数据，产生的相机数据为同一时间的数据。
87.本技术中，激光雷达也是基于脉冲调制信号获取点云数据的，从而可以保证相机数据和点云数据的同步，为智能驾驶的安全性提供了保障。
88.步骤105：相机和激光雷达将相机数据和点云数据发送给第一ai芯片。
89.该步骤中，相机数据和点云数据除了视频数据、激光点云位置信息等数据外，还包括这些数据对应的时间信息，例如相机触发的时间信息、相机曝光的时间信息、点云数据获取的时间信息等。
90.步骤106：所述第一ai芯片对所述相机数据和所述点云数据进行预处理后，通过以太网交换机发送给第二ai芯片。
91.该步骤中，预处理包括去噪、删除冗余/重叠数据以及拼接、重组等。例如，对于环视相机采集的数据需要进行拼接、重组，提升第二ai芯片对相机数据和点云数据的识别度，降低其处理难度。
92.步骤107：所述第二ai芯片对所述预处理后的所述相机数据和所述点云数据进行数据融合处理。
93.该步骤中，第二ai芯片对同一时间下的相机数据和点云数据进行比对、标记、叠加到地图等融合处理后，形成对该时间下车辆驾驶环境的数据整合，为下一步的智能驾驶规划控制提供了有效的数据支撑。
94.为了智能驾驶系统中各设备、芯片、交换机等模块产生的数据能够同步，还需要先确保这些模块处于统一的时钟下。本技术的数据方法还提供了利用第一授时设备进行授时的方案，具体包括：
95.步骤201：第一授时设备向所述微控制器发送第一时间信息，所述第一时间信息包含gps信息和秒脉冲信号信息。
96.该步骤中，第一授时设备可以基于gnss全球导航卫星系统获得gps信息，示例性地，可以是根据gnss生成gprmc数据。秒脉冲可以是pps秒脉冲，其为物理电平输出，接收及处理pps信号的时间在纳秒级别。通过将gps信息和秒脉冲信号信息发送给微控制器，使得微控制器可以根据gps信息和秒脉冲信号信息调整本地时间。
97.步骤202：所述微控制器基于所述第一授时设备发送的所述第一时间信息进行授时。
98.具体地，所述微控制器根据所述gps信息确定世界标准时间；所述微控制器响应于所述秒脉冲信号信息，统计确定所述世界标准时间所用时间；所述微控制器基于所述世界标准时间和所述确定所述世界标准时间所用时间进行授时。
99.具体的，gprmc数据一般通过波特率9600的串口发送，发送、接收、处理时间tx在毫秒级别，是时间同步的关键，而pps脉冲接收及处理的时间在纳秒级别，可以忽略不计。当微控制器收到pps秒脉冲信号后，将内部以晶振为时钟源的当前本地时间里的毫秒及以下时
间清零，并由此开始计算毫秒时间。之后，当微控制器收到gprmc数据后，提取报文里的时、分、秒、年、月、日utc(世界统一时间)时间。最后，微控制器将收到秒脉冲到解析出gprmc中utc时间所用的时间，与utc整秒时间相加，同步给本地时间，即对本地时间进行更新授时，至此已完成一次时间同步。下一秒再进行相同的过程，每秒准确校准一次。
100.步骤203：微控制器向第一ai芯片和以太网交换机发送第二时间信息，所述第二时间信息包含指示所述第二时间信息离开所述微控制器的时间信息。
101.微控制器提供的时间用于作为当前域的主时钟时间。在该步骤中第二时间信息可以包括微控制器在发送第二时间信息时的发出时间，还可以包括第二时间信息从微控制器传输到第一ai芯片或以太网交换机需要的第一信息传输时间，该时间可以是根据先验数据统计获得。在实际应用中，可以是微控制器先发送第一计时消息，根据该第一计时消息第一ai芯片和以太网交换机各自获取接收到第一计时消息的时间，从而可以获得消息从微控制器传输到第一ai芯片和以太网交换机各自需要的第一信息传输时间。
102.步骤204：第一ai芯片和以太网交换机基于所述微控制器发送的所述第二时间信息进行授时。
103.具体的，当步骤203中的第二时间信息包括第二时间信息的发出时间和第一信息传输时间时，第二时间信息的发出时间加上第一信息传输时间即可得到接收到第二时间信息时第一授时设备的时间，再将第一桥接设备的时钟调整为接收到第二时间信息时第一授时设备的时间。
104.当步骤203中的第二时间信息不包括第一信息传输时间时，第一ai芯片和以太网交换机确定接收所述第二时间信息的第三时间信息，第一ai芯片和以太网交换机各自根据所述第二时间信息、所述第三时间信息和第一ai芯片和以太网交换机各自的本地时间确定所述微控制器和第一ai芯片和以太网交换机各自之间的第一信息传输时间，第一ai芯片和以太网交换机分别基于第二时间信息和所述第一信息传输时间进行授时。
105.实际应用中，示例性地，第一ai芯片和以太网交换机为了获得它们各自与微控制器之间的传输时延，在微控制器发送第一计时消息前，第一ai芯片和以太网交换机分别还向微控制器发送传输时延计算请求消息，该消息携带其离开第一ai芯片和以太网交换机的时间t1，微控制器接收到该传输时延计算请求消息时，记录其收到的时间t2。微控制器在向第一ai芯片和以太网交换机发送第二时间信息时，在第二时间信息中携带t2和第二时间信息离开微控制器的时间t3，第一ai芯片和以太网交换机接收到微控制器发送的第二时间信息时记录时间t4。第一ai芯片和以太网交换机通过公式[(t4-t1)-(t3-t2)]/2得到微控制器和第一ai芯片和以太网交换机各自的第一信息传输时间。当确定出第一信息传输时间时，第一ai芯片和以太网交换机各自采用与上述在第二时间信息中携带第一信息传输时间时的计算方式进行授时。
[0106]
在智能驾驶领域时间精确度要求是非常高的，各设备或单元之间的传输延时也是不能忽略的，因此，通过对第一ai芯片和以太网交换机各自和微控制器之间的传输时间的计算后，再基于该传输时延对第一ai芯片和以太网交换机各自进行授时，提升了授时的准确性和同步性。
[0107]
在智能驾驶领域，为了尽可能实时准确地获取到车辆环境，需要在车辆上搭载数量和种类繁多的相机、雷达等数据采集设备，并对采集的数据进行高效处理，从而对ai芯片
的算力和接口支持等要求都较高。为了增加芯片使用寿命，减少单个芯片数据处理的压力，本技术针对第一ai芯片提供了一种通过两个第一ai芯片的子芯片进行数据处理的实施例，即第一ai芯片包括第一ai子芯片和第二ai子芯片，具体方法如下。
[0108]
步骤301：微控制器将同步触发信号发送至第一ai子芯片。
[0109]
步骤302：第一ai子芯片基于同步触发信号产生脉冲调制信号。
[0110]
该实施例中，为了保证相机和雷达接收信号的同步性，只需要将第一ai子芯片作为主芯片来接收同步触发信号并产生脉冲调制信号即可，第二ai子芯片不需要执行该步骤。
[0111]
第一ai子芯片将产生的脉冲调制信号同步发送给所有需要触发的相机和激光雷达，以使他们同步采集数据。
[0112]
步骤303：后视相机、周视相机、环视相机将响应脉冲调制信号获得的第一相机数据发送给第一ai子芯片。
[0113]
该实施例中，根据预设规则，由第一ai子芯片对后视相机、周视相机、环视相机采集的数据进行预处理，因此后视相机、周视相机、环视相机会将采集的相机数据发送给第一ai子芯片。步骤304：前视相机和激光雷达将响应脉冲调制信号获得的第二相机数据和点云数据发送给第二ai子芯片。
[0114]
该实施例中，根据预设规则，由第二ai子芯片对前视相机和激光雷达采集的数据进行预处理，因此前视相机和激光雷达会将采集的相机数据和点云数据发送给第二ai子芯片。
[0115]
其中，步骤303和步骤304执行顺序不分先后，本实施例在此不做限定。
[0116]
需要说明的是，本技术考虑数据处理效率和尽量均衡第一ai子芯片和第二ai子芯片的处理任务因素，将需要进行图像信号处理的环视相机所采集的相机数据分配给第一ai子芯片处理，将驾驶各方位中采集相对最重要且数据要求(像素、距离等)较高的前方环境信息的前视相机分给第二ai子芯片处理。
[0117]
步骤305：第一ai子芯片对接收到的第一相机数据、第二ai子芯片对接收到的第二相机数据和点云数据进行预处理后，通过以太网交换机发送给第二ai芯片。
[0118]
该步骤中，第一ai子芯片和第二ai子芯片将其预处理后的数据发送给第二ai芯片的发送时间不分先后，在第一ai子芯片和第二ai子芯片各自对获得的相机数据和/或点云数据进行预处理后自行发送给第二ai子芯片，以便第二ai子芯片对所有相机数据和点云数据进行融合等处理。
[0119]
进一步的，本技术实施例提供的以太网交换机可以是多个，起到备份、延长使用寿命、提高数据处理效率等作用，示例性的，以太网交换机包括第一以太网交换机和第二以太网交换机，进而步骤305可以包括：第一ai子芯片对第一相机数据进行算法处理后，通过所述第一以太网交换机发送给所述第二ai芯片；所述第二ai子芯片对所述第二相机数据以及所述点云数据进行算法处理后，通过所述第二以太网交换机发送给所述第二ai芯片。其中第一ai子芯片和第二ai子芯片对各自收到的相机数据可以采用不同的算法进行处理，如此，其中一个ai子芯片只需要专注于一种算法进行处理，各司其职。并且，不同的ai子芯片将其预处理好的数据通过各自专属以太网交换机传输到第二ai芯片，提升了传输效率。
[0120]
此外，本技术实施例还提供了进一步的授时方法，其增加了基于第二授时设备的
时间信息提供给以太网交换机的、可用于进行授时的时间信息(第三时间信息)，由此，以太网交换机可以在第二时间信息、第三时间信息之一进行授时。例如，当以太网交换机不能接受到第二时间信息的情况下则以第三时间信息进行授时；当这两个时间信息都能接受时，可以设置为默认以第二时间信息进行授时等。下面以第一授时设备出现故障等不能进行授时的情况为例，说明如下：
[0121]
步骤401：第二授时设备向所述第一以太网交换机发送第三时间信息。
[0122]
在步骤401之前，本技术实施例的授时方法还包括当微控制器在预设时间内没有收到第一授时设备的授时交互信息时，微控制器向以太网交换机发送第二授时设备授时请求，以太网交换机响应于第二授时设备授时请求向第二授时设备发出授时交互信息，当以太网交换机收到第二授时设备发出的授时交互信息时，以第二授时设备发出的授时交互信息确定的时间替换之前第一桥接设备通过微控制器对以太网交换机的授时时间。实际应用中，切换授时设备的请求可以是微控制器发起，也可以是以太网交换机发起。
[0123]
步骤402：所述第一以太网交换机基于所述第三时间信息进行本地授时，得到第四时间信息。
[0124]
本实施例中继续以两个以太网交换机为例进行说明，该步骤中，第一以太网交换机具有确认基于第三时间信息进行本地授时所需要的时间的能力，从而根据第三时间信息加上本地授时所需要的时间则可以得到第四时间信息。
[0125]
步骤403：所述第一以太网交换机基于所述第四时间信息向所述第一ai子芯片、所述第二ai子芯片、所述第二ai芯片、所述微控制器和所述第二以太网交换机授时。
[0126]
此处，需要补充说明的是，实际应用中，第一桥接设备可以基于第二时间信息或第三时间信息二者之一进行授时，具体地，可以预先设置规则来帮助第一桥接设备确认采用哪种授时手段，例如，当第一授时设备可以使用时，基于第二时间信息授时，当第一授时设备不可使用时，基于第三时间信息进行授时。
[0127]
本技术中，第二授时设备可以基于网络时间协议(network time protocol，ntp)进行授时。
[0128]
针对前视相机、后视相机和周视相机这类视频不需要剪辑、拼接等处理的相机发送的相机数据,这类相机也叫raw相机，为了使第二ai芯片能够对同一车辆环境/同一时间下的环境信息进行数据融合、分析等处理，本技术提供了相应的数据处理方法，具体包括：
[0129]
步骤401：第一ai芯片将开始接收前视相机、后视相机和周视相机发送的相机数据的时间确定为第一接收时间信息。
[0130]
根据本技术的实施例，步骤401-404中的第一ai芯片中，第一ai子芯片负责对后视相机和周视相机采集的相机数据进行预处理，第二ai子芯片负责对前视相机采集的相机数据进行预处理。
[0131]
该步骤中，第一ai芯片可以将前视相机、后视相机和周视相机发送的相机数据到达第一ai芯片的第一帧作为第一接收时间信息，也可以将最后一帧作为第一接收时间信息，但后面计算第一触发时间戳信息时，还需要减去第一ai芯片接收相机数据的第一帧到最后一帧所用的时间。其中，第一接收时间信息可以包括前视相机接收时间信息、后视相机接收时间信息和周视相机接收时间信息。
[0132]
步骤402：第一ai芯片基于前视相机、后视相机和周视相机发送的相机数据确定第
一曝光时长信息。
[0133]
前视相机、后视相机和周视相机发送的相机数据中携带前视相机、后视相机和周视相机各自的曝光时长，该步骤中第一曝光时长信息可以包括前视相机曝光时长、后视相机曝光时长和周视相机曝光时长。
[0134]
步骤403：第一ai芯片基于第一接收时间信息和第一曝光时长信息确定第一触发时间戳信息。
[0135]
需要说明的是，本技术的实施例中，不同类型的相机在收到脉冲调制信号时到开始曝光的时间可以是各自固定的，从而第一ai芯片将根据第一接收时间信息确定的第一接收时间减去根据第一曝光时长信息确定的第一曝光时长，再减去不同类型的相机在收到脉冲调制信号时到开始曝光的时间即可得到相机触发工作的时间，相机触发工作的时间采集的相机数据即为智能驾驶需要的精确时间下的数据。其中，第一触发时间戳信息包括前视相机触发时间戳信息、后视相机触发时间戳信息和周视相机触发时间戳信息。
[0136]
步骤404：第一ai芯片将第一触发时间戳信息通过以太网交换机发送给第二ai芯片。
[0137]
该步骤中，第一ai芯片可以将前视相机触发时间戳信息、后视相机触发时间戳信息和周视相机触发时间戳信息收齐后通过第一触发时间戳信息发送给第二ai芯片，也可以分别发送，再由第二ai芯片统一处理。
[0138]
针对环视相机这类视频需要剪辑、拼接处理的相机发送的相机数据，为了使第二ai芯片能够对同一车辆环境/同一时间下的环境信息进行数据融合、分析等处理，本技术提供了相应的数据处理方法，具体包括：
[0139]
步骤501：第一ai芯片将开始接收环视相机发送的相机数据的时间确定为第二接收时间信息。
[0140]
根据本技术的实施例，步骤501-504中的第一ai芯片中，第一ai子芯片负责对环视相机采集的相机数据进行预处理。
[0141]
该步骤中，第一ai子芯片可以将环视相机发送的相机数据到达第一ai子芯片的第一帧作为第二接收时间信息，也可以将最后一帧作为第二接收时间信息，但后面计算第一触发时间戳信息时，还需要减去第一ai子芯片接收相机数据的第一帧到最后一帧所用的时间。其中，第二接收时间信息可以包括环视相机接收时间信息。
[0142]
步骤502：第一ai芯片基于环视相机发送的相机数据确定第二曝光时长信息和信号处理时长信息。
[0143]
环视相机发送的相机数据中携带环视相机的曝光时长，该步骤中第二曝光时长信息可以包括环视相机曝光时长。
[0144]
环视相机可以是yuv(yuv在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽)相机，环视相机采集的相机数据需要进行剪辑、拼接等处理才能合成具有比较好的环视效果的相机数据，环视相机在发送给第一ai子芯片的相机数据中携带有其进行图像信号处理isp处理的时长信息，从而第一ai子芯片可以基于环视相机发送的相机数据确定信号处理时长信息。
[0145]
步骤503：第一ai芯片基于第二接收时间信息、第二曝光时长信息和信号处理时长信息确定第二触发时间戳信息。
[0146]
需要说明的是，本技术的实施例中，环视相机在收到脉冲调制信号时到开始曝光的时间可以是固定的，从而第一ai芯片将根据第二接收时间信息确定的第二接收时间减去根据第二曝光时长信息确定的第二曝光时长，再减去环视相机在收到脉冲调制信号时到开始曝光的时间，再减去根据信号处理时长信息确定的信号处理时长即可得到相机触发工作的时间，相机触发工作的时间采集的相机数据即为智能驾驶需要的精确时间下的数据。其中，第二触发时间戳信息包括环视相机触发时间戳信息。
[0147]
步骤504：第一ai芯片将第二触发时间戳信息通过以太网交换机发送给第二ai芯片。
[0148]
至此，所有相机的相机数据和相应的时间信息均到达第二ai芯片处。
[0149]
针对激光雷达获取的点云数据，为了使第二ai芯片能够对同一车辆环境/同一时间下的环境信息进行数据融合、分析等处理，本技术提供了相应的数据处理方法，具体包括：
[0150]
步骤601：第一ai芯片基于点云数据确定点云数据时间信息。
[0151]
本技术的实施例中，点云数据可以包括在一个三维坐标系统中的一组向量的集合，也可以包括颜色信息、反射强度信息等，点云数据在发送给第一ai芯片时还包括点云数据相应的时间信息。
[0152]
步骤602：第一ai芯片将点云数据时间信息通过以太网交换机发送给第二ai芯片。
[0153]
至此，所有相机的相机数据、激光雷达的点云数据和相应的时间信息均到达第二ai芯片处，从而第二ai芯片可以将相同时间下的数据进行融合处理。具体的，第二ai芯片基于第一触发时间戳信息、第二触发时间戳信息和云数据时间信息进行数据融合处理，从而可以获取到全方位、多角度且实时的环境信息。
[0154]
参考说明书附图4，其示出了本发明一个实施例提供的一种数据处理装置700的结构，所述数据处理装置700设置于数据处理端中，例如车辆端或服务器端，如图4所示，所述数据处理装置700可以包括：
[0155]
第一信号生成模块701，用于响应于第一授时设备发送的秒脉冲信号生成同步触发信号。实际应用中，第一信号生产模块可以是本技术实施例中的微控制器。
[0156]
第二信号生成和预处理模块702，用于获取所述第一信号生成模块701发送的所述同步触发信号，并基于所述同步触发信号产生脉冲调制信号；还用于获取第一数据采集模块703发送的所述相机数据和第二数据采集模块704发送的所述点云数据，并对所述相机数据和所述点云数据进行预处理。实际应用中，第二信号生成和预处理模块可以对应本技术实施例中的第一ai芯片。
[0157]
第一数据采集模块703，用于基于从第二信号生成和预处理模块702获取的所述脉冲调制信号触发曝光产生相机数据，其中，所述相机包括前视相机、后视相机、周视相机、环视相机。实际应用中，第一数据采集模块可以是本技术实施例中的相机。
[0158]
第二数据采集模块704，用于基于从第二信号生成和预处理模块702获取的所述脉冲调制信号开始获取点云数据。实际应用中，第二数据采集模块可以是本技术实施例中的激光雷达。
[0159]
数据处理模块705，用于通过以太网交换机获取第二信号生成和预处理模块702发送的预处理后的所述相机数据和所述点云数据，并对所述预处理后的所述相机数据和所述
点云数据进行数据融合处理。实际应用中，数据处理模块可以是本技术实施例中的第二ai芯片。
[0160]
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。需要说明的是，本技术实施例提供的数据处理装置中的各模块或单元具体实现的方法的其他具体内容与本技术在前述方法中描述的具体内容一致，在此不再赘述。
[0161]
本发明一个实施例还提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的数据处理方法。
[0162]
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
[0163]
结合参考说明书附图5，所示为根据本发明一个实施例的电子设备500的框图。电子设备500可以包括一个或多个处理器502，与处理器502中的至少一个连接的系统控制逻辑508，与系统控制逻辑508连接的系统内存504，与系统控制逻辑508连接的非易失性存储器(nvm)506，以及与系统控制逻辑508连接的网络接口510。
[0164]
处理器502可以包括一个或多个单核或多核处理器。处理器502可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任何组合。在本文的实施例中，处理器502可以被配置为执行根据如图2至图3所示的各种实施例的一个或多个实施例。
[0165]
在一些实施例中，系统控制逻辑508可以包括任意合适的接口控制器，以向处理器502中的至少一个和/或与系统控制逻辑508通信的任意合适的设备或组件提供任意合适的接口。
[0166]
在一些实施例中，系统控制逻辑508可以包括一个或多个存储器控制器，以提供连接到系统内存504的接口。系统内存504可以用于加载以及存储数据和/或指令。在一些实施例中设备500的内存504可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(dram)。
[0167]
nvm/存储器506可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，nvm/存储器506可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如hdd(hard disk drive，硬盘驱动器)，cd(compact disc，光盘)驱动器，dvd(digital versatile disc，数字通用光盘)驱动器中的至少一个。
[0168]
nvm/存储器506可以包括安装在设备500的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口510通过网络访问nvm/存储506。
[0169]
特别地，系统内存504和nvm/存储器506可以分别包括：指令520的暂时副本和永久副本。指令520可以包括：由处理器502中的至少一个执行时导致设备500实施如上文的数据处理方法的指令。在一些实施例中，指令520、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑508，网络接口510和/或处理器502中。
[0170]
网络接口510可以包括收发器，用于为设备500提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口510可以集成于设备500的其他组件。例如，网络接口510可以集成于处理器502的通信模块，系统内存504，nvm/存储器506，和具有指令的固件设备(未示出)中的至少一种，当处理器502中的至少一个执行所述指令时，设备500实现上文的各种实施例的一个或多个实施例。
[0171]
网络接口510可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口510可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。
[0172]
在一个实施例中，处理器502中的至少一个可以与用于系统控制逻辑508的一个或多个控制器的逻辑封装在一起，以形成系统封装(sip)。在一个实施例中，处理器502中的至少一个可以与用于系统控制逻辑508的一个或多个控制器的逻辑集成在同一管芯上，以形成片上系统(soc)。
[0173]
设备500可以进一步包括：输入/输出(i/o)设备55。i/o设备55可以包括用户界面，使得用户能够与设备500进行交互；外围组件接口的设计使得外围组件也能够与设备500交互。在一些实施例中，设备500还包括传感器，用于确定与设备500相关的环境条件和位置信息的至少一种。
[0174]
在一些实施例中，用户界面可包括但不限于显示器(例如，液晶显示器，触摸屏显示器等)，扬声器，麦克风，一个或多个相机(例如，静止图像照相机和/或摄像机)，手电筒(例如，发光二极管闪光灯)和键盘。
[0175]
在一些实施例中，外围组件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。
[0176]
在一些实施例中，传感器可包括但不限于陀螺仪传感器，加速度计，近程传感器，环境光线传感器和定位单元。定位单元还可以是网络接口510的一部分或与网络接口510交互，以与定位网络的组件(例如，全球定位系统(gps)卫星)进行通信。
[0177]
可以理解的是，本发明实施例示意的结构并不构成对电子设备500的具体限定。在本发明另一些实施例中，电子设备500可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0178]
本技术提出的数据处理方法、装置和电子设备，通过授时设备产生的秒脉冲信号的触发，使得不同类型的相机和激光雷达可以同步工作，将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释，提升了智能驾驶控制的安全性。不同种类和数量的ai芯片集成到一起，提升数据处理效率的同时又延长了各设备的使用寿命。两种授时方式的提供，进一步保证了数据同步的确定性。
[0179]
要说明的是：上述本技术实施例先后顺序仅仅为了描述，不代表实施例的优劣。且
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0180]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0181]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0182]
以上所述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种数据处理方法，其特征在于，所述方法包括：微控制器响应于第一授时设备发送的秒脉冲信号生成同步触发信号；所述微控制器将所述同步触发信号发送至第一al芯片；所述第一al芯片基于所述同步触发信号产生脉冲调制信号；相机基于所述脉冲调制信号触发曝光产生相机数据，同时激光雷达基于所述脉冲调制信号获取点云数据，其中，所述相机包括前视相机、后视相机、周视相机、环视相机；所述相机和所述激光雷达将所述相机数据和所述点云数据发送给所述第一al芯片；所述第一al芯片对所述相机数据和所述点云数据进行预处理后，通过以太网交换机发送给第二al芯片；所述第二al芯片对所述预处理后的所述相机数据和所述点云数据进行数据融合处理。2.如权利要求1所述的数据处理方法，其特征在于，所述方法还包括：所述第一授时设备向所述微控制器发送第一时间信息，所述第一时间信息包含gps信息和秒脉冲信号信息；所述微控制器基于所述第一授时设备发送的所述第一时间信息进行授时；所述微控制器向所述第一al芯片和所述以太网交换机发送第二时间信息，所述第二时间信息包含指示所述第二时间信息离开所述微控制器的时间信息；所述第一al芯片和所述以太网交换机基于所述微控制器发送的所述第二时间信息进行授时。3.如权利要求1或2所述的数据处理方法，其特征在于，所述第一al芯片包括第一al子芯片和第二al子芯片，所述方法还包括：所述微控制器将所述同步触发信号发送至所述第一al子芯片；所述第一al子芯片基于所述同步触发信号产生所述脉冲调制信号；所述后视相机、所述周视相机、所述环视相机将响应所述脉冲调制信号获得的第一相机数据发送给所述第一al子芯片；所述前视相机和所述激光雷达将响应所述脉冲调制信号获得的第二相机数据和所述点云数据发送给所述第二al子芯片；所述第一al子芯片对接收到的所述第一相机数据、所述第二al子芯片对接收到的所述第二相机数据和所述点云数据进行预处理后，通过所述以太网交换机发送给所述第二al芯片。4.如权利要求3所述的数据处理方法，其特征在于，所述以太网交换机包括第一以太网交换机和第二以太网交换机，所述方法包括：所述第一al子芯片对所述第一相机数据进行算法处理后，通过所述第一以太网交换机发送给所述第二al芯片；所述第二al子芯片对所述第二相机数据以及所述点云数据进行算法处理后，通过所述第二以太网交换机发送给所述第二al芯片。5.如权利要求4所述的数据处理方法，其特征在于，所述方法还包括：第二授时设备向所述第一以太网交换机发送第三时间信息；所述第一以太网交换机基于所述第三时间信息进行本地授时，得到第四时间信息；所述第一以太网交换机基于所述第四时间信息向所述第一al子芯片、所述第二al子芯
片、所述第二al芯片、所述微控制器和所述第二以太网交换机授时。6.如权利要求1或4所述的数据处理方法，其特征在于，所述第一al芯片对所述相机数据和所述点云数据进行预处理后，通过以太网交换机发送给第二al芯片包括：所述第一al芯片将开始接收所述前视相机、所述后视相机和所述周视相机发送的相机数据的时间确定为第一接收时间信息；所述第一al芯片基于所述前视相机、所述后视相机和所述周视相机发送的相机数据确定第一曝光时长信息；所述第一al芯片基于所述第一接收时间信息和所述第一曝光时长信息确定第一触发时间戳信息；所述第一al芯片将所述第一触发时间戳信息通过以太网交换机发送给所述第二al芯片。7.如权利要求6所述的数据处理方法，其特征在于，所述第一al芯片对所述相机数据和所述点云数据进行预处理后，通过以太网交换机发送给第二al芯片还包括：所述第一al芯片将开始接收所述环视相机发送的相机数据的时间确定为第二接收时间信息；所述第一al芯片基于所述环视相机发送的相机数据确定第二曝光时长信息和信号处理时长信息；所述第一al芯片基于所述第二接收时间信息、所述第二曝光时长信息和所述信号处理时长信息确定第二触发时间戳信息；所述第一al芯片将所述第二触发时间戳信息通过以太网交换机发送给所述第二al芯片。8.如权利要求7所述的数据处理方法，其特征在于，所述第一al芯片对所述相机数据和所述点云数据进行预处理后，通过以太网交换机发送给第二al芯片还包括：所述第一al芯片基于所述点云数据确定点云数据时间信息；所述第一al芯片将所述点云数据时间信息通过以太网交换机发送给所述第二al芯片，其中，所述第二al芯片对所述预处理后的所述相机数据和所述点云数据进行数据融合处理包括：所述第二al芯片基于所述第一触发时间戳信息、所述第二触发时间戳信息和所述云数据时间信息进行数据融合处理。9.一种数据处理装置，其特征在于，所述装置包括：第一信号生成模块，用于响应于第一授时设备发送的秒脉冲信号生成同步触发信号。第二信号生成和预处理模块，用于获取所述第一信号生成模块发送的所述同步触发信号，并基于所述同步触发信号产生脉冲调制信号；还用于获取第一数据采集模块发送的相机数据和第二数据采集模块发送的点云数据，并对所述相机数据和所述点云数据进行预处理。所述第一数据采集模块，用于基于从所述第二信号生成和预处理模块获取的所述脉冲调制信号触发曝光产生所述相机数据，其中，所述相机包括前视相机、后视相机、周视相机、环视相机。所述第二数据采集模块，用于基于从所述第二信号生成和预处理模块获取的所述脉冲
调制信号开始获取所述点云数据。数据处理模块，用于通过以太网交换机获取所述第二信号生成和预处理模块发送的预处理后的所述相机数据和所述点云数据，并对所述预处理后的所述相机数据和所述点云数据进行数据融合处理。10.一种电子设备，其特征在于，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行权利要求1-8任一项所述的方法。

技术总结
本申请提供一种数据处理方法、装置和电子设备，包括：微控制器将响应于第一授时设备发送的秒脉冲信号生成的同步触发信号发送至第一AI芯片；第一AI芯片基于同步触发信号产生脉冲调制信号；相机基于脉冲调制信号触发曝光产生相机数据，同时激光雷达基于脉冲调制信号获取点云数据，并将相机数据和点云数据发送给第一AI芯片；第一AI芯片对数据进行预处理后，通过以太网交换机发送给第二AI芯片；第二AI芯片再进行数据融合处理。根据本申请提供的数据处理方法，通过第一授时设备产生的秒脉冲信号的触发，使得相机和激光雷达可以同步工作，从而保证了数据采集的同步性，并为数据融合提供了良好的数据支撑，提升了智能驾驶控制的安全性。性。性。


技术研发人员：汪晓晖 顾问 周强 郭长江 郭宁宁 孙见 何雨阳 曹葵康 刘军传 徐一华
受保护的技术使用者：苏州天准科技股份有限公司
技术研发日：2023.03.28
技术公布日：2023/9/20