轻量的交通工具中的危急场景提取系统的制作方法
未命名
10-28
阅读:105
评论:0
轻量的交通工具中的危急场景提取系统
优先权要求
1.本技术要求享有2020年11月19日提交的国际申请no.pct/cn2020/130241的优先权的权益,将该国际申请通过引用完整地结合于本文中。
背景技术:
2.自主驾驶(ad)的大规模使用越来越近,但是自主交通工具(av)的安全性仍存在重大挑战。在可预见的未来,av将在道路上与人类驾驶的交通工具共存。然而,人类驾驶的交通工具和行人的行为具有相当大的不确定性,这通常是由于鲁莽驾驶、故意违反交通规则、疏忽、交通工具失控、心不在焉及其它原因引起的。这些不确定性将对av造成许多不可预测且危险的情况,本文中将此类情况称为“危险场景”或“危急场景”。
3.这些现实生活的危险情况对于av的开发和安全性评价非常有价值。通过改进,av可以学习如何预测和评估道路上的潜在风险,并且与人类驾驶员和行人互动。然而,对于识别和捕获从现实世界的遭遇(诸如事故、侥幸免撞脱险、冒险等等)产生的自主交通工具的危急场景而言,用于交通工具运行记录和数据捕获的现有方法却遇到了各种各样的限制。
附图说明
4.在不一定按比例绘制的附图中,同样的标号可描述不同视图中的相似组件。具有不同字母后缀的同样标号可表示相似组件的不同实例。在附图的各图中,通过举例而不是限制的方式示出一些实施例,附图中:
5.图1示出根据示例、提供交通工具中的危急场景提取的系统。
6.图2示出根据示例、用于交通工具中的危急场景提取的系统架构。
7.图3示出根据示例、为危急场景提取执行的处理流。
8.图4示出根据示例、用于提取的场景处理的相机标定和坐标变换。
9.图5示出根据示例、用于提取的场景处理的数据流。
10.图6示出根据示例、在模拟器中再生的提取的场景。
11.图7示出根据示例、用于收集和操作数据记录的方法的流程图。
12.图8示出根据示例、用于执行危急场景数据识别和提取的方法的流程图。
13.图9示出根据示例、执行本文中所论述的方法中的任一方法的计算机系统的示例形式的机器。
具体实施方式
14.以下实施例一般涉及用于从在交通工具运行期间遇到的场景中识别和提取数据的机制和技术。具体来说,下文描述一种轻量的交通工具中的危急场景提取系统,该系统可以从交通工具道路运行中实时检测危险情况,提取必要场景元素,从原始数据中消除隐私或隐私敏感信息,然后将提取的场景上传到云服务器或者其它外部系统。
15.下文提供一种从各种各样的现实世界的危险情况中实时收集数据的低成本解决
方案。在以下示例中,实现轻量的交通工具中的危急场景提取系统,以实时检测道路上的危险或有问题的情况,缓冲来自此场景的数据,然后,最终将场景的规范上传到在远程位置的云服务器。场景规范可以用于在模拟平台中再生危急场景,以便进行重复测试和评估。场景数据元素可包括与自我交通工具以及其它周围交通工具和行人的速度、轨迹、取向和位置有关的信息。这些场景数据元素可以在模拟器中被再生以用于av训练和测试后果。
16.用于必要场景分析的以下基础设施提供显著的优势。首先,轻量的交通工具中的危急场景提取系统可以作为独立的硬件装置或组件来实现,或者与现有的交通工具中的装置或计算机系统集成,例如,与行车记录仪或者高级驾驶员辅助系统(adas)组件集成。因此,这种危急场景提取系统可以被快速采用并部署到各种各样的交通工具类型中。另外,利用收集的实时交通事故(危险情况)信息(事故类别、位置、时间段、道路/天气状况等),可以构建交通事故地图,将信息叠加在av地图上或者av所使用的hd地图上。可以使用交通事故地图来调整av的安全运行参数(例如,用于责任敏感安全(rss)安全运行的参数),或者对其它av生成预警或警告消息。
17.利用现有的方法,一些自主驾驶公司已经使用专门设计的交通工具(例如,配备有机载数据采集系统和专门设计的传感器)以在行驶期间收集高精确度的交通工具运动学数据,然后离线过滤出危险情况。然而,这种处理方法具有一些明显的缺点。首先,数据采集系统具有高成本,并且通常要求专门培训过的驾驶员来驾驶汽车,这得到非常有限的数据采集量。另外,数据采集交通工具通常一天天地在相对固定的城市区域中行驶,并且不太可能遇到和捕获危急场景。最后,交通工具的有限数量加上在相对固定的城市区域中的有限运行导致所收集的场景中的许多场景并不代表更广泛的现实世界状况。实际上,由专门设计的交通工具收集的行驶场景可能甚至仅仅当在不同区域中或在不同时间段期间收集时就具有显著的差异。
18.用于分析危急场景的先前方法一般符合以下类别之一。首先,一些方法利用运行时日志。一些分类为2级(l2,具备adas的部分驾驶自动化)或更高级的交通工具具有日志机制以记录一些系统运行时参数和状态数据,例如,特斯拉的
‘
teslalog’。可以将日志数据上传到交通工具制造商以供后期分析。然而,此类运行时日志产生仅为自我交通工具的故障分析而设计的日志数据。在此运行时日志中收集的数据不能记录整个交通事故,并且也不能用于在模拟器中再生危急场景。
19.用于分析危急场景的另一先前方法涉及自然驾驶研究的使用。如上文所指出,一些自主驾驶公司和研究机构使用配备有机载数据采集系统的专门交通工具以在日常行驶期间收集高精确度的交通工具运动学数据,然后过滤出危急场景。然而,专门的数据采集系统常常具有高成本与昂贵的传感器(激光雷达、雷达
……
)和存储装置,并且需要专门的交通工具和驾驶员,这导致有限使用而无法被广泛采用和部署。此外,从这些交通工具收集的原始数据包含大量的隐私敏感信息,包括车牌和行人的面部信息。原始数据量巨大,而且还给无线数据上传带来大的负担。原始数据需要巨大的本地/云存储空间,但是所收集数据中的大多数是无用的,并且缺乏危急场景。
20.用于分析危急场景的最后一种先前方法涉及交通事故调查报告的使用。例如,如果某一av发生了事故,则政府交通研究机构可能会调查事故现场并且重构它,以便进行事故分析。调查报告通常是简短的,并且用于统计分析。由此,从事故中提取模拟工作状况参
数,并且使用这些参数来再现碰撞事故模拟。然而,在使用交通事故调查报告时,报告是基于事故现场的后果,它无法描述事故的整个过程和av运行的整个危急场景。此外,使用所提取的工作状况参数进行的碰撞模拟仅用于交通工具动态模拟,而不能用于测试av运行算法。自主交通工具系统(avs)通常包括感知模块、预测模块、行动规划模块等,为了测试avs,必须考虑包括静态元素和动态元素在内的完整行驶场景以及工作状况参数。
21.以下的交通工具中的危急场景提取系统强调若干轻量元件,以使广泛采用和部署成为可能。这个解决方案可以动态地收集事故数据,并且通过基于从一直在道路上行进的大量交通工具收集的数据提供许多数量和类别的事故和事件,来扩展模拟场景库。除其它益处之外,以下方法可以大大地减少对云中或交通工具中的存储空间的要求(以及无线带宽的利用),因为只保存危急场景数据并将其上传到云,并且可以在上传之前丢弃冗余数据。另外,以下方法提供改进的隐私保护。可以在交通工具中消除隐私或敏感信息,使得仅匿名场景信息被上传到云。
22.图1是示出根据实施例、提供交通工具危急场景提取的系统100的示意图。图1包括结合到交通工具104中的数据场景处理平台102。数据场景处理平台102包括传感器阵列接口106、处理电路108、数据提取电路110和交通工具接口112。
23.交通工具104又可称为“自我交通工具”或“主机交通工具”,它可以是任何类型的交通工具,诸如商用交通工具、消费者交通工具、休闲交通工具、汽车、卡车、摩托车、船、无人机、机器人、飞机、气垫船、或者任何能够至少部分以自主模式运行或在利用自主驾驶特征的同时运行的移动艇。交通工具104有时可以手动模式运行,在手动模式中,驾驶员常规地使用脚踏板、方向盘或其它控制来操作交通工具104。在其它时间,交通工具104可以完全自主模式运行,在完全自主模式中,交通工具104无需用户干预而运行。另外,交通工具104可以半自主模式运行,在半自主模式中,交通工具104控制驾驶的各方面中的许多方面,但是驾驶员可使用常规(例如,方向盘)和非常规输入(例如,语音控制)来干预或影响运行。以这种方式,交通工具可在相同或不同时间在任何数量的驾驶自动化等级之中运行,这些等级被定义为1级到5级(例如,如sae国际j3016所定义:1级,驾驶员辅助;2级,部分驾驶自动化;3级,有条件的驾驶自动化;4级,高度驾驶自动化;5级,完全驾驶自动化)。交通工具也可使用这些等级的组合或变更来运行。例如,交通工具可按照新概念l2+(level 2plus)运行,该概念描述一种促成增强的驾驶体验并提升安全性而无需提供完全自主控制系统的混合adas/av。
24.传感器阵列接口106可用于从安装在交通工具104上(内部)的传感器阵列的一个或多个传感器向数据场景处理平台102提供输入或输出信令。传感器的示例包括但不限于:前向、侧向或后向相机;雷达;激光雷达;超声测距传感器;或其它传感器。在本文档中,前向或前置用于指主要的行进方向、布置座椅面向的方向、变速器设置为驱动时的行进方向等等。然后,按常规,后置或后向用于描述指向与前向或前置的方向大致相反的方向的传感器。要理解,一些前置相机可具有相对较宽的视场,甚至多达180度。类似地,以要用于检测相邻通车车道中的交通的角度(或许偏离中心60度)定向的后置相机也可具有相对较宽的视场,这可与前置相机的视场重叠。侧向传感器是从交通工具104的侧面向外定向的那些传感器。传感器阵列中的相机可包括红外或可见光相机,它们能够以窄视场或大视场在远距离或短距离聚焦。交通工具104还可包括各种其它传感器,诸如驾驶员识别传感器(例如,座
椅传感器、眼睛跟踪和识别传感器、指纹扫描仪、语音识别模块等等)、乘客传感器、或者检测风速、室外温度、气压计压力、雨水/湿度等等的各种环境传感器。
25.传感器数据用于确定交通工具的运行情境、环境信息、道路状况、行进状况等等。传感器阵列接口106可与交通工具104的另一接口(比如机载导航系统)通信,以提供或获得传感器数据。数据场景处理平台102的组件可使用网络与数据场景处理平台102内部的组件或平台102外部的组件通信,网络可包括局域网(lan)、广域网(wan)、无线网络(例如,802.11或蜂窝网络)、自组织网络、个人区域网络(例如,蓝牙)、基于交通工具的网络(例如,控制器区域网络(can)bus)、或者网络协议和网络类型的其它组合或置换。网络可包括单个局域网(lan)或广域网(wan)、或者lan或wan(比如互联网)的组合。耦合到网络的各种装置可经由一个或多个有线或无线连接耦合到网络。
26.数据场景处理平台102可与交通工具控制平台118通信。交通工具控制平台118可以是控制交通工具的运行的各个方面的更大架构的组件。交通工具控制平台118可具有与下列项的接口:自主驾驶控制系统(例如,转向、刹车、加速等),舒适系统(例如,加热、空气调节、座椅定位等),导航接口(例如,地图和路线选择系统、定位系统等),防撞系统,通信系统,安全系统,交通工具状态监测器(例如,胎压监测器、油位传感器、电池电量传感器、速度计等),等等。交通工具控制平台118可控制或监测一个或多个子系统,并且将来自此类子系统的数据传递到数据场景处理平台102。在示例中,来自传感器的经过处理的结果为交通工具的运行提供“环境模型”。此类环境模型可表示对于每个时间帧该环境模型处于给定状态的信息、以及对于每个状态存在基于给定状态选择的动作的信息。
27.在示例中,可将诸如刹车、油门、速度数据信号以及其它数据信号类型之类的传感器数据提供给数据分类电路110,数据分类电路110可对输入信号预处理。数据提取电路110可实现各种规则、算法或逻辑,包括诸如人工神经网络(ann)、支持向量机(svm)、高斯混合模型(gmm)、深度学习等等的几种机器学习类型之一。基于可能的分类或数据值识别,处理电路108可发起一个或多个响应性的数据处理、记录或通信活动。取决于利用数据场景处理平台102所检测的事件的类型、严重程度、位置或其它方面,可监测、协调或发起其它自主交通工具和数据处理动作。
28.在示例中,数据场景处理平台102可用于实时提取场景元素,或者以某个周期(例如每天)或在某个条件(例如可用盘使用量的阈值)下以批处理模式提取场景元素。数据场景处理平台102可伴有交通工具和云服务器之间的通信接口,该通信接口允许交换用于在模拟器中再生虚拟场景的数据。数据场景处理平台102还可实现、显示或更新实时事故地图(具有位置、事故类别等),该地图用于调整av的安全模型运行参数,或者向其它av生成警告或警报消息,采取其它步骤以增强av的安全性和性能。
29.图2描绘用于交通工具中的危急场景提取的系统架构,比如可通过交通工具104和平台102内运行的危急场景提取系统206来实现。如所示,危急场景提取器包括具有传感器接口208、危急场景检测210、场景提取212和网络接口模块214的处理管线。附加的元件和处理模块也可被结合到此架构中。
30.传感器接口208可连接到各种类型的物理传感器202,包括可以捕获关于交通工具运行的场景和环境的数据的价廉且广泛使用的传感器。在示例中,传感器202可收集并提供来自下列项的数据:行车记录仪,其记录事故或事件的整个过程,包括交通工具周围的所有
动态元素(交通工具、行人)和静态元素(天气、建筑物、树木、交通灯等);gps传感器,其提供场景的位置信息,此类信息稍后可以被用来从商业/开源hd地图提供商(例如,openstreetmap)检索事故现场的hd地图/道路网格,或者用来构建实时交通事故或事件地图;imu(惯性测量单元),其可以与gps一起用于定位,并且也可以提供交通工具加速度和方位信息;以及obd(机载诊断),其可以从各种交通工具子系统获得并提供精确的交通工具动态信息,包括与交通工具的速度、油门、制动装置、轮动等相关的数据。
31.在示例中,以行车记录仪的帧速率对gps/obd/imu数据采样。传感器接口模块208用于接收和处理来自上文所提及的物理传感器和其它辅助传感器的传入数据。这些传感器可以专供危急场景提取系统206使用,或者可以在该系统和其它的交通工具中装置(例如,adas系统)之间共享。
32.危急场景检测模块210可用于检测各种各样的危险或冒险情况,本文中将其称为“危急”场景。此类冒险或危险情况可包括如下的那些情况,其中自我交通工具可能做出(或已经做出)将会导致事故的不安全决定,或者其中自我交通工具可能参与其中并且必须采取适当的对策以避免即将发生的碰撞或其它损失。根据检测结果,将断言两个信号,并将它们向下传递给其它模块:
33.1)critical_scenario_detected。此信号指示检测到危险或冒险情况。可以使用多个标准(或单个标准)来触发该信号,包括但不限于:(a)横向或纵向加速度高于阈值;(b)碰撞时间(ttc)小于阈值;(c)已检测到对一项或多项安全政策的违反(例如,对如mobileye所定义的责任敏感安全(rss)模型的违反、或者对其它交通工具运行安全模型(诸如标准团体或政府管辖区颁布或要求的那些模型)的违反或危险状况。在具体示例中,通过观察主机交通工具相对于至少一个目标物体的当前或下一状态并且估计一些危险后果(例如,事故)无法避免来确定危急场景。在另一具体示例中,当主机交通工具的状态使得(安全政策的)至少一个安全规则或标准受损并且无法被遵循时,确定危急场景。
34.2)critical_scenario_exit。该信号指示危险情况结束。可以使用一些标准来触发该信号,包括但不限于:(a)自我交通工具的速度小于阈值;(b)已检测到碰撞;(c)已消除对一项或多项安全政策的违反。为了完整记录危急场景,场景的开始时间应该比断言critical_scenario_detected信号早几秒;并且场景的结束时间应该比断言critical_scenario_exit信号晚几秒。
35.基于危急场景检测模块210的结果,激活场景提取模块212。如果检测到危急场景,则此场景提取模块212将从全局数据缓冲器中读出原始传感器数据,并从其中提取危急场景元素,包括所有道路参与者的速度、轨迹、位置和旋转。可以按不同的格式组织提取的元素。还可通过场景提取模块212去除隐私或敏感信息,比如通过匿名化或数据模糊处理的使用去除可能识别主机交通工具的信息。
36.图3提供由场景提取模块212执行的处理流的更详细概观。在示例中,场景提取模块212在视频帧302中读取,然后提取要用于在云中的场景重构的元素304,包括动态元素(例如,交通工具/步行者轨迹、速度、位置、旋转等)和静态元素(例如,交通灯、周围环境、天气等)。在一些示例中,这些元素304可以是环境中的物体的签名或其它方式的简洁表示,而不是原始数据或另一类型的高分辨率(数据密集型)表示。
37.在图3中所描绘的、由场景提取模块212执行的其它操作包括:(a)图像预处理(例
如,增强视频帧,调整其亮度、大小,消除透镜畸变等);(b)相机标定和坐标变换(例如,自动执行相机标定并计算相机的外在和内在参数,包括焦距、倾斜系数、旋转和平移);(c)动态元素提取(例如,执行当前技术水平的物体检测和跟踪算法,从而对每个视频帧中的每个交通工具/行人进行检测、分类和跟踪,然后提取其模型、位置、旋转、速度和轨迹);以及(d)静态元素提取(例如,通过装置中的计算机视觉算法直接从视频帧中提取静态元素(道路网格、周围环境、交通灯、天气);通过使用gps定位从云中的开源/商业hd地图数据中检索道路网格和其它静态元素;或者通过静态和动态方法的融合,比如通过在云中检索道路网格并且在装置侧提取其它静态元素)。
38.图4提供相机标定和坐标变换的图解。可自动执行相机标定,以基于诸如焦距、倾斜系数、旋转和平移之类的参数计算相机的外在和内在参数。也可以直接从相机厂商获取这些参数。在各种示例中,可以禁止或绕过此相机标定过程和伴随的硬件(例如,标定模块)的使用。在示例中,利用相机参数,可以将(在图像坐标系中)来自相机矩阵404的2d视频图像402中的每个像素映射到(在世界坐标系中)3d空间406中的点。
39.返回到图2,首先将把场景元素与元数据(例如,包括由元素304产生的那些元数据)组合,然后将通过网络接口214将其上传至云服务器220。将每个数据块(“数据帧”)按视频帧进行组织并依序保存到输出缓冲器中,最后打包并上传到云服务器220。
40.在示例中,场景提取模块212可操作地耦合到输入传感器数据缓冲器216。输入传感器数据缓冲器216是循环缓冲器,它用于存储来自传感器的输入原始数据,包括视频帧或gps/obd/imu数据。所有数据按视频帧(例如,基于同步时钟发生器204)对齐。可以实时处理此类输入数据。将会理解,缓冲器需要缓冲至少几秒钟的传感器数据,并且因此可以使用易失性存储器(例如,ddr sdram)实现缓冲器。
41.而且在示例中,场景提取模块212可操作地耦合到输出结果缓冲器218。输出结果缓冲器218也是循环缓冲器,它用来存储提取的场景元素和元数据。所有数据按视频帧(例如,基于同步时钟发生器204)对齐。输出结果缓冲器218可能需要在更长的预定义时间周期(例如,几天或几周)期间缓冲提取的场景,并且因此应当使用非易失性存储装置(sd卡、并行闪存等)来实现这个缓冲器。将通过无线网络把这个缓冲器中的场景数据上传到云服务器220,或者可以通过特殊的有线/电缆接口(例如,usb接口)直接从非易失性存储装置中读出数据。如果没有找到可用的网络连接,则数据将被保存在缓冲器中一直到它被上传。
42.在示例中,按以下格式从输出结果缓冲器218提供数据帧:
表1
43.数据传输模块(未示出,但是潜在地由网络接口模块214实现)负责将提取的场景数据上传到云服务器220。它的实现取决于所选择的无线通信技术(ieee 802.11/wi-fi、5g等)。数据传输模型的主要功能性可包括:(a)在装置和云服务器220之间建立安全(可靠、可信)连接;(b)将场景数据分段并将场景数据封装成网络分组的功能性;以及(c)数据加密和传输/重传(例如,通过实现ipsec协议来进行)。对于数据传输可采用外部网络传输模块或集成ip(网络接口电路)。
44.图5提供了数据流500的说明性示例。在此数据流中,以下事件序列发生。
45.1)装置首先向云服务器发送分组,以检查服务器或服务是否准备好接收数据。
46.2)装置等待,直到它接收到服务器的ack。如果在所定义的时间段中没有接收到ack,则返回到步骤1。
47.3)装置将场景元数据发送到云服务器。
48.4)装置等待,直到它接收到服务器的ack。如果在所定义的时间段中没有接收到ack,则返回到步骤3。
49.5)装置向云服务器发出帧元数据和数据元素。
50.6)装置等待,直到它接收到服务器的ack。如果在所定义的时间段中没有接收到ack,则返回到步骤5。
51.7)装置发出下一个场景元数据。
52.当成功上传了某个场景时,将从本地输出结果缓冲器中去除用于该场景的数据。
53.图6描绘在模拟器(例如,carla开源模拟器)中再生以用于虚拟测试和算法开发的提取的场景600。如果多个涉及的交通工具在道路运行期间捕获并上传了相同事件,则可以在云服务器220中将用于该事件的场景规范合并为更完整的场景。
54.可作为用于托管和生成实时交通事故地图的系统的一部分来提供另一应用(未描绘)。此类事故地图可以用来调整av的交通工具运行安全模型(例如,rss模型)参数,或者对其它av生成警告、预警或警报消息。
55.图7描绘根据本技术、用于收集和识别危急场景数据的方法的流程图700。
56.操作702涉及从传感器(例如,如上文所论述的物理传感器202)收集数据,包括从轻量传感器平台的使用收集数据。来自传感器的正在进行的数据流可提供运行数据值和遥测,包括以便配合如上文所论述的输入缓冲器来使用。
57.操作704涉及对收集的数据执行危急场景检测。如上文所论述,可执行收集的数据值和状况的具体分类和识别。在各种示例中,此危急场景可受制于交通工具运行安全模型(例如,rss模型)的状况或事件。
58.操作706包括从危急场景中执行数据提取,包括来自相关数据传感器的数据的提取。如参考图3所论述,此类数据可包括静态元素的提取和动态元素的提取。在进一步的示例中,还提取环境模型连同安全模型参数。如参考图4所论述,可执行元数据处理和坐标空间处理的附加方面。
59.操作708包括将提取的数据传递到服务器或服务。此类传递可根据参考图5所论述的格式和确认来执行。
60.操作710包括基于提取的数据重构危急场景。还可进行本文中所论述的其它数据处理操作。
61.图8示出用于执行危急场景数据识别和提取的方法的流程图800。此方法的操作可在轻量独立装置中执行,在集成于主机或主体交通工具内或作为其一部分、作为自动数据记录系统的一部分、作为另一监测或传感装置的一部分的装置中执行,或者作为来自计算机器可读或装置可读存储介质的指令的一部分来执行,这些指令由计算机器或装置的电路执行。
62.在802执行操作,包括从至少一个传感器获得数据,其中所述数据是在交通工具的运行期间产生的。如上文所论述,可在输入传感器数据缓冲器中缓冲从至少一个传感器获得的数据,并且输入传感器数据缓冲器可将此类数据维持所定义的时间周期(例如,窗口)。与以上示例一致,可从至少两个传感器系统提供数据,从下列项之中提供所述至少两个传感器系统:安装在交通工具的内舱内的提供图像数据的相机(例如,行车记录仪);集成在交通工具内的提供图像数据的相机(例如,前向、侧向或后向相机);提供位置数据的全球导航卫星系统(例如,gps系统);提供运动数据的惯性测量单元;或者集成在交通工具内的提供诊断数据的机载诊断系统。在进一步的示例中,在802的操作还可包括使从至少两个传感器系统提供的数据同步或与此类同步协调。
63.在804执行操作,包括根据从至少一个传感器获得的数据检测危急场景,比如,基于交通工具的运行与交通工具运行安全模型(例如,rss模型)所指定的至少一个要求的比较来检测危急场景。在示例中,在检测到对交通工具运行安全模型的至少一个要求的违反
时确定危急场景开始,并且在消除对交通工具运行安全模型的至少一个要求的违反时确定危急场景结束。
64.在806执行操作,包括响应于检测到危急场景,对从至少一个传感器获得的数据进行数据提取,以产生提取的数据。此类数据提取可获得指示交通工具的运行的运动细节的数据、以及与周围环境相关的其它细节。在示例中,在确定危急场景开始的第一时间捕获的数据上开始数据提取,并且在确定危急场景结束的第二时间捕获的数据上结束数据提取。例如,可基于检测到以下至少一项而确定危急场景开始:交通工具与另一交通工具之间的纵向距离小于所定义的值;交通工具与另一交通工具之间的横向距离小于所定义的值;交通工具的横向或纵向加速度超过阈值;或者交通工具与物体的碰撞时间小于所定义的值。还例如,可基于检测到以下至少一项而确定危急场景结束:交通工具与另一交通工具之间的纵向距离大于所定义的值;交通工具与另一交通工具之间的横向距离大于所定义的值;交通工具的横向或纵向加速度小于阈值;或者检测到交通工具与物体的碰撞。
65.在808执行操作,包括输出提取的数据,诸如缓冲、存储或传递提取的数据。例如,输出提取的数据可包括将提取的数据存储在输出结果缓冲器中。可将此类提取的数据存储在输出结果缓冲器中,而不带有交通工具的识别信息(例如,在去除识别信息之后,诸如匿名化或数据去除操作的结果)。在进一步的示例中,输出提取的数据包括将存储(排队)在输出结果缓冲器中的提取的数据传递到远程服务。与以上示例一致,提取的数据可为在模拟中重构危急场景提供信息,并且提取的数据可提供指示在危急场景中所涉及的多个道路参与者(包括交通工具)的速度、轨迹或位置的信息。
66.可在硬件、固件和软件之一或其组合中实现实施例。实施例还可被实现为存储在机器可读存储装置上的指令,至少一个处理器可读取和执行所述指令以执行本文中描述的操作。机器可读存储装置可包括用于以机器(例如,计算机)可读的形式存储信息的任何非暂时性机制或介质。例如,机器可读存储装置可包括只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光存储介质、闪速存储器装置、以及其它存储装置和介质。
67.处理器子系统可用来执行机器可读介质上的指令。处理器子系统可包括一个或多个处理器,每个处理器具有一个或多个核心。另外,处理器子系统可部署在一个或多个物理装置上。处理器子系统可包括一个或多个专门的处理器,诸如图形处理单元(gpu)、数字信号处理器(dsp)、现场可编程门阵列(fpga)或者固定功能处理器。
68.如本文中所描述的示例可包括逻辑或多个组件、模块或机制,或者可在其上运行。模块可以是在通信上耦合到一个或多个处理器以便完成本文中描述的操作的硬件、软件或固件。模块可以是硬件模块,并且因而模块可被视为能够执行指定操作的有形实体,并且可按某种方式配置或布置。在示例中,线路可按指定方式作为模块来布置(例如,在内部或相对于诸如其它线路之类的外部实体)。在示例中,可通过固件或软件(例如,指令、应用部分或应用)将一个或多个计算机系统(例如,独立、客户端或服务器计算机系统)或一个或多个硬件处理器的全部或部分配置为模块,所述模块运行以执行指定操作。在示例中,软件可驻留在机器可读介质上。在示例中,软件在由模块的底层硬件执行时,致使硬件执行指定操作。因此,术语硬件模块要理解为涵盖有形实体,即,在物理上构造、特别配置(例如,硬接线)或临时(例如,暂时)配置(例如,经编程)以按指定方式操作或执行本文中描述的任何操作的部分或全部的实体。考虑临时配置模块的示例,在任一时刻都不需要实例化这些模块
中的每个模块。例如,在模块包括使用软件配置的通用硬件处理器的情况下,通用硬件处理器可在不同时间被配置为相应的不同模块。软件可相应地配置硬件处理器,例如,以便在一个时间实例构成某个特定模块,而在不同的时间实例构成不同的模块。模块也可以是软件或固件模块,它们运行以执行本文中描述的一系列方法。
69.如本文档中所使用,电路或线路可例如单独地或以任何组合包括硬接线电路、可编程电路(比如包括一个或多个单独指令处理核心的计算机处理器)、状态机电路、和/或存储由可编程电路执行的指令的固件。线路、电路或模块可共同地或单独地被实施为形成更大系统的一部分的电路,所述更大系统例如是集成电路(ic)、芯片上系统(soc)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。
70.如在本文中的任何实施例中所使用,术语“逻辑”可指被配置成执行上述操作中的任何操作的固件和/或电路。固件可被实施为在存储器装置和/或电路中硬编码(例如,非易失性)的代码、指令或指令集和/或数据。
71.如在本文中的任何实施例中所使用,“电路”可例如单独地或以任何组合包括硬接线电路、可编程电路、状态机电路、逻辑和/或存储由可编程电路执行的指令的固件。电路可被实施为集成电路,比如集成电路芯片。在一些实施例中,电路可至少部分由处理器电路形成,所述处理器电路执行与本文中描述的功能性对应的代码和/或指令集(例如,软件、固件等),从而将通用处理器变换到专用处理环境中以执行本文中描述的操作中的一个或多个操作。在一些实施例中,处理器电路可被实施为独立集成电路,或者可被作为若干组件之一结合到集成电路上。在一些实施例中,节点或其它系统的各种组件和电路可被组合在芯片上系统(soc)架构中。在其它示例中,可通过数据处理单元(dpu)、基础设施处理单元(ipu)、加速电路、或者图形处理单元(gpu)或经编程的fpga的组合来实施或提供处理电路。
72.图9是示出根据实施例的计算机系统900的示例形式的机器的框图,可在计算机系统900内执行指令集或序列以致使该机器执行本文中论述的一系列方法中的任一方法。在备选实施例中,该机器作为独立装置运行或者可连接(例如,联网)到其它机器。在联网部署中,该机器可在服务器-客户端网络环境中作为服务器或客户端机器来运行,或者它可在对等(或分布式)网络环境中充当对等机器。该机器可以是交通工具子系统或者交通工具机载计算机、个人计算机(pc)、平板pc、混合平板、个人数字助理(pda)、移动电话或智能电话、或者能够(依顺序或以其它方式)执行指令的任何机器,这些指令指定该机器要采取的动作。此外,虽然仅仅示出单个机器,但是术语“机器”还应视为包括单独或联合执行一个(或多个)指令集以执行本文中论述的一系列方法中的任一种或多种方法的机器的任何合集。类似地,术语“基于处理器的系统”应视为包括由处理器(例如,计算机)控制或操作以单独或联合执行指令以执行本文中论述的一系列方法中的任一种或多种方法的一个或多个机器的任何集合。
73.示例计算机系统900包括至少一个处理器902(例如,中央处理单元(cpu)、图形处理单元(gpu)或两者、处理器核心、计算节点等)、主存储器904和静态存储器906,它们经由链路908(例如,总线)彼此通信。计算机系统900可进一步包括视频显示器单元910、字母数字输入装置912(例如,键盘)和用户界面(ui)导航装置914(例如,鼠标)。在一个实施例中,视频显示器单元910、输入装置912和ui导航装置914被结合到触摸屏显示器中。计算机系统900可另外包括存储装置916(例如,驱动器单元)、信号发生装置918(例如,扬声器)、网络接
口装置920、以及诸如全球定位系统(gps)传感器、指南针、加速度计、陀螺仪、磁力计或其它传感器之类的一个或多个传感器(未示出)。
74.存储装置916包括机器可读介质922,在其上存储实施本文中描述的一系列方法或功能中的任一个或多个方法或功能或者由此类方法或功能利用的数据结构和指令924(例如,软件)的一个或多个集合。指令924还可在计算机系统900执行所述指令期间完全或至少部分驻留在主存储器904内、静态存储器906内和/或处理器902内,其中主存储器904、静态存储器906和处理器902也构成机器可读介质。
75.虽然在示例实施例中将机器可读介质922示为单个介质,但是术语“机器可读介质”可包括存储一个或多个指令924的单个介质或多个介质(例如,集中式或分布式数据库、和/或相关联的高速缓存和服务器)。术语“机器可读介质”还应视为包括能够存储、编码或携带供机器执行并致使机器执行本公开的一系列方法中的任一个或多个方法的指令的任何有形介质,或者能够存储、编码或携带供此类指令利用或与此类指令相关联的数据结构的任何有形介质。因此,术语“机器可读介质”应视为包括但不限于固态存储器以及光和磁介质。机器可读介质的具体示例包括非易失性存储器,举例来说,包括但不限于:半导体存储器装置(例如,电可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom))和闪速存储器装置;磁盘,诸如内部硬盘和可拆除盘;磁光盘;以及cd-rom和dvd-rom盘。
76.可进一步利用多个众所周知的传输协议中的任一种(例如,http)经由网络接口装置920使用传输介质在通信网络926上传送或接收指令924。通信网络的示例包括局域网(lan)、广域网(wan)、互联网、移动电话网络、普通老式电话(pots)网络和无线数据网络(例如,蓝牙、wi-fi、3g和4g lte/lte-a、5g、dsrc或类似网络)。术语“传输介质”应视为包括能够存储、编码或携带供机器执行的指令的任何无形介质,并且包括便于传递此类软件的数字或模拟通信信号或其它无形介质。
77.在示例中,在机器可读介质上存储或以其它方式提供的信息可代表指令,诸如指令本身或可从中导出指令的格式。可从中导出指令的这种格式可包括源代码、已编码指令(例如,以压缩或加密形式)、打包指令(例如,拆分成多个包)等。机器可读介质中代表指令的信息可被处理电路处理成实现本文中论述的操作中的任何操作的指令。例如,从信息中导出指令(例如,由处理电路来处理)可包括:(例如,从源代码、目标代码等)编译、解释、加载、组织(例如,动态或静态链接)、编码、解码、加密、解密、封装、解除封装、或以其它方式操纵信息而得到指令。
78.在示例中,指令的导出可包括(例如,通过处理电路)对信息进行汇编、编译或解释,以从机器可读介质提供的某种中间或预处理格式创建指令。信息在以多个部分提供时可被组合、拆包和修改以创建指令。例如,信息可在一个或若干远程服务器上的多个压缩源代码包(或目标代码、或二进制可执行代码等)中。源代码包在通过网络运送时可被加密,并在必要时可被解密、解压缩、汇编(例如,链接),以及在本地机器上被编译或解释(例如,成库、独立可执行代码等)并由本地机器执行。
79.应当理解,可能已将本说明书中描述的功能单元或能力称为或标记为组件或模块,以便更特别强调它们的实现独立性。此类组件可通过任何数量的软件或硬件形式来实施。例如,组件或模块可被实现为硬件线路,其包括定制的超大规模集成(vlsi)电路或门阵列、现成的半导体(比如逻辑芯片)、晶体管、或者其它分立组件。组件或模块也可在可编程
硬件装置(诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑装置等等)中实现。组件或模块也可在供各种类型的处理器执行的软件中实现。可执行代码的已识别的组件或模块可例如包括计算机指令的一个或多个物理或逻辑块,它们可例如被组织为对象、规程或函数。然而,已识别的组件或模块的可执行代码不必在物理上放在一起,而是可包括存储在不同位置的全异指令,这些指令当在逻辑上被接合在一起时,构成所述组件或模块,并且实现所述组件或模块的规定目的。
80.实际上,可执行代码的组件或模块可以是单个指令或许多指令,并且甚至可分布在若干不同代码段上,在不同程序之中,以及跨若干存储器装置或处理系统。特别是,所描述的过程的一些方面(诸如代码重写和代码分析)可在不同的处理系统上(例如,在数据中心中的计算机中)进行,而不是在部署代码的系统上(例如,在嵌入传感器或机器人中的计算机中)进行。类似地,在本文中,运行数据可在组件或模块内被识别和说明,并且可被以任何合适形式实施,并被组织在任何合适类型的数据结构内。运行数据可作为单个数据集被收集,或者可分布在不同位置上,包括在不同存储装置上,并且可至少部分仅仅作为系统或网络上的电子信号而存在。组件或模块可以是无源的或有源的,包括可操作以执行所期望的功能的代理。
81.鉴于以上公开,下面阐述实施例的各种示例的列表。应当指出,孤立地或组合地采用的示例的一个或多个特征应视为在本技术的公开之内。
82.示例1是一种用于主机交通工具中的自动数据记录的方法,该方法包括:从至少一个传感器获得数据,数据是在主机交通工具的运行期间产生的;根据从至少一个传感器获得的数据检测危急场景,其中,基于主机交通工具的运行与交通工具运行安全模型所指定的至少一个要求的比较来检测危急场景;响应于检测到危急场景,对从至少一个传感器获得的数据执行数据提取,数据提取会获得指示主机交通工具的运行的运动细节的数据;以及输出提取的数据。
83.在示例2中,示例1的主题可选地包括这样的主题,其中,输出提取的数据包括将提取的数据存储在输出结果缓冲器中。
84.在示例3中,示例2的主题可选地包括这样的主题,其中,在去除主机交通工具的识别信息后,将提取的数据存储在输出结果缓冲器中。
85.在示例4中,示例3的主题可选地包括:将存储在输出结果缓冲器中的提取的数据传递到远程服务。
86.在示例5中,示例4的主题可选地包括这样的主题,其中,提取的数据为在模拟中重构危急场景提供信息,其中,提取的数据指示在危急场景中所涉及的多个道路参与者的速度、轨迹或位置,所述多个道路参与者包括主机交通工具。
87.在示例6中,示例1-5中的任何一个或多个示例的主题可选地包括:将从至少一个传感器获得的数据缓冲在输入传感器数据缓冲器中,其中,输入传感器数据缓冲器将数据维持所定义的时间周期。
88.在示例7中,示例1-6中的任何一个或多个示例的主题可选地包括这样的主题,其中,从至少两个传感器系统提供数据,从下列项之中提供所述至少两个传感器系统:安装在主机交通工具的内舱内的相机;集成在主机交通工具内的相机;全球导航卫星系统;惯性测量单元;或者集成在主机交通工具内的机载诊断系统。
89.在示例8中,示例7的主题可选地包括:使从至少两个传感器系统提供的数据同步。
90.在示例9中,示例1-8中的任何一个或多个示例的主题可选地包括这样的主题,其中,在确定危急场景开始的第一时间所捕获的数据上开始数据提取,并且其中,在确定危急场景结束的第二时间所捕获的数据上结束数据提取。
91.在示例10中,示例9的主题可选地包括这样的主题,其中,基于检测到以下至少一项而确定危急场景开始:主机交通工具与另一交通工具之间的纵向距离小于所定义的值;主机交通工具与另一交通工具之间的横向距离小于所定义的值;主机交通工具的横向或纵向加速度大于阈值;或者主机交通工具与物体的碰撞时间小于所定义的值。
92.在示例11中,示例9-10中的任何一个或多个示例的主题可选地包括这样的主题,其中,基于检测到以下至少一项而确定危急场景结束:主机交通工具与另一交通工具之间的纵向距离大于所定义的值;主机交通工具与另一交通工具之间的横向距离大于所定义的值;主机交通工具的横向或纵向加速度小于阈值;或者检测到主机交通工具与物体的碰撞。
93.在示例12中,示例9-11中的任何一个或多个示例的主题可选地包括这样的主题,其中,在检测到对交通工具运行安全模型的至少一个要求的违反时确定危急场景开始,并且在对交通工具运行安全模型的至少一个要求的违反消除时确定危急场景结束。
94.示例13是至少一种包含指令的机器可读存储介质,指令在由至少一个处理器执行时,致使所述至少一个处理器执行示例1至12中的任何示例的方法。
95.示例14是一种用于主机交通工具的自动数据记录系统,该系统包括:用于获得主机交通工具的附近环境的传感数据的接口,传感数据是从至少一个传感器装置捕获的;以及至少一个处理装置,所述至少一个处理装置被配置成执行示例1至12中的任何示例的方法。
96.示例15是一种交通工具,它包括自动数据记录系统,该系统被配置成执行示例1至12中的任何示例的方法。
97.示例16是一种用于交通工具的自动数据记录系统,该系统包括:用于托管交通工具的附近环境的传感数据的易失性存储器,传感数据是在交通工具的运行期间从与交通工具相关联的至少一个传感器装置产生的;用于托管提取的数据的非易失性存储器,提取的数据是从与交通工具相关联的至少一个传感器装置捕获的传感数据的子集;以及处理电路,所述处理电路被配置成:从传感数据检测危急场景,其中,基于交通工具的运行与交通工具运行安全模型所指定的至少一个要求的比较来检测危急场景;响应于检测到危急场景,对传感数据执行数据提取,数据提取会获得指示交通工具的运行的运动细节的数据;以及输出提取的数据。
98.在示例17中,示例16的主题可选地包括这样的主题,其中,输出提取的数据包括将提取的数据存储在非易失性存储器的输出结果缓冲器中。
99.在示例18中,示例17的主题可选地包括这样的主题,其中,在去除交通工具的识别信息后,将提取的数据存储在输出结果缓冲器中。
100.在示例19中,示例18的主题可选地包括:网络通信电路,该网络通信电路被配置成将存储在输出结果缓冲器中的提取的数据传递到远程服务。
101.在示例20中,示例19的主题可选地包括这样的主题,其中,提取的数据为在模拟中重构危急场景提供信息,其中,提取的数据指示在危急场景中所涉及的多个道路参与者的
速度、轨迹或位置,所述多个道路参与者包括该交通工具。
102.在示例21中,示例16-20中的任何一个或多个示例的主题可选地包括这样的主题,其中,易失性存储器被配置成将传感数据缓冲在输入传感器数据缓冲器中,其中,输入传感器数据缓冲器将传感数据维持所定义的时间周期。
103.在示例22中,示例16-21中的任何一个或多个示例的主题可选地包括这样的主题,其中,从至少两个传感器系统提供传感数据,从下列项之中提供所述至少两个传感器系统:安装在交通工具的内舱内的相机;集成在交通工具内的相机;全球导航卫星系统;惯性测量单元;或者集成在交通工具内的机载诊断系统。
104.在示例23中,示例22的主题可选地包括这样的主题,其中,使从至少两个传感器系统提供的传感数据同步。
105.在示例24中,示例16-23中的任何一个或多个示例的主题可选地包括这样的主题,其中,在确定危急场景开始的第一时间所捕获的传感数据上开始数据提取,并且其中,在确定危急场景结束的第二时间所捕获的传感数据上结束数据提取。
106.在示例25中,示例24的主题可选地包括这样的主题,其中,基于检测到以下至少一项而确定危急场景开始:交通工具与另一交通工具之间的纵向距离小于所定义的值;交通工具与另一交通工具之间的横向距离小于所定义的值;交通工具的横向或纵向加速度大于阈值;或者交通工具与物体的碰撞时间小于所定义的值。
107.在示例26中,示例24-25中的任何一个或多个示例的主题可选地包括这样的主题,其中,基于检测到以下至少一项而确定危急场景结束:交通工具与另一交通工具之间的纵向距离大于所定义的值;交通工具与另一交通工具之间的横向距离大于所定义的值;交通工具的横向或纵向加速度小于阈值;或者检测到交通工具与物体的碰撞。
108.在示例27中,示例24-26中的任何一个或多个示例的主题可选地包括这样的主题,其中,在检测到对交通工具运行安全模型的至少一个要求的违反时确定危急场景开始,并且在对交通工具运行安全模型的至少一个要求的违反消除时确定危急场景结束。
109.示例28是至少一种包含指令的装置可读存储介质,指令在由装置的电路执行时,致使该装置:从至少一个传感器获得数据,数据是在交通工具的运行期间产生的;根据从至少一个传感器获得的数据检测危急场景,其中,基于交通工具的运行与交通工具运行安全模型所指定的至少一个要求的比较来检测危急场景;响应于检测到危急场景,对从至少一个传感器获得的数据执行数据提取,数据提取会获得指示交通工具的运行的运动细节的数据;以及输出提取的数据。
110.在示例29中,示例28的主题可选地包括这样的主题,其中,输出提取的数据包括将提取的数据存储在输出结果缓冲器中。
111.在示例30中,示例29的主题可选地包括这样的主题,其中,在去除交通工具的识别信息后,将提取的数据存储在输出结果缓冲器中。
112.在示例31中,示例30的主题可选地包括这样的主题,其中,指令进一步致使装置:将存储在输出结果缓冲器中的提取的数据传递到远程服务。
113.在示例32中,示例31的主题可选地包括这样的主题,其中,提取的数据为在模拟中重构危急场景提供信息,其中,提取的数据指示在危急场景中所涉及的多个道路参与者的速度、轨迹或位置,所述多个道路参与者包括该交通工具。
114.在示例33中,示例28-32中的任何一个或多个示例的主题可选地包括这样的主题,其中,指令进一步致使装置:将从至少一个传感器获得的数据缓冲在输入传感器数据缓冲器中,其中,输入传感器数据缓冲器将数据维持所定义的时间周期。
115.在示例34中,示例28-33中的任何一个或多个示例的主题可选地包括这样的主题,其中,从至少两个传感器系统提供数据,从下列项之中提供所述至少两个传感器系统:安装在交通工具的内舱内的相机;集成在交通工具内的相机;全球导航卫星系统;惯性测量单元;或者集成在交通工具内的机载诊断系统。
116.在示例35中,示例34的主题可选地包括这样的主题,其中,指令进一步致使装置:使从至少两个传感器系统提供的数据同步。
117.在示例36中,示例28-35中的任何一个或多个示例的主题可选地包括这样的主题,其中,在确定危急场景开始的第一时间所捕获的数据上开始数据提取,并且其中,在确定危急场景结束的第二时间所捕获的数据上结束数据提取。
118.在示例37中,示例35-36中的任何一个或多个示例的主题可选地包括这样的主题,其中,基于检测到以下至少一项而确定危急场景开始:交通工具与另一交通工具之间的纵向距离小于所定义的值;交通工具与另一交通工具之间的横向距离小于所定义的值;交通工具的横向或纵向加速度大于阈值;或者交通工具与物体的碰撞时间小于所定义的值。
119.在示例38中,示例35-37中的任何一个或多个示例的主题可选地包括这样的主题,其中,基于检测到以下至少一项而确定危急场景结束:交通工具与另一交通工具之间的纵向距离大于所定义的值;交通工具与另一交通工具之间的横向距离大于所定义的值;交通工具的横向或纵向加速度小于阈值;或者检测到交通工具与物体的碰撞。
120.在示例39中,示例35-38中的任何一个或多个示例的主题可选地包括这样的主题,其中,在检测到对交通工具运行安全模型的至少一个要求的违反时确定危急场景开始,并且在对交通工具运行安全模型的至少一个要求的违反消除时确定危急场景结束。
121.示例40是一种系统,包括:用于存储交通工具的附近环境的传感数据的部件,传感数据是在交通工具的运行期间从与交通工具相关联的至少一个传感器装置产生的;用于存储提取的数据的部件,提取的数据是从与交通工具相关联的至少一个传感器装置捕获的传感数据的子集;用于从传感数据检测危急场景的部件,其中,基于交通工具的运行与交通工具运行安全模型所指定的至少一个要求的比较来检测危急场景;用于响应于检测到危急场景而从传感数据中提取数据的部件,其中,数据的提取获得指示交通工具的运行的运动细节的数据;以及用于输出提取的数据的部件。
122.在示例41中,示例40的主题可选地包括用于将提取的数据存储在输出结果缓冲器中的部件。
123.在示例42中,示例41的主题可选地包括用于从提取的数据中去除交通工具的识别信息的部件。
124.在示例43中,示例42的主题可选地包括用于将存储在输出结果缓冲器中的提取的数据传递到远程服务的部件。
125.在示例44中,示例40-43中的任何一个或多个示例的主题可选地包括用于在提取的数据中识别使得能够在模拟中重构危急场景的信息的部件,其中,提取的数据指示在危急场景中所涉及的多个道路参与者的速度、轨迹或位置,所述多个道路参与者包括该交通
工具。
126.在示例45中,示例40-44中的任何一个或多个示例的主题可选地包括用于将传感数据缓冲在输入传感器数据缓冲器中的部件,其中,输入传感器数据缓冲器将传感数据维持所定义的时间周期。
127.在示例46中,示例40-45中的任何一个或多个示例的主题可选地包括用于从至少两个传感器系统捕获传感数据的部件,从下列项之中提供所述至少两个传感器系统:安装在交通工具的内舱内的相机;集成在交通工具内的相机;全球导航卫星系统;惯性测量单元;或者集成在交通工具内的机载诊断系统。
128.在示例47中,示例46的主题可选地包括用于使从至少两个传感器系统提供的传感数据同步的部件。
129.在示例48中,示例40-47中的任何一个或多个示例的主题可选地包括:用于在确定危急场景开始的第一时间所捕获的传感数据上开始数据提取的部件;以及用于在确定危急场景结束的第二时间所捕获的传感数据上结束数据提取的部件。
130.在示例49中,示例48的主题可选地包括这样的主题,其中,基于检测到以下至少一项而确定危急场景开始或结束:交通工具与另一交通工具之间的纵向距离相对于所定义的值;交通工具与另一交通工具之间的横向距离相对于所定义的值;交通工具的横向或纵向加速度相对于阈值;或者交通工具与物体的碰撞时间相对于所定义的值。
131.在示例50中,示例48-49中的任何一个或多个示例的主题可选地包括这样的主题,其中,在检测到对交通工具运行安全模型的至少一个要求的违反时确定危急场景开始,并且在对交通工具运行安全模型的至少一个要求的违反消除时确定危急场景结束。
132.虽然参考具体的示例性方面描述了这些实现,但是显然可对这些方面进行各种修改和改变,而不会背离本公开的更广范围。
技术特征:
1.一种用于主机交通工具中的自动数据记录的方法,所述方法包括:从至少一个传感器获得数据,所述数据是在所述主机交通工具的运行期间产生的;根据从所述至少一个传感器获得的所述数据检测危急场景,其中,基于所述主机交通工具的所述运行与交通工具运行安全模型所指定的至少一个要求的比较来检测所述危急场景;响应于检测到所述危急场景,对从所述至少一个传感器获得的所述数据执行数据提取,所述数据提取会获得指示所述主机交通工具的所述运行的运动细节的数据;以及输出提取的数据。2.如权利要求1所述的方法,其中,输出所述提取的数据包括将所述提取的数据存储在输出结果缓冲器中。3.如权利要求2所述的方法,其中,在去除所述主机交通工具的识别信息后,将所述提取的数据存储在所述输出结果缓冲器中。4.如权利要求3所述的方法,进一步包括:将存储在所述输出结果缓冲器中的所述提取的数据传递到远程服务。5.如权利要求4所述的方法,其中,所述提取的数据为在模拟中重构所述危急场景提供信息,其中,所述提取的数据指示在所述危急场景中所涉及的多个道路参与者的速度、轨迹或位置,所述多个道路参与者包括所述主机交通工具。6.如权利要求1所述的方法,进一步包括:将从所述至少一个传感器获得的所述数据缓冲在输入传感器数据缓冲器中,其中,所述输入传感器数据缓冲器将数据维持所定义的时间周期。7.如权利要求1所述的方法,其中,从至少两个传感器系统提供所述数据,从下列项之中提供所述至少两个传感器系统:安装在所述主机交通工具的内舱内的相机;集成在所述主机交通工具内的相机;全球导航卫星系统;惯性测量单元;或者集成在所述主机交通工具内的机载诊断系统。8.如权利要求7所述的方法,进一步包括:使从所述至少两个传感器系统提供的所述数据同步。9.如权利要求1所述的方法,其中,在确定所述危急场景开始的第一时间所捕获的数据上开始所述数据提取,并且其中,在确定所述危急场景结束的第二时间所捕获的数据上结束所述数据提取。10.如权利要求9所述的方法,其中,基于检测到以下至少一项而确定所述危急场景开始:所述主机交通工具与另一交通工具之间的纵向距离小于所定义的值;所述主机交通工具与另一交通工具之间的横向距离小于所定义的值;所述主机交通工具的横向或纵向加速度大于阈值;或者所述主机交通工具与物体的碰撞时间小于所定义的值。11.如权利要求9所述的方法,其中,基于检测到以下至少一项而确定所述危急场景结束:所述主机交通工具与另一交通工具之间的纵向距离大于所定义的值;
所述主机交通工具与另一交通工具之间的横向距离大于所定义的值;所述主机交通工具的横向或纵向加速度小于阈值;或者检测到所述主机交通工具与物体的碰撞。12.如权利要求9所述的方法,其中,在检测到对所述交通工具运行安全模型的所述至少一个要求的违反时确定所述危急场景开始,并且在对所述交通工具运行安全模型的所述至少一个要求的所述违反消除时确定所述危急场景结束。13.至少一种包含指令的机器可读存储介质,所述指令在由至少一个处理器执行时,致使所述至少一个处理器执行如权利要求1至12中的任一项所述的方法。14.一种用于主机交通工具的自动数据记录系统,所述系统包括:用于获得所述主机交通工具的附近环境的传感数据的接口,所述传感数据是从至少一个传感器装置捕获的;以及至少一个处理装置,所述至少一个处理装置被配置成执行如权利要求1至12中的任一项所述的方法。15.一种交通工具,包括自动数据记录系统,所述自动数据记录系统被配置成执行如权利要求1至12中的任一项所述的方法。16.一种用于交通工具的自动数据记录系统,所述系统包括:用于托管所述交通工具的附近环境的传感数据的易失性存储器,所述传感数据是在所述交通工具的运行期间从与所述交通工具相关联的至少一个传感器装置产生的;用于托管提取的数据的非易失性存储器,所述提取的数据是从与所述交通工具相关联的所述至少一个传感器装置捕获的所述传感数据的子集;以及处理电路,所述处理电路被配置成:从所述传感数据检测危急场景,其中,基于所述交通工具的所述运行与交通工具运行安全模型所指定的至少一个要求的比较来检测所述危急场景;响应于检测到所述危急场景,对所述传感数据执行数据提取,所述数据提取会获得指示所述交通工具的所述运行的运动细节的数据;以及输出提取的数据。17.如权利要求16所述的自动数据记录系统,其中,输出所述提取的数据包括将所述提取的数据存储在所述非易失性存储器的输出结果缓冲器中。18.如权利要求17所述的自动数据记录系统,其中,在去除所述交通工具的识别信息后,将所述提取的数据存储在所述输出结果缓冲器中。19.如权利要求18所述的自动数据记录系统,进一步包括:网络通信电路,所述网络通信电路被配置成将存储在所述输出结果缓冲器中的所述提取的数据传递到远程服务。20.如权利要求19所述的自动数据记录系统,其中,所述提取的数据为在模拟中重构所述危急场景提供信息,其中,所述提取的数据指示在所述危急场景中所涉及的多个道路参与者的速度、轨迹或位置,所述多个道路参与者包括所述交通工具。21.如权利要求16所述的自动数据记录系统,其中,所述易失性存储器被配置成将所述传感数据缓冲在输入传感器数据缓冲器中,其中,所述输入传感器数据缓冲器将所述传感数据维持所定义的时间周期。
22.如权利要求16所述的自动数据记录系统,其中,从至少两个传感器系统提供所述传感数据,从下列项之中提供所述至少两个传感器系统:安装在所述交通工具的内舱内的相机;集成在所述交通工具内的相机;全球导航卫星系统;惯性测量单元;或者集成在所述交通工具内的机载诊断系统。23.如权利要求22所述的自动数据记录系统,其中,使从所述至少两个传感器系统提供的所述传感数据同步。24.如权利要求16所述的自动数据记录系统,其中,在确定所述危急场景开始的第一时间所捕获的所述传感数据上开始所述数据提取,并且其中,在确定所述危急场景结束的第二时间所捕获的所述传感数据上结束所述数据提取。25.如权利要求24所述的自动数据记录系统,其中,基于检测到以下至少一项而确定所述危急场景开始:所述交通工具与另一交通工具之间的纵向距离小于所定义的值;所述交通工具与另一交通工具之间的横向距离小于所定义的值;所述交通工具的横向或纵向加速度大于阈值;或者所述交通工具与物体的碰撞时间小于所定义的值。26.如权利要求24所述的自动数据记录系统,其中,基于检测到以下至少一项而确定所述危急场景结束:所述交通工具与另一交通工具之间的纵向距离大于所定义的值;所述交通工具与另一交通工具之间的横向距离大于所定义的值;所述交通工具的横向或纵向加速度小于阈值;或者检测到所述交通工具与物体的碰撞。27.如权利要求24所述的自动数据记录系统,其中,在检测到对所述交通工具运行安全模型的所述至少一个要求的违反时确定所述危急场景开始,并且在对所述交通工具运行安全模型的所述至少一个要求的所述违反消除时确定所述危急场景结束。28.至少一种包含指令的装置可读存储介质,所述指令在由装置的电路执行时,致使所述装置:从至少一个传感器获得数据,所述数据是在交通工具的运行期间产生的;根据从所述至少一个传感器获得的所述数据检测危急场景,其中,基于所述交通工具的所述运行与交通工具运行安全模型所指定的至少一个要求的比较来检测所述危急场景;响应于检测到所述危急场景,对从所述至少一个传感器获得的所述数据执行数据提取,所述数据提取会获得指示所述交通工具的所述运行的运动细节的数据;以及输出提取的数据。29.如权利要求28所述的装置可读存储介质,其中,输出所述提取的数据包括将所述提取的数据存储在输出结果缓冲器中。30.如权利要求29所述的装置可读存储介质,其中,在去除所述交通工具的识别信息后,将所述提取的数据存储在所述输出结果缓冲器中。
31.如权利要求30所述的装置可读存储介质,所述指令进一步致使所述装置:将存储在所述输出结果缓冲器中的所述提取的数据传递到远程服务。32.如权利要求31所述的装置可读存储介质,其中,所述提取的数据为在模拟中重构所述危急场景提供信息,其中,所述提取的数据指示在所述危急场景中所涉及的多个道路参与者的速度、轨迹或位置,所述多个道路参与者包括所述交通工具。33.如权利要求28所述的装置可读存储介质,所述指令进一步致使所述装置:将从所述至少一个传感器获得的所述数据缓冲在输入传感器数据缓冲器中,其中,所述输入传感器数据缓冲器将数据维持所定义的时间周期。34.如权利要求28所述的装置可读存储介质,其中,从至少两个传感器系统提供所述数据,从下列项之中提供所述至少两个传感器系统:安装在所述交通工具的内舱内的相机;集成在所述交通工具内的相机;全球导航卫星系统;惯性测量单元;或者集成在所述交通工具内的机载诊断系统。35.如权利要求34所述的装置可读存储介质,所述指令进一步致使所述装置:使从所述至少两个传感器系统提供的所述数据同步。36.如权利要求28所述的装置可读存储介质,其中,在确定所述危急场景开始的第一时间所捕获的数据上开始所述数据提取,并且其中,在确定所述危急场景结束的第二时间所捕获的数据上结束所述数据提取。37.如权利要求35所述的装置可读存储介质,其中,基于检测到以下至少一项而确定所述危急场景开始:所述交通工具与另一交通工具之间的纵向距离小于所定义的值;所述交通工具与另一交通工具之间的横向距离小于所定义的值;所述交通工具的横向或纵向加速度大于阈值;或者所述交通工具与物体的碰撞时间小于所定义的值。38.如权利要求35所述的装置可读存储介质,其中,基于检测到以下至少一项而确定所述危急场景结束:所述交通工具与另一交通工具之间的纵向距离大于所定义的值;所述交通工具与另一交通工具之间的横向距离大于所定义的值;所述交通工具的横向或纵向加速度小于阈值;或者检测到所述交通工具与物体的碰撞。39.如权利要求35所述的装置可读存储介质,其中,在检测到对所述交通工具运行安全模型的所述至少一个要求的违反时确定所述危急场景开始,并且在对所述交通工具运行安全模型的所述至少一个要求的所述违反消除时确定所述危急场景结束。40.一种系统,包括:用于存储交通工具的附近环境的传感数据的部件,所述传感数据是在所述交通工具的运行期间从与所述交通工具相关联的至少一个传感器装置产生的;用于存储提取的数据的部件,所述提取的数据是从与所述交通工具相关联的所述至少
一个传感器装置捕获的所述传感数据的子集;用于从所述传感数据检测危急场景的部件,其中,基于所述交通工具的所述运行与交通工具运行安全模型所指定的至少一个要求的比较来检测所述危急场景;用于响应于检测到所述危急场景而从所述传感数据中提取数据的部件,其中,所述数据的提取获得指示所述交通工具的所述运行的运动细节的数据;以及用于输出提取的数据的部件。41.如权利要求40所述的系统,进一步包括:用于将所述提取的数据存储在输出结果缓冲器中的部件。42.如权利要求41所述的系统,进一步包括:用于从所述提取的数据中去除所述交通工具的识别信息的部件。43.如权利要求42所述的系统,进一步包括:用于将存储在所述输出结果缓冲器中的所述提取的数据传递到远程服务的部件。44.如权利要求40所述的系统,进一步包括:用于在所述提取的数据中识别使得能够在模拟中重构所述危急场景的信息的部件,其中,所述提取的数据指示在所述危急场景中所涉及的多个道路参与者的速度、轨迹或位置,所述多个道路参与者包括所述交通工具。45.如权利要求40所述的系统,进一步包括:用于将所述传感数据缓冲在输入传感器数据缓冲器中的部件,其中,所述输入传感器数据缓冲器将所述传感数据维持所定义的时间周期。46.如权利要求40所述的系统,进一步包括:用于从至少两个传感器系统捕获所述传感数据的部件,从下列项之中提供所述至少两个传感器系统:安装在所述交通工具的内舱内的相机;集成在所述交通工具内的相机;全球导航卫星系统;惯性测量单元;或者集成在所述交通工具内的机载诊断系统。47.如权利要求46所述的系统,进一步包括:用于使从所述至少两个传感器系统提供的所述传感数据同步的部件。48.如权利要求40所述的系统,进一步包括:用于在确定所述危急场景开始的第一时间所捕获的所述传感数据上开始所述数据提取的部件;以及用于在确定所述危急场景结束的第二时间所捕获的所述传感数据上结束所述数据提取的部件。49.如权利要求48所述的系统,其中,基于检测到以下至少一项而确定所述危急场景开始或结束:所述交通工具与另一交通工具之间的纵向距离相对于所定义的值;所述交通工具与另一交通工具之间的横向距离相对于所定义的值;所述交通工具的横向或纵向加速度相对于阈值;或者所述交通工具与物体的碰撞时间相对于所定义的值。50.如权利要求48所述的系统,其中,在检测到对所述交通工具运行安全模型的所述至少一个要求的违反时确定所述危急场景开始,并且在对所述交通工具运行安全模型的所述至少一个要求的违反消除时确定所述危急场景结束。
技术总结
描述用于从交通工具运行中识别和提取危急场景的方法、系统和用例的各个方面。在示例中,一种用于轻量分析和检测的方法包括:从与交通工具相关联(例如,位于交通工具内或集成到交通工具中)的传感器捕获数据;检测危急场景的发生;响应于检测到危急场景的发生,从传感器提取数据;以及输出提取的数据。可基于交通工具的运行与交通工具运行安全模型所指定的至少一个要求的比较来具体检测危急场景。可对提取的数据执行重构和进一步的数据处理,比如采取从传递到远程服务的所述提取的数据来创建模拟的方式。创建模拟的方式。创建模拟的方式。
技术研发人员:朱倩影 张丽丹 吴向斌 张新欣 李飞
受保护的技术使用者:御眼视觉技术有限公司
技术研发日:2021.11.19
技术公布日:2023/10/15
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/