用于验证自动化驾驶功能的软件组件的计算机实现的方法、软件组件和系统与流程

1.本发明涉及一种用于验证自动化驾驶功能的软件组件的计算机实现的方法，其中，待验证的软件组件包括使用传感器信息的至少一个功能。这些传感器信息由至少一个传感器提供。本发明还涉及一种自动化驾驶功能的软件组件和一种包括至少一个软件组件的用于实现自动化驾驶功能的计算机实现的系统。


背景技术：

2.在自动化驾驶功能的软件组件(诸如行为规划器、融合算法和其他控制模块)的工业开发过程的范畴内，必须检查实现(implementierung)的正确性。这种检查目前通常基于测试进行，其中，例如使用诸如基于仿真的测试或replay-hil(硬件在环，hardware in the loop)解决方案的方法。但是，基于测试的方法原则上不保证会发现错误或所测试的软件组件是无误的。
3.从科学文献中已知用于模型检查和概率模型检查的技术和工具。模型检查器根据数学上精确制定的要求来检查软件或者说软件的模型的所有实施可能性。在此检查，是否该软件的所有可能的实施方案都满足要求。以这种方式，在数学形式上可以证明，该软件或者说该软件的模型是否关于制定的要求是无误的。在这一点，作为模型检查工具的示例提及spin(http://spinroot.com/spin/whatispin.html)和nusmv(http://nusmv.fbk.eu/)。
4.概率模型检查考虑进入待检查的软件中的输入的发生概率或概率分布。关于概率的这些信息能够用于计算软件的正确性的概率。如果软件可以无误地处理所有进入的信息，则正确性的概率是1.0。在这里，作为概率模型检查工具的示例提及prism(https://www.prismmodelchecker.org/)和storm(https://www.stormchecker.org/)。
5.这些模型检查工具是一般性工具，所述一般性工具不是为特定的使用目的而设计的，而是使用在以下描述的本发明的范畴内。


技术实现要素：

6.发明任务
7.借助本发明提出措施，所述措施实现对软件组件的可靠的检查，即使这些软件组件访问传感器信息，所述传感器信息的质量和有效性在很大程度上取决于相应的传感器的性能。然而，借助于根据本发明的方法能够关于预定义的要求检查并且理想地也证明这样的软件组件的正确性。
8.发明核心优点
9.为此，根据本发明的、用于验证自动化驾驶功能的软件组件的计算机实现的方法包括以下步骤：
10.·
提供用于待验证的软件组件的模型，
11.·
提供用于至少一个传感器的至少一个传感器性能模型，
12.·
生成整体模型，其中，所述至少一个传感器性能模型与所述待验证的软件组件的模型相结合，
13.·
借助模型检查方法来分析所述整体模型。
14.根据本发明，已经识别出：模型检查工具也能够在验证自动化驾驶功能的软件组件的范畴内使用。与常规测试方法不同地，模型检查方法甚至提供关于“软件组件是否已经在先前制定的要求方面被无误地实现”的合乎规定的数学证明。因此，根据本发明提供一种用于待验证的软件组件的模型，模型检查工具能够应用于该模型。此外，根据本发明已经识别出：在验证的范畴内借助于模型检查也能够考虑，由待验证的软件组件作为输入信息所需要的传感器信息可能会具有随机错误。为此，根据本发明，生成用于相应的传感器的传感器性能模型并且与用于待验证的软件组件的模型相结合。以这种方式，借助于用于软件组件的所有可能实施方案的模型检查方法能够检查，所述软件组件的行为(verhalten)在所有可能的输入错误出现时是否保持正确或是否会发生错误。
15.传感器性能模型应描述自动化驾驶功能所基于的整体系统的传感器的至少一个性能错误。在根据本发明的方法的范畴内，能够使用传感器性能模型，所述传感器性能模型已经由人工建模者创建或也是自动生成的传感器性能模型。特别有利的是，如果所使用的传感器性能模型中的至少一个传感器性能模型是基于用于整体系统的相应的传感器的至少一个性能测量而自动生成的。在任何情况下，传感器性能模型于是都自动地与待验证的软件组件的模型相结合并且借助于模型检查方法来分析，以便检查且理想地证明系统的正确性。
16.借助于根据本发明的方法，能够考虑不同类型的传感器对软件组件的影响。在自动化驾驶功能的范畴内，惯性传感器和车辆环境传感器具有特殊的意义。
17.惯性传感器可以给待验证的软件组件提供以传感器信号本身的形式的传感器信息，或也提供以从传感器信号中推导出的、更高价值的信息(诸如轨迹信息)的形式的传感器信息。如果所提供的传感器信息是传感器信号本身，则惯性传感器的传感器性能模型可以描述由生产决定的传感器性能。如果待验证的软件组件提供更高价值的信息，则惯性传感器的传感器性能模型可以使这些更高价值的信息的可靠性模型化。
18.在自动化驾驶功能的上下文中，通常分析处理车辆环境传感器(诸如雷达传感器、激光雷达传感器、超声波传感器、麦克风和摄像机)的传感器信号，以便识别预定义的对象类别的对象。然后，作为传感器信息，给待验证的软件组件提供关于在车辆环境中的这种对象的存在的信息。在这种情况下，传感器性能模型有利地从用于识别预定义的对象类别的各个对象的、测得的识别概率中导出。
19.在根据本发明的方法的特别有利的变型方案中，提供域模型，所述域模型描述影响传感器性能的影响因子、尤其是由环境决定的影响因子。在生成所述至少一个传感器性能模型时考虑这个域模型，其方式是，基于在所述影响因子的不同突出特征的情况下的性能测量生成所述至少一个传感器性能模型。所述域模型以机器可读的形式描述影响整体系统的运行环境的影响因子。在车辆环境传感器的上下文中的这种影响因子的示例是天气条件、环境亮度、太阳的位置或对比度。由此，能够求取传感器错误的条件概率，整体系统的行为并且因而待验证的软件组件的性能也能够以所述条件概率在不同的环境影响下被更精确地验证。
20.在根据本发明的方法的范畴内，作为待验证的软件组件的模型和/或作为传感器性能模型能够使用无记忆的或基于状态的模型，尤其是：
21.·
有限状态自动机(finite state model，有限状态模型(fsm))，
22.·
时间相关的状态自动机(timed automaton，时间自动机)，
23.·
概率相关的状态自动机，
24.·
马尔可夫链(markov chain)，
25.·
(部分可观察的)马尔可夫决策过程((partially observable)markov decision process)或
26.·
petri网
27.·
或上面提到的模型类型中的多个的混合形式。
28.通常，待验证的软件组件仅是用于实现自动化驾驶功能的整体系统的一部分。该整体系统通常包括另外的系统组件，所述另外的系统组件给待验证的软件组件提供输入数据和/或从所述待验证的软件组件中接收输出数据。在这样的群组(konstellation)中，有利的是，待验证的软件组件的模型与所述至少一个传感器性能模型一起在生成所述整体模型时与这些另外的系统组件的另外的模型相结合。由此，在验证软件组件是也能够考虑与另外的系统组件的相互作用。
29.借助于模型检查方法来根据本发明地分析整体模型的特殊优点在于，这样的分析提供了待验证的软件组件的正确性的形式的、数学的证据或者说证明，只要软件组件的实现关于预定义的要求是正确的。在本发明的一个有利的实施方式中，根据本发明的分析否则提供正确性的至少一个反例。这尤其是在开发过程中被证明为极其有帮助的，因为错误查找通过这样的反例而显著变得容易。
30.有利地，在分析整体模型时也借助于模型检查来检查，至少一个传感器的性能缺陷是否且必要时在哪些环境条件下能够通过至少一个另外的传感器的性能得到补偿，使得待验证的软件组件提供正确结果。
31.在本发明的一个优选实施方式中，使用概率模型检查方法来分析所述整体模型。在此，基于所述至少一个传感器性能模型求取待验证的软件组件提供正确结果的概率。在这个方法变型中，模型检查方法对于待验证的软件组件的所有可能的实施方案均检查，所述实施方案的行为在所有可能的输入错误出现时是否保持正确或是否会发生错误。在后一种情况下，充分借助关于错误的概率和/或分布函数的信息来计算，待验证的软件组件以何种概率产生正确结果。
附图说明
32.下面参照附图来讨论本发明的有利的实施方式和扩展方案。
33.图1借助方框图来说明根据本发明的方法。
34.图2示出域模型的示例。
具体实施方式
35.根据本发明的计算机实现的方法用于验证软件组件，该软件组件有助于实现自动化驾驶功能并且为此目的使用至少一个传感器的传感器信息。这样的软件组件可以是例如
行为规划器或也可以是融合算法，该融合算法加工并且必要时分析处理多个传感器的传感器信息，以便从中生成更高价值的信息。
36.根据本发明的方法设置，提供一种待验证的软件组件的模型，该模型在图1中用“3”表示。这可以是无记忆的或基于状态的模型3，尤其是有限状态自动机(finite state model(fsm))、时间相关的状态自动机(timed automaton)、概率相关的状态自动机、马尔可夫链(markov chain)、完全或部分可观察的马尔可夫决策过程或者petri网或者也可以是上面提到的模型类型的多个模型类型的混合形式。
37.在这里所呈现的实施例中，设置了两个传感器1和2，所述传感器给待验证的软件组件提供传感器信息。然而，原则上任意数量的传感器能够给待验证的软件组件提供传感器信息，其中，能够涉及不同传感器模态的车辆环境传感器和惯性传感器。这里描述的实施例的传感器1、2是视频和雷达类型的车辆环境传感器，所述车辆环境传感器用于进行对象识别。为此，传感器1、2中的每一个都包括感知组件，所述感知组件在识别预定义的对象类别的对象方面分析处理实际的传感器信号并且将该分析处理的结果作为传感器信息提供。可以将例如交通标志、交通灯或汽车定义为对象类别。
38.在这里关键的是，对于每个传感器1、2都存在自己的数据集11、21，借助所述数据集能够确定相应的感知组件的性能。在根据本发明的方法的这里描述的变型方案中，即对于每个传感器1、2都执行这样的性能测量12、22，以便为每个传感器1、2确定各个对象类别的识别概率。然后，从性能测量12、22的结果中为每个传感器1、2自动推导出传感器性能模型13、23，该传感器性能模型描述每个对象类别的识别质量，也就是说，确定的类别的对象如何好地由相应的传感器1、2的感知组件识别出。传感器性能模型13和23尽可能以与待验证的软件组件的模型3相同的格式来构建，即以前述的无记忆的或基于状态的模型之一的形式。即，根据本发明设置，将待验证的软件组件的模型3以及传感器性能模型13和23结合，以便借助模型检查方法来分析得到的整体模型4。常常也被证明为合乎目的的是：也使另外的系统组件的另外的模型包含在整体模型4中，至少当这些另外的系统组件给待验证的软件组件提供输入数据和/或从待验证的软件组件接收输出数据时。为了清楚起见，省去了图1中的相应表示。
39.然后，模型检查方法自动地提供待验证的软件组件的在预定义的要求方面的正确性的证明5。尤其在对整体模型进行这种分析时也检查，一个传感器1或2的性能缺陷是否且必要时在何种条件下能够通过另一个传感器2或1的性能得到补偿，使得待验证的软件组件提供正确结果。对于待验证的软件组件的结果并非在所有实施情况下都满足预定义的要求的情况，模型检查方法在本发明的一个有利的实施方式中提供正确性的至少一个反例，即其中不满足所述要求的传感器群组(sensor群组)。
40.在使用概率模型检查方法来分析整体模型4时，基于传感器性能模型13、23求取待验证的软件组件提供正确结果的概率。
41.在通过图1图示说明的根据本发明的方法的变型方案中，在自动生成传感器性能模型13和23时考虑手动提供的域模型6。域模型6用于丰富传感器性能模型13、23，其方式是，描述影响传感器性能的关键影响因子、尤其是由环境决定的影响因子。在视频传感器1的情况下，这例如是天气和照明条件。域模型6用于单独地确定用于每个单个影响因子的每种可能突出特征的传感器1、2的性能。对于影响因子“一天中的时间(time of day)”，在当
前示例中所述突出特征是“日出(sunrise)”、“白天(day)”、“日落(sunset)”和“夜晚(night)”。如此获得的传感器性能模型13、23比没有考虑这种由环境决定的影响因子的模型明显更具体和精确。由此，尤其能够研究：各个传感器的性能缺陷能否在确定的环境条件下通过其他传感器得到补偿并且能否在所有可能的组合中导致系统的或者说待验证的软件组件的正确行为。
42.在图2中呈现以scode(系统协同设计，system co-design)模型形式的这种域模型6的一部分的示例。然而，这样的域模型也能够例如以本体论(ontology)、标签层次或其他合适的格式的形式存在。
43.最后，仍应明确提到：除了先前描述的用于验证自动化驾驶功能的软件组件的方法之外，根据本发明被验证的软件组件和用于实现自动化驾驶功能的计算机实现的系统也是本发明的主题，所述计算机实现的系统包括至少一个根据本发明被验证的软件组件。
44.根据本发明的方法优选在用于实现自动化驾驶功能的系统的设计时间上使用，以检查行为规划器、传感器融合组件或还有其他控制模块的正确性。在此能够涉及部分或全自动化的驾驶功能，所述部分或全自动化的驾驶功能基于有误的传感器信息匹配其行为。这尤其涉及驾驶员辅助系统、高度自动化的驾驶功能、机器人、飞机控制、自主船舶等。

技术特征：
1.一种计算机实现的方法，所述计算机实现的方法用于验证自动化驾驶功能的至少一个软件组件，
·
其中，待验证的软件组件包括使用传感器信息的至少一个功能，
·
其中，所述传感器信息由至少一个传感器(1，2)提供，其中，所述方法包括以下步骤：a.提供用于所述待验证的软件组件的模型(3)，b.提供用于所述至少一个传感器(1，2)的至少一个传感器性能模型(13，23)，c.生成整体模型(4)，其中，将所述至少一个传感器性能模型(13，23)与所述待验证的软件组件的所述模型(3)相结合，d.借助模型检查方法来分析所述整体模型(4)。2.根据权利要求1所述的方法，其特征在于，在所述至少一个传感器(1，2)处基于至少一个性能测量(12，22)生成所述至少一个传感器性能模型(13，23)，使得所述至少一个传感器性能模型描述所述至少一个传感器(1，2)的相应的性能错误。3.根据权利要求1或2中任一项所述的方法，其中，所述至少一个传感器(1，2)是车辆环境传感器，尤其是雷达传感器、激光雷达传感器、超声波传感器、麦克风或摄像机，其中，所述车辆环境传感器识别预定义的对象类别的对象并且提供关于在车辆环境中的这种对象的存在的信息作为传感器信息，其特征在于，在所述性能测量(12，22)的范畴内确定用于识别这种对象的识别概率。4.根据权利要求1至3中任一项所述的方法，其特征在于，提供域模型(6)，所述域模型描述影响传感器性能的影响因子、尤其是由环境决定的影响因子，并且在生成所述至少一个传感器性能模型(13，23)时考虑所述域模型(6)，其方式是，基于在所述影响因子的不同突出特征的情况下的性能测量(12，22)生成所述至少一个传感器性能模型(13，23)。5.根据权利要求1至4中任一项所述的方法，其特征在于，作为待验证的软件组件的模型(3)和/或作为传感器性能模型(13，23)使用无记忆的或基于状态的模型，尤其是：
·
有限状态自动机(finite state model(fsm))，
·
时间相关的状态自动机(timed automaton)，
·
概率相关的状态自动机，
·
马尔可夫链(markov chain)，
·
(部分可观察的)马尔可夫决策过程((partially observable)markov decision process)，或
·
petri网
·
或上面提到的模型类型中的多个模型类型的混合形式。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述待验证的软件组件的模型(3)与所述至少一个传感器性能模型(13，23)一起在生成所述整体模型(4)时与另外的系统组件的另外的模型相结合，所述另外的模型给所述待验证的软件组件提供输入数据和/或从所述待验证的软件组件中接收输出数据。7.根据权利要求1至6中任一项所述的方法，其特征在于，对所述整体模型(4)的分析提供所述待验证的软件组件的正确性的证明(5)和/或必要时提供正确性的至少一个反例。8.根据权利要求1至7中任一项所述的方法，其特征在于，在分析所述整体模型(4)时检
查，至少一个传感器(1，2)的性能缺陷是否且必要时在哪些环境条件下能够通过至少一个另外的传感器(2，1)的性能得到补偿，使得所述待验证的软件组件提供正确结果。9.根据权利要求1至8中任一项所述的方法，其特征在于，借助概率模型检查方法分析所述整体模型(4)，其中，基于所述至少一个传感器性能模型(13，23)求取所述待验证的软件组件提供正确结果的概率。10.一种自动化驾驶功能的软件组件，已借助根据权利要求1至9中任一项所述的方法对所述软件组件进行验证。11.一种计算机实现的系统，所述计算机实现的系统用于实现自动化驾驶功能，所述计算机实现的系统包括至少一个软件组件，所述至少一个软件组件已借助根据权利要求1至9中任一项所述的方法对所述软件组件进行验证。

技术总结
提出了一种用于验证自动化驾驶功能的至少一个软件组件的计算机实现的方法，其中，待验证的软件组件包括使用至少一个传感器(1，2)的传感器信息的至少一个功能。根据本发明的方法包括以下步骤：a.提供所述待验证的软件组件的模型(3)，b.提供用于所述至少一个传感器(1，2)的至少一个传感器性能模型(13，23)，c.生成整体模型(4)，其中，所述至少一个传感器性能模型(13，23)与所述待验证的软件组件的所述模型(3)相结合，d.借助模型检查方法来分析所述整体模型(4)。体模型(4)。体模型(4)。


技术研发人员：C
受保护的技术使用者：罗伯特
技术研发日：2023.03.30
技术公布日：2023/10/19