移动辅助装置以及移动辅助系统的制作方法

1.本发明涉及一种用于实施对于用户的移动(例如使用盲杖的视觉障碍者的步行)的移动辅助的移动辅助装置以及移动辅助系统。特别是，本发明涉及为了实施移动辅助(移动辅助动作)所取得的信息的处理的改良。


背景技术：

2.作为移动辅助装置，已知在专利文献1中所公开的一种用于实施对于视觉障碍者等行人的步行辅助(对于使用移动辅助设备的用户的移动的移动辅助)的移动辅助装置。在该专利文献1中公开了如下内容，即，具备对在不利用视觉的条件下行动的人(视觉障碍者)所行走的方向进行决定的方向决定部、和生成用于供视觉障碍者向所决定的方向行走的引导信息的引导信息生成部，通过来自视觉障碍者所携带的摄像机的图像、和被预先存储的参照图像之间的匹配来决定视觉障碍者的步行方向，并利用语音等方式而对于视觉障碍者引导步行方向。
3.在先技术文献
4.专利文献
5.专利文献1：日本再公表专利wo2018/025531号公报


技术实现要素：

6.发明所要解决的课题
7.另外，在视觉障碍者等用户(使用移动辅助设备的用户)横穿车行道(例如横过人行横道)的情况下，需求基于通过被内置在移动辅助设备中的摄像机等所取得的信息(例如图像信息)来对周边的移动体(车辆等)进行识别，并实施用于避免用户与移动体的接触的移动辅助动作。特别是，需求提前识别用户与移动体的接触的可能性的有无，并在具有接触的可能性的情况下提前开始进行移动辅助动作。然而，在此前的移动辅助装置中，并未进行提前识别用户与移动体的接触的可能性的有无的这样的观点下的有效的提议，从而作为移动辅助装置还存在改良的余地。
8.本发明是鉴于所述情况而被完成的，其目的在于，提供一种提前识别用户与移动体的接触的可能性的有无，并据此来进行适当的移动辅助动作的移动辅助装置以及移动辅助系统。
9.用于解决课题的方法
10.用于达成所述目的的本发明的解决手段以被设置在移动辅助设备中、并能够进行用于对使用该移动辅助设备的用户的移动进行辅助的移动辅助动作的移动辅助装置为前提。而且，该移动辅助装置具备移动体识别部、相对位置识别部、接触判断部、信息发送部。移动体识别部对存在于周边的移动体进行识别。相对位置识别部对与通过所述移动体识别部而被识别到的所述移动体之间的相对位置关系进行识别。接触判断部基于包含通过所述相对位置识别部而被识别到的与所述移动体之间的相对位置关系以及该相对位置关系的
变化中的至少一方信息在内的接触判断辅助信息，而在与所述移动体之间存在距离的状态下，对该移动体与所述移动辅助设备的接触的可能性的有无进行判断。信息发送部在通过所述接触判断部而被判断为具有所述移动体与所述移动辅助设备的接触的可能性的情况下，输出用于实施所述移动辅助动作的移动辅助动作指示信息。
11.通过该特定事项，在使用移动辅助设备的用户的移动时，由接触判断部基于包含通过相对位置识别部而被识别到的与移动体之间的相对位置关系(移动体相对于移动辅助装置的相对位置)以及该相对位置关系的变化(伴随着移动体或用户的移动而产生的移动体相对于移动辅助装置的相对位置的变化)中的至少一方信息在内的接触判断辅助信息，而在与移动体之间存在距离的状态下，对该移动体与移动辅助设备的接触的可能性的有无进行判断(推断)。而且，在被判断为具有移动体与移动辅助设备接触的可能性的情况下，由信息发送部来输出用于实施移动辅助动作的移动辅助动作指示信息。由此，开始进行用于避免移动辅助设备(换而言之为使用移动辅助设备的用户)与移动体的接触的移动辅助动作。如此，在本解决手段中，能够提前识别到具有用户与移动体发生接触的可能性的情况，并在具有接触的可能性的情况下，提前开始进行与之相应的移动辅助动作。其结果为，能够适当地获得移动辅助动作的开始时机。
12.此外，所述接触判断部具备实施预推断动作的预推断部、以及实施后续于所述预推断动作的接触推断动作的接触推断部。而且，在由所述预推断部所实施的所述预推断动作中，在通过所述移动体识别部而被识别到了多个所述移动体的情况下，基于与所述各移动体之间的各自的相对位置关系以及该相对位置关系的变化中的至少一方的信息，而仅对所述多个移动体中的被推断为具有所述接触的可能性的所述移动体进行提取。此外，在由所述接触推断部所实施的所述接触推断动作中，仅针对通过所述预推断动作而被提取出的所述移动体，基于所述接触判断辅助信息而在与所述移动体之间存在距离的状态下，对所述接触的可能性的有无进行判断。
13.由此，在由接触推断部所实施的接触推断动作中，仅针对通过由预推断部所实施的预推断动作而被提取出的移动体来对接触的可能性的有无进行判断，而无需以通过移动体识别部而被识别到的所有移动体为对象来对接触的可能性的有无进行判断。也就是说，无需进行以不具有接触的可能性的移动体为对象的接触推断动作。因此，能够减轻接触推断部中的运算处理的负载(能够高效地使用有限的资源)，从而能够实现至判断出有无与移动体的接触的可能性的有无为止所需的时间的缩短化。
14.作为由所述预推断部所实施的所述预推断动作，具体而言，作为被推断为具有所述接触的可能性的所述移动体的提取条件，而包括该移动体的移动方向为向所述移动辅助设备接近的方向这一条件。
15.由此，在预推断动作中，将向移动辅助设备接近(向用户接近)的移动体作为具有接触的可能性的移动体而进行提取，由此，将成为在接触推断动作中对接触的可能性的有无进行判断的对象的移动体进行限缩。也就是说，对于并未向移动辅助设备接近过来(并未向用户接近过来)的移动体而言，并不会将其设为在接触推断动作中对接触的可能性的有无进行判断的对象，从而能够减轻接触推断部中的运算处理的负载。
16.作为这种情况下的预推断动作，更具体而言，根据移动方向为向所述移动辅助设备接近的方向的所述移动体的移动速度，来对具有所述接触的可能性的移动体进行提取，
作为被推断为具有所述接触的可能性的所述移动体的提取条件，与将移动方向发生变化并向所述移动辅助设备接近的所述移动体推断为具有所述接触的可能性的移动速度条件的范围相比，而使将在移动方向并未发生变化的条件下向所述移动辅助设备接近的所述移动体推断为具有所述接触的可能性的移动速度条件的范围被设定得较高。
17.例如，向交叉路口进入过来的车辆(移动体)中的、实施右转或左转(移动方向发生变化)的车辆速度较低，而直线前进(移动方向不发生变化)的车辆速度较高是很普遍的。考虑到这一点，在本解决手段中，作为被推断为具有接触的可能性的移动体的提取条件(移动速度的条件)，与将移动方向发生变化并向移动辅助设备接近的移动体推断为具有接触的可能性的移动速度条件的范围相比，提高了将在移动方向并未发生变化的条件下向移动辅助设备接近的移动体推断为具有接触的可能性的移动速度条件的范围，从而依照实际的移动体的移动速度的状况来对被推断为具有接触的可能性的移动体的提取条件进行设定。由此，能够提升被推断为具有接触的可能性的移动体的提取的可靠性。
18.此外，也可以采用如下方式，即，作为预推断动作，根据移动方向为向所述移动辅助设备接近的方向的所述移动体的移动加速度，来对具有所述接触的可能性的移动体进行提取，作为被推断为具有所述接触的可能性的所述移动体的提取条件，与将移动方向发生变化并向所述移动辅助设备接近的所述移动体推断为具有所述接触的可能性的移动加速度条件的范围相比，而使将在移动方向并未发生变化的条件下向所述移动辅助设备接近的所述移动体推断为具有所述接触的可能性的移动加速度条件的范围被设定得较高。
19.例如，向交叉路口进入过来的车辆(移动体)中的、实施右转或左转(移动方向发生变化)的车辆加速度较低(例如在进行减速的同时移动方向发生变化)，而直线前进(移动方向不发生变化)的车辆加速度较高(例如以定速方式进行移动、或在进行加速的同时进行移动)是很普遍的。在本解决手段中，也考虑到了这一点，作为被推断为具有接触的可能性的移动体的提取条件(移动加速度的条件)，与将移动方向发生变化并向移动辅助设备接近的移动体推断为具有接触的可能性的移动加速度条件的范围相比，提高了将在移动方向并未发生变化的条件下向移动辅助设备接近的移动体推断为具有接触的可能性的移动加速度条件的范围，从而依照实际的移动体的移动加速度的状况来对被推断为具有接触的可能性的移动体的提取条件进行设定。由此，也能够提升被推断为具有接触的可能性的移动体的提取的可靠性。
20.此外，在由所述预推断部所实施的所述预推断动作中，作为被推断为具有所述接触的可能性的所述移动体的提取条件，而包括该移动体正在所述用户的移动方向前侧的位置处停止中这一条件。
21.在移动体正在用户的移动方向前侧的位置处停止中的情况下，伴随着用户的移动推进而会导致该用户与移动体接触。因此，在本解决手段中，作为被推断为具有接触的可能性的移动体的提取条件，而设为该移动体正在用户的移动方向前侧的位置处停止中这一条件，通过预推断动作来对该移动体进行提取，并通过接触推断动作对与该移动体的接触的可能性的有无进行判断。由此，即使针对处于停止状态的移动体，也能够提前判断出接触的可能性的有无。
22.此外，由所述接触推断部所实施的所述接触推断动作中的所述接触判断辅助信息包含存在于所述用户的移动方向前侧处的固定物与所述移动体之间的相对距离。
23.在存在于用户的移动方向前侧处的固定物(例如人行横道的白线)与移动体之间的相对距离较大的情况下，移动体并未到达用户的移动方向前侧处。在这种情况下，能够判断为该移动体不具有接触的可能性。与此相对，在存在于用户的移动方向前侧处的固定物与移动体之间的相对距离变为预定值以下(例如零以下)的情况下，移动体具有到达用户的移动方向前侧处的可能性。在这种情况下，能够判断为该移动体是具有接触的可能性的物体。由此，能够通过接触推断动作而以较高的精度判断出移动体的接触的可能性的有无。
24.此外，也可以采用如下方式，即，由所述接触推断部所实施的所述接触推断动作中的所述接触判断辅助信息包含所述移动体的移动速度。
25.在移动体的移动速度较高的情况下，即使在当前时间点移动体并未到达用户的移动方向前侧处，也具有该移动体在较短时间内到达用户的移动方向前侧处的可能性，从而移动体与用户可能会发生接触。考虑到该情况，在本解决手段中，作为接触判断辅助信息而使之包含移动体的移动速度，从而能够在考虑到该移动速度的条件下，以较高的精度而判断出移动体的接触的可能性的有无。
26.此外，也可以采用如下方式，即，由所述接触推断部所实施的所述接触推断动作中的所述接触判断辅助信息包含所述移动体与所述移动辅助设备之间的相对距离。
27.在移动体与移动辅助设备之间的相对距离较短的情况下，即使在当前时间点移动体并未到达用户的移动方向前侧处，也具有此后通过该移动体以及用户的移动推进而使得移动体与用户发生接触的可能性。考虑到该情况，在本解决手段中，作为接触判断辅助信息而使之包含移动体与移动辅助设备之间的相对距离，从而能够在考虑到该相对距离的条件下，以较高的精度而判断出移动体的接触的可能性的有无。
28.此外，由所述接触判断部所实施的与所述移动体的接触的可能性的有无的判断动作以所述用户正在横穿所述移动体所移动的道路为条件而被执行。
29.移动体与移动辅助设备的接触在使用移动辅助设备的用户横穿移动体所移动的道路的过程中发生。因此，通过仅限于在该横穿过程中执行与移动体的接触的可能性的有无的判断动作，从而能够对实施无用的判断动作(用户在移动体不通行的区域进行移动的状况下的判断动作)的情况进行抑制。
30.此外，具备用于实施所述移动辅助动作的通知单元，该通知单元成为通过振动或语音来向所述用户实施用于进行移动辅助的通知的结构。
31.由此，能够向使用移动辅助设备的用户实施适当的通知。
32.此外，由于在所述用户为视觉障碍者、并将所述移动辅助设备设为所述视觉障碍者所使用的盲杖的情况下，移动辅助装置被内置在该盲杖中，因此能够提供利用价值较高的盲杖。
33.作为用于达成所述目的的本发明的解决手段，也可以被构筑为包括移动辅助装置的移动辅助系统。具体而言，以包括被设置在移动辅助设备中且能够进行用于对使用该移动辅助设备的用户的移动进行辅助的移动辅助动作的移动辅助装置的移动辅助系统为前提。而且，该移动辅助系统以包括所述移动辅助装置、和被搭载在移动体上的指示信息接收部的方式而构成。所述移动辅助装置具备：移动体识别部，其对存在于周边的所述移动体进行识别；相对位置识别部，其对与通过所述移动体识别部而被识别到的所述移动体之间的相对位置关系进行识别；接触判断部，其基于包含通过所述相对位置识别部而被识别到的
与所述移动体之间的相对位置关系以及该相对位置关系的变化中的至少一方信息在内的接触判断辅助信息，而在与所述移动体之间存在距离的状态下，对该移动体与所述移动辅助设备的接触的可能性的有无进行判断；信息发送部，其在通过所述接触判断部而被判断为具有所述移动体与所述移动辅助设备的接触的可能性的情况下，将用于实施所述移动辅助动作的移动辅助动作指示信息输出至所述移动体的所述指示信息接收部，所述移动体具备接触避免控制部，所述接触避免控制部在所述指示信息接收部接收到所述移动辅助动作指示信息之际，实施用于避免与所述用户的接触的接触避免动作。
34.根据该特定事项，在被判断为具有移动体与移动辅助设备的接触的可能性的情况下，信息发送部会朝向移动体的指示信息接收部发送移动辅助动作指示信息。而且，接收到该移动辅助动作指示信息的移动体通过接触避免控制部而实施接触避免动作。例如，可以列举出提供用于进行对于驾驶者的注意提醒的语音、或者使移动体产生制动力。
35.发明效果
36.在本发明中，基于包含被识别到的与移动体之间的相对位置关系以及该相对位置关系的变化中的至少一方信息在内的接触判断辅助信息，而在与移动体之间存在距离的状态下，对该移动体与移动辅助设备的接触的可能性的有无进行判断，并在被判断为具有该接触的可能性的情况下，输出用于实施移动辅助动作的移动辅助动作指示信息。因此，能够提前识别到具有用户与移动体发生接触的可能性的情况，并能够在具有接触的可能性的情况下，提前开始进行与之相应的移动辅助动作。其结果为，能够适当地获得移动辅助动作的开始时机。
附图说明
37.图1为表示内置有实施方式所涉及的移动辅助装置的盲杖的图。
38.图2为表示盲杖的手柄部的内部的概要图。
39.图3为表示移动辅助装置的控制系统的概要结构的框图。
40.图4为表示由摄像机被拍摄到的图像的一个示例的图。
41.图5为用于对规定车辆的朝向的车辆朝向阈值进行说明的车辆的俯视图。
42.图6为表示用户正在横穿人行横道的状态的一个示例的图。
43.图7为表示车辆速度检测处理中的t-1时刻的状态的一个示例的图。
44.图8为表示车辆速度检测处理中的t时刻的状态的一个示例的图。
45.图9为用于对车辆速度检测处理中的车辆速度计算原理进行说明的图。
46.图10为用于对预推断动作进行说明的图。
47.图11为用于对接触推断动作进行说明的图。
48.图12为表示在用户处于前往人行横道的步行状态之际由摄像机所拍摄到的图像的一个示例的图。
49.图13为表示在用户到达人行横道的时刻处由摄像机所拍摄到的图像的一个示例的图。
50.图14为表示在用户处于人行横道的横穿状态之际由摄像机所拍摄到的图像的一个示例的图。
51.图15为表示在处于人行横道的横穿状态的用户正朝向向人行横道的右侧偏离的
方向步行之际由摄像机所拍摄到的图像的一个示例的图。
52.图16为表示在处于人行横道的横穿状态的用户正朝向向人行横道的左侧偏离的方向步行之际由摄像机所拍摄到的图像的一个示例的图。
53.图17为表示被识别到的人行横道以及交通信号器的图像的图。
54.图18为用于对被识别到的人行横道的白线的边界框(boundary box)中的各部分的尺寸进行说明的图。
55.图19为表示由移动辅助装置所实现的步行辅助动作的步骤的流程图。
56.图20为表示由移动辅助装置所实现的基于车辆接触推断的步行辅助动作的步骤的流程图。
57.图21为表示改变例所涉及的移动辅助系统的控制系统的概要结构的框图。
58.图22为用于对改变例中的用户位置通知动作进行说明的、相当于图6的图。
具体实施方式
59.以下，基于附图来对本发明的实施方式进行说明。在本实施方式中，对将本发明所涉及的移动辅助装置内置在视觉障碍者所使用的盲杖(移动辅助设备)中的情况进行说明。另外，在下文中，有时也将视觉障碍者仅称为用户。此外，作为本发明中的用户，并不被限定于视觉障碍者。
[0060]-盲杖的概要结构-[0061]
图1为表示内置有本实施方式所涉及的移动辅助装置10的盲杖1的图。如该图1所示，盲杖1具备长柄部2、手柄部3、接头部(金属箍)4。
[0062]
长柄部2为具有中空的大致圆形截面的杆状，且其由铝合金以及玻璃纤维强化树脂、碳纤维强化树脂等而形成。
[0063]
手柄部3被设置在长柄部2的基端部(上端部)处，且其以安装有由橡胶等弹性体所形成的罩壳31的方式而构成。此外，考虑到用户抓持之际的易握持度和难滑脱度，本实施方式中的盲杖1的手柄部3的顶端侧(图1中的上侧)成为略微发生了弯曲的形状。另外，作为手柄部3的结构，并不被限定于此。
[0064]
接头部4为由硬质的合成树脂等而形成的大致有底筒状的部件，其被长柄部2的顶端部外插至其中，并利用粘合或螺钉固定等手段而被固定。另外，接头部4的顶端侧的端面成为半球状。
[0065]
虽然本实施方式所涉及的盲杖1为不可折叠的直杖，但其也可以被设为在长柄部2的中间的一处或多处可折叠或者可伸缩的结构。
[0066]-移动辅助装置的结构-[0067]
本实施方式的特征在于被内置在所述盲杖1中的移动辅助装置10。以下，对该移动辅助装置10进行说明。
[0068]
图2为表示盲杖1的手柄部3的内部的概要图。如该图2所示，本实施方式所涉及的移动辅助装置10被内置在盲杖1中。此外，图3为表示移动辅助装置10的控制系统的概要结构的框图。
[0069]
如这些图所示，移动辅助装置10具备摄像机20、近距离无线通信器40、振动发生器(通知单元)50、蓄电池60、充电插口70、控制装置80等。
[0070]
摄像机20被埋设在手柄部3的根部中的该手柄部3的前表面(朝向用户的行进方向的面)处，以对用户的行进方向前侧(步行方向前方)进行拍摄。该摄像机20例如由ccd(charge coupled device：电子耦合组件)或cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)等而构成。此外，摄像机20的结构以及设置位置并不被限定于前文叙述的方式，其例如也可以被埋设在长柄部2的前表面(朝向用户的行进方向的面)处。
[0071]
作为该摄像机20的特征，其被构成为能够取得步行的用户的行进方向的前方的图像的广角的摄像机，且该图像为包含在该用户到达人行横道之际的该人行横道的白线中的位于最接近于用户的位置处的白线、以及位于用户的前方处的交通信号器(例如行人用交通信号器)的双方在内的图像。也就是说，该摄像机20成为，能够在至用户到达人行横道的近前处为止的时间点拍摄到存在于用户的脚下附近(从脚下稍靠前方的位置)处的人行横道中的处于最近前侧处的白线、和横穿目的地的地点处被设置的交通信号器的双方的结构。该摄像机20中所必需的视野角度(上下方向的视野角度)如前文所述的那样被适当设定为，能够取得(拍摄到)包含位于最接近于用户的位置处的白线(人行横道的白线)以及交通信号器的双方在内的图像。此外，作为该摄像机20中的左右方向的视野角度，被设定为能够拍摄到位于用户的侧方处的车辆等。此外，优选成为能够拍摄到位于用户的斜后方处的车辆等的视野角度。
[0072]
近距离无线通信器40为用于在所述摄像机20与控制装置80之间实施近距离无线通信的无线通信装置。例如，该近距离无线通信器40成为，通过众所周知的bluetooth(注册商标)等通信手段而在摄像机20与控制装置80之间实施近距离无线通信、并将摄像机20所拍摄到的图像的信息朝向控制装置80进行无线发送的结构。
[0073]
振动发生器50被设置在手柄部3的根部中的所述摄像机20的上侧处。该振动发生器50伴随着被内置在其中的电机的工作进行振动，并通过将该振动传递至手柄部3，从而朝向正抓持着该手柄部3的用户实施各种通知。关于由该振动发生器50的振动所实现的面向用户的通知的具体例会在后文进行叙述。
[0074]
蓄电池60由对用于所述摄像机20、近距离无线通信器40、振动发生器50、控制装置80的电力进行积蓄的二次电池而构成。
[0075]
充电插口70为在向蓄电池60中积蓄电力之际供充电电缆进行连接的部分。例如，该充电插口70在用户在家中从家庭用电源对蓄电池60进行充电之际供充电电缆进行连接。
[0076]
控制装置80例如具备cpu(central processing unit：中央处理器)等处理器、对控制程序进行存储的rom(read-only memory：只读存储器)、对数据进行临时性存储的ram(random-access memory：随机存取存储器)、以及输入输出端口等。
[0077]
而且，该控制装置80作为通过所述控制程序所实现的功能部而具备信息接收部81、人行横道检测部82、交通信号器识别部83、切换识别部84、移动体识别部85、相对位置识别部86、接触判断部87、信息发送部88。以下，对这些各部分的功能的概要进行说明。
[0078]
信息接收部81从该摄像机20经由近距离无线通信器40而以预定时间间隔对所述摄像机20所拍摄到的图像的信息进行接收。
[0079]
人行横道检测部82对信息接收部81所接收到的图像的信息(通过摄像机20而被拍摄到的图像的信息)的该图像中的人行横道进行识别，或者对人行横道中的各白线的位置
进行检测。
[0080]
具体而言，如图4(表示由摄像机20所拍摄到的图像的一个示例的图)所示，针对构成人行横道cw的多个白线wl1至wl7而设定边界框(参照图4的单点划线)。例如，通过众所周知的匹配处理来确定人行横道cw的白线wl1至wl7，并针对这些被确定的白线wl1至wl7而设定边界框。此外，也可以利用被预先注释出的白线的数据(标注有标签的白线的数据；用于通过深度学习来对白线进行识别的示教数据)来确定白线wl1至wl7，并针对这些被确定的白线wl1至wl7而设定边界框。
[0081]
而且，人行横道检测部82对这些边界框中的最靠行人的边界框的下端位置(参照图4中的ln)进行检测。在本实施方式中，针对各白线wl1至wl7而设定边界框，并将在图像上位于最下侧处的边界框的下端位置ln设为“人行横道中的靠行人的端缘位置”，但也可以不设定边界框，而是将在图像上被确定的多个白线wl1至wl7中的位于最下侧处的白线wl1的下端位置设为“人行横道中的靠行人的端缘位置”。
[0082]
另外，如后文所述，所述边界框被利用于进行用户的停止位置的特定、交通信号器tl的位置的特定、用户横穿人行横道cw之际的行进方向的特定、人行横道cw的横穿完成的判断、车辆的位置的特定、车辆的速度以及加速度的计算等。关于它们的详细内容会在后文进行叙述。
[0083]
交通信号器识别部83根据信息接收部81所接收到的图像的信息，而对交通信号器tl的状态为红色信号(停止指示状态)以及绿色信号(横穿许可状态)中的哪种进行判断。在对信息接收部81所接收到的图像上的交通信号器tl的存在区域进行推断时，对如前文所述的那样针对被识别到的白线wl1至wl7所设定的边界框中的、位于最远的位置处的边界框的图像内坐标进行特定，并且如图4所示的那样、对与所述边界框(针对被识别到的白线wl1至wl7中的位于最远的位置处的白线wl7所设定的边界框)的上边相接的四角形(宽度尺寸为ws、高度尺寸为hs的四角形)进行规定，并对将此四角形作为交通信号器tl的区域(交通信号器tl的存在区域)a的crop范围进行输出。此时，crop范围既可以为正方形也可以为长方形。另外，通过该交通信号器识别部83所实施的交通信号器的状态的判断(颜色的检测)可以使用一般的物体检测算法或基于规则的算法。
[0084]
切换识别部84对通过所述交通信号器识别部83而被判断出的交通信号器tl的状态从红色信号切换至绿色信号的情况进行识别。在识别到该信号的切换之际，该切换识别部84向信息发送部88发送切换信号。该切换信号从信息发送部88被发送至振动发生器50。振动发生器50与接收到该切换信号的情况联动地以预定的模式而进行振动，并向用户实施因交通信号器tl从红色信号切换至绿色信号而引发对人行横道的横穿进行许可的通知(横穿开始通知)。
[0085]
移动体识别部85对信息接收部81所接收到的图像的信息(通过摄像机20被拍摄到的图像的信息)的该图像中的车辆(本发明中所说的、存在于周边的移动体)的存在进行识别。
[0086]
具体而言，该移动体识别部85为，针对通过摄像机20而被取得(拍摄到)的图像，使用基于被预先注释出的数据而获得的已学习模型来实施车辆的识别动作的功能部。更具体而言，移动体识别部85使用深度学习来实施车辆的识别动作。也就是说，利用事前被注释的车辆的数据(标注有标签的车辆的数据；用于通过深度学习来对车辆进行识别的示教数
据)，而实施在通过摄像机20而被取得的图像中是否存在车辆的判断(车辆的存在的有无的辨别)、以及车辆的状态(车辆所朝向的方向等)的识别。在此，作为被预先注释出的数据的示例，可以列举出诸如车辆的正面图像、背面图像、右侧面图像、左侧面图像、从右斜前方进行观察的情况下的图像、从右斜后方进行观察的情况下的图像、从左斜前方进行观察的情况下的图像、从左斜后方进行观察的情况下的图像这样的、跨及围绕车辆的铅直轴的周向的各图像的数据，并对这些图像进行预先注释。另外，由于作为车辆的种类是多种多样的，因此优选为在事前对与各种类型(厢式轿车类型、旅行车类型、单厢车类型等)相应的车辆的数据进行注释。
[0087]
此外，在本实施方式中，作为规定车辆的朝向的车辆朝向阈值(为了对车辆正朝向哪个方向进行识别所利用的车辆朝向阈值)，而跨及围绕车辆的铅直轴的周向地设定了五个方向的值。具体而言，如图5所示，将对车辆v从正面方向进行观察的情况下的车辆朝向阈值设为0
°
(＝2π)，并作为在图5中的顺时针方向上存在72
°
的角度间隔的方向而将β1、β2、β3、β4分别设定作为车辆朝向阈值。因此，在通过摄像机20而被取得的图像中的车辆v中，在朝向摄像机20的面处于车辆朝向阈值的0
°
至β1的范围的情况下，能够判断为该车辆v正相对于摄像机20而朝向正面至右前侧的范围，在朝向摄像机20的面处于车辆朝向阈值的β1至β2的范围的情况下，能够判断为该车辆v正相对于摄像机20而朝向右侧面至右后侧的范围，在朝向摄像机20的面处于车辆朝向阈值的β2至β3的范围的情况下，能够判断为该车辆v正相对于摄像机20而朝向背面，在朝向摄像机20的面处于车辆朝向阈值的β3至β4的范围的情况下，能够判断为该车辆v正相对于摄像机20而朝向左侧面至左后侧的范围，在朝向摄像机20的面处于车辆朝向阈值的β4至2π的范围的情况下，能够判断为该车辆v正相对于摄像机20而朝向正面至左前侧的范围。
[0088]
相对位置识别部86对其与通过移动体识别部85而被识别到的车辆v之间的相对位置关系(车辆v相对于移动辅助装置10的相对位置)进行识别。也就是说，在通过摄像机20而被取得的图像中存在车辆v的情况下(在通过移动体识别部85而被识别到了车辆v的存在的情况下)，对该车辆v所存在的方向进行识别。
[0089]
图6为表示用户u正在横穿人行横道cw的状态的一个示例的图。在该图6中，示出了在交叉路口附近处行驶或停止(停车)了四台车辆a至d的状态。附图中的车辆a为，从用户u视角进行观察时从左斜前方向交叉路口进入过来的车辆。在这种情况下，相对位置识别部86将车辆a作为存在于左斜前方处的车辆而进行识别(由于位于图像上的左上方因此作为存在于左斜前方处的车辆而进行识别)。另外，作为该车辆a进入到交叉路口处的情况下的行进方向，像附图中以虚线的箭头标记所示的那样而设想了为直线前进的情况和为左转的情况(在此，设为并未针对右转以及后退进行考虑的情况)。附图中的车辆b为，从用户u视角进行观察时从左斜后方向交叉路口进入过来的车辆。在这种情况下，相对位置识别部86将车辆b作为存在于左斜后方处的车辆而进行识别(由于位于图像上的左下方因此作为存在于左斜后方处的车辆而进行识别)。另外，作为该车辆b进入到交叉路口处的情况下的行进方向，像附图中以虚线的箭头标记所示的那样而设想了为直线前进的情况和为右转的情况(在此，设为并未针对左转以及后退进行考虑的情况)。附图中的车辆c为，从用户u视角进行观察时从右方向而向交叉路口进入过来的车辆。在这种情况下，相对位置识别部86将车辆c作为存在于右方向处的车辆而进行识别(由于位于图像上的右侧处因此作为存在于右方向
的车辆而进行识别)。另外，作为该车辆c的去向交叉路口的(去向用户u的)行进方向，而设想了为直线前进的情况和为停止的情况。附图中的车辆d为，从用户u视角进行观察时正在右斜前方处停止着的车辆。在这种情况下，相对位置识别部86将车辆d作为存在于右斜前方处的车辆而进行识别(由于在图像上位于右上方因此作为存在于右斜前方处的车辆而进行识别)。
[0090]
接触判断部87基于包含通过相对位置识别部86而被识别到的与车辆a至d之间的相对位置关系以及该相对位置关系的变化的信息在内的接触判断辅助信息，而对有无用户u与任意车辆的接触的可能性进行判断。该判断动作以用户u正在横穿人行横道cw为条件而被执行。这是考虑到了车辆与用户u的接触发生在使用盲杖1的用户u的人行横道cw的横穿过程中的方式。也就是说，通过仅限于在该横穿过程中执行有无与车辆的接触的可能性的判断动作，从而对被实施无用的判断动作(用户u在车辆不通行的区域(例如人行道)步行的状况下的判断动作)的情况进行抑制。
[0091]
以下，具体地进行说明。
[0092]
接触判断部87具备实施后文叙述的预推断动作的预推断部87a、以及在被实施了预推断动作之后实施后文叙述的接触推断动作的接触推断部87b。
[0093]
(预推断动作)
[0094]
在由预推断部87a所实施的预推断动作中，在通过所述移动体识别部85而被识别到多个车辆a至d的情况下，基于其与各车辆a至d之间的各自的相对位置关系以及该相对位置关系的变化的信息，而仅对多个车辆a至d中的被推断为具有接触的可能性的车辆进行提取。
[0095]
具体而言，根据从摄像机20以预定时间间隔被发送过来的图像的信息，而对各车辆a至d的行驶状态进行判断，并仅对多个车辆a至d中的被推断为具有接触的可能性的车辆进行提取。这里所说的车辆的行驶状态是指，包含车辆的朝向以及车辆速度在内的指标。作为车辆的朝向，能够根据使用深度学习模型(前文叙述的已学习模型)所获得的推论的结果来进行求取，并能够根据属于如前文所述的那样利用车辆朝向阈值所划分出的哪个范围来进行辨别。此外，车辆速度能够通过根据以预定时间间隔从摄像机20被发送过来的图像的信息而使用每单位时间的车辆的移动量来进行运算。
[0096]
在此，对车辆速度的运算处理进行具体说明。
[0097]
用户一边以左右摆动盲杖1的方式来对前方的路面状态进行确认一边进行步行。也就是说，通过左右摆动盲杖1，从而被内置在该盲杖1中的摄像机20的摄影光轴将会被左右摆动。因此，将会使得摄像机20的摄影光轴的方向相对于用户的步行方向而大幅地发生变化，而在从摄像机20被发送过来的图像内存在车辆的情况下，由于该摄影光轴的方向发生变化，因此准确地运算出每单位时间的车辆的移动量较为困难。因此，在本实施方式中设为，通过使用在t时刻被拍摄到的图像、和在一帧前的t-1时刻被拍摄到的图像，并利用深度学习模型来对速度矢量进行计算，从而求取车辆速度。
[0098]
具体而言，使用图7以及图8来对车辆速度检测处理进行说明。图7为在t-1时刻被拍摄到的图像，图8为在t时刻被拍摄到的图像。首先，在t-1时刻被拍摄到的图像(图7)上，针对位于最接近于用户的位置处的白线wl而设定边界框，并且也针对车辆v设定边界框。这些处理与前文叙述的情况同样地，利用用于通过深度学习来对白线wl进行识别的示教数据
以及用于对车辆v进行识别的示教数据来实施。而且，对于这些边界框而设定基准坐标点pwl、pv1(在图7所示的情形下为左上角的位置)，并在t-1时刻被拍摄到的图像(图7)上，设定从针对白线wl所设定的边界框的基准坐标点pwl朝向针对车辆v所设定的边界框的基准坐标点pv1的矢量。将该矢量称为第一速度矢量。此后，在t时刻被拍摄到的图像(图8)上，设定从针对相同白线wl所设定的边界框的基准坐标点pwl朝向针对车辆(在t-1时刻至t时刻期间进行了移动的车辆)v所设定的边界框的基准坐标点pv2的矢量。将该矢量称为第二速度矢量。
[0099]
而且，如图9所示，对第一速度矢量与第二速度矢量之差进行运算，以作为车辆速度(根据车辆速度矢量所求取的车辆速度)。由此，即使在因盲杖1被左右摆动而引发在图像上的白线wl的位置以及车辆v的位置发生变动的状况下，也能够准确地计算出车辆速度。
[0100]
在本实施方式中，在预推断动作中，作为用于对推断为具有接触的可能性的车辆进行提取的阈值而设定了v1、v2(v2＞v1＞0)，作为车速v的范围而设定了v1＞v≥0的范围(极低速)、v2＞v≥v1的范围(低速)、v≥v2(中速)的范围。
[0101]
图10为用于对预推断动作进行说明的图。在该预推断动作中，通过与车辆的行驶状态相应的筛选来对被推断为具有接触的可能性的车辆进行限缩。
[0102]
如使用图6所说明的那样，在交叉路口附近处行驶或停止了四台车辆a至d的状态下，根据从摄像机20以预定时间间隔而被发送过来的图像的信息，能够如前文叙述的那样对各车辆a至d的行驶状态(车辆的朝向以及车辆速度)进行识别。
[0103]
而且，如图6所示，对于在从用户u视角进行观察时从左斜前方向交叉路口进入过来的车辆a来说，如前文所述的那样，作为进入到交叉路口处的情况下的行进方向而设想了为直线前进的情况和为左转的情况，并推断为虽然在为直线前进的情况下不具有与用户u接触的可能性，但在为左转的情况、且车速为低速的情况下具有与用户u接触的可能性。
[0104]
在图10中，在“接触可能性”一栏中，记号
×
表示不具有与用户u接触的可能性，记号
○
表示具有与用户u接触的可能性。也就是说，在从用户u视角进行观察时从左斜前方向交叉路口进入过来的车辆a进行左转的情况下，作为车辆a相对于摄像机20的朝向θ而向正面至右前侧的面发生转移。在该过程中，车辆a的朝向摄像机20的面成为车辆朝向阈值的0
°
至β1的范围(β1＞θ≥0)。此外，车辆a在左转时通过减速而使车速v变为低速，从而在该过程中成为低速范围(v2＞v≥v1)。以此为条件，推断为在车辆a的移动方向为左转的情况、且车速v为低速的情况下具有与用户u接触的可能性。
[0105]
具体而言，该推断能够通过将车辆的朝向θ以及车速v设为变量的以下的式(1)来实施。
[0106]
数学式1
[0107]yid
＝ψ1(θ，v)
…
(1)
[0108]
在此，y
id
为车辆是否具有与用户接触的可能性的判断值(通过运算所求取出的判断值)，θ为根据所述车辆朝向阈值而设定的车辆的朝向，v为车速(车速范围)。在本实施方式中，所述y
id
在获得为“1、3、6、7(y
id
∈{1、3、6、7})”的情况下被推断为是具有与用户接触的可能性的车辆，在获得为“2、4、5(y
id
∈{2、4、5})”的情况下被推断为是不具有与用户接触的可能性的车辆。在车辆a进行左转的情况下，成为y
id
＝1，从而被推断为是具有与用户接触的可能性的车辆。
[0109]
此外，对于在从用户u视角进行观察时从左斜后方向交叉路口进入过来的车辆b来说，如前文所述的那样，作为向交叉路口进入过来的情况下的行进方向而设想了为直线前进的情况和为右转的情况，并推断为虽然在为直线前进的情况下不具有与用户u接触的可能性(接触可能性一栏为记号
×
)，但在为右转的情况、且车速为低速的情况下具有与用户u接触的可能性(接触可能性一栏为记号
○
)。
[0110]
也就是说，在从用户u视角进行观察时从左斜后方向交叉路口进入过来的车辆b进行右转的情况下，作为车辆相对于摄像机20的朝向θ而向右侧面至右后侧的面发生转移。在该过程中，车辆b的朝向摄像机20的面成为车辆朝向阈值的β2至β1的范围(β2＞θ＞β1)。此外，车辆b在右转时通过减速使车速v变为低速，从而在该过程中成为低速范围(v2＞v≥v1)。以此为条件，推断为在车辆b的移动方向为右转的情况、且车速v为低速的情况下具有与用户u接触的可能性。
[0111]
此外，对于在从用户u视角进行观察时从右方向而向交叉路口进入过来的车辆c来说，如前文所述的那样，设想了为直线前进的情况和停止的情况，虽然在停止的情况下不具有与用户u接触的可能性(接触可能性一栏为记号
×
)，但在为直线前进的情况、且车速为中速的情况下具有与用户u接触的可能性(接触可能性一栏为记号
○
)。
[0112]
也就是说，在从用户u视角进行观察时从右方向而向交叉路口进入过来的车辆c进行直线前进的情况下，作为车辆相对于摄像机20的朝向θ而成为正面至左前侧的面的范围。也就是说，车辆c的朝向摄像机20的面成为车辆朝向阈值的2π至β4的范围(2π＞θ＞β4)。此外，车辆c由于并未变为低速，因此成为中速范围(v≥v2)。以此为条件，推断为在车辆c的移动方向为直线前进的情况、且车速v为中速的情况下具有与用户u接触的可能性。
[0113]
此外，对于在从用户u视角进行观察时于右斜前方处停止着的车辆d而言，设为具有与步行的用户u接触的可能性(接触可能性一栏为记号
○
)。也就是说，作为在从用户u视角进行观察时于右斜前方处停止着的车辆d的、相对于摄像机20的朝向，而成为右后侧的面的范围。也就是说，车辆d的朝向摄像机20的面成为车辆朝向阈值的β2至β1的范围(β2＞θ＞β1)。此外，由于车辆d处于停止状态，因此车速范围成为(v1＞v≥0)。以此为条件，推断为车辆d具有与用户u接触的可能性。
[0114]
前文叙述的被推断为具有与用户u接触的可能性的车速范围的条件相当于本发明中所说的“作为被推断为具有接触的可能性的移动体的提取条件，与将移动方向发生变化并向移动辅助设备接近的移动体推断为具有接触的可能性的移动速度条件的范围相比，而使将在移动方向并未发生变化的条件下向移动辅助设备接近的移动体推断为具有接触的可能性的移动速度条件的范围被设定得较高”。
[0115]
采用这种方式，可以通过与车辆的行驶状态相应的筛选而仅对多个车辆a至d中的被推断为具有接触的可能性的车辆进行提取。例如，在车辆a进行右转、车辆b直线前进、车辆c停止、车辆d起步的情况下，在这四台车辆a至d中仅车辆a被推断为是具有与用户u接触的可能性的车辆，从而仅对该车辆a进行提取。此外，例如，在车辆a直线前进、车辆b直线前进、车辆c停止、车辆d维持停止的情况下，在这四台车辆a至d中仅车辆d被推断为是具有与用户接触的可能性的车辆，从而仅对该车辆d进行提取。
[0116]
以上为预推断动作。
[0117]
(接触推断动作)
[0118]
在由接触推断部87b所实施的接触推断动作中，仅针对通过所述预推断动作而被提取出的车辆，而在与该车辆之间存在距离的状态下，对有无与该车辆的接触的可能性进行判断。
[0119]
具体而言，基于存在于用户的步行方向前侧处的固定物(在本实施方式中为人行横道cw的白线wl)与车辆(通过预推断动作被提取出的车辆)之间的相对距离、车辆速度、车辆与盲杖1之间的相对距离这样的信息(接触判断辅助信息)，来对有无与车辆的接触的可能性进行判断。
[0120]
在图11(用于对接触推断动作进行说明的图)中，作为车辆的行驶位置而对两处位置进行考虑。附图中的车辆va的位置为人行横道cw的近前(图11中的左侧)，附图中的车辆vb的位置为人行横道cw上(更具体而言为车辆的前轮到达人行横道cw的位置)。
[0121]
在该图11中，作为图像上的水平方向的坐标位置(将右方向设为较大的值的坐标上的位置)，而将针对车辆所设定的边界框的右端的位置设为x
car
，将针对人行横道cw中的位于最近前侧处的白线wl所设定的边界框的左端的位置设为x0。因此，作为“x
0-x
car”的值，在为车辆va的位置的情况下成为正的值，而在为车辆vb的位置的情况下成为负的值。另外，在车辆前端的位置与人行横道cw中的位于最近前侧处的白线wl的边界框的左端的位置一致的情况下，“x
0-x
car”的值成为零。
[0122]
据此，在本实施方式中，作为接触推断动作，在以下的式(2)成立的情况下(gc＜0的情况下)，判断为具有与车辆的接触的可能性，而在式(2)不成立的情况下(gc≥0的情况下)，判断为不具有与车辆的接触的可能性。
[0123]
数学式2
[0124]
gc＝x
0-x
car
+δ1(v)+δ2(w
car
)＜0
…
(2)
[0125]
在此，δ1(v)为与车辆速度相应的修正项，δ2(w
car
)为，与车辆和盲杖1之间的相对距离(换而言之，车辆和用户之间的相对距离)相应的修正项(基于通过图像上的车辆的长度(车身前后方向的长度)w
car
所求取的相对距离的修正项)。在这种情况下，由于针对车辆的每个种类而长度w
car
是多种多样的，因此也优选为在事前对各种车辆的数据(长度w
car
的数据)进行注释。
[0126]
对各修正项进行说明。在车辆速度较高的情况下，即使在当前时间点车辆并未到达人行横道(例如参照车辆va的位置)，也具有该车辆va在较短时间内到达人行横道cw的可能性。考虑到该情况，在式(2)中，作为与车辆速度相应的修正项而加上了δ1(v)(加上了车辆速度越高则负的值的绝对值越大的δ1(v))，从而车辆速度越高则gc越会被求取为较小的值。由此，在考虑到车辆速度的条件下提高了判断的精度。
[0127]
此外，在车辆与盲杖1之间的相对距离较短的情况下，即使在当前时间点车辆并未到达用户的步行方向前侧处，也具有此后通过该车辆的移动以及用户的步行推进而使得车辆与用户发生接触的可能性。考虑到该情况，在式(2)中，作为与车辆与盲杖1之间的相对距离相应的修正项而加上了δ2(w
car
)(而加上了车辆与盲杖1之间的相对距离越短则负的值的绝对值越大的δ2(w
car
))，从而车辆与盲杖1之间的相对距离越短则gc越会被求取为较小的值。由此，在考虑到该相对距离的条件下提高了判断的精度。
[0128]
以上为接触推断动作。通过该接触推断动作，从而在被判断为具有车辆与盲杖1(用户)的接触的可能性的情况下，信息发送部88会将用于实施移动辅助动作的移动辅助动
作指示信息输出至振动发生器50，且该振动发生器50将会以表示停止指示(停止通知)的模式而进行振动。
[0129]-步行辅助动作-[0130]
接下来，对由如前文所述的那样而构成的移动辅助装置10所实现的步行辅助动作(移动辅助动作)进行说明。首先，对步行辅助动作的概要进行说明。
[0131]
(步行辅助动作的概要)
[0132]
在此，将用户的步行过程中的时间表示为t∈[0、t]，并将表示该用户的状态的变量(状态变量)设为s∈r
t
。此外，t时刻时的状态变量以s
t
∈{-1、0、1、2}的整数来表现，并设为其分别表示系统停止状态(s
t
＝-1)、步行状态(s
t
＝0)、停止状态(s
t
＝1)、横穿状态(s
t
＝2)。这里所说的系统停止状态是指，通过系统的停止条件成立来使移动辅助装置10停止的状态。具体而言，在本实施方式所涉及的移动辅助装置10中，在由人行横道检测部82所实施的人行横道cw的识别并未被进行的状态持续了预定时间(系统的停止条件成立)的情况下使移动辅助装置10停止，从而系统停止状态是指，通过该系统的停止条件成立来使移动辅助装置10停止的状态。步行状态例如设想了行人正朝向交叉路口(存在交通信号器tl以及人行横道cw的交叉路口)步行的状态。此外，停止状态设想了用户到达人行横道cw的近前处，并由于信号等待(等待从红色信号切换至绿色信号)而处于停止的状态(并未步行的状态)。此外，横穿状态设想了用户正在横穿人行横道cw的状态。
[0133]
本实施方式提出了一种当被输入有在t时刻通过摄像机20而被拍摄到的图像x
t
∈r
w0
×
h0
(w0、h0分别表示图像的纵和横的图像尺寸)时，对以辅助用户的步行为目的的输出(输出变量)y∈r
t
进行求取的算法。在此，作为辅助用户的步行的输出，而以y
t
∈{1、2、3、4、5}的整数来表现，并设为其分别表示停止指示(y
t
＝1)、步行指示(y
t
＝2)、右偏离警告(y
t
＝3)、左偏离警告(y
t
＝4)、系统停止通知(y
t
＝5)。在以下的说明中，有时也会将停止指示称为停止通知。此外，有时也会将步行指示称为步行通知或横穿通知。这些指示(通知)以及警告根据振动发生器50的振动的模式而向用户实施。用户预先掌握指示(通知)以及警告、与振动发生器50的振动的模式之间的关系，从而通过从手柄部3感受到振动发生器50的振动的模式来对指示以及警告的种类进行掌握。
[0134]
此外，如后文所述，存在对表示用户的状态的变量s的转移进行判断的函数(以下，称为状态转移函数)f0、f1、f2、和对从人行横道的偏离(向左右方向的偏离)进行判断的状态转移函数f3，这些状态转移函数f0至f3被存储在所述rom中。关于这些状态转移函数f0至f3的具体例会在后文进行叙述。
[0135]
(输出变量y以及状态转移函数fi的概要)
[0136]
对前文叙述的辅助用户的步行的输出y
t
∈{1、2、3、4、5}进行说明。
[0137]
如前文所述，作为输出y
t
，以用户的步行辅助为目的，而存在停止指示(y
t
＝1)、步行指示(y
t
＝2)、右偏离警告(y
t
＝3)、左偏离警告(y
t
＝4)、系统停止通知(y
t
＝5)这五个种类的输出。
[0138]
停止指示(y
t
＝1)为，在步行的用户到达人行横道的近前处为止的时间点向该用户实施表示停止步行的含义的通知的输出。例如，如果在由摄像机20所拍摄到的图像为图12(表示在用户处于前往人行横道cw的步行状态之际、由摄像机20所拍摄到的图像的一个示例的图)所示的状态，则由于距人行横道cw的距离较长，因此不实施停止指示(y
t
＝1)，从
而用户持续步行状态(s
t
＝0)，在由摄像机20被拍摄到的图像变为图13(表示在用户到达人行横道cw的时刻由摄像机20所拍摄到的图像的一个示例的图)所示的状态的情况下，由于为用户已到达人行横道cw的近前处的时刻，因此会输出停止指示(y
t
＝1)，以向该用户实施表示停止步行的含义的通知。关于实施该停止指示(y
t
＝1)的条件是否成立的判断(基于状态转移函数的计算结果而进行的判断)会在后文进行叙述。
[0139]
步行指示(y
t
＝2)为，通过交通信号器tl从红色信号切换至绿色信号的情况而向用户实施表示指示步行(人行横道cw的横穿)的含义的通知的输出。例如，在用户于人行横道cw的近前处处于停止状态(s
t
＝1)的状况下，在交通信号器tl基于由摄像机20所拍摄到的图像而从红色信号切换至绿色信号的情况下，输出步行指示(y
t
＝2)，以向该用户实施表示开始进行人行横道cw的横穿的含义的通知。关于实施该步行指示(y
t
＝2)的条件是否成立的判断(基于状态转移函数的计算结果而进行的判断)也会在后文进行叙述。
[0140]
而且，在本实施方式中，作为实施该步行指示(y
t
＝2)的时刻而设为了交通信号器tl的状态从红色信号被切换至绿色信号的时刻。也就是说，假设即使在用户到达人行横道cw的时间点交通信号器tl已变为了绿色信号，也不实施步行指示(y
t
＝2)，而交通信号器tl一旦变为红色信号，则在此后被切换至绿色信号的时刻实施步行指示(y
t
＝2)。由此，能够充分地确保当用户横穿人行横道cw时交通信号器tl处于变为绿色信号的状态的时间，以使得难以招致于用户正在横穿人行横道cw的途中交通信号器tl从绿色信号被切换至红色信号的这样的状况。
[0141]
右偏离警告(y
t
＝3)为，在正在横穿人行横道cw的用户处于朝向从人行横道cw向右侧偏离的方向步行的状态之际，对于该用户而实施有可能从人行横道cw向右侧偏离的警告的输出。例如，在由摄像机20所拍摄到的图像处于图14(表示在用户处于人行横道cw的横穿状态之际、由摄像机20所拍摄到的图像的一个示例的图)所示的状态，且在用户处于人行横道cw的横穿状态(s
t
＝2)的状况下、由摄像机20所拍摄到的图像变为图15(表示在处于人行横道cw的横穿状态的用户正朝向向人行横道cw的右侧偏离的方向步行之际、由摄像机20所拍摄到的图像的一个示例的图)所示的状态的情况下，由于用户正朝向从人行横道cw向右侧偏离的方向步行，因此会输出右偏离警告(y
t
＝3)，以向该用户实施警告。
[0142]
左偏离警告(y
t
＝4)为，在正在横穿人行横道cw的用户处于朝向从人行横道cw向左侧偏离的方向步行的状态之际，对于该用户而实施有可能从人行横道cw向左侧偏离的警告的输出。例如，在由摄像机20所拍摄到的图像处于图14所示的状态，且在用户处于人行横道cw的横穿状态(s
t
＝2)的状况下、由摄像机20所拍摄到的图像变为图16(表示在处于人行横道cw的横穿状态的用户正朝向向人行横道cw的左侧偏离的方向步行之际、由摄像机20所拍摄到的图像的一个示例的图)所示的状态的情况下，由于用户正朝向从人行横道cw向左侧偏离的方向步行，因此会输出左偏离警告(y
t
＝4)，以向该用户实施警告。
[0143]
实施这些右偏离警告(y
t
＝3)以及左偏离警告(y
t
＝4)的条件是否成立的判断(基于状态转移函数的计算结果而进行的判断)也会在后文进行叙述。
[0144]
系统停止通知(y
t
＝5)为，在系统的停止条件成立之际，向用户实施移动辅助装置10已停止的通知的输出。具体而言，在人行横道cw上存在障碍物的状况下，当处于在摄像机20所取得的图像上人行横道cw的整体被障碍物遮盖(人行横道cw的大部分白线或所有白线wl1至wl7被障碍物遮盖)的状况时，无法根据摄像机20所取得的图像来识别人行横道cw的
存在(无法判断有无人行横道cw的存在)。也就是说，具有尽管并不存在人行横道cw却仍然实施停止通知(因存在障碍物而引发进行停止通知)的可能性，导致无法充分得到移动辅助装置10的工作的可靠性(停止通知的可靠性)。因此，由于在这种状况下，会成为人行横道cw的识别并未被进行的状态持续了预定时间的情况，因此以此为条件而使移动辅助装置10停止，以避免被实施错误的停止通知，并且将表示移动辅助装置10已停止的含义的信息发送至振动发生器50，并从该振动发生器50向行人通知移动辅助装置10已停止的情况。
[0145]
(在步行辅助中所使用的特征量)
[0146]
接下来，对在对于用户的步行辅助中所使用的特征量进行说明。为了对于用户适当地实施人行横道cw的近前处的步行的停止通知、以及此后的横穿开始通知等各种通知，必须预先通过来自摄像机20的信息来准确地对人行横道cw的位置(在人行横道cw中位于最近前侧处的白线wl1的位置)、以及交通信号器tl的状态(是绿色信号还是红色信号)进行识别。也就是说，需要预先构筑反映出白线wl1的位置以及交通信号器tl的状态的模型式，且根据该模型式，能够预先掌握当前用户所处的状况。
[0147]
另外，以下内容中的特征量以及状态转移函数的说明是针对作为移动辅助装置10的基本动作而在人行横道cw上并不存在障碍物且在摄像机20所取得的图像上识别到了人行横道cw(至少识别到了位于最近前处的白线wl1)的状态的情况来进行说明的。
[0148]
图17以及图18示出了在对于用户的步行辅助中所使用的特征量{w3、w4、w5、h3、r、b}
t
∈r6的概要。r、b分别表示交通信号器tl的状态(红色信号以及绿色信号)的检测结果(0：未检测到、1：检测到)。在进行该交通信号器tl的状态的检测之际，会如前文所述的那样通过对在图4中由虚线所包围的区域a1进行提取来实施交通信号器tl的状态的识别。此外，w3、w4、w5、h3使用针对通过所述人行横道检测部82而被识别到的人行横道cw的白线wl1至wl7中的、位于最近前处的白线wl1的边界框而如图18所示的那样进行定义。也就是说，w3为从图像的左端起至边界框的左端(相当于白线wl1的左端)为止的距离，w4为边界框的宽度尺寸(相当于白线wl1的宽度尺寸)，w5为从图像的右端起至边界框的右端(相当于白线wl1的右端)为止的距离，h3为从图像的下端起至边界框的下端(相当于白线wl1的近前侧的端缘)为止的距离。
[0149]
在将使用深度学习来对人行横道cw以及交通信号器tl进行检测的函数设为g的情况下，如果将使用在t时刻通过摄像机20而被拍摄到的图像x
t
∈r
w0
×
h0
被预测出的人行横道cw以及交通信号器tl的边界框表现为g(xt)，则作为为了辅助用户的步行所必需的特征量而能够表现为以下的式(3)。
[0150]
数学式3
[0151][0152]
在此，
[0153]
数学式4
[0154][0155]
为对所述特征量j(t)进行提取的运算符，其用于实施对于所述g(xt)的后处理，p1为每一帧的边界框的最大数。
[0156]
(状态转移函数)
[0157]
接下来，对状态转移函数进行说明。如前文所述，该状态转移函数被用于对实施停止指示(y
t
＝1)、步行指示(y
t
＝2)、右偏离警告(y
t
＝3)、左偏离警告(y
t
＝4)各自的通知的条件是否成立进行判断。
[0158]
t+1时刻处的状态量(状态变量)s
t+1
能够使用与人行横道cw的特征量相对的时刻历史信息j＝{j(0)、j(1)、
…
j(t)}、和当前的状态量(状态变量)s
t
、以及在t+1时刻被拍摄到的图像x
t+1
，而如以下的式(5)这样来表示。
[0159]
数学式5
[0160]st+1
＝f(j，s
t
，x
t+1
)
…
(5)
[0161]
该式(5)中的状态转移函数f能够根据当前时刻的状态量而如以下的式(6)来进行定义。
[0162]
数学式6
[0163][0164]
也就是说，作为用户的步行的推移，会反复进行步行(例如朝向人行横道cw的步行)
→
停止(例如人行横道cw的近前处的停止)
→
横穿(例如人行横道cw的横穿)
→
步行(例如人行横道cw的横穿完成后的步行)，而用于对向处于步行状态(s
t
＝0)的用户实施停止指示(y
t
＝1)的条件的成立的有无进行判断的状态转移函数为f0(j、x
t+1
)，用于对向处于停止状态(s
t
＝1)的用户实施横穿(步行)指示(y
t
＝2)的条件的成立的有无进行判断的状态转移函数为f1(j、x
t+1
)，用于对向处于横穿状态(s
t
＝2)的用户实施步行(横穿的完成)的通知的条件的成立的有无进行判断的状态转移函数为f2(j、x
t+1
)。此外，用于对向处于横穿状态(s
t
＝2)的用户实施从人行横道cw的偏离的警告的条件的成立的有无进行判断的状态转移函数为后文叙述的f3(j、x
t+1
)。
[0165]
以下，对与各状态量(状态变量)分别相应的状态转移函数进行具体说明。
[0166]
(在步行状态下所应用的状态转移函数)
[0167]
在当前时刻的状态量为步行状态(s
t
＝0)的情况下所使用的状态转移函数f0(j、x
t+1
)能够使用所述式(3)的特征量而设为以下的式(7)至(9)。
[0168]
数学式7
[0169][0170]
数学式8
[0171][0172]
数学式9
[0173][0174]
在此，h为heaviside函数，δ为delta函数。此外，α1、α2为被用于判断基准的参数，t0
为对所利用的过往的状态进行指定的参数。此外，i2＝{0、1、0、0、0、0}
t
、i4＝{0、0、0、1、0、0}
t
。
[0175]
当使用该式(7)时，α1＞h3、且w4＞α2的条件在过往t0时间并不成立，而仅在t时刻初次成立的情况下获得“1”，且在除此以外的情况下获得“0”。也就是说，在通过α1＞h3成立而判断出人行横道cw中的位于最近前处的白线wl1(白线的边界框的下端)位于用户的脚下、并通过w4＞α2成立而判断出该白线wl1在与用户的行进方向正交的方向上延伸(白线的边界框的宽度尺寸超过预定尺寸)的情况下，变为获得“1”。
[0176]
采用这种方式，在式(7)中获得“1”的情况下，实施停止指示(y
t
＝1)的条件成立，从而会向处于步行状态的用户实施停止指示(例如人行横道cw的近前处的步行的停止指示；停止通知)。
[0177]
此外，在本实施方式中，不仅将(α1＞h3)设为人行横道cw位于用户的脚下的条件、而还通过加入被检测到的人行横道cw的宽度的制约(w4＞α2)，来防止图像x
t+1
中包含有位于用户的行进方向的人行横道cw以外的人行横道(在交叉路口处，与用户的行进方向正交的方向的人行横道等)的情况下的错误检测。也就是说，即使在道路的交叉路口等处存在横穿方向互不相同的多个人行横道的情况下，也能够明确地对用户应当横穿的人行横道cw(由于白线wl1在与用户应当横穿的方向交叉的方向上延伸，因此该白线wl1的宽度尺寸被识别得较宽的人行横道cw)、和其他人行横道(白线的宽度尺寸被识别得较窄的人行横道)进行辨别，从而能够以较高的精度来准确地实施面向用户的横穿的开始通知。
[0178]
(在停止状态下所应用的状态转移函数)
[0179]
在前时刻的状态量为停止状态(s
t
＝1)的情况下所使用的状态转移函数f1(j、x
t+1
)能够设为以下的式(10)至(12)。
[0180]
数学式10
[0181][0182]
数学式11
[0183][0184]
数学式12
[0185][0186]
在此，x’t+1
以根据x
t+1
实施图像的修整和放大处理的方式而获得。也就是说，成为了交通信号器tl的识别精度被充分提高的图像x’t+1
。此外，i5＝{0、0、0、0、1、0}
t
、i6＝{0、0、0、0、0、1}
t
。
[0187]
在式(10)中，在于过往t0时间检测到了红色信号之后，仅在t时刻初次检测到绿色信号的情况下获得“1”，而在除此以外的情况下获得“0”。
[0188]
采用这种方式，在式(10)中获得“1”的情况下，实施步行(横穿)指示(y
t
＝2)的条件成立，从而会向处于停止状态的用户实施横穿指示(例如人行横道的横穿指示；横穿通知)。
[0189]
此外，在不具有交通信号器的交叉路口的人行横道，有时会无法进行前述的逻辑下的状态转移。为了解决该课题，也可以导入新的参数t1＞t0，并在被判断为在时间t1期间
并未进行从停止状态的状态转移的情况下，向步行状态进行转移。
[0190]
(在横穿状态下所应用的状态转移函数)
[0191]
在前时刻的状态量为横穿状态(s
t
＝2)的情况下所使用的状态转移函数f2(j、x
t+1
)能够设为以下的式(13)。
[0192]
数学式13
[0193][0194]
在该式(13)中，仅在从过往t-t0起至当前时刻t+1的期间内一次都没有检测到交通信号器以及脚下的人行横道cw的情况下获得“1”，而在除此以外的情况下将会获得“0”。也就是说，仅会在由于已横过完人行横道cw从而未能检测到交通信号器tl以及脚下的人行横道cw的情况下获得“1”。
[0195]
采用这种方式，在式(13)中获得了“1”的情况下，设为实施横穿完成的通知的条件已成立，从而会向处于步行状态的用户实施横穿完成(人行横道的横穿的完成)的通知。
[0196]
(对从人行横道的偏离进行判断的状态转移函数)
[0197]
对在用户的人行横道cw的横穿过程中从人行横道cw的偏离进行判断的状态转移函数f3(j、x
t+1
)能够设为以下的式(14)至(16)。
[0198]
数学式14
[0199][0200]
数学式15
[0201][0202]
数学式16
[0203][0204]
在此，α3为被用于判断基准的参数。此外，i1＝{1、0、0、0、0、0}
t
、i3＝{0、0、1、0、0、0}
t
。
[0205]
在该式(14)中，当被检测到的人行横道cw的位置处的距帧的中心的偏移量为容许量以上时获得“1”，而在除此以外时获得“0”。也就是说，会在w3的值变为大于预定值的情况(左偏离的情况)、或w5的值变为大于预定值的情况(右偏离的情况)下获得“1”。
[0206]
采用这种方式，在式(14)中获得了“1”的情况下，将会实施右偏离警告(y
t
＝3)或左偏离警告(y
t
＝4)。
[0207]
(步行辅助动作)
[0208]
接下来，对由移动辅助装置10所实施的步行辅助动作的流程进行说明。
[0209]
图19为表示前文叙述的步行辅助动作的一系列流程的流程图。该流程图在用户处于在路上(人行道上)步行的状态的状况下，以在预定时刻t至预定时刻t+1期间被实施一次进程的方式而存有预定时间间隔地被反复实施。在以下的说明中，省略各状态转移函数中
的变量(j、x
t+1
)的记载。
[0210]
首先，在步骤st1中用户处于步行状态的状况下，在步骤st2中，基于通过所述人行横道检测部82而被识别到的、包含人行横道cw在内的图像区域中的该人行横道cw的白线wl1的位置(更具体而言为，位于最近前处的白线wl1的边界框的位置)，而对于在前文叙述的用于对实施停止指示(y
t
＝1)的条件的成立的有无进行判断的状态转移函数f0(所述式7)中是否获得了“1”进行判断。
[0211]
在该状态转移函数f0中获得了“0”的情况下，被否定(no)判断为实施停止指示(y
t
＝1)的条件并不成立，也就是说，用户尚未到达人行横道cw的近前处，并返回至步骤st1。由于在用户到达人行横道cw的近前处之前，在步骤st2中均会被否定判断，因此会反复进行步骤st1、st2的动作。
[0212]
在用户到达人行横道cw的近前处、并在状态转移函数f0中获得了“1”的情况下，在步骤st2中被肯定(yes)判断，并转移至步骤st3。在该步骤st3中，向用户实施停止指示(y
t
＝1)。具体而言，使用户所持有的盲杖1的振动发生器50以表示停止指示(停止通知)的模式而进行振动。由此，正抓持着盲杖1的手柄部3的用户通过感受到振动发生器50的振动的模式而识别到被进行了停止指示的情况，从而将会停止步行。
[0213]
在步骤st4中用户处于停止状态的状况下，在步骤st5中，对于在用于对实施前文叙述的步行指示(y
t
＝2)的条件的成立的有无进行判断的状态转移函数f1(所述式10)中是否获得了“1”进行判断。在进行由该状态转移函数f1所实现的判断动作之际，像前文叙述的图4所示的那样，通过提取出由虚线所包围的区域a1，并例如对该区域a1进行放大处理，从而能够容易地对交通信号器tl的状态进行判断。
[0214]
在该状态转移函数f1中获得了“0”的情况下，被否定判断为实施步行指示(y
t
＝2)的条件并不成立，也就是说，交通信号器tl尚未被切换至绿色信号，并返回至步骤st4。由于在交通信号器tl切换至绿色信号之前，在步骤st5中均被否定判断，因此会反复进行步骤st4、st5的动作。
[0215]
在交通信号器tl被切换至绿色信号、并在状态转移函数f1中获得了“1”的情况下，在步骤st5中被肯定(yes)判断，并转移至步骤st6。该动作相当于切换识别部(对交通信号器的状态从停止指示状态被切换至横穿许可状态的情况进行识别的切换识别部)84的动作。
[0216]
在步骤st6中，向用户实施步行(横穿)指示(y
t
＝2)。具体而言，使用户所持有的盲杖1的振动发生器50以表示步行指示(横穿开始通知)的模式而进行振动。由此，正抓持着盲杖1的手柄部3的用户识别到被进行了步行指示的情况，从而将会开始进行人行横道cw的横穿。
[0217]
在步骤st7中用户处于人行横道cw的横穿状态的状况下，在步骤st8中，对于在用于对实施从人行横道cw的偏离的警告的条件的成立的有无进行判断的状态转移函数f3(所述式14)中是否获得了“1”进行判断。
[0218]
在状态转移函数f3中获得了“1”、从而在步骤st8中被肯定判断了的情况下，在步骤st9中，对该从人行横道cw的偏离的方向是否为右方向(右偏离)进行判断。而且，在从人行横道cw的偏离的方向为右方向、从而在步骤st9中被肯定判断了的情况下，转移至步骤st10，并向用户实施右偏离警告(y
t
＝3)。具体而言，使用户所持有的盲杖1的振动发生器50
以表示右偏离警告的模式而进行振动。由此，正抓持着盲杖1的手柄部3的用户识别到被进行了右偏离警告的情况，从而将会使步行方向朝向左方向而变更。
[0219]
另一方面，在从人行横道cw的偏离的方向为左方向、从而在步骤st9中被否定判断了的情况下，转移至步骤st11，并向用户实施左偏离警告(y
t
＝4)。具体而言，使用户所持有的盲杖1的振动发生器50以表示左偏离警告的模式而进行振动。由此，正抓持着盲杖1的手柄部3的用户识别到被进行了左偏离警告的情况，从而将会使步行方向朝向右方向而变更。在以这种方式而实施了偏离警告之后，转移至步骤st15。
[0220]
在不存在从人行横道cw的偏离、并在状态转移函数f3中获得了“0”的情况下，在步骤st8中被否定判断，并转移至步骤st12。在该步骤st12中，对当前是否处于步骤st10或步骤st11中的偏离警告的发生中进行判断。在并非处于偏离警告的发生中、从而在步骤st12中被否定判断了的情况下，转移至步骤st14，并转换至后文叙述的、由车辆接触推断所实现的步行辅助动作。
[0221]
另一方面，在处于偏离警告的发生中、从而在步骤st12中被肯定判断了的情况下，转移至步骤st13，且将偏离警告解除并转移至步骤st14。
[0222]
在此，对图20所示的由车辆接触推断所实现的步行辅助动作进行说明。在该由车辆接触推断所实现的步行辅助动作中，首先，在步骤st21中执行车辆识别动作。所述车辆识别动作为由前文叙述的移动体识别部85所实施的动作，且其为对信息接收部81所接收到的图像的信息(通过摄像机20而被拍摄到的图像的信息)的该图像中的车辆的存在进行识别(使用已学习模型来对车辆进行识别)的动作。
[0223]
此后，转移至步骤st22，并通过所述车辆识别动作来对是否在图像中识别到了车辆的存在进行判断。在并未识别到车辆的存在的情况下，退出本子进程并转移至步骤st15(参照图19)。另一方面，在识别到了车辆的存在的情况下，在步骤st22中被肯定判断，从而转移至步骤st23，且执行前文叙述的由预推断部87a所实施的预推断动作。也就是说，针对被识别到的车辆(也包括被识别到的车辆为一台的情况)，基于与该车辆之间的相对位置关系以及该相对位置关系的变化的信息，而仅对被推断为具有接触的可能性的车辆进行提取。
[0224]
此后，转移至步骤st24，对是否具有通过预推断动作而被提取出的车辆进行判断。在不具有被提取出的车辆的情况下，退出本子进程并转移至步骤st15(参照图19)。另一方面，在具有被提取出的车辆的情况下，在步骤st24中被肯定判断，从而转移至步骤st25，并执行前文叙述的由接触推断部87b所实施的接触推断动作。也就是说，仅针对通过所述预推断动作而被提取出的车辆，在与该车辆之间存在距离的状态下，对有无与该车辆的接触的可能性进行判断。
[0225]
此后，转移至步骤st26，通过接触推断动作来对是否存在具有接触的可能性的车辆进行判断。在并不存在具有接触的可能性的车辆的情况下，退出本子进程并转移至步骤st15(参照图19)。另一方面，在存在具有接触的可能性的车辆的情况下，转移至步骤st27，并执行步行辅助动作。作为这种情况下的步行辅助动作的示例，而为与前文叙述的步骤st3的情况同样的对于用户的停止指示(y
t
＝1)。具体而言，使用户所持有的盲杖1的振动发生器50以表示停止指示(停止通知)的模式而进行振动。由此，正抓持着盲杖1的手柄部3的用户通过感受到振动发生器50的振动的模式而会识别到被进行了停止指示的情况，从而将会
停止步行。由此，在如果继续步行则具有与车辆接触的可能性的情况下，通过使步行停止来避免与车辆的接触。在执行了该步行辅助动作之后，退出本子进程并转移至步骤st15(参照图19)。
[0226]
返回至图19，在步骤st15中，对于在用于对实施横穿完成的通知的条件的成立的有无进行判断的状态转移函数f2(所述式13)中是否获得了“1”进行判断。
[0227]
在该状态转移函数f2中获得了“0”的情况下，被否定判断为实施横穿完成的通知的条件并不成立，也就是说，用户正处于人行横道cw的横穿中，并返回至步骤st7。由于在人行横道cw的横穿完成之前，在步骤st15中均被否定判断，因此会反复进行步骤st7至st15的动作。
[0228]
在用户完成了人行横道cw的横穿、并在状态转移函数f2中获得了“1”的情况下，在步骤st15中被肯定判断，从而转移至步骤st16，并向用户实施横穿完成的通知。具体而言，使用户所持有的盲杖1的振动发生器50以表示横穿完成的模式而进行振动。由此，正抓持着盲杖1的手柄部3的用户识别到被实施了横穿完成的通知的情况，从而将会恢复至通常的步行状态。
[0229]
采用这种方式，从而每当用户横穿人行横道cw时将会重复进行前文叙述的动作。
[0230]-实施方式的效果-[0231]
如以上所说明的那样，在本实施方式中，在通过接触判断部87的判断动作(由预推断部87a所实施的预推断动作以及由接触推断部87b所实施的接触推断动作)而被判断为具有车辆与盲杖1(用户)的接触的可能性的情况下，开始进行由振动发生器50的振动所实现的步行辅助动作。因此，能够提前识别到用户与车辆具有发生接触的可能性，并能够在具有接触的可能性的情况下提前开始进行与之相应的步行辅助动作。其结果为，能够适当地获得步行辅助动作的开始时机。
[0232]
此外，在本实施方式中，在由接触推断部87b所实施的接触推断动作中，仅针对通过由预推断部87a所实施的预推断动作而被提取出的车辆来对接触的可能性的有无进行判断，而无需以通过移动体识别部85而被识别到的所有车辆为对象来对接触的可能性的有无进行判断。也就是说，无需进行以不具有接触的可能性的车辆为对象的接触推断动作。因此，能够减轻接触推断部87b中的运算处理的负载，从而能够实现至判断出有无与车辆的接触的可能性为止所需的时间的缩短化。
[0233]
此外，在本实施方式中，作为被推断为具有接触的可能性的车辆的提取条件(移动速度的条件)，与将移动方向发生变化(伴随有右转或左转)并向盲杖1接近的车辆推断为具有接触的可能性的移动速度条件的范围相比，而提高了将在移动方向并未发生变化(直线前进)的条件下向盲杖1接近的车辆推断为具有接触的可能性的移动速度条件的范围，从而依照实际的车辆速度的状况来对被推断为具有接触的可能性的车辆的提取条件进行了设定。由此，能够提升被推断为具有接触的可能性的车辆的提取的可靠性。
[0234]
此外，在本实施方式中，在由预推断部87a所实施的预推断动作中，作为被推断为具有接触的可能性的车辆的提取条件，而包括该车辆正在用户的步行方向前侧的位置处停止中(将图6中的车辆d作为被推断为具有接触的可能性的车辆而进行了提取)。也就是说，能够提前判断出伴随着用户的步行推进而具有该用户与车辆(处于停止状态的车辆)接触的可能性的情况。
[0248]
另外，本发明并未被限定于所述实施方式，而是能够进行权利要求书以及与该权利要求书均等的范围内所包含的所有变形以及应用。
[0249]
例如，在所述实施方式以及所述改变例中，对将移动辅助装置10内置在用户所使用的盲杖1中的情况进行了说明。本发明并不限于此，所述移动辅助装置10在用户为老年人的情况下也可以为内置在拐杖或手推车等中的装置。此外，移动辅助装置10也可以为被搭载在次世代型电动轮椅上的装置。
[0250]
此外，虽然在所述实施方式以及所述改变例中，将移动体设为了车辆(汽车)，但是作为移动体也可以设为包括摩托车以及自行车等。
[0251]
此外，在所述实施方式以及所述改变例中设为，使盲杖1上具备充电插口70，以从家庭用电源对蓄电池(二次电池)60进行充电。本发明并不限于此，也可以预先将太阳能发电片贴装在盲杖1的表面上，并通过利用该太阳能发电片所发出的电力来对蓄电池60进行充电。此外，也可以代替二次电池而使用一次电池。此外，也可以设为，在盲杖1中内置摆式发电机，并利用该摆式发电机来对蓄电池60进行充电。
[0252]
此外，在所述实施方式以及所述改变例中设为，通过振动发生器50的振动模式来划分通知的种类。本发明并不限于此，也可以设为，通过语音来实施通知。
[0253]
此外，虽然在所述实施方式以及所述改变例中设为，在预推断动作中，根据车辆的移动速度(车辆速度)来对具有接触的可能性的车辆进行提取，但是，也可以设为根据车辆的移动加速度(车辆加速度)来对具有接触的可能性的车辆进行提取，还可以设为根据车辆的移动速度以及移动加速度的双方来对具有接触的可能性的车辆进行提取。在这种情况下，将会和前文叙述的与车辆速度相应的判断的情况同样地设为，“作为被推断为具有接触的可能性的移动体(车辆)的提取条件，与将移动方向发生变化并向移动辅助设备(盲杖)接近的移动体推断为具有接触的可能性的移动加速度条件的范围相比，而使将在移动方向并未发生变化的条件下向移动辅助设备接近的移动体推断为具有接触的可能性的移动加速度条件的范围被设定得较高”。
[0254]
工业利用性
[0255]
本发明能够应用于对进行步行的视觉障碍者实施车辆的接近的通知的移动辅助装置中。
[0256]
符号说明
[0257]1…
盲杖(移动辅助设备)；
[0258]
10
…
移动辅助装置；
[0259]
50
…
振动发生器；
[0260]
80
…
控制装置；
[0261]
85
…
移动体识别部；
[0262]
86
…
相对位置识别部；
[0263]
87
…
接触判断部；
[0264]
87a预推断部；
[0265]
87b接触推断部；
[0266]
88
…
信息发送部；
[0267]
91
…
dcm(指示信息接收部)；
[0268]u…
用户(视觉障碍者)；
[0269]v…
车辆(移动体)。

技术特征：
1.一种移动辅助装置，其被设置在移动辅助设备中，并能够进行用于对使用该移动辅助设备的用户的移动进行辅助的移动辅助动作，所述移动辅助装置的特征在于，具备：移动体识别部，其对存在于周边的移动体进行识别；相对位置识别部，其对与通过所述移动体识别部而被识别到的所述移动体之间的相对位置关系进行识别；接触判断部，其基于包含通过所述相对位置识别部而被识别到的与所述移动体之间的相对位置关系以及该相对位置关系的变化中的至少一方的信息在内的接触判断辅助信息，而在与所述移动体之间存在距离的状态下，对该移动体与所述移动辅助设备的接触的可能性的有无进行判断；信息发送部，其在通过所述接触判断部而被判断为具有所述移动体与所述移动辅助设备的接触的可能性的情况下，输出用于实施所述移动辅助动作的移动辅助动作指示信息。2.如权利要求1所述的移动辅助装置，其特征在于，所述接触判断部具备实施预推断动作的预推断部、以及实施后续于所述预推断动作的接触推断动作的接触推断部，在由所述预推断部所实施的所述预推断动作中，在通过所述移动体识别部而被识别到了多个所述移动体的情况下，基于与所述各移动体之间的各自的相对位置关系以及该相对位置关系的变化中的至少一方的信息，而仅对所述多个移动体中的被推断为具有所述接触的可能性的所述移动体进行提取，在由所述接触推断部所实施的所述接触推断动作中，仅针对通过所述预推断动作而被提取出的所述移动体，基于所述接触判断辅助信息而在与所述移动体之间存在距离的状态下，对所述接触的可能性的有无进行判断。3.如权利要求2所述的移动辅助装置，其特征在于，在由所述预推断部所实施的所述预推断动作中，作为被推断为具有所述接触的可能性的所述移动体的提取条件，而包括该移动体的移动方向为向所述移动辅助设备接近的方向这一条件。4.如权利要求3所述的移动辅助装置，其特征在于，在由所述预推断部所实施的所述预推断动作中，根据移动方向为向所述移动辅助设备接近的方向的所述移动体的移动速度，来对具有所述接触的可能性的移动体进行提取，作为被推断为具有所述接触的可能性的所述移动体的提取条件，与将移动方向发生变化并向所述移动辅助设备接近的所述移动体推断为具有所述接触的可能性的移动速度条件的范围相比，而使将在移动方向并未发生变化的条件下向所述移动辅助设备接近的所述移动体推断为具有所述接触的可能性的移动速度条件的范围被设定得较高。5.如权利要求3或4所述的移动辅助装置，其特征在于，在由所述预推断部所实施的所述预推断动作中，根据移动方向为向所述移动辅助设备接近的方向的所述移动体的移动加速度，来对具有所述接触的可能性的移动体进行提取，作为被推断为具有所述接触的可能性的所述移动体的提取条件，与将移动方向发生变化并向所述移动辅助设备接近的所述移动体推断为具有所述接触的可能性的移动加速度条件的范围相比，而使将在移动方向并未发生变化的条件下向所述移动辅助设备接近的所述移动体推断为具有所述接触的可能性的移动加速度条件的范围被设定得较高。
6.如权利要求2所述的移动辅助装置，其特征在于，在由所述预推断部所实施的所述预推断动作中，作为被推断为具有所述接触的可能性的所述移动体的提取条件，而包括该移动体正在所述用户的移动方向前侧的位置处停止中这一条件。7.如权利要求2所述的移动辅助装置，其特征在于，由所述接触推断部所实施的所述接触推断动作中的所述接触判断辅助信息包含存在于所述用户的移动方向前侧处的固定物与所述移动体之间的相对距离。8.如权利要求7所述的移动辅助装置，其特征在于，由所述接触推断部所实施的所述接触推断动作中的所述接触判断辅助信息包含所述移动体的移动速度。9.如权利要求7或8所述的移动辅助装置，其特征在于，由所述接触推断部所实施的所述接触推断动作中的所述接触判断辅助信息包含所述移动体与所述移动辅助设备之间的相对距离。10.如权利要求1至9中的任意一项所述的移动辅助装置，其特征在于，由所述接触判断部所实施的与所述移动体的接触的可能性的有无的判断动作以所述用户正在横穿所述移动体所移动的道路为条件而被执行。11.如权利要求1至10中的任意一项所述的移动辅助装置，其特征在于，具备用于实施所述移动辅助动作的通知单元，该通知单元成为通过振动或语音来向所述用户实施用于进行移动辅助的通知的结构。12.如权利要求1至11中的任意一项所述的移动辅助装置，其特征在于，所述用户为视觉障碍者，所述移动辅助设备为所述视觉障碍者所使用的盲杖。13.一种移动辅助系统，其包括被设置在移动辅助设备中且能够进行用于对使用该移动辅助设备的用户的移动进行辅助的移动辅助动作的移动辅助装置，所述移动辅助系统的特征在于，所述移动辅助系统以包括所述移动辅助装置和被搭载在移动体上的指示信息接收部的方式而构成，所述移动辅助装置具备：移动体识别部，其对存在于周边的所述移动体进行识别；相对位置识别部，其对与通过所述移动体识别部而被识别到的所述移动体之间的相对位置关系进行识别；接触判断部，其基于包含通过所述相对位置识别部而被识别到的与所述移动体之间的相对位置关系以及该相对位置关系的变化中的至少一方的信息在内的接触判断辅助信息，而在与所述移动体之间存在距离的状态下，对该移动体与所述移动辅助设备的接触的可能性的有无进行判断；信息发送部，其在通过所述接触判断部而被判断为具有所述移动体与所述移动辅助设备的接触的可能性的情况下，将用于实施所述移动辅助动作的移动辅助动作指示信息输出至所述移动体的所述指示信息接收部，所述移动体具备接触避免控制部，所述接触避免控制部在所述指示信息接收部接收到所述移动辅助动作指示信息之际，实施用于避免与所述用户的接触的接触避免动作。

技术总结
本发明提供一种提前识别用户与移动体的接触的可能性的有无、并据此来进行适当的移动辅助动作的移动辅助装置以及移动辅助系统。基于通过来自摄像机(20)的图像而被识别到的与车辆之间的相对位置关系以及该相对位置关系的变化，而在与车辆之间存在距离的状态下，对该车辆与盲杖的接触的可能性的有无进行判断，并在被判断为具有车辆与盲杖的接触的可能性的情况下，实施移动辅助动作。由此，能够提前识别到具有用户与车辆发生接触的可能性的情况，并能够在具有接触的可能性的情况下提前开始进行与之相应的移动辅助动作。其结果为，能够适当地获得移动辅助动作的开始时机。适当地获得移动辅助动作的开始时机。适当地获得移动辅助动作的开始时机。


技术研发人员：新谷浩平 河村拓昌
受保护的技术使用者：丰田自动车株式会社
技术研发日：2023.02.22
技术公布日：2023/8/28