位置确定系统和搭载有位置确定系统的移动体的制作方法

1.本发明例如涉及用于远程控制移动体的位置确定系统和搭载有该位置确定系统的移动体。


背景技术：

2.近年，正在开发能探测障碍物等并且自动行驶的自动驾驶车辆。自动驾驶通常是朝向从地图中选择出的目的地来决定路径，车辆沿着决定了的路径移动。另外，自动驾驶功能也有由在车外的操作者远程控制车辆来使车辆移动的功能(例如参照专利文献1)。在专利文献1的技术中，在使车辆朝向停车位置移动时，操作者从终端装置指示是进行该移动还是使该移动停止。
3.在此，会根据由车辆具备的外界传感器探测到的障碍物和白线来确定作为目的地的停车位置。还提出了像这样的将不是从地图中选择出的位置作为目的地来使车辆通过自动驾驶功能进行移动的技术。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2021-109530号公报


技术实现要素：

7.发明所要解决的问题
8.但是专利文献1的技术中，在车外的操作者无法指定目的地来使车辆朝向其目的地移动。
9.本发明是鉴于上述实施方式而作成的，目的在于提供在车外的操作者能够通过简单的操作来指定目的地的图像处理方法、使用该图像处理方法的车辆控制装置以及车辆。
10.用于解决问题的方案
11.为了实现上述目的，本发明具有以下的结构。根据本发明的一方面，提供位置确定系统，所述位置确定系统的特征在于，具有：
12.拍摄部件，其拍摄图像；以及
13.确定部件，其基于所述图像，确定目的地的三维位置、即目的位置，
14.所述三维位置是三维空间中的以所述拍摄部件的位置和拍摄方向为基准而成的位置，
15.所述确定部件根据所述图像来确定人，确定了人后估计所述人的两个关键点的三维位置，
16.在连结所述两个关键点的线与地面的交点处于距所述人的既定范围内的情况下，所述确定部件将所述交点确定为目的位置，
17.在连结所述两个关键点的线与地面的交点不处于距所述人的所述既定范围内的情况下，所述确定部件将根据所述图像而确定的物体标识中的、存在于距所述线的既定距
离以内的物体标识的位置确定为目的位置。
18.根据本发明的另一方面，提供搭载有位置确定系统的移动体，所述移动体的特征在于，所述位置确定系统具有：
19.拍摄部件，其拍摄图像；以及
20.确定部件，其基于所述图像，确定目的地的三维位置、即目的位置，
21.所述三维位置是以三维空间中的所述拍摄部件的位置和拍摄方向为基准而成的位置，
22.所述确定部件根据所述图像来确定人，确定了人后估计所述人的两个关键点的三维位置，
23.在连结所述两个关键点的线与地面的交点处于距所述人的既定范围内的情况下，所述确定部件将所述交点确定为目的位置，
24.在连结所述两个关键点的线与地面的交点不处于距所述人的所述既定范围内的情况下，所述确定部件将根据所述图像而确定的物体标识中的、存在于距所述线的既定距离以内的物体标识的位置确定为目的位置。
25.发明的效果
26.根据本发明，在车外的操作者能够通过简单的操作来指定目的地。
附图说明
27.图1是示出用于控制自动驾驶车辆的结构的框图。
28.图2是示出由操作者设定目的地的手势的一个例子的图。
29.图3是示出由操作者设定远距离的目的地的手势的一个例子的图。
30.图4是示出远距离的目的地的设定方法的一个例子的示意图。
31.图5是用于设定目的地的处理的流程图。
32.图6是用于设定目的地的处理的流程图。
33.图7是示出根据图像来确定三维坐标的一个例子的示意图。
34.附图标记说明
35.1：车辆控制系统；2：车辆系统；3：操作终端；7：外界传感器；13：接口装置(hmi装置)；15：控制装置。
具体实施方式
36.[第一实施方式]
[0037]
以下，参照附图来详细说明实施方式。而且，以下的实施方式并非用于限定权利要求要保护的范围，本发明并不需要实施方式说明的全部特征的组合。也可以是，将实施方式中说明的多个特征中的两个以上特征任意组合。另外，对同一或同样的结构标注同一附图标记，省略重复的说明。
[0038]
·
系统结构
[0039]
首先说明包括自动驾驶车辆和操作用的终端装置(也称为操作终端或者远程操作终端)在内的车辆控制系统。如图1所示，车辆控制系统1具有搭载于车辆的车辆系统2、操作终端3。车辆系统2具有：推进装置4、制动装置5、转向装置6、变速装置61、外界传感器7、车辆
传感器8、通信装置9、导航装置10、驾驶操作装置11、驾驶员检测传感器12、接口装置(hmi装置)13、智能钥匙14以及控制装置15。车辆系统2的各结构通过can(controller area network，控制器局域网)等车载通信网络以能够传递信号的方式连接。
[0040]
推进装置4是对车辆施加驱动力的装置，例如包括动力源。变速装置61例如是无级式或有级式的变速器等，使被驱动侧的轴的转速相对于驱动侧的轴的旋转而变化。动力源具有汽油机、柴油机等内燃机以及电动机中的至少一者。制动装置5是对车辆施加制动力的装置，例如包括向制动转子推压制动片的制动钳、向制动钳供给液压的电动缸。制动装置5包括驻车制动装置，该驻车制动装置用钢丝线缆限制车轮的旋转。转向装置6是用于改变车轮的转轮角的装置，例如具有使车轮转向的齿条和小齿轮(rack and pinion)机构、对齿条和小齿轮机构进行驱动的电动机。推进装置4、制动装置5以及转向装置6被控制装置15控制。
[0041]
外界传感器7为对车辆的周边的物体等进行检测的传感器。外界传感器7包括雷达16、激光雷达17(lidar：light detection and ranging)以及摄像机18，将检测结果输出至控制装置15。
[0042]
雷达16例如为毫米波雷达，能够用电波来探测车辆的周围的物体，对与物体的距离进行测距。在车辆的周围设置有多个雷达16，例如，在车辆的前部中央设置有一个雷达16，在车辆的前部的各角落部分别设置有一个雷达16，在车辆的后部的各角落部分别设置有一个雷达16。
[0043]
激光雷达17能够用光来探测车辆的周围的物体，对与物体的距离进行测距。在车辆的周围设置有多个激光雷达17，例如，在车辆的前部的各角落部分别设置有一个激光雷达17，在车辆的后部中央设置有一个激光雷达17，在车辆的后部的各侧方分别设置有一个激光雷达17。
[0044]
摄像机18为对车辆的周围进行拍摄的装置，例如，为利用ccd(charge coupled device，电荷耦合器件)、cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)等固体摄像元件而成的数码摄像机。摄像机18包括对车辆的前方进行拍摄的前方摄像机和对后方进行拍摄的后方摄像机。摄像机18设置于车辆的车门后视镜设置场所附近，包括对左右侧部后方进行拍摄的左右一对车门后视镜摄像机。
[0045]
车辆传感器8包括检测车辆的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴旋转的角速度的横摆率传感器、检测车辆的方向的方位传感器等。横摆率传感器例如为陀螺仪传感器。
[0046]
通信装置9为控制装置15与操作终端3的通信部35之间的无线通信的媒介。即，控制装置15经由通信装置9，例如使用红外线通信、bluetooth(蓝牙，注册商标)等通信方法，能够与用户所持的操作终端3通信。
[0047]
导航装置10是获取车辆的当前位置并向目的地进行路径引导等的装置，具有gps接收部20以及地图存储部21。gps接收部20基于从人造卫星(测位卫星)接收到的信号来确定车辆的位置(纬度、经度)。地图存储部21由闪存、硬盘等存储装置构成，存储有地图信息。
[0048]
驾驶操作装置11设置于车室内，受理用户进行的输入操作，以控制车辆。驾驶操作装置11例如包括方向盘、加速踏板、制动踏板、驻车制动装置、换档杆以及按压式起动开关(发动机起动按钮)来作为驾驶操作组件。按压式起动开关根据来自用户的驾驶操作来受理
用于起动车辆的输入操作。驾驶操作装置11包括检测操作量的传感器，将表示操作量的信号输出至控制装置15。
[0049]
驾驶员检测传感器12是用于探测人是否已就座于驾驶席的传感器。驾驶员检测传感器12例如是在驾驶席的就座面设置的就座传感器。就座传感器可以是静电容量式的传感器，也可以是当人就座于驾驶席时会接通的薄膜开关。另外，驾驶员检测传感器12也可以是对就座于驾驶席的用户进行拍摄的室内摄像机。另外，驾驶员检测传感器12也可以是获取驾驶席的安全带的锁舌有无插入来对人就座于驾驶席并已佩戴好安全带的情形进行检测的传感器。驾驶员检测传感器12将检测结果输出至控制装置15。
[0050]
接口装置13(hmi装置)提供控制装置15与用户之间的接口(hmi：human machine interface，人机接口)，通过显示、声音来向用户通知各种信息，并且受理用户的输入操作。接口装置13由液晶、有机el(organic electro luminescence，有机发光的电子版)等构成，具有：显示部23，其作为能够受理来自用户的输入操作的触摸面板来发挥功能；以及蜂鸣器、喇叭等声音发生部24。
[0051]
控制装置15为包括cpu(central processing unit，中央处理装置)、非易失性存储器(rom)以及易失性存储器(ram)等在内的电子控制装置(ecu)。由cpu执行基于程序的运算处理，由此控制装置15能够执行各种车辆控制。控制装置15的各功能部的至少一部分也可以是由lsi(large scale integrated circuit，大规模集成电路)、asic(application specific integrated circuit，专用集成电路)、fpga(field programmable gate array，现场可编程逻辑门阵列)等硬件实现，也可以由软件以及硬件的组合实现。
[0052]
智能钥匙14(fob)为用户可携带的无线终端，构成为能够从车外经由通信装置9来与控制装置15相互通信。智能钥匙14具备用于用户进行输入的按钮，用户通过操作智能钥匙14的按钮，能够进行车门的上锁(门锁定)、车门的解锁(门锁定的解除)、车辆的起动等。
[0053]
操作终端3是用户可携带的无线终端，能够从车外经由通信装置9来与控制装置15相互通信。在本实施方式中，操作终端3例如为智能手机等手持式的信息处理装置。预先将既定的应用程序安装于操作终端3，由此操作终端3能够与控制装置15通信。在操作终端3设定有可用于对操作终端3进行识别的信息(例如，包括用于识别各操作终端的既定的数值、字符串等在内的终端id)，控制装置15能够基于终端id来对操作终端3进行认证。
[0054]
如图1所示，操作终端3具有输入输出部30、摄像部31、位置检测部32、处理部33以及通信部35来作为功能结构。
[0055]
输入输出部30向对操作终端3进行操作的用户提示信息，并且受理从对操作终端3进行操作的用户来的输入。输入输出部30例如作为触摸面板来发挥功能，输入输出部30当受理来自用户的输入时，将与输入对应的信号输出至处理部33。还有，输入输出控制部30具备未图示的声音输入输出装置以及振动生成装置。声音输入输出装置例如能够将数字信号输出为声音，还能够将声音输入变换为数字信号。振动生成装置与声音输出一并生成振动，或者代替声音输出而生成振动，使操作终端3的壳体振动。
[0056]
摄像部31能够基于从输入输出部30设定的摄像模式来拍摄图像(静止图像、运动图像)，摄像部31例如是由cmos等构成的数码摄像机。处理部33能够对拍摄操作着操作终端3的用户而成的图像进行既定的图像处理由此获取图像的特征，并与已预先登记的用户的脸部图像的特征进行比较来对用户进行认证。
[0057]
位置检测部32包括能够获取操作终端3的位置信息的传感器。位置检测部32例如接收来自测地卫星(gps卫星)的信号由此能够获取操作终端3的位置。另外，位置检测部32经由通信装置9来与控制装置15之间进行通信，由此位置检测部32也能够获取包含操作终端3相对于车辆的相对位置在内的位置信息。位置检测部32将获取到的位置信息输出至处理部33。
[0058]
处理部33将设定于操作终端3的终端id、来自输入输出部30的信号、由位置检测部32获取到的位置信息发送至控制装置15。另外，当接收来自控制装置15的信号时，处理部33对信号进行处理，使输入输出部30对于操作着操作终端3的用户来提示信息。例如通过向输入输出部30的显示来进行信息的提示。通信部35与通信装置9之间，通过无线或者有线进行通信。在本例中说明进行无线通信的例子。
[0059]
控制装置15能够基于来自操作终端3的信号来使车辆驱动。另外，控制装置15能够使车辆移动至既定的位置来进行远程停车。为了对车辆进行控制，控制装置15至少具有起动部40、外界识别部41、位置确定部42、轨迹计划部43、行驶控制部44以及存储部45。
[0060]
起动部40基于来自按压式起动开关的信号，对智能钥匙14进行认证，并判定智能钥匙14是否在车内。在智能钥匙14已被认证并且智能钥匙14在车内时，起动部40开始对推进装置4进行驱动。另外，起动部40当从操作终端3接收用于指示起动的信号时，对操作终端3进行认证，在已被认证时开始驱动车辆。起动部40在开始驱动车辆时，在推进装置4包括内燃机的情况下使点火装置(点火器)接通。
[0061]
外界识别部41基于外界传感器7的检测结果，识别存在于车辆的周边的例如停车车辆、墙壁等障碍物，并获取与障碍物相关的位置、大小等信息。另外，外界识别部41能够基于图案匹配等图像分析方法来分析由摄像机18获取到的图像，并且获取障碍物的有无以及障碍物的大小。还有，外界识别部41能够使用来自雷达16、激光雷达17的信号来计算至障碍物为止的距离，从而能够获取障碍物的位置。
[0062]
位置确定部42能够基于从导航装置10的gps接收部20来的信号来检测车辆的位置。另外，位置确定部42除了能够获取来自gps接收部20的信号以外，还能够从车辆传感器8获取车速、横摆率，并且使用所谓的惯性导航法来确定车辆的位置以及姿态。
[0063]
外界识别部41能够基于图案匹配等图像分析方法来分析外界传感器7的检测结果，更具体来讲是分析由摄像机18拍摄到的图像，例如，获取在停车场等的路面上描绘的白线的位置。
[0064]
行驶控制部44基于从轨迹计划部43来的行驶控制的指示，对推进装置4、制动装置5以及转向装置6进行控制，来使车辆行驶。
[0065]
存储部37由ram等构成，存储轨迹计划部43以及行驶控制部44进行处理所需的信息。
[0066]
当有从用户向hmi装置13、操作终端3的输入时，轨迹计划部43根据需要，计算车辆的行驶路径的轨迹，并且向行驶控制部44输出行驶控制的指示。
[0067]
在车辆停止之后，在用户输入了与希望通过远程操作进行停车辅助(远程停车场辅助)对应的输入时，轨迹计划部43进行停车辅助处理。
[0068]
·
目的地的设定
[0069]
在本实施方式涉及的发明中，位置确定部42还具有基于由摄像机18拍摄到的图像
来设定由操作者指示的目的地的功能。在此，对前方进行拍摄的摄像机为单眼摄像机，被固定于车身，并且焦点距离也是固定的。位置确定部42能够基于由这样的摄像机18拍摄到的图像中含有的操作者的手势，来确定(或者估计)操作者指示的地点，并且将该地点设定为目的地。然后，控制装置15朝向该设定的目的地，对驱动、制动以及转轮进行控制来使车辆行驶。操作者例如可以从操作终端3经由既定的应用程序来向车辆提供目的地的设定、行驶的契机。由于要确定目的地因此有时将该系统称为位置确定系统。
[0070]
而且，在以下的说明中摄像机18为单眼摄像机。另外，摄像机18朝向前方(即前进方向)，但为了方便，摄像机18也可以朝向任何方向。例如能够基于图像并以摄像机的位置和光轴的方向作为基准来确定了目的地的位置(称为目的位置)后，通过射影变换等向既定的坐标系进行变换。
[0071]
图2示出对操作者指示目的地的样子进行拍摄而成的图像200的例子。在图2的(a)中，操作者210指示近距离的目的地。接地部211是操作者210的脚下的位置，眼睛212位于接地部211的大致正上方。操作者210伸出手臂进行指示，目的地是指示线214与地表面交叉的交点215，指示线214是将两个关键点(在本例中是将眼睛212与手腕213)连结并向手腕方向延长而成的线。另外，虽然无论怎样选择关键点都可以，但期望的是，操作者能够通过前景线(日语：見通
し
線)正确地指定位置，因此将一方的点设为眼睛。另外，期望的是，另一方的点是根据图像而容易确定的部位，例如除了可以是手腕以外，也可以是指尖、握拳的前端、中心部等。还有，在操作者指示目的地时，脸部朝向目的地的方向，由此摄像机18也可能无法拍摄到眼睛。在这样的情况下，也可以估计眼睛的位置来进行确定。如果能够确定脸部的方向则能够估计眼睛的位置。另外也可以使用机器学习模型来对该眼睛的位置进行估计。
[0072]
在图2的(b)中，操作者210指示远距离的目的地。与图2的(a)相比手臂举得高，指示线224示出从操作者210向远处。在这样的情况下，手臂稍微移动就会导致交点215发生大的移动，会使所指示的目的地的精度下降。还有，根据手腕位置的高度，指示线224也可能无法与地表面交叉，从而无法确定交点215。
[0073]
在此，在目的地为远距离的情况下，如图3所示，根据图像来确定处于指示线314的附近的、例如自动售货机、邮筒、建筑物等设施、物体标识。然后，从根据图像而确定的物体标识中确定距指示线314最近的物体标识，将那里设定为目的地。另外，关于是否为远距离的判断，例如可以是判断从操作者的接地部211至交点215为止的距离是否超过既定的阈值，或者在无法确定交点215的情况下判定为远距离。作为既定的阈值，可以设定具体的值，例如20米～30米程度，但是当然这只不过是一个例子。
[0074]
图4示出在设定处于远距离的目的地的情况下的、对作为目的地的物体标识进行确定的一个例子。在该情况下，指示线224可以不是用三维方式来确定，而是处理为投影到地表面的线400。然后，从物体标识411、412、413中确定距该已投影完成的指示线400最近的物体标识。该情况下的距离可以是在与指示线400正交的方向测出的从物体标识的位置至指示线400为止的距离(即至指示线400为止的最近的距离)。另外，物体标识的位置是其接地位置，在有扩展的情况下，可以是其扩展的中心等。或者，在有扩展的情况下，可以将其扩展的多个端点中的、从指示线400至距指示线400最近的端点为止的距离设为指示线400与物体标识的距离。
[0075]
在图4的例子中，物体标识413被确定为距指示线400最近的物体标识，从而物体标
识413的位置是目的地。在此，在目的地与物体标识的位置重叠的情况下，可以在自动驾驶的控制下以避开物体标识的方式驾驶车辆。
[0076]
·
目的地设定处理
[0077]
图5、图6示出控制装置15、特别是位置确定部42进行的目的地的设定处理步骤。如上所述，由cpu执行存储于存储器的程序由此实现控制装置15的功能，因此图5、图6的步骤也可以由cpu(或者处理器)来执行。
[0078]
例如当从操作终端3经由通信装置9向车辆的控制装置15给与表示操作者要设定目的地意思的指示时，以此为契机来开始图5的步骤。也可以是，操作者从车辆主体具备的操作面板等给与指示。另外，车辆为电源接通的状态，向控制装置15供给电力。
[0079]
首先根据由摄像机18拍摄到的图像来识别操作者(s501)。除了识别作为操作者的人物以外，也可以一并识别处于拍摄范围内的自动售货机、邮筒、电线杆、建筑物等物体标识。可以对所拍摄到的对象物(object)的特征量与对应于人的特征量间的类似度进行判定来进行上述对操作者的识别，也可以使用已训练完成的机器学习模型来进行上述对操作者的识别。
[0080]
尝试了对操作者的识别后判定识别是否成功了(s503)。能够识别到人物则可以判定为识别成功。另外，在无法识别到人物的情况下，即使识别到其它对象物也判定为识别失败。还有，此时也可以是，识别人物的脸部，并判定与被付与了操作车辆的权限的、预先存储的确定的人物是否一致，如果不一致则判定为识别失败。在识别失败的情况下，以与对象图像相比在之后到拍摄到的新的图像作为对象，并且重复步骤s501。
[0081]
对操作者的识别成功后，判定是否有与当前处理对象和指定图像相比在既定时间前拍摄到的保存图像(s505)。摄像机18拍摄运动图像，处理对象的图像是构成该运动图像的帧，因此保存图像可以是此前既定个数的帧。在判定为有保存图像的情况下，判定操作者的姿态是否稳定(s507)。在操作者指示目的地的动作的中途，无法准确地确定目的地。因而，如果判定为姿态不稳定，则将对象图像保存并待机既定时间(s521)，并且以新获取到的图像作为对象来从步骤s501起进行重复。在步骤s505中判定为没有保存图像的情况下，由于没有对姿态的稳定进行判断的材料，因此向步骤s521分支。
[0082]
在步骤s507中，将所保存的图像中含有的操作者的像与当前的处理对象的图像中含有的操作者的像进行比较来判定姿态是否稳定。例如可以是，确定这两个图像中含有的人物的偏移量，如果该偏移量没有超过既定的阈值则判定为姿态稳定。例如可以是，处理对象的图像中含有的人物的面积相对于将两个图像中含有的人物合成而成的人物的面积而言的比率如果在既定值以内，则偏移量为既定的阈值以内，判定为姿态稳定。
[0083]
在判定为操作者的姿态稳定的情况下，确定操作者以及关键点各自的二维位置(s509)。操作者的位置可以是操作者的接地点、即脚下的位置。另外，二维位置是图像上的位置。
[0084]
然后，将所确定的关键点的二维位置向三维位置进行变换(s511)。三维位置是将操作者和关键点各自存在的三维空间内的位置以既定的坐标系表示而成的位置。参照图7说明该变换处理，但可以使用通常所使用的方法。确定了两个关键点在三维空间内的位置后，确定从关键点的位置通过的指示线(s513)。进一步确定指示线与地面的交点(s515)。
[0085]
然后，判定在步骤s515所确定的交点是否在距车辆的既定范围内(s517)。也可以
不判定是否在距车辆的既定范围内，而是判定是否在距操作者的既定范围内。而且可以是，在无法确定交点的情况下，判定为交点不在既定范围内。在判定为在既定范围内的情况下，将所确定的交点的位置设定为目的地(s519)。另一方面，在判定为不在既定范围内的情况下，向图6的(a)所示的远距离目的地设定步骤分支。
[0086]
·
远距离目的地设定步骤
[0087]
在图6的(a)中，位置确定部42首先根据对象图像来识别除人物之外的物体标识(s601)。该识别也可以使用图案的配合、机器学习模型。然后判定识别是否成功(s603)。能够识别到至少一个物体标识后则可以判定为识别成功。识别失败后则设为基于手势进行的目的地设定失败，并将之通知给操作者(s611)。通知例如可以是发给操作终端3的消息，也可以通过使车辆的灯闪烁、发出警告音等进行通知。
[0088]
在判定为识别成功的情况下，确定所识别到的物体标识的位置(s605)。如图5的步骤s509-s511那样，可以是将在画面上所确定的二维位置向三维位置进行变换来进行位置的确定，但是在此是将它们整合进行。另外，虽说是三维位置，在本实施方式中是以全部物体标识处于地表面为前提，因此高度方向的值可以是与地表面的高度相当的常数。另外，在步骤s605中，也可以仅确定处于距车辆的既定距离的范围内的物体标识。由此，能够防止误将处于远处而不可能是指示对象的物体标识设为目的地。
[0089]
确定了物体标识的三维位置后，将那些物体标识的位置和在步骤s513所确定的指示线投影到地表面，确定距该已投影完成的指示线的既定距离以内的物体标识，例如确定最近的物体标识(s607)。在距已投影完成的指示线最近的物体标识有多个的情况下，可以从其中选择一个物体标识、例如距操作者(或者车辆)最近的物体标识。
[0090]
最后，将所确定的物体标识的位置设定为目的地(s609)。根据以上的步骤，操作者用手势不仅能容易地指示近的目的地，也能容易地指示远处的目的地。另外，如果操作者知道是这样确定远处的目的地，则通过指示远处的物体标识，即使是远处的目的地也能够高精度地指示。
[0091]
即使操作者中断了目的地设定的操作而处于原样放置的状态，也不期望车辆将目的地的设定设为待机。因此，也可以是，设置限制时间，即使限制时间届满也没有进行目的地的设定的情况下，如图6的(b)的步骤s621所示，通知失败。该通知可以与步骤s611同样。另外，限制时间的开始例如是操作者通知操作部15进行目的地的设定的定时，例如可以在图5开始时使已设定有限制时间的计时器起动。
[0092]
如以上那样，为了使车辆向所设定的目的地移动，如图6的(c)的步骤s631所示，进行朝向所设定的目的地的自动驾驶控制。可以是图5或者图6的(a)中的目的地的设定完成后立即执行图6的(c)，或者也可以是，以操作者的示意为契机来开始图6的(c)。
[0093]
·
二维位置的确定和向三维位置的变换
[0094]
图7示出在步骤s509以及s511中的处理的具体的一个例子。摄像机18固定于车辆，其位置为高度h。另外，为了使说明简单，设为以其光轴与地表面并行的方式安装。在图7的(a)中，示出了以摄像机的位置作为原点且高度方向为y轴、光轴a的方向为z轴、与它们正交的方向为x轴而成的正交坐标系。有时也将x轴方向称为宽度，将y轴方向称为高度，将z轴方向称为深度。
[0095]
还有，假定虚拟帧fv。虚拟帧fv是以如下方式将图像放大而成的：摄像机的光轴与
虚拟帧fv在虚拟帧fv的中心o’正交，并且使虚拟帧fv的下端处于与摄像机的高度方向的视场角的下端相当的地表面的位置。如果将从原点o至虚拟帧fv为止的z方向的距离设为lb，则该距离lb由光轴方向和视场角来决定。但是，也能够确定移到图像的下端的位置并实际测定从该位置至摄像机位置为止的距离。即距离lb为已知的值。另外，在图7的(a)中，光轴与地表面并行，因此虚拟帧fv的高度为2h。虚拟帧fv中的长度与所拍摄的图像中的长度成比例关系，将虚拟帧fv相对于实际的图像帧而言的比例常数设为cf。比例常数即放大率cf例如也可以是表示与实际的图像帧中的一个像素相当的、虚拟帧fv的距离的常数。该情况下，如果图像帧的纵横的像素密度不同，则可以关于纵横各自的方向来设定放大率。
[0096]
在图7的(a)中，操作者站在接地点pf，进行目的地的指示。即接地点pf是操作者的脚下的位置。手腕处于手腕位置pw。在此举例说明对手腕的位置的确定，关于眼睛的位置也与手腕是同样的，以其它部位作为关键点的情况也是同样的。此时，考虑从摄像机位置即原点o至接地点pf为止的向量vpf。接地点pf为地表，因此其高度yf为-h，将其坐标表示为(xf，-h，zf)。该值也为向量vpf。
[0097]
接地点pf被投影于虚拟帧fv上的点pf’。图像上的点的高度方向的位置以该点处于实际的三维空间的地表面(地面)为前提，由此能够与实际的三维空间中的z轴方向的位置对应关联。即，能够将图像中的像高向深度方向的位置进行变换。将虚拟帧fv上的点pf’的位置用以原点为o’而成的坐标(xf’，yf’)来表示。能够根据在实际的图像中的位置和比例系数cf来确定xf’，yf’。以光轴a与地表面并行为前提，因此
[0098]
lb：yf’＝zf：h。
[0099]
因而，zf＝lb
·
h/yf’。
[0100]
关于xf，
[0101]
lb：xf’＝zf：xf。
[0102]
因而，xf＝xf’·
zf/lb＝h
·
xf’/yf’。
[0103]
这样就能够决定接地点pf的位置。然后确定手腕的位置pw。将位置pw的坐标设为(xw，yw，zw)。将位置pw投影到虚拟帧fv而成的点pw’的位置设为(xw’，yw’)。考虑从点pf’向点pw’的向量vpw’，该向量vpw’是从点pf向点pw的向量vpw投影到虚拟帧fv而成的向量。无法根据在虚拟帧fv上能够观测的向量vpw’来确定深度方向的分量，因此无法直接地确定向量vpw。但是，能够确定将向量vpw投影到与虚拟帧fv平行且包含点pf的平面而成的向量vpwp。
[0104]
因此，可以是与决定点pf的x分量的方法相同的要领。即，向量vpwp的终点(xwp，ywp，zf)的x、y分量分别如下：
[0105]
xwp＝xw’·
zf/lb＝h
·
xw’/yf’，
[0106]
ywp＝yw’·
zf/lb＝h
·
yw’/yf’。
[0107]
如果将操作者的眼睛在三维空间的位置设为在z轴方向中与所述接地点pf即站立的位置相同，则能够用与(xwp，ywp，zf)相同的要领，根据图像中的眼睛的位置来确定操作者的眼睛的三维空间的位置。但是，对于手腕的位置则必须要考虑深度方向的偏移。在图7的(a)中，将该深度方向的偏移用向量vd表示。向量vd是沿着将手腕位置pw投影到虚拟帧fv而成的线的向量，没有表示在虚拟帧fv中。
[0108]
在此，如图7的(b)所示，使用估计出的手臂的长度la来估计向量vd。用所述的要
领，除了能够确定操作者的接地点pf以外，如果能在图像中确定操作者的头顶部的位置，则能够用与点pwp相同的要领来确定其在三维空间中的位置。如果能够确定接地点pf与头顶部的点这两个点，则能够确定虚拟帧fv上的表观的身高。根据光轴a相对于地表面平行的前提，使表观的身高乘zf/lb，由此能够估计在从原点o起的距离zf(＝lb
·
h/yf’)处的操作者的实际的身高。还有，控制装置15预先存储手臂(例如从其根部至手腕为止)相对于身高而言的长度的比率，由此能够估计手臂的长度la。能够根据该值la来估计向量vd。其方法如下。
[0109]
如图7的(a)所示，点pwp以及向点pwp的向量vpwp已确定。能够用相同的要领来确定手臂的根部的位置ps(参照图7的(b))，从而确定朝向位置ps的向量vps。vpwp-vps+vd为从肩的位置ps朝向手腕的位置pw的向量，
[0110]
|vpwp-vps+vd|＝la。
[0111]
这里，vpwp和vd均为视线方向的向量，
[0112]
vd＝k
·
vpwp(k为标量常数)。
[0113]
因而，|(k+1)
·
vpwp-vps|＝la。
[0114]
在上式中除了常数k以外均为已知，因此能够决定常数k，进而决定向量vd。这样，能够通过将图像中的手腕的位置移至与基于所估计出的操作者的身高而得的手臂的长度对应的位置来估计图像中的手腕的三维位置。但是在决定常数k的步骤中包括开平方，因此不是决定一个值，而是获得两个值。
[0115]
在此，在本实施方式中，基于对操作者的眼睛的识别结果即脸部的方向来确定要使用哪个值。例如，在根据操作者的脸部图像无法识别到眼睛的情况下，即操作者的脸部没有朝向摄像机的方向的情况下，采用更大的值作为常数k。相反，在根据脸部图像能够识别到眼睛的情况下，即操作者的脸部朝向摄像机的方向的情况下，采用更小的值作为常数k。通过这样，能够与操作者指示目的地的动作一致地将适当的位置设定为目的地。另外，当然也可以使用已训练完成的机器学习模型来识别眼睛。
[0116]
如以上那样，如果确定向量vd，则能够基于vpw＝vpwp+vd来确定向量vpw即手腕位置pw。由于眼睛的位置也已经确定，因此能够基于所决定的两个关键点的位置来确定操作者指示目的地而成的指示线。
[0117]
·
向量vd的决定方法的其它例子
[0118]
也能够用更简单的方法决定向量vd。考虑向量vd的大小为小的情形时，假定向量vd近似相对于虚拟帧fv正交，由此能够根据手臂的实际的长度la和表观的长度la’来决定向量vd。该情况下，向量vd的大小|vd|和la以及la’的关系为la2＝la
’2+|vd|2。即如果将x、y分量均设为0，则可以是vd的z分量zvd为zvd＝|vd|或者-|vd|。也能够根据这样决定的向量vd，基于vpw＝vpwp+vd来确定向量vpw即手腕位置pw。即使用该方法，zvd的符号也是正负均可，因此不能唯一地决定vd。在此如上所述，例如也可以是，在识别到操作者的眼睛的情况下将z的值的符号设为负，在无法识别到眼睛的情况下将z的值的符号设为正。
[0119]
·
变形例
[0120]
另外，在图7的(a)中说明了光学系的坐标与地面的坐标为平行移动的关系的例子，但在摄像机设置有俯角或者仰角的情况下，需要考虑其光轴的倾斜，基于射影变换等进
一步进行坐标变换。
[0121]
但是即使是该情况，也与在图7的(a)中的说明没有本质不同。
[0122]
在图5的步骤s507、s521中判定为姿态的稳定，则可以根据在姿态稳定的状态下拍摄的图像来确定目的地。因此，例如操作者用指示目的地的姿态，对控制装置15发送示意，以此为契机，位置确定部42获取对象图像。这样，在获取到的图像中操作者正指示着目的地，因此不需要特别等待姿态稳定。所述示意例如可以是触摸在便携终端执行的应用程序显示的既定的按钮、发出特定的声音等。在后者的情况下当由便携终端识别到该特定的声音时，向控制装置15发送表示可以确定目的地的意思的示意。
[0123]
如以上说明的那样，根据本实施方式以及变形例，在车外的操作者能够通过简单的操作来指定目的地。而且能够通过自动驾驶来使车辆向指定的目的地移动。特别是在指示远处的目的地的情况下，将指示附近的物体标识设定为目的地，由此能够提高指示的精度。另外，根据图像来估计其深度，由此能够根据图像来确定目的地的三维位置。
[0124]
另外发明不限于上述的实施方式，在发明的主旨的范围内能够进行各种变形和变更。例如也可以是，在操作者指定目的地时，与指示一并通过声音、文字输入来提供与目的地的物体标识相关的信息(例如，物体标识的种类、颜色等)。该情况下，根据本发明，估计操作者指示的物体标识，并且使用与操作者提供的物体标识相关的信息来进行估计，由此能够进一步提高对物体标识的确定的精度。该情况下，还具备检测声音的麦克风作为外界传感器7，基于从此输入的声音信号来提供与目的地的物体标识相关的信息。或者，也可以经由hmi装置13的触摸面板等提供信息。
[0125]
作为与物体标识相关的信息，例如可以是其位置、方向、物体标识的种类、颜色、大小等信息、或者表示它们的组合的信息。例如，在上述实施方式中，可以将根据指示者的脸部的方向来估计手臂的深度方向的方式换为如下方式：识别“前方”、“后方”等词汇，基于识别到的信息来判定手臂的深度方向。或者，在上述实施方式中，可以将根据图像确定的物体标识中的、与指示线314最近的物体标识的位置确定为目的位置的方式换为如下方式：识别“那个红的广告牌”“蓝色的自动售货机”等词汇，进一步基于识别到的信息来确定目的位置。当然这只是一个例子，也可以用其它方式提供与物体标识相关的信息。
[0126]
另外，在上述的实施方式中以车辆为例进行了说明，但不限于车辆能够应用于其它可自主移动的移动体。移动体不限于交通工具，可以包括如与步行的用户并行地搬运行李、或者在前引导人那样的电动车(mobility)，另外也可以包括其它可自主移动的移动体(例如步行型机器人等)。
[0127]
实施方式的总结
[0128]
将以上说明的实施方式总结如下。
[0129]
(1)根据本发明的第一方面，提供位置确定系统，其特征在于，具有：
[0130]
拍摄部件，其拍摄图像；以及
[0131]
确定部件，其基于所述图像，确定目的地的三维位置、即目的位置，
[0132]
所述三维位置是以三维空间中的所述拍摄部件的位置和拍摄方向作为基准而成的位置，
[0133]
所述确定部件根据所述图像来确定人，确定了人后估计所述人的两个关键点的三维位置，
[0134]
在连结所述两个关键点的线与地面的交点处于距所述人的既定范围内的情况下，所述确定部件将所述交点确定为目的位置，
[0135]
在连结所述两个关键点的线与地面的交点不处于距所述人的所述既定范围内的情况下，所述确定部件将根据所述图像而确定的物体标识中的、存在于距所述线的既定距离以内的物体标识的位置确定为目的位置。
[0136]
根据该结构，能够高精度地设定远处的目的地。
[0137]
(2)根据本发明的第二方面，还提供如下位置确定系统，其特征在于，
[0138]
在连结所述两个关键点的线与地面的交点不处于距所述人的所述既定范围内的情况下，所述确定部件将根据所述图像而确定的物体标识中的、距所述线最近的物体标识的位置确定为目的位置。
[0139]
根据该结构，能够高精度地设定远处的目的地。
[0140]
(3)根据本发明的第三方面，还提供如下位置确定系统，其特征在于，
[0141]
所述确定部件估计所述人的眼睛和手腕各自的三维位置，作为所述两个关键点。
[0142]
根据该结构，能够根据眼睛和使用手腕的手势来设定目的地。
[0143]
(4)根据本发明的第四方面，还提供如下位置确定系统，其特征在于，
[0144]
所述确定部件在根据所述图像而确定了人后基于所述图像中的所述人的脚下的位置来估计所述脚下的三维位置，并基于所述脚下的三维位置来估计所述眼睛和手腕各自的三维位置。
[0145]
根据该结构，能够根据图像来确定人在深度方向的位置。
[0146]
(5)根据本发明的第五方面，还提供如下位置确定系统，其特征在于，
[0147]
所述确定部件基于所述图像中的所述脚下的像高来估计从所述拍摄部件至所述脚下为止的距离，将估计出的所述距离作为从所述拍摄部件至所述眼睛为止的距离来估计所述眼睛的三维位置，
[0148]
所述确定部件基于所述图像中的所述手腕的位置、所述人的基于估计出的身高而得的手臂的长度、所述图像中的表观的手臂的长度，来估计所述手腕的三维位置。
[0149]
根据该结构，能够根据图像中的人，迅速并且简单地确定手腕在深度方向的位置。
[0150]
(6)根据本发明的第六方面，还提供如下位置确定系统，其特征在于，
[0151]
所述确定部件基于所述图像中的所述脚下的像高来估计从所述拍摄部件至所述脚下为止的距离，将估计出的所述距离作为从所述拍摄部件至所述眼睛为止的距离来估计所述眼睛的三维位置，
[0152]
所述确定部件将所述图像中的所述手腕的位置沿着所述拍摄方向移至与所述人的基于估计出的身高而得的手臂的长度对应的位置，由此估计所述手腕的三维位置。
[0153]
根据该结构，能够根据图像中的人，精度良好地确定手腕在深度方向的位置。
[0154]
(7)根据本发明的第七方面，还提供如下位置确定系统，其特征在于，
[0155]
所述确定部件根据所述人的脸部的方向来估计关于所述拍摄方向而言的所述手腕的位置。
[0156]
根据该结构，能够按照操作者的意图来确定操作者指示的方向。
[0157]
(8)根据本发明的第八方面，还提供如下位置确定系统，其特征在于，
[0158]
还具有用于受理输入的输入部件，
[0159]
所述确定部件根据所述输入部件的输入来估计关于所述拍摄方向而言的所述手腕的位置。
[0160]
根据该结构，能够按照操作者的意图来确定操作者指示的方向。
[0161]
(9)根据本发明的第九方面，还提供如下位置确定系统，其特征在于，
[0162]
还具有用于受理输入的部件，
[0163]
所述确定部件还基于所述输入来将根据所述图像而确定的物体标识中的既定的物体标识的位置确定为目的位置。
[0164]
根据该结构，能够按照操作者等的意图来确定目的位置。
[0165]
(10)根据本发明的第十方面，还提供如下位置确定系统，其特征在于，
[0166]
所述物体标识是处于距所述拍摄部件的既定距离的范围的物体标识。
[0167]
根据该结构，能够防止设定到远处的不正确的目的地。
[0168]
(11)根据本发明的第十一方面，提供移动体，其特征在于，搭载有上述中的任一个位置确定系统。
[0169]
根据该结构，能够根据手势来设定车辆的目的地。
[0170]
(12)根据本发明的第十二方面，还提供如下移动体，其特征在于，由所述位置确定系统设定目的地，通过自动驾驶向所述目的地行驶。
[0171]
根据该结构，能够根据手势设定车辆的目的地，并通过自动驾驶进行移动。
[0172]
发明不限定于上述的实施方式，能够在发明的主旨的范围内进行各种变形和变更。

技术特征：
1.一种位置确定系统，其特征在于，具有：拍摄部件，其拍摄图像；以及确定部件，其基于所述图像，确定目的地的三维位置、即目的位置，所述三维位置是以三维空间中的所述拍摄部件的位置和拍摄方向为基准而成的位置，所述确定部件根据所述图像来确定人，确定了人后估计所述人的两个关键点的三维位置，在连结所述两个关键点的线与地面的交点处于距所述人的既定范围内的情况下，所述确定部件将所述交点确定为目的位置，在连结所述两个关键点的线与地面的交点不处于距所述人的所述既定范围内的情况下，所述确定部件将根据所述图像而确定的物体标识中的、存在于距所述线的既定距离以内的物体标识的位置确定为目的位置。2.根据权利要求1所述的位置确定系统，其特征在于，在连结所述两个关键点的线与地面的交点不处于距所述人的所述既定范围内的情况下，所述确定部件将根据所述图像而确定的物体标识中的、距所述线最近的物体标识的位置确定为目的位置。3.根据权利要求1所述的位置确定系统，其特征在于，所述确定部件估计所述人的眼睛和手腕各自的三维位置，作为所述两个关键点。4.根据权利要求3所述的位置确定系统，其特征在于，所述确定部件根据所述图像而确定了人后基于所述图像中的所述人的脚下的位置来估计所述脚下的三维位置，并基于所述脚下的三维位置来估计所述眼睛和手腕各自的三维位置。5.根据权利要求4所述的位置确定系统，其特征在于，所述确定部件基于所述图像中的所述脚下的像高来估计从所述拍摄部件至所述脚下为止的距离，将估计出的所述距离作为从所述拍摄部件至所述眼睛为止的距离来估计所述眼睛的三维位置，所述确定部件基于所述图像中的所述手腕的位置、所述人的基于估计出的身高而得的手臂的长度、所述图像中的表观的手臂的长度，来估计所述手腕的三维位置。6.根据权利要求4所述的位置确定系统，其特征在于，所述确定部件基于所述图像中的所述脚下的像高来估计从所述拍摄部件至所述脚下为止的距离，将估计出的所述距离作为从所述拍摄部件至所述眼睛为止的距离来估计所述眼睛的三维位置，所述确定部件将所述图像中的所述手腕的位置沿着所述拍摄方向移至与所述人的基于估计出的身高而得的手臂的长度对应的位置，由此估计所述手腕的三维位置。7.根据权利要求5或者6所述的位置确定系统，其特征在于，所述确定部件根据所述人的脸部的方向来估计关于所述拍摄方向而言的所述手腕的位置。8.根据权利要求5或者6所述的位置确定系统，其特征在于，还具有用于受理输入的输入部件，所述确定部件根据所述输入部件的输入来估计关于所述拍摄方向而言的所述手腕的
位置。9.根据权利要求1所述的位置确定系统，其特征在于，还具有受理输入的部件，所述确定部件还基于所述输入来将根据所述图像而确定的物体标识中的既定的物体标识确定为目的位置。10.根据权利要求1所述的位置确定系统，其特征在于，所述物体标识是处于距所述拍摄部件的既定距离的范围的物体标识。11.一种移动体，搭载有位置确定系统，所述移动体的特征在于，所述位置确定系统具有：拍摄部件，其拍摄图像；以及确定部件，其基于所述图像，确定目的地的三维位置、即目的位置，所述三维位置是以三维空间中的所述拍摄部件的位置和拍摄方向为基准而成的位置，所述确定部件根据所述图像来确定人，确定了人后估计所述人的两个关键点的三维位置，在连结所述两个关键点的线与地面的交点处于距所述人的既定范围内的情况下，所述确定部件将所述交点确定为目的位置，在连结所述两个关键点的线与地面的交点不处于距所述人的所述既定范围内的情况下，所述确定部件将根据所述图像而确定的物体标识中的、存在于距所述线的既定距离以内的物体标识的位置确定为目的位置。12.根据权利要求11所述的移动体，其特征在于，由所述位置确定系统设定目的地，通过自动驾驶向所述目的地行驶。

技术总结
本公开涉及位置确定系统和搭载有位置确定系统的移动体。根据手势设定目的地。位置确定系统具有拍摄图像的摄像机，根据图像来确定人，确定了人后估计人的两个关键点的三维位置，在连结两个关键点的线与地面的交点处于距人的既定范围内的情况下将交点确定为目的位置，在连结两个关键点的线与地面的交点不处于距所述人的所述既定范围内的情况下，将根据图像而确定的物体标识中的、存在于距线的既定距离以内的物体标识的位置确定为目的位置。离以内的物体标识的位置确定为目的位置。离以内的物体标识的位置确定为目的位置。


技术研发人员：阿曼
受保护的技术使用者：本田技研工业株式会社
技术研发日：2023.03.08
技术公布日：2023/9/25