对象物的检测方法和检测装置与流程

1.本发明涉及对象物的检测方法和检测装置。


背景技术：

2.以往，公知有在通过臂机器人把持工件的状态下将该工件与其他工件焊接的技术。在该情况下，使用专用的定位机构(包括定位用的模具、夹具)，进行臂机器人以及被该臂机器人把持的工件的定位(位置、姿势的检测)。但是，必须另外设置定位机构，因此，设备费较高，且需要较大的设备设置空间。并且，需要与车型对应的量的定位机构，因此，在车型较多的情况下，切换次数较多而导致总的切换时间变长。此外，每次启用新车型都将会产生相同的问题。
3.专利文献1记载有用于在空间内通过工业用机器人将至少一个物体定位于最终姿势的方法。在该方法中，为了将物体定位，使用第1工业用机器人、第1光学拍摄装置、至少一个第2光学拍摄装置。第1工业用机器人位置能够向规定的位置进行位置调整。第1光学拍摄装置在三维的空间坐标系中被校正，从而在已知的方向上定位于已知的第1位置。第2光学拍摄装置在空间坐标系中被校正，从而在已知的方向上定位于已知的第2位置。
4.第1光学拍摄装置具有第1相机、第1驱动单元以及第1角度测定单元。第1相机为了在规定的第1视野内拍摄图像而被光学校正。第1驱动单元是用于为了对第1视野进行位置调整而决定第1相机的方向的结构要素。第1角度测定单元检测第1相机的角度方向，并在空间坐标系中被用于求出第1视野的空间坐标系校正。
5.第2光学拍摄装置具有第2相机、第2驱动单元以及第2角度测定单元。第2相机为了在规定的第2视野内拍摄图像而被光学校正。第2驱动单元是用于为了对第2视野进行位置调整而决定第2相机的方向的结构要素。第2角度测定单元检测第2相机的角度方向，在空间坐标系中被用于求出第2视野的空间坐标系校正。
6.专利文献1：日本专利第5290324号公报
7.然而，在专利文献1中，物体的定位(位置、姿势的检测)所需的装置是大型的(第1光学拍摄装置(第1相机、第1驱动单元以及第1角度测定单元)、第2光学拍摄装置(第2相机、第2驱动单元以及第2角度测定单元))，且其定位方法(位置、姿势的检测方法)也称不上简单，从而针对该点尚有改进的余地。


技术实现要素：

8.本发明是鉴于以上的问题而完成的，其目的在于提供一种能够通过简单的方法和结构来进行对象物的检测的对象物的检测方法和检测装置。
9.本实施方式的对象物的检测方法的特征在于，其具有：利用第1位置信息生成装置测定第1对象物的位置和姿势的步骤；利用第2位置信息生成装置测定上述第1对象物的位置和姿势的步骤；基于由上述第1位置信息生成装置测定出的上述第1对象物的位置和姿势、与由上述第2位置信息生成装置测定出的上述第1对象物的位置和姿势的差异，来计算
上述第1位置信息生成装置和上述第2位置信息生成装置的从一方相对于另一方的位置和姿势的步骤；以及利用上述第1位置信息生成装置和上述第2位置信息生成装置的从一方相对于另一方的位置和姿势，通过上述第2位置信息生成装置测定第2对象物的位置和姿势的步骤。
10.根据本发明，能够提供可以通过简单的方法和结构进行对象物的检测的对象物的检测方法和检测装置。
附图说明
11.图1是表示点云数据的各点信息的表现的一个例子的图。
12.图2是表示4
×
4矩阵中的原点的表现的一个例子的图。
13.图3是表示使用了4
×
4矩阵的原点计算的一个例子的图。
14.图4是表示应用了本实施方式的对象物的检测方法和检测装置的车辆部件的焊接装置的结构的第1例的图。
15.图5是表示应用了本实施方式的对象物的检测方法和检测装置的车辆部件的焊接装置的结构的第2例的图。
16.图6是表示应用了本实施方式的对象物的检测方法和检测装置的车辆部件的焊接装置的结构的第3例的图。
17.图7是表示形状标记的第1例的图。
18.图8是表示形状标记的第2例的图。
19.图9是表示用于基于3d扫描仪和形状标记进行最终位置修正的预先准备的处理的一个例子的图。
具体实施方式
20.首先，进行本说明书中的用语的定义。
21.本说明书中的“位置信息生成装置(3d扫描仪)”是用于将工件(例如，上窗框、立柱窗框、门框架、托架等)及其把持装置(例如，机器人臂等)、以及其他目标(例如，设置于机器人臂或其附近的标记、固定物等)的形状信息获取为点云数据的装置。点云数据的各点信息能够替换为“对象物的位置和姿势”。点云数据的各点信息(对象物的位置和姿势)能够用将3d扫描仪原点作为原点的坐标x，y，z及其法线方向i，j，k的数值来表示。在本说明书中，有时将“3d扫描仪”称为“第2位置信息生成装置”。
22.本说明书中的“位置信息生成装置(激光跟踪器)”例如是能够将目标的三维信息(位置信息、角度)计算为自身的坐标系基准的装置。“位置信息生成装置(激光跟踪器)”例如通过照射激光且从目标反射的激光返回至发光源，从而获取目标的三维位置信息。目标的三维信息(位置信息、角度)能够替换为“对象物的位置和姿势”。“位置信息生成装置(激光跟踪器)”由于测定范围大，所以若存在“位置信息生成装置(激光跟踪器)”和目标或后述的带标记的接触式探头那样的装置，则能够高精度地计算各设备间的尺寸、精度、原点位置等。在本说明书中，有时将“位置信息生成装置(激光跟踪器)”称为“第1位置信息生成装置”。
23.本说明书中的“标记”例如是用于通过第1位置信息生成装置(激光跟踪器)、第2位
置信息生成装置(3d扫描仪)获取位置坐标和角度的目标的一种。以第1位置信息生成装置(激光跟踪器)或第2位置信息生成装置(3d扫描仪)为原点计算“标记”的位置坐标和角度。其能够用坐标x，y，z和角度rx，ry，rz表示，角度rx，ry，rz分别如后述那样能够用4
×
4的矩阵数据(matrix data)来表示，该4
×
4的矩阵数据使用了从基准x轴、基准y轴、基准z轴变更姿势后对应的单位向量(i，j，k)和从基准点起的移动量(x，y，z)。“标记”例如安装于机器人臂前端的把持部等，为了将以第1位置信息生成装置(激光跟踪器)或第2位置信息生成装置(3d扫描仪)为原点的机器人臂的动作精度(把持部的三维空间上的绝对位置)获取为数值而使用。此外，除此之外，广泛使用安装于后述那样的通过接触测量对象工件那样的带标记的接触式探头、非接触地测量对象工件的3d扫描仪的类型等。无论哪种测量信息，都为了利用第1位置信息生成装置(激光跟踪器)或第2位置信息生成装置(3d扫描仪)的原点进行配置而被使用。
24.本说明书中的“带标记的接触式探头”例如在通过第1位置信息生成装置(激光跟踪器)或第2位置信息生成装置(3d扫描仪)锁定了“带标记的接触式探头”的目标部的状态下，使探头前端触碰到对象工件进行测定，从而能够计算以第1位置信息生成装置(激光跟踪器)或第2位置信息生成装置(3d扫描仪)为原点的对象工件的三维空间上的位置。
25.本说明书中的“带标记的3d扫描仪”例如在通过第1位置信息生成装置(激光跟踪器)锁定了“带标记的3d扫描仪”的目标部的状态下对对象工件进行3d扫描，由此能够根据距第1位置信息生成装置(激光跟踪器)的原点的标记原点坐标/角度和距标记原点的第2位置信息生成装置(3d扫描仪)的原点坐标/角度(后述)，将由第2位置信息生成装置(3d扫描仪)获取到的点云信息计算为第1位置信息生成装置(激光跟踪器)的原点。对于标记原点位置与第2位置信息生成装置(3d扫描仪)的原点位置的关系而言，通过在安装时刻使用第1位置信息生成装置(激光跟踪器)和带标记的接触式探头计算成为基准的块的位置信息，并使计算出的成为基准的块的位置信息与由第2位置信息生成装置(3d扫描仪)拍摄到的基准块的位置信息进行匹配(校准)，由此计算第2位置信息生成装置(3d扫描仪)的原点/角度信息。通常，第2位置信息生成装置(3d扫描仪)具有若扩大拍摄范围则精度降低的特征，因此，不适合大范围的拍摄，在后述那样的设备整体的运用中，第2位置信息生成装置(3d扫描仪)单体存在极限。因此，为了扩大拍摄范围、测定范围而考虑使用了第1位置信息生成装置(激光跟踪器)的对策。但是，如后述那样，在本实施方式的对象物的检测方法和检测装置中，通过适当地组合第1位置信息生成装置(激光跟踪器)和第2位置信息生成装置(3d扫描仪)，能够将第1位置信息生成装置(激光跟踪器)仅用于初始设定(校准)，其后基于第2位置信息生成装置(3d扫描仪)和形状标记执行最终位置修正。因此，例如，不需要设置多个生产线各自所专用的第1位置信息生成装置(激光跟踪器)，能够在多个生产线中重复使用第1位置信息生成装置(激光跟踪器)。
26.本说明书中的“点云数据”例如是指通过使用3d扫描仪(相机)等设备对工件(例如，上窗框、立柱窗框、门框架、托架等)进行3d扫描(拍摄工件)而获取的工件的三维信息。另外，例如如图1所示，点云数据的各点信息能够用坐标x，y，z及其法线方向i，j，k的数值(图1)表示。在图1的例子中，描绘了点云1、点云2、点云3、点云4、点云5、点云＊＊。
27.本说明书中的“基准数据”例如是指成为工件(例如，上窗框、立柱窗框、门框架、托架等)的设计上的基准的数据(例如，主工件数据、设计值数据、原始数据、cad数据)。
28.本说明书中的“形状匹配点云数据”是指使上述的“点云数据”匹配到“基准数据”而得的点云数据。
29.本说明书中的“移动矩阵”和“逆矩阵”例如通过4
×
4的矩阵数据(matrix data)来表示。例如，如图2所示，“移动矩阵”和“逆矩阵”作为从原点、基准原点至某个目标原点为止的位置的信息来表示。左起第一列表示从基准x轴变更姿势后对应的单位向量(i，j，k)，左起第二列表示从基准y轴变更姿势后对应的单位向量(i，j，k)，左起第三列表示从基准z轴变更姿势后对应的单位向量(i，j，k)，左起第四列表示从基准点起的移动量(x，y，z)。
30.若使用矩阵，则能够如图3那样使用矩阵对各坐标的移动量进行计算。通过进行该矩阵计算，能够计算各坐标系的位置、角度的量。对于使上述的点云数据与基准数据匹配时的移动，也能够用4
×
4的矩阵数据来表示。此外，通过对该4
×
4的矩阵数据进行逆矩阵变换，也能够输出使基准数据与点云数据匹配的移动的4
×
4的矩阵数据。图3中，分别用4
×
4的矩阵数据表示原点基准、从原点基准观察的原点a、从原点b观察的原点a、从原点基准观察的原点b、原点b的逆矩阵。
31.图4、图5是表示应用了本实施方式的对象物的检测方法和检测装置的车辆部件的焊接装置1的结构的第1、第2例的图。
32.焊接装置1具有位于装置中央部的固定夹具(例如流水作业系统的夹具)10。固定夹具10例如在固定状态下支承将上窗框(前主框架)的端部与立柱窗框(前立柱框架)的端部以对位状态焊接而成的门框架11。固定夹具10与门框架11的相对位置关系也可以在每次装卸工件时变化，因此，不需要通常的夹具所要求的重复定位功能(由于通过后述的逆矩阵而求出门框架11的工件位置)。因此，固定夹具10可以固定门框架11的任何位置。另外，为了方便作图，图4描绘固定夹具10支承了门框架11的状态，图5描绘固定夹具10没有支承门框架11的状态(省略了门框架11来进行描绘)。
33.焊接装置1具有夹着固定夹具10的分别位于图中的左侧和右侧的机器人臂20和机器人臂30。机器人臂20例如由具有多个轴(例如6轴)的臂机器人构成，为了使机器人臂20的前端部的把持部21所把持的锁定托架(在图4中在对话框中描绘)与门框架11的规定的部位对位而运动(移动)。此外，在机器人臂20的前端部的把持部21的附近设置有位置修正用标记22。位置修正用标记22例如具有能够被后述的第1位置信息生成装置(激光跟踪器)70追踪的反射器。机器人臂30例如由具有多个轴(例如6轴)的臂机器人构成，为了使机器人臂30的前端部的把持部31所把持的铰接托架(在图4中在对话框中描绘)与门框架11的规定的部位对位而运动(移动)。此外，在机器人臂30的前端部的把持部31的附近设置有位置修正用标记32。位置修正用标记32例如具有能够被后述的第1位置信息生成装置(激光跟踪器)70追踪的反射器。
34.机器人臂20与锁定托架(在图4中在对话框中描绘)的相对位置关系、和机器人臂30与铰接托架(在图4中在对话框中描绘)的相对位置关系也可以在每次装卸工件时变化，因此，不需要通常的夹具所要求的重复定位功能(由于通过后述的逆矩阵，求出锁定托架和铰接托架的工件把持位置)。因此，机器人臂20可以把持锁定托架的任何位置，机器人臂30也可以把持铰接托架的任何位置。只要是确保了固定夹具10与门框架11的相对位置精度、机器人臂20与锁定托架的相对位置精度、以及机器人臂30与铰接托架的相对位置精度并且确保了机器人空间坐标的绝对定位精度那样的装置(例如，加工中心那样的机床)，就能够
进行高精度的定位。
35.焊接装置1在固定夹具10与机器人臂20之间的在进深方向上偏离的位置具有焊接机器人40，在固定夹具10与机器人臂30之间的在进深方向上偏离的位置具有焊接机器人50。焊接机器人40例如由具有多个轴(例如6轴)的臂机器人构成，通过设置于前端部的焊接喷嘴41，将固定夹具10支承的门框架11、与机器人臂20的把持部21把持的锁定托架在规定的对位状态下进行焊接。焊接机器人50例如由具有多个轴(例如6轴)的臂机器人构成，通过设置于前端部的焊接喷嘴51，将固定夹具10支承的门框架11、与机器人臂30的把持部31把持的铰接托架在规定的对位状态下进行焊接。
36.焊接装置1具有3d扫描仪支承臂60，上述3d扫描仪支承臂60在固定夹具10的后方并且夹在焊接机器人40与焊接机器人50之间。3d扫描仪支承臂60例如由具有多个轴(例如6轴)的臂机器人构成，在臂前端部设置有第2位置信息生成装置(3d扫描仪)61和位置修正用标记62。位置修正用标记62例如具有能够被后述的第1位置信息生成装置(激光跟踪器)70追踪的反射器。
37.焊接装置1也可以与第1位置信息生成装置(激光跟踪器)70组合使用。第1位置信息生成装置(激光跟踪器)70将焊接装置1的各结构要素(例如，固定夹具10支承的门框架11、机器人臂20把持的锁定托架、机器人臂30把持的铰接托架、机器人臂20的位置修正用标记22、机器人臂30的位置修正用标记32、3d扫描仪61、3d扫描仪61的位置修正用标记62)作为目标，将其三维信息(位置信息、角度)计算为自身的坐标系基准。
38.如图5所示，焊接装置1也可以与被支承台座81支承的形状标记(固定物、金属块)80组合使用。图5中，为了方便作图，以简化后的立方体形状描绘了形状标记80，但是对于形状标记80的具体结构和功能，之后将详细地进行说明。形状标记80与第1位置信息生成装置(激光跟踪器)70及第2位置信息生成装置(3d扫描仪)61配合，将第1位置信息生成装置(激光跟踪器)70仅用于初始设定(校准)，其后通过第2位置信息生成装置(3d扫描仪)61对固定夹具10支承的门框架11、机器人臂20把持的锁定托架、机器人臂30把持的铰接托架进行扫描(拍摄)。
39.在本实施方式中，通过使用带标记的3d扫描仪61对固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架进行扫描(拍摄)，从而获取它们的点云数据(三维信息)。即，带标记的3d扫描仪61作为“点云数据获取部”发挥功能。而且，通过在由第1位置信息生成装置(激光跟踪器)70虚拟锁定了带标记的3d扫描仪61的状态下进行点云获取，从而以第1位置信息生成装置(激光跟踪器)70为原点而计算由带标记的3d扫描仪61获取到的点云数据(作为伴随着第1位置信息生成装置(激光跟踪器)70的虚拟锁定的虚构原点来进行计算)。该点云数据例如用各点的坐标x，y，z及其法线方向i，j，k表示，点云数据的原点用4
×
4的矩阵数据(matrix data)表示(对于详情将进行后述)。
40.另外，在点云数据的获取时，也可以不是对固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的整体进行3d扫描，而是仅对固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的一部分、例如成为用于产品评价的基准的部位进行3d扫描。该3d扫描可以是一边使2d扫描仪移动一边进行点云获取的方式，可以是将3d扫描仪定位来扫描的方式，也可以是将固定后的3d扫描设置于多处位置来扫描的方式。如后述那样，能够在使点云数据与基准数据匹配
时将基准数据上的任意位置以所需的数量设定为基准并进行对位。此外，能够对该各基准设定优先度，使重要度更高的部分的对位优先。由此，能够进行基准数据与点云数据的对位方式的控制。在本实施方式中，在各基准部的误差量较大的情况下，存在机器人臂20把持的锁定托架和机器人臂30把持的铰接托架的与门框架11的焊接部彼此干涉的可能性，因此，通过相对于其他基准部更高地设定焊接部的优先度，能够使焊接部的形状匹配优先来进行定位。
41.此外，在本实施方式中，预先预备(准备)成为固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的设计上的基准的基准数据(例如cad数据)。该基准数据包括原点(例如车辆原点，在这种情况下，车辆原点＝位置信息生成装置原点)，并且能够成为固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的对位状态的数据。而且，在本实施方式中，使用后述的控制部，计算使点云数据与包括原点(车辆原点)的基准数据对位后的形状匹配点云数据。此外，使点云数据移动至基准数据时的移动量、基准数据以及形状匹配点云数据的原点用4
×
4的矩阵数据(matrix data)来表示(对于详情将进行后述)。
42.形状匹配点云数据的原点坐标与使利用位置信息生成装置原点获取到的点云数据的原点移动后的坐标相同。通过对使点云数据与该基准数据匹配时的4
×
4的矩阵数据(matrix data)进行逆矩阵变换，从而与使基准数据与点云数据匹配的情况相同，因此成为对点云数据赋予了原点的形式(是以点云数据基准表示由基准数据原点表示的形状匹配点云数据的状态的形式)。通过该方式，实现对不存在原点的点云数据赋予cad原点信息。
43.使固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的点云数据与cad数据(基准数据)匹配这样的移动的结果能够用移动了原点这样的矩阵来记载(即等效)。通过对矩阵进行逆矩阵变换，求出使cad数据(基准数据)与点云数据匹配的移动量。使点云数据与cad数据(基准数据)匹配相当于正矩阵，使cad数据(基准数据)与点云数据匹配相当于逆矩阵(若从正矩阵观察，则相当于返回至原点)。即，若从原点观察，则使cad数据(基准数据)与点云数据匹配后的状态移动，以使cad坐标与点云数据匹配。例如，在能够利用cad坐标系那样的位置再现固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的一部分的实际的工件配置的情况下，其一部分的位置是已知的，因此，仅通过固定夹具10支承的门框架11、机器人臂20把持的锁定托架、机器人臂30把持的铰接托架的其他部分的矩阵计算也能够进行原点间的计算(在这种情况下，不需要逆矩阵变换)。
44.第1位置信息生成装置(激光跟踪器)70通过始终对位置修正用标记22、32进行位置监视(持续追踪)，从而对机器人臂20把持的锁定托架、机器人臂30把持的铰接托架的对位(微小驱动)进行辅助。机器人臂20、30通过第1位置信息生成装置(激光跟踪器)70和位置修正用标记22、32被预先校准，提高了空间坐标中的绝对精度。
45.在测量安装于机器人臂20、30的位置修正用标记22、32时，通过将机器人臂20把持的锁定托架、机器人臂30把持的铰接托架的车辆原点置换为标记，能够始终由第1位置信息生成装置(激光跟踪器)70监视三维坐标。此外，通过操作标记目标位置与当前位置的差异来修正最终位置，从而强制性地提高机器人的空间坐标精度。
46.图6是表示应用了本实施方式的对象物的检测方法和检测装置的车辆部件的焊接
装置1的结构的第3例的图。图6例示并描绘了用于执行基于上述的点云数据、基准数据以及形状匹配点云数据的机器人臂20、30(把持部21、31)的运动(移动)控制的功能结构要素。各功能结构要素构成了由cpu(central processing unit)构成的控制部90的一部分。
47.控制部90具有点云数据获取部91、基准数据获取部92、移动矩阵运算部93、逆矩阵运算部94、目标移动矩阵运算部95、以及机器人臂控制部96。
48.点云数据获取部91获取(被输入)通过第1位置信息生成装置(激光跟踪器)70和第2位置信息生成装置(3d扫描仪)61生成的固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的点云数据(三维信息)。该点云数据也可以是以第1位置信息生成装置(激光跟踪器)70为原点(虚构原点)的点云数据。
49.基准数据获取部92获取(存储)成为固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的设计上的基准的基准数据(例如cad数据)。该基准数据包括原点(例如车辆原点，在这种情况下，车辆原点＝位置信息生成装置原点)，并且能够成为固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的对位状态的数据。
50.移动矩阵运算部93运算用于使点云数据与固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的对位状态的基准数据对位的移动矩阵。通过该移动矩阵运算，得到基于移动矩阵使点云数据与基准数据对位后的形状匹配点云数据。
51.逆矩阵运算部94对使点云数据与由移动矩阵运算部93求出的基准数据匹配时的4
×
4的矩阵数据(matrix)进行逆矩阵变换。通过本变换，成为对上述的点云数据赋予了原点的形式(成为用点云数据基准表示用基准数据原点表示的形状匹配点云数据的状态的形式)。通过该方式，实现了对不存在原点的点云数据赋予cad原点信息。
52.目标移动矩阵运算部95能够分别针对固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架，使用逆矩阵，从赋予了原点(车辆原点)的状态开始，计算从锁定托架和铰接托架的原点至另一方的原点为止的移动量。
53.机器人臂控制部96基于移动矩阵与逆矩阵的至少一方，利用机器人臂20使锁定托架移动，利用机器人臂30使铰接托架移动，由此使锁定托架和铰接托架定位于门框架11。更具体而言，机器人臂控制部96基于移动矩阵和逆矩阵的至少一方，例如使机器人臂20、30的各轴(6轴)进行微小动作，直至使作为定位对象的锁定托架和铰接托架从初始位置、当前位置到达至目标位置。此时的微小动作量的指令值是从第1位置信息生成装置(激光跟踪器)70观察时的位置修正用标记22、32的当前位置与目标位置的差异。利用系数调整、动作次数设定该微少动作量的数值，由此能够进行不依赖于机器人的精度的定位。即，在本实施方式中，通过下述的(1)和(2)这两个阶段，来执行工件彼此(锁定托架和铰接托架)的定位，其中，上述阶段(1)是基于移动矩阵与逆矩阵的至少一方的工件(把持部)的移动(例如以通过逆矩阵而附加于锁定托架和铰接托架的原点为基础以某一方的原点为基准向另一方的原点移动)，上述阶段(2)是基于位置修正用标记22、32的锁定托架和铰接托架的移动(基于位置修正用标记22、32的修正定位，修正阶段(1)的动作误差)。在由机器人臂控制部96进行的锁定托架和铰接托架的定位状态下，通过焊接机器人40、50将两者的焊接部焊接。
54.控制部90的功能也能够如以下那样表现。即，控制部90获取三维数据(例如点云数
据)，并且获取手与工件的相对位置数据(例如基准数据)。控制部90执行用于使获取到的三维数据(例如点云数据)与相对位置数据(例如基准数据)最佳适配(best fit)的空间定位处理。控制部90输出手对工件的移动量坐标值。控制部90通过基于机器人逆向运动学的6轴计算，执行手和工件的运动(移动)控制。
55.本实施方式的定位处理例如通过以下的处理步骤来执行。首先，使锁定托架和铰接托架的点云数据与cad数据(基准数据)对位，利用作为4
×
4的矩阵数据(matrix data)的移动矩阵输出其移动量。由此，关于锁定托架和铰接托架，得到基于移动矩阵使点云数据与基准数据对位后的形状匹配点云数据。此外，使门框架11的点云数据与cad数据(基准数据)对位，利用作为4
×
4的矩阵数据(matrix data)的移动矩阵输出其移动量。由此，关于门框架的11，得到基于移动矩阵使点云数据与基准数据对位后的形状匹配点云数据。此外，通过根据计算出的移动矩阵执行逆矩阵运算(inverse matrix operation)，从而对点云数据赋予原点。即，以一方的原点为基准来匹配另一方的原点。或者，也可以构成为：通过使形状匹配点云数据移动，从而使基准数据的原点(车辆原点)一同移动，使锁定托架、铰接托架、门框架11的移动后的原点彼此匹配。此外，使用计算出的逆矩阵，对锁定托架、铰接托架、以及门框架11的点云数据赋予坐标值(例如cad坐标)。而且，在以原点(车辆原点)为基准的坐标系中，计算点云数据的移动量，基于计算出的移动量，使把持锁定托架和铰接托架的机器人臂20、30移动，由此使锁定托架和铰接托架定位于门框架11。在本实施方式中，由于门框架11固定且锁定托架和铰接托架可动，所以该移动量相当于锁定托架和铰接托架相对于门框架11的移动量(从锁定托架和铰接托架的cad坐标到门框架11的cad坐标的移动量)。最后，基于计算出的锁定托架和铰接托架相对于门框架11的移动量，使锁定托架和铰接托架相对于门框架11移动，由此使锁定托架和铰接托架相对于门框架11定位。
56.使本实施方式的点云数据与基准数据对位的过程例如包括使点云信息以强制数值(定量值)移动的强制数值移动步骤、使点云整体与cad整体形状进行对位的整体形状匹配的最佳适配步骤、以及与基准部位例如成为产品评价的基准的部位匹配来进行详细对位的基准对位步骤。
57.然而，例如，考虑修正锁定托架和铰接托架相对于门框架11的最终位置。以往，该最终位置修正通过根据第1位置信息生成装置(激光跟踪器)与机器人臂的位置修正用标记的组合计算位置和姿势来执行。即，通过利用第1位置信息生成装置(激光跟踪器)捕捉位置修正用标记的反射器部(点)而求出从第1位置信息生成装置(激光跟踪器)至反射器部的距离r，通过从编码器获取该第1位置信息生成装置(激光跟踪器)的头部的左右方向旋转角度θ和上下方向旋转角度φ，从而求出第1位置信息生成装置(激光跟踪器)基准中的到反射器部为止的极坐标，并将该极坐标变换为正交坐标(x，y，z)。例如，如激光位移仪那样测定距离，将激光位移仪设置于正交的两轴的旋转台，输出激光位移仪所朝向的两轴旋转台的旋转角度编码器值，并将所求出的极坐标变换为正交坐标。并且，通过利用第1位置信息生成装置(激光跟踪器)摄影设置于位置修正用标记的多个(例如11个)led而求出姿势信息(rx，ry，rz)。通过第1位置信息生成装置(激光跟踪器)的相机功能确认多个led的配置，并根据多个led的配置计算姿势。
58.然而，第1位置信息生成装置(激光跟踪器)虽是高精度，但价格非常高，对于专用标记，也是第1位置信息生成装置(激光跟踪器)用的附属选项，因此存在成为高价的趋势。
因此，例如，在设置了多个生产线、设备各自所专用的第1位置信息生成装置(激光跟踪器)和位置修正用标记的情况下，无法避免生产线整体的高成本化。
59.因此，在本实施方式中，对于锁定托架和铰接托架相对于门框架11的最终位置修正那样的最终位置没有较大的变化那样的部分，不使用第1位置信息生成装置(激光跟踪器)和专用标记，而通过第2位置信息生成装置(3d扫描仪)61与形状标记80的组合进行最终位置修正。由此，不需要设置多个生产线各自所专用的第1位置信息生成装置(激光跟踪器)和位置修正用标记，能够在多个生产线中共同使用3d扫描仪。此外，关于具有等待第1位置信息生成装置(激光跟踪器)的测定的多个定位工序的设备，通过配置多个第2位置信息生成装置(3d扫描仪)，也能够多个同时地进行位置信息生成和定位计算处理。作为其结果，能够实现各生产线以及生产线整体的低成本化、高速化。
60.图7a～图7d是表示形状标记(固定物、金属块)80的第1例的图。在图7a～图7d中，形状标记80包含三棱锥的形状。形状标记80具有：基部82，在附图标记83a面观察时(例如从与附图标记83a的面垂直的方向观察时)成为直角三角形形状；3个侧面部83，向俯视直角三角形形状的中心部延伸；以及顶面部84，在切取了3个侧面部83的集合部分的附图标记83a面观察时(例如从与附图标记83a的面垂直的方向观察时)为直角三角形形状。在俯视时，基部82和顶面部84具有相似形状的直角三角形形状。也可以为了在后述的坐标提取时确定哪个坐标轴朝向哪里而设置局部平面部83a。或者用颜色区分开一部分的面来确定坐标轴等、确定朝向的方法可以是任意的。即，包含三棱锥的形状这一情况也包含具有图7a～图7d那样的顶面部84的形状。
61.图8是表示形状标记(固定物、金属块)80的第2例的图。在图8中，形状标记80包含3个球85的形状。能够通过3个球85中的一个掌握对象物的位置，并能够通过3个掌握对象物的姿势。通过连结由3个球85规定的点，能够掌握以相互正交的x轴、y轴、z轴为基准的空间坐标(三维坐标)中的对象物的位置和姿势。为了在后述的坐标提取时确定哪个坐标轴朝向哪里，3个球的配置也可以配置为尺寸分别不同。或者，用颜色区分开一部分的面来确定坐标轴等、确定朝向的方法也可以是任意的。
62.图7a～图7d和图8所示的形状标记80的形状只不过是一个例子，能够进行各种设计变更。形状标记80只要是能够掌握以相互正交的x轴、y轴、z轴为基准的空间坐标(三维坐标)中的对象物的位置和姿势的标记即可。例如对于包含图7a～图7d的三棱锥的形状的标记，根据83a的点云的平均平面和83b的点云的平均平面，将两平面相交的交线计算为x轴，根据83b的点云的平均平面和83c的点云的平均平面，将两平面相交的交线计算为y轴，根据x轴和y轴的关系计算剩余的z轴，由此能够确定形状标记80的姿势。若此时形状标记80旋转，则在计算上可能不知道x轴、y轴、z轴的朝向，因此，若存在上述那样的确定标记的朝向那样的形状差，则通过使该部分成为z轴方向等进行定义，从而即便形状标记80旋转也能够准确地求出其姿势。对于位置，能够通过根据83a、83b、83c的点云的平均平面的交点计算来计算。此时，也可以在顶面部84投影该交点，并使用其位置信息。作为3d扫描的特征，在垂直面获取到的点云信息比扫描了倾斜的面时得到更准确的点云信息，因此，能够通过插入该处理而减少位置误差。对于图8的球，也不是对球的配置进行均衡配置，而是通过对85a、85b、85c这3个球的球之间的尺寸设置差异，从而能够确定x轴、y轴或z轴的方向，并确定形状标记80的朝向。另外，85a、85b、85c这3个球的球之间的尺寸具有自由度，能够进行各种设
计变更。
63.另外，形状标记80也可以设置于把持工件(例如锁定托架、铰接托架)的机器人臂20、30的前端侧。在该情况下，也可以代替机器人臂20、30的位置修正用标记22、32而设置形状标记80，或者也可以除了机器人臂20、30的位置修正用标记22、32之外还设置形状标记80。并且，也可以在其他规定的部位设置形状标记80。
64.图9是表示用于基于3d扫描仪61和形状标记80进行最终位置修正的处理的预先准备的一个例子的图。首先，基于第1位置信息生成装置(激光跟踪器)70进行机器人位置测定和校准。在该系统处理阶段，使用位置修正用标记22、32。
65.如图9所示，使用第1位置信息生成装置(激光跟踪器)70，测定作为第1对象物的形状标记80的位置和姿势(a)。作为此时的方法，可以是通过反射器测定的方法、通过带标记的接触式探头测定的方法、通过带标记的3d扫描仪测定的方法等任何方法，只要能够在第1位置信息生成装置(激光跟踪器)的坐标系中确定形状标记80的位置和姿势，就可以是任何方法。使用第2位置信息生成装置(3d扫描仪)61，测定作为第1对象物的形状标记80的位置和姿势(b)。基于由第1位置信息生成装置(激光跟踪器)70测定出的作为第1对象物的形状标记80的位置和姿势(a)、与由第2位置信息生成装置(3d扫描仪)61测定出的作为第1对象物的形状标记80的位置和姿势(b)之间的位置关系，计算第1位置信息生成装置(激光跟踪器)70和第2位置信息生成装置(3d扫描仪)61的从一方相对于另一方的位置和姿势(c)。即，由第2位置信息生成装置(3d扫描仪)61拍摄到的数据在第2位置信息生成装置(3d扫描仪)61的原点以点云出现，匹配从点云提取出的坐标，由此求出第2位置信息生成装置(3d扫描仪)61距第1位置信息生成装置(激光跟踪器)70的原点的位置和姿势。而且，通过计算第1位置信息生成装置(激光跟踪器)70和第2位置信息生成装置(3d扫描仪)61的从一方相对于另一方的位置和姿势，能够使用第2位置信息生成装置(3d扫描仪)61来检测第2对象物距第1位置信息生成装置(激光跟踪器)70的原点的位置和姿势。这里，第2对象物例如能够为设置于把持工件的机器人臂20、30的前端侧的标记(例如与图4描绘的标记不同的形状标记80’，省略图示)，除此之外也能够为所有的检测对象物的规定部位。即，第1对象物和第2对象物的至少一方能够包含形状标记80、80’的三棱锥的形状(参照图7)或3个球的形状(参照图8)。
66.通过计算第1位置信息生成装置(激光跟踪器)70和第2位置信息生成装置(3d扫描仪)61的从一方相对于另一方的位置和姿势，从而使用第2位置信息生成装置(3d扫描仪)61来检测第2对象物的位置和姿势，这一情况相当于生成锁定托架和铰接托架相对于门框架11的最终位置修正时移动后的位置和姿势。在该最终位置修正的处理中，取下第1位置信息生成装置(激光跟踪器)70，将第1位置信息生成装置(激光跟踪器)70的原点作为虚构原点来利用，并且利用第2位置信息生成装置(3d扫描仪)61测定第2对象物的位置和姿势。此时，也可以根据需要移动在最终位置修正中使用的第2位置信息生成装置(3d扫描仪)61来扩大拍摄范围。作为此时的第2位置信息生成装置(3d扫描仪)61的移动方式，在为6轴机器人那样的绝对空间坐标的误差较大的装置的情况下，点云精度显著降低，因此，优选高精度的直动或以旋转尽可能少的轴数运用的形式。当然，也可以在固定状态下使用第2位置信息生成装置(3d扫描仪)61。
67.在最终位置修正的校正时执行上述的一系列的处理。换言之，仅在定期校正时需
要第1位置信息生成装置(激光跟踪器)70，在除此以外的状况下，能够取下第1位置信息生成装置(激光跟踪器)70。因此，不需要设置多个生产线、设备各自所专用的第1位置信息生成装置(激光跟踪器)70，能够在多个生产线、设备中重复使用第1位置信息生成装置(激光跟踪器)70。
68.如以上那样，本实施方式的对象物的检测方法具有：利用第1位置信息生成装置测定第1对象物的位置和姿势的步骤；利用第2位置信息生成装置测定上述第1对象物的位置和姿势的步骤；基于由上述第1位置信息生成装置测定出的上述第1对象物的位置和姿势、与由上述第2位置信息生成装置测定出的上述第1对象物的位置和姿势的位置关系，来计算上述第1位置信息生成装置和上述第2位置信息生成装置的从一方相对于另一方的位置和姿势的步骤；以及利用上述第1位置信息生成装置和上述第2位置信息生成装置的从一方相对于另一方的位置和姿势，通过上述第2位置信息生成装置测定第2对象物的位置和姿势的步骤。由此，能够通过简单的方法和结构进行对象物的检测。通过基于3d扫描仪和形状标记进行最终位置修正，从而在多个生产线、设备中共用高价的激光跟踪器，而不在各生产线设置单独的激光跟踪器(无激光跟踪器)，能够实现降低成本。
69.本技术基于2022年3月24日申请的日本特愿2022-048767。其内容全部包含于此。

技术特征：
1.一种对象物的检测方法，其特征在于，所述对象物的检测方法具有：利用第1位置信息生成装置测定第1对象物的位置和姿势的步骤；利用第2位置信息生成装置测定所述第1对象物的位置和姿势的步骤；基于由所述第1位置信息生成装置测定出的所述第1对象物的位置和姿势、与由所述第2位置信息生成装置测定出的所述第1对象物的位置和姿势的位置关系，来计算所述第1位置信息生成装置和所述第2位置信息生成装置的从一方相对于另一方的位置和姿势的步骤；以及利用所述第1位置信息生成装置和所述第2位置信息生成装置的从一方相对于另一方的位置和姿势，通过所述第2位置信息生成装置测定第2对象物的位置和姿势的步骤。2.根据权利要求1所述的对象物的检测方法，其特征在于，所述第1对象物与所述第2对象物的至少一方包含三棱锥的形状。3.根据权利要求1所述的对象物的检测方法，其特征在于，所述第1对象物与所述第2对象物的至少一方包含3个球的形状。4.根据权利要求1或2所述的对象物的检测方法，其特征在于，所述第2对象物设置于把持工件的机器人臂的前端侧。5.根据权利要求1或2所述的对象物的检测方法，其特征在于，还具有以下的步骤，在该步骤中，取下所述第1位置信息生成装置，所述第2位置信息生成装置利用所述第1位置信息生成装置的原点作为虚构原点，并且由所述第2位置信息生成装置测定所述第2对象物的位置和姿势。6.根据权利要求1或2所述的对象物的检测方法，其特征在于，所述第1位置信息生成装置是激光跟踪器，所述第2位置信息生成装置是3d扫描仪。7.一种对象物的检测装置，其特征在于，所述对象物的检测装置具有：第1位置信息生成装置，其测定第1对象物的位置和姿势；和第2位置信息生成装置，其测定所述第1对象物的位置和姿势，所述对象物的检测装置构成为：基于所述第1位置信息生成装置测定出的所述第1对象物的位置和姿势、与所述第2位置信息生成装置测定出的所述第1对象物的位置和姿势的位置关系，计算所述第1位置信息生成装置和所述第2位置信息生成装置的从一方相对于另一方的位置和姿势，利用所述第1位置信息生成装置和所述第2位置信息生成装置的从一方相对于另一方的位置和姿势，通过所述第2位置信息生成装置测定第2对象物的位置和姿势。

技术总结
本发明提供一种能够通过简单的方法和结构进行对象物的检测的对象物的检测方法和检测装置。对象物的检测方法的特征在于，其具有：利用第1位置信息生成装置测定第1对象物的位置和姿势的步骤；利用第2位置信息生成装置测定第1对象物的位置和姿势的步骤；基于由第1位置信息生成装置测定出的第1对象物的位置和姿势、与由第2位置信息生成装置测定出的第1对象物的位置和姿势的差异，计算第1位置信息生成装置和第2位置信息生成装置的从一方相对于另一方的位置和姿势的步骤；以及利用第1位置信息生成装置和第2位置信息生成装置的从一方相对于另一方的位置和姿势，通过第2位置信息生成装置测定第2对象物的位置和姿势的步骤。成装置测定第2对象物的位置和姿势的步骤。成装置测定第2对象物的位置和姿势的步骤。


技术研发人员：奥村祐 松下直史 中村纯也 内山友和 藤野真司 隐家元弘 八木恒平 平野慎也 藤山仁
受保护的技术使用者：株式会社多摩机电 平野慎也 匠斗设备株式会社
技术研发日：2023.03.22
技术公布日：2023/9/26