具有校正功能的对象物的检测方法和检测装置与流程

1.本发明涉及具有校正功能的对象物的检测方法和检测装置。


背景技术：

2.以往，公知有在通过臂机器人把持工件的状态下将该工件与其他工件焊接的技术。在这种情况下，使用专用的定位机构(包括定位用的模具、夹具)，进行臂机器人以及被该臂机器人把持的工件的定位(位置、姿势的检测)。但是，必须另外设置定位机构，因此，设备费较高，且需要较大的设备的设置空间。并且，需要与车型对应的量的定位机构，因此，在车型较多的情况下，切换次数较多而导致总计的切换时间变长。此外，每次启用新车型时都将会产生相同的问题。
3.专利文献1记载有用于在空间内通过工业用机器人将至少一个物体定位于最终姿势的方法。在该方法中，为了将物体定位，使用第1工业用机器人、第1光学拍摄装置、至少一个第2光学拍摄装置。第1工业用机器人位置能够向规定的位置进行位置调整。第1光学拍摄装置在三维的空间坐标系中被校正，从而在已知的方向上定位于已知的第1位置。第2光学拍摄装置在空间坐标系中被校正，从而在已知的方向上定位于已知的第2位置。
4.第1光学拍摄装置具有第1相机、第1驱动单元以及第1角度测定单元。第1相机为了在规定的第1视野内拍摄图像而被光学校正。第1驱动单元是用于为了对第1视野进行位置调整而决定第1相机的方向的结构要素。第1角度测定单元检测第1相机的角度方向，并在空间坐标系中被用于求出第1视野的空间坐标系校正。
5.第2光学拍摄装置具有第2相机、第2驱动单元以及第2角度测定单元。第2相机为了在规定的第2视野内拍摄图像而被光学校正。第2驱动单元是用于为了对第2视野进行位置调整而决定第2相机的方向的结构要素。第2角度测定单元检测第2相机的角度方向，在空间坐标系中被用于求出第2视野的空间坐标系校正。
6.专利文献1：日本专利第5290324号公报
7.然而，专利文献1没有相对于外部环境的变化(气温等)进行校正的功能，难以维持最初设定的精度，因此，尚有改进的余地。


技术实现要素：

8.本发明是鉴于以上的问题而完成的，其目的在于提供一种无论外部环境的变化(气温等)如何都能够维持对象物的检测精度的具有校正功能的对象物的检测方法和检测装置。
9.本实施方式的具有校正功能的对象物的检测方法的特征在于，其具有：计算定量值的步骤；利用第1位置信息生成装置测定第1对象物的步骤；利用第2位置信息生成装置测定第2对象物的步骤；基于上述第1位置信息生成装置对上述第1对象物的测定值、上述第2位置信息生成装置对上述第2对象物的测定值、以及上述定量值，计算以上述第1位置信息生成装置为基准的上述第2对象物的位置的步骤；以及在利用上述第2位置信息生成装置测
定第3对象物之前校正上述定量值的步骤。
10.根据本发明，能够提供无论外部环境的变化(气温等)如何都能够维持对象物的检测精度的具有校正功能的对象物的检测方法和检测装置。
附图说明
11.图1是表示点云数据的各点信息的表现的一个例子的图。
12.图2是表示4
×
4矩阵中的原点的表现的一个例子的图。
13.图3是表示使用了4
×
4矩阵的原点计算的一个例子的图。
14.图4是表示应用了本实施方式的具有校正功能的对象物的检测方法和检测装置的车辆部件的焊接装置的结构的第1例的图。
15.图5是表示应用了本实施方式的具有校正功能的对象物的检测方法和检测装置的车辆部件的焊接装置的结构的第2例的图。
16.图6是表示应用了本实施方式的具有校正功能的对象物的检测方法和检测装置的车辆部件的焊接装置的结构的第3例的图。
17.图7是表示形状标记的第1例的图。
18.图8是表示形状标记的第2例的图。
19.图9是表示第2位置信息生成装置与位置修正用标记之间的位置校正处理的一个例子的图。
具体实施方式
20.首先，进行本说明书中的用语的定义。
21.本说明书中的“位置信息生成装置(3d扫描仪)”是用于将工件(例如，上窗框、立柱窗框、门框架、托架等)及其把持装置(例如，机器人臂等)、以及其他的目标(例如，设置于机器人臂或其附近的标记、固定物等)的形状信息获取为点云数据的装置。点云数据的各点信息能够替换为“对象物的位置和姿势”。点云数据的各点信息(对象物的位置和姿势)能够用将以3d扫描仪原点作为原点的坐标x，y，z及其法线方向i，j，k的数值来表示。在本说明书中，有时将“3d扫描仪”称为“第2位置信息生成装置”。
22.本说明书中的“位置信息生成装置(激光跟踪器)”例如是能够将目标的三维信息(位置信息、角度)计算为自身的坐标系基准的装置。“位置信息生成装置(激光跟踪器)”例如通过照射激光且使从目标反射的激光返回至发光源，从而获取目标的三维位置信息。目标的三维信息(位置信息、角度)能够替换为“对象物的位置和姿势”。“位置信息生成装置(激光跟踪器)”由于测定范围大，所以若存在“位置信息生成装置(激光跟踪器)”和目标或后述的带标记的接触式探头那样的装置，则能够高精度地计算各设备间的尺寸、精度、原点位置等。在本说明书中，有时将“位置信息生成装置(激光跟踪器)”称为“第1位置信息生成装置”。
23.本说明书中的“标记”例如是用于通过第1位置信息生成装置(激光跟踪器)、第2位置信息生成装置(3d扫描仪)获取位置坐标和角度的目标的一种。以第1位置信息生成装置(激光跟踪器)或第2位置信息生成装置(3d扫描仪)为原点计算“标记”的位置坐标和角度。其能够用坐标x，y，z和角度rx，ry，rz表示，角度rx，ry，rz分别如后述那样能够用4
×
4的矩
阵数据(matrix data)来表示，该4
×
4的矩阵数据使用了从基准x轴、基准y轴、基准z轴变更姿势后对应的单位向量(i，j，k)和从基准点起的移动量(x，y，z)的。“标记”例如安装于机器人臂前端的把持部等，为了将以第1位置信息生成装置(激光跟踪器)或第2位置信息生成装置(3d扫描仪)为原点的机器人臂的动作精度(把持部的三维空间上的绝对位置)获取为数值而使用。此外，除此之外，广泛使用安装于后述那样的通过接触测量对象工件那样的带标记的接触式探头、非接触地测量对象工件的3d扫描仪的类型等。无论哪种测量信息，都为了利用第1位置信息生成装置(激光跟踪器)或第2位置信息生成装置(3d扫描仪)的原点进行配置而被使用。
24.本说明书中的“带标记的接触式探头”例如在通过第1位置信息生成装置(激光跟踪器)或第2位置信息生成装置(3d扫描仪)锁定了“带标记的接触式探头”的目标部的状态下，使探头前端触碰到对象工件进行测定，从而能够计算以第1位置信息生成装置(激光跟踪器)或第2位置信息生成装置(3d扫描仪)为原点的对象工件的三维空间上的位置。
25.本说明书中的“带标记的3d扫描仪”例如在通过第1位置信息生成装置(激光跟踪器)锁定了“带标记的3d扫描仪”的目标部的状态下对对象工件进行3d扫描，由此能够根据距第1位置信息生成装置(激光跟踪器)的原点的标记原点坐标/角度和距标记原点的第2位置信息生成装置(3d扫描仪)的原点坐标/角度(后述)，将由第2位置信息生成装置(3d扫描仪)获取到的点云信息计算为第1位置信息生成装置(激光跟踪器)的原点。对于标记原点位置与第2位置信息生成装置(3d扫描仪)的原点位置的关系而言，通过在安装时刻使用第1位置信息生成装置(激光跟踪器)和带标记的接触式探头计算成为基准的块的位置信息，并使计算出的成为基准的块的位置信息与由第2位置信息生成装置(3d扫描仪)拍摄到的基准块的位置信息进行匹配(校准)，由此计算第2位置信息生成装置(3d扫描仪)的原点/角度信息。通常，第2位置信息生成装置(3d扫描仪)具有若扩大拍摄范围则精度降低的特征，因此，不适合和大范围的拍摄，在后述那样的设备整体的运用中，第2位置信息生成装置(3d扫描仪)单体存在极限。因此，为了扩大拍摄范围、测定范围而考虑使用了第1位置信息生成装置(激光跟踪器)的对策。但是，如后述那样，在本实施方式的对象物的检测方法和检测装置中，通过适当地组合第1位置信息生成装置(激光跟踪器)和第2位置信息生成装置(3d扫描仪)，能够将第1位置信息生成装置(激光跟踪器)仅用于初始设定(校准)，其后基于第2位置信息生成装置(3d扫描仪)和形状标记执行最终位置修正。因此，例如，不需要设置多个生产线各自所专用的第1位置信息生成装置(激光跟踪器)，能够在多个生产线中重复使用第1位置信息生成装置(激光跟踪器)。
26.本说明书中的“点云数据”例如是指通过使用3d扫描仪(相机)等设备对工件(例如，上窗框、立柱窗框、门框架、托架等)进行3d扫描(拍摄工件)而获取的工件的三维信息。另外，例如如图1所示，点云数据的各点信息能够用坐标x，y，z及其法线方向i，j，k的数值(图1)表示。图1的例子中，描绘点云1、点云2、点云3、点云4、点云5、点云＊＊。
27.本说明书中的“基准数据”例如是指成为工件(例如，上窗框、立柱窗框、门框架、托架等)的设计上的基准的数据(例如，主工件数据、设计值数据、原始数据、cad数据)。
28.本说明书中的“形状匹配点云数据”是指使上述的“点云数据”匹配到“基准数据”而得的点云数据。
29.本说明书中的“移动矩阵”和“逆矩阵”例如通过4
×
4的矩阵数据(matrix data)来
表示。例如，如图2所示，“移动矩阵”和“逆矩阵”作为从原点、基准原点至某个目标原点为止的位置的信息来表示。左起第一列表示从基准x轴变更姿势后对应的单位向量(i，j，k)，左起第二列表示从基准y轴变更姿势后对应的单位向量(i，j，k)，左起第三列表示从基准z轴变更姿势后对应的单位向量(i，j，k)，从左起第四列表示从基准点起的移动量(x，y，z)。
30.若使用矩阵，则能够如图3那样使用矩阵对各坐标的移动量进行计算。通过进行该矩阵计算，能够计算各坐标系的位置、角度的量。对于使上述的点云数据与基准数据匹配时的移动，也能够用4
×
4的矩阵数据来表示。此外，通过对该4
×
4的矩阵数据进行逆矩阵变换，也能够输出使基准数据与点云数据匹配的移动的4
×
4的矩阵数据。在图3中，分别用4
×
4的矩阵数据表示原点基准、从原点基准观察的原点a、从原点b观察的原点a、从原点基准观察的原点b、原点b的逆矩阵。
31.图4、图5是表示应用了本实施方式的具有校正功能的对象物的检测方法和检测装置的车辆部件的焊接装置1的结构的第1、第2例的图。
32.焊接装置1具有位于装置中央部的固定夹具(例如流水作业系统的夹具)10。固定夹具10例如在固定状态下支承将上窗框(前主框架)的端部与立柱窗框(前立柱框架)的端部以对位状态焊接而成的门框架11。固定夹具10与门框架11的相对位置关系也可以在每次装卸工件时变化，因此，不需要通常的夹具所要求的重复定位功能(由于通过后述的逆矩阵而求出门框架11的工件位置)。因此，固定夹具10可以固定门框架11的任何位置。另外，为了方便作图，图4描绘固定夹具10支承了门框架11的状态，图5描绘固定夹具10没有支承门框架11的状态(省略了门框架11来进行描绘)。
33.焊接装置1具有夹着固定夹具10的分别位于图中的左侧和右侧的机器人臂20和机器人臂30。机器人臂20例如由具有多个轴(例如6轴)的臂机器人构成，为了使机器人臂20的前端部的把持部21所把持的锁定托架(在图4中在对话框中描绘)与门框架11的规定的部位对位而运动(移动)。此外，在机器人臂20的前端部的把持部21的附近设置有位置修正用标记22。位置修正用标记22例如具有能够被后述的第1位置信息生成装置(激光跟踪器)70追踪的反射器。机器人臂30例如由具有多个轴(例如6轴)的臂机器人构成，为了使机器人臂30的前端部的把持部31所把持的铰接托架(在图4中在对话框中描绘)与门框架11的规定的部位对位而运动(移动)。此外，在机器人臂30的前端部的把持部31的附近设置有位置修正用标记32。位置修正用标记32例如具有能够被后述的第1位置信息生成装置(激光跟踪器)70追踪的反射器。
34.机器人臂20与锁定托架(在图4中在对话框中描绘)的相对位置关系、和机器人臂30与铰接托架(在图4中在对话框中描绘)的相对位置关系也可以在每次装卸工件时变化，因此，不需要通常的夹具所要求的重复定位功能(由于通过后述的逆矩阵，求出锁定托架和铰接托架的工件把持位置)。因此，机器人臂20可以把持锁定托架的任何位置，机器人臂30也可以把持铰接托架的任何位置。只要是确保了固定夹具10与门框架11的相对位置精度、机器人臂20与锁定托架的相对位置精度、以及机器人臂30与铰接托架的相对位置精度并且确保了机器人空间坐标的绝对定位精度那样的装置(例如，加工中心那样的机床)，就能够进行高精度的定位。
35.焊接装置1在固定夹具10与机器人臂20之间的在进深方向上偏离的位置具有焊接机器人40，在固定夹具10与机器人臂30之间的在进深方向上偏离的位置具有焊接机器人
50。焊接机器人40例如由具有多个轴(例如6轴)的臂机器人构成，通过设置于前端部的焊接喷嘴41，将固定夹具10支承的门框架11、与机器人臂20的把持部21把持的锁定托架在规定的对位状态下进行焊接。焊接机器人50例如由具有多个轴(例如6轴)的臂机器人构成，通过设置于前端部的焊接喷嘴51，将固定夹具10支承的门框架11、与机器人臂30的把持部31把持的铰接托架在规定的对位状态下进行焊接。
36.焊接装置1具有3d扫描仪支承臂60，上述3d扫描仪支承臂60在固定夹具10的后方并且夹在焊接机器人40与焊接机器人50之间。3d扫描仪支承臂60例如由具有多个轴(例如6轴)的臂机器人构成，在臂前端部设置有第2位置信息生成装置(3d扫描仪)61和位置修正用标记62。位置修正用标记62例如具有能够被后述的第1位置信息生成装置(激光跟踪器)70追踪的反射器。
37.焊接装置1也可以与第1位置信息生成装置(激光跟踪器)70组合使用。第1位置信息生成装置(激光跟踪器)70将焊接装置1的各结构要素(例如，固定夹具10支承的门框架11、机器人臂20把持的锁定托架、机器人臂30把持的铰接托架、机器人臂20的位置修正用标记22、机器人臂30的位置修正用标记32、3d扫描仪61、3d扫描仪61的位置修正用标记62)作为目标，将其三维信息(位置信息、角度)计算为自身的坐标系基准。
38.如图4、图5所示，在焊接机器人40的侧方(与3d扫描仪支承臂60之间)设置有位置校正用基准台，在该位置校正用基准台的上方设置有形状标记(固定物、金属块)80。对于形状标记80的具体结构和功能，之后将详细地进行说明。形状标记80与第1位置信息生成装置(激光跟踪器)70及第2位置信息生成装置(3d扫描仪)61配合来发挥对象物的检测(位置、姿势的检测)的校正功能。并且，在位置校正用基准台，位于形状标记80的稍下方而设置有位置修正用标记(第5对象物)42。
39.在本实施方式中，通过使用带标记的3d扫描仪61对固定夹具10支承的门框架11、机器人臂20把持的锁定托架、机器人臂30把持的铰接托架进行扫描(拍摄)，从而获取它们的点云数据(三维信息)。即，带标记的3d扫描仪61作为“点云数据获取部”发挥功能。而且，通过在由第1位置信息生成装置(激光跟踪器)70虚拟锁定了带标记的3d扫描仪61的状态下进行点云获取，从而以第1位置信息生成装置(激光跟踪器)70为原点来计算由带标记的3d扫描仪61获取到的点云数据(作为伴随着第1位置信息生成装置(激光跟踪器)70的虚拟锁定的虚构原点来进行计算)。该点云数据例如用各点的坐标x，y，z及其法线方向i，j，k表示，点云数据的原点用4
×
4的矩阵数据(matrix data)表示(对于详情将进行后述)。
40.另外，在点云数据的获取时，也可以不是对固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的整体进行3d扫描，而是仅对固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的一部分、例如成为用于产品评价的基准的部位进行3d扫描。该3d扫描可以是一边使2d扫描仪移动一边进行点云获取的方式，可以是将3d扫描仪定位来扫描的方式，也可以是将固定后的3d扫描设置于多处位置来扫描的方式。如后述那样，能够在使点云数据与基准数据匹配时将基准数据上的任意位置以所需的数量设定为基准并进行对位。此外，能够对该各基准设定优先度，使重要度更高的部分的对位优先。由此，能够进行基准数据与点云数据的对位方式的控制。在本实施方式中，在各基准部的误差量较大的情况下，存在机器人臂20把持的锁定托架和机器人臂30把持的铰接托架的与门框架11的焊接部彼此干涉的可能性，因此，
通过比其他基准部更高地设定焊接部的优先度，能够使焊接部的形状匹配优先来进行定位。
41.此外，在本实施方式中，预先预备(准备)成为固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的设计上的基准的基准数据(例如cad数据)。该基准数据包括原点(例如车辆原点，在这种情况下，车辆原点＝位置信息生成装置原点)，并且能够成为固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的对位状态的数据。而且，在本实施方式中，使用后述的控制部，计算使点云数据与包括原点(车辆原点)的基准数据对位后的形状匹配点云数据。此外，使点云数据移动至基准数据时的移动量、基准数据以及形状匹配点云数据的原点用4
×
4的矩阵数据(matrix data)来表示(对于详情将进行后述)。
42.形状匹配点云数据的原点坐标与使利用位置信息生成装置原点获取到的点云数据的原点移动后的情况相同。通过对使点云数据与该基准数据匹配时的4
×
4的矩阵数据(matrix data)进行逆矩阵变换，从而与使基准数据与点云数据匹配的情况相同，因此成为对点云数据赋予了原点的形式(是以点云数据基准表示由基准数据原点表示的形状匹配点云数据的状态的形式)。通过该方式，实现对不存在原点的点云数据赋予cad原点信息。
43.使固定夹具10支承的门框架11、机器人臂20把持的锁定托架、机器人臂30把持的铰接托架的点云数据与cad数据(基准数据)匹配这样的移动的结果能够用移动了原点这样的矩阵来记载(即等效)。通过对矩阵进行逆矩阵变换，求出使cad数据(基准数据)与点云数据匹配的移动量。使点云数据与cad数据(基准数据)匹配相当于正矩阵，使cad数据(基准数据)与点云数据匹配相当于逆矩阵(若从正矩阵观察，则相当于返回至原点)。即，若从原点观察，则使cad数据(基准数据)与点云数据匹配后的状态移动，以使cad坐标与点云数据匹配。例如，在能够利用cad坐标系那样的位置再现固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的一部分的实际的工件配置的情况下，其一部分的位置是已知的，因此，仅通过固定夹具10支承的门框架11、机器人臂20把持的锁定托架、机器人臂30把持的铰接托架的其他部分的矩阵计算也能够进行原点间的计算(在这种情况下，不需要逆矩阵变换)。
44.第1位置信息生成装置(激光跟踪器)70通过始终对位置修正用标记22、32进行位置监视(持续追踪)，从而对机器人臂20把持的锁定托架、机器人臂30把持的铰接托架的对位(微小驱动)进行辅助。机器人臂20、30通过第1位置信息生成装置(激光跟踪器)70和位置修正用标记22、32被预先校准，提高了空间坐标中的绝对精度。
45.在测量安装于机器人臂20、30的位置修正用标记22、32时，通过将机器人臂20把持的锁定托架、机器人臂30把持的铰接托架的车辆原点置换为标记，能够始终由第1位置信息生成装置(激光跟踪器)70监视三维坐标。此外，通过操作标记目标位置与当前位置的差异来修正最终位置，从而强制性地提高机器人的空间坐标精度。
46.图6是表示应用了本实施方式的具有校正功能的对象物的检测方法和检测装置的车辆部件的焊接装置1的结构的第3例的图。图6例示并描绘了用于执行基于上述的点云数据、基准数据以及形状匹配点云数据的机器人臂20、30(把持部21、31)的运动(移动)控制的功能结构要素。各功能结构要素构成了由cpu(central processing unit)构成的控制部90的一部分。
47.控制部90具有点云数据获取部91、基准数据获取部92、移动矩阵运算部93、逆矩阵运算部94、目标移动矩阵运算部95、以及机器人臂控制部96。
48.点云数据获取部91获取(被输入)通过第1位置信息生成装置(激光跟踪器)70和第2位置信息生成装置(3d扫描仪)61生成的固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的点云数据(三维信息)。该点云数据也可以是以第1位置信息生成装置(激光跟踪器)70为原点(虚构原点)的点云数据。
49.基准数据获取部92获取(存储)成为固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的设计上的基准的基准数据(例如cad数据)。该基准数据包括原点(例如车辆原点，在这种情况下，车辆原点＝位置信息生成装置原点)，并且能够成为固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的对位状态的数据。
50.移动矩阵运算部93运算用于使点云数据与固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架的对位状态的基准数据对位的移动矩阵。通过该移动矩阵运算，得到基于移动矩阵使点云数据与基准数据对位后的形状匹配点云数据。
51.逆矩阵运算部94对使点云数据与由移动矩阵运算部93求出的基准数据匹配时的4
×
4的矩阵数据(matrix)进行逆矩阵变换。通过本变换，成为对上述的点云数据赋予了原点的形式(成为用点云数据基准表示用基准数据原点表示的形状匹配点云数据的状态的形式)。通过该方式，实现了对不存在原点的点云数据赋予cad原点信息。
52.目标移动矩阵运算部95能够分别针对固定夹具10支承的门框架11、机器人臂20把持的锁定托架、以及机器人臂30把持的铰接托架，使用逆矩阵，从赋予了原点(车辆原点)的状态开始，计算从锁定托架和铰接托架的原点至另一方的原点为止的移动量。
53.机器人臂控制部96基于移动矩阵和逆矩阵的至少一方，利用机器人臂20使锁定托架移动，利用机器人臂30使铰接托架移动，由此使锁定托架和铰接托架定位于门框架11。更具体而言，机器人臂控制部96基于移动矩阵和逆矩阵的至少一方，例如使机器人臂20、30的各轴(6轴)进行微小动作，直至使作为定位对象的锁定托架和铰接托架从初始位置、当前位置到达至目标位置。此时的微小动作量的指令值是从第1位置信息生成装置(激光跟踪器)70观察时的位置修正用标记22、32的当前位置与目标位置的差异。利用系数调整、动作次数设定该微少动作量的数值，由此能够进行不依赖于机器人的精度的定位。即，在本实施方式中，通过下述的(1)和(2)这两个阶段，来执行工件彼此(锁定托架和铰接托架)的定位，其中上述阶段(1)是基于移动矩阵与逆矩阵的至少一方的工件(把持部)的移动(例如以通过逆矩阵而附加于锁定托架和铰接托架的原点为基础以某一方的原点为基准向另一方的原点移动)，上述阶段(2)是基于位置修正用标记22、32的锁定托架和铰接托架的移动(基于位置修正用标记22、32的修正定位，修正阶段(1)的动作误差)。在由机器人臂控制部96进行的锁定托架和铰接托架的定位状态下，通过焊接机器人40、50将两者的焊接部焊接。
54.控制部90的功能也能够如以下那样表现。即，控制部90获取三维数据(例如点云数据)，并且获取手与工件的相对位置数据(例如基准数据)。控制部90执行用于使获取到的三维数据(例如点云数据)与相对位置数据(例如基准数据)最佳适配(best fit)的空间定位处理。控制部90输出手对工件的移动量坐标值。控制部90通过基于机器人逆向运动学的6轴
计算，执行手和工件的运动(移动)控制。
55.本实施方式的定位处理例如通过以下的处理步骤来执行。首先，使锁定托架和铰接托架的点云数据与cad数据(基准数据)对位，利用作为4
×
4的矩阵数据(matrix data)的移动矩阵输出其移动量。由此，关于锁定托架和铰接托架，得到基于移动矩阵使点云数据与基准数据对位后的形状匹配点云数据。此外，使门框架11的点云数据与cad数据(基准数据)对位，利用作为4
×
4的矩阵数据(matrix data)的移动矩阵输出其移动量。由此，关于门框架的11，得到基于移动矩阵使点云数据与基准数据对位后的形状匹配点云数据。此外，通过根据计算出的移动矩阵执行逆矩阵运算(inverse matrix operation)，从而对点云数据赋予原点。即，以一方的原点为基准来匹配另一方的原点。或者，也可以构成为：通过使形状匹配点云数据移动，从而使基准数据的原点(车辆原点)一同移动，使锁定托架、铰接托架、门框架11的移动后的原点彼此匹配。此外，使用计算出的逆矩阵，对锁定托架、铰接托架、以及门框架11的点云数据赋予坐标值(例如cad坐标)。而且，在以原点(车辆原点)为基准的坐标系中，计算点云数据的移动量，基于计算出的移动量，使把持锁定托架和铰接托架的机器人臂20、30移动，由此使锁定托架和铰接托架定位于门框架11。在本实施方式中，由于门框架11固定且锁定托架和铰接托架可动，所以该移动量相当于锁定托架和铰接托架相对于门框架11的移动量(从锁定托架和铰接托架的cad坐标到门框架11的cad坐标的移动量)。最后，基于计算出的锁定托架和铰接托架相对于门框架11的移动量，使锁定托架和铰接托架相对于门框架11移动，由此使锁定托架和铰接托架相对于门框架11定位。
56.使本实施方式的点云数据与基准数据对位的过程例如包括使点云信息以强制数值(定量值)移动的强制数值移动步骤、使点云整体与cad整体形状进行对位的整体形状匹配的最佳适配步骤、以及与基准部位例如成为产品评价的基准的部位匹配并进行详细对位的基准对位步骤。
57.然而，例如，在焊接装置1的初始设定时(校准时)，通过第1位置信息生成装置(激光跟踪器)70每次测量第2位置信息生成装置(3d扫描仪)61的位置修正用标记62的位置、姿势。此外，如上述那样，3d扫描仪61支承于3d扫描仪支承臂60的前端侧，将第2位置信息生成装置(3d扫描仪)61所得到的点云数据置换为第1位置信息生成装置(激光跟踪器)70的原点数据。
58.然而，在运转时第2位置信息生成装置(3d扫描仪)61、其周边金属升温(例如20℃)而引起热膨胀，由此3d扫描仪61的位置精度产生偏差，其结果是，导致3d扫描仪61的初始原点与3d扫描仪61的升温后原点偏离，对象物(例如锁定托架、铰接托架、以及门框架11)的对位的精度可能恶化。由此，若持续对一直放置于相同位置的工件进行3d扫描(将获取到的点云信息变换为激光跟踪器原点)，则产生获取到的点云数据的位置、姿势随着时间经过(升温经过)而产生偏差的问题。
59.因此，在本实施方式中，若能够计算从第1位置信息生成装置(激光跟踪器)70到形状标记80的距离，则能够计算从第2位置信息生成装置(3d扫描仪)61到位置修正用标记62的尺寸，着眼于此，在进入于实际的工件测定之前，再次测定3d扫描仪61与位置修正用标记62之间的尺寸，追加两者的位置校正功能。通过定期地校正根据温度等环境状况而变化的3d扫描仪61的原点位置例如每1个循环进行1次校正，从而能够与温度等环境状况对应地始终持续维持高精度的位置、姿势的检测。
60.图7a～图7d是表示形状标记(固定物，金属块)80的第1例的图。在图7a～图7d中，形状标记80包含三棱锥的形状。形状标记80具有：基部82，在附图标记83a面观察时(例如从与附图标记83a的面垂直的方向观察时)成为直角三角形形状；3个侧面部83，向俯视直角三角形形状的中心部延伸；以及顶面部84，在切取了3个侧面部83的集合部分的附图标记83a面观察时(例如从与附图标记83a的面垂直的方向观察时)为直角三角形形状。在俯视时，基部82和顶面部84具有相似形的直角三角形形状。也可以为了在后述的坐标提取时确定哪个坐标轴朝向哪里而设置局部平面部83a。或者，用颜色区分开一部分的面来确定坐标轴等、确定朝向的方法可以是任意的。即，包含三棱锥的形状这一情况也包含具有图7a～图7d那样的顶面部84的形状。
61.图8是表示形状标记(固定物、金属块)80的第2例的图。在图8中，形状标记80包含3个球85的形状。能够通过3个球85中的一个掌握对象物的位置，并能够通过3个掌握对象物的姿势。通过连结由3个球85规定的点，能够掌握以相互正交的x轴、y轴、z轴为基准的空间坐标(三维坐标)中的对象物的位置和姿势。为了在后述的坐标提取时确定哪个坐标轴朝向哪里，3个球的配置也可以配置为尺寸分别不同。或者，用颜色区分开一部分的面而确定坐标轴等、确定朝向的方法也可以是任意的。
62.图7a～图7d和图8所示的形状标记80的形状只不过是一个例子，能够进行各种设计变更。形状标记80只要是能够掌握以相互正交的x轴、y轴、z轴为基准的空间坐标(三维坐标)中的对象物的位置和姿势的标记即可。例如对于包含图7a～图7d的三棱锥的形状的标记，根据83a的点云的平均平面和83b的点云的平均平面，将两平面相交的交线计算为x轴，根据83b的点云的平均平面和83c的点云的平均平面，将两平面相交的交线计算为y轴，根据x轴和y轴的关系计算剩余的z轴，由此能够确定形状标记80的姿势。若此时形状标记80旋转，则在计算上可能不知道x轴、y轴、z轴的朝向，因此，若存在上述那样的确定标记的朝向那样的形状差，则通过使该部分成为z轴方向等进行定义，从而即便形状标记80旋转也能够准确地求出其姿势。对于位置，能够通过根据83a、83b、83c的点云的平均平面的交点计算来计算。此时，也可以在顶面部84投影该交点，并使用其位置信息。作为3d扫描的特征，在垂直面获取到的点云信息比扫描了倾斜的面时得到更准确的点云信息，因此，能够通过插入该处理而减少位置误差。对于图8的球，也不是对球的配置进行均衡配置，而是通过对85a、85b、85c这3个球的球之间的尺寸设置差异，从而能够确定x轴、y轴或z轴的方向，并确定形状标记80的朝向。另外，85a、85b、85c这3个球的球之间的间尺寸具有自由度，能够进行各种设计变更。
63.另外，形状标记80也可以设置于把持工件(例如锁定托架、铰接托架)的机器人臂20、30的前端侧。在该情况下，也可以代替机器人臂20、30的位置修正用标记22、32而设置形状标记80，或者也可以除了机器人臂20、30的位置修正用标记22、32之外还设置形状标记80。
64.图9是表示第2位置信息生成装置(3d扫描仪)61与位置修正用标记62之间的位置校正处理的一个例子的图。图9的位置校正处理是用于对以第2位置信息生成装置(3d扫描仪)61和位置修正用标记62的至少一方为基准的第2位置信息生成装置(3d扫描仪)61的原点的位置和姿势亦即定量值进行计算、校正的处理。在本说明书中，第2位置信息生成装置(3d扫描仪)61的位置和姿势是指以第2位置信息生成装置(3d扫描仪)61的原点为基准的值
(参数)。计算初始设定时的定量值(默认值)(c)。使用第1位置信息生成装置(激光跟踪器)70，测定作为第1对象物的位置修正用标记62的位置和姿势(d)。使用第2位置信息生成装置(3d扫描仪)61，测定作为第2对象物的设置于位置校正用基准台的形状标记80的位置和姿势(b)。基于第1位置信息生成装置(激光跟踪器)70对作为第1对象物的位置修正用标记62的测定值(d)、第2位置信息生成装置(3d扫描仪)61对作为第2对象物的设置于位置校正用基准台的形状标记80的测定值(b)、以及初始设定时的定量值(默认值)(c)，计算以第1位置信息生成装置(激光跟踪器)70为基准的作为第2对象物的设置于位置校正用基准台的形状标记80的位置(a)。而且，在使用第2位置信息生成装置(3d扫描仪)61来测定第3对象物(例如，使机器人臂20、30把持的锁定托架、铰接托架对位的门框架11)之前，校正以位置修正用标记62为基准的第2位置信息生成装置(3d扫描仪)61的原点的位置和姿势亦即定量值。具体而言，根据以第1位置信息生成装置(激光跟踪器)70为基准的作为第2对象物的设置于位置校正用基准台的形状标记80的位置(a)，计算第1位置信息生成装置(激光跟踪器)70对作为第1对象物的位置修正用标记62的测定值(d)、和第2位置信息生成装置(3d扫描仪)61对作为第2对象物的设置于位置校正用基准台的形状标记80的测定值(b)，由此校正以位置修正用标记62为基准的第2位置信息生成装置(3d扫描仪)61的原点的位置和姿势亦即定量值(c)。此时，由第2位置信息生成装置(3d扫描仪)61拍摄到的数据在第2位置信息生成装置(3d扫描仪)61的原点以点云出现，匹配从点云提取出的坐标，由此能够求出第2位置信息生成装置(3d扫描仪)61距第1位置信息生成装置(激光跟踪器)70的原点的位置和姿势。
65.用于上述的定量值的计算和/或校正的处理步骤能够包括以下的第1步骤～第4步骤：
66.(1)通过第1位置信息生成装置(激光跟踪器)70测定第2位置信息生成装置(3d扫描仪)61和位置修正用标记62的至少一方的第1步骤(d)；
67.(2)通过第1位置信息生成装置(激光跟踪器)70测定作为第4对象物的形状标记80的第2步骤(a)；
68.(3)通过第2位置信息生成装置(3d扫描仪)61测定作为第4对象物的形状标记80的第3步骤(b)；以及
69.(4)基于第1步骤(d)、第2步骤(a)、第3步骤(b)的测定结果，对以位置修正用标记62为基准的第2位置信息生成装置(3d扫描仪)61的原点的位置和姿势亦即定量值进行计算和/或校正的第4步骤(c)。
70.另外，在上述的说明中，例示了形状标记80兼作第2对象物和第4对象物的情况，但也可以设置与位于位置校正用基准台的形状标记80分开的形状标记，并将它们作为第2、第4对象物。此外，也可以构成为：作为第2位置信息生成装置(3d扫描仪)61的位置偏离校正用的形状标记，设置用于确保第4对象物的位置和姿势的第5对象物(标记)即位置修正用标记42，并追加测定该第5对象物的步骤。作为第1对象物的位置修正用标记62可能因温度而产生位置偏离，因此为了确保精度，也可以构成为：夹设最初预先测定了位置的第5对象物(标记)来进行校正时的测定，并计算和/或校正以位置修正用标记62为基准的第2位置信息生成装置(3d扫描仪)61的原点的位置和姿势亦即定量值。
71.也可以取而代之，将以位置修正用标记62为基准的第2位置信息生成装置(3d扫描仪)61的位置和姿势亦即定量值作为根据第2位置信息生成装置(3d扫描仪)61的温度而不
同的预先决定好的值而保持为表格。而且，也可以参照该表格，基于第2位置信息生成装置(3d扫描仪)61的温度测定，计算和/或校正以位置修正用标记62为基准的第2位置信息生成装置(3d扫描仪)61的位置和姿势亦即定量值。例如，可以参照按照每个规定的温度范围保持了定量值(校正值)的表格来计算与测定温度对应的定量值(校正值)，也可以通过将测定温度代入于以温度为输入参数的计算式来计算定量值(校正值)。
72.例如，在担忧温度等环境变化的规定时机执行以上说明的定量值的校正处理(例如，在每1个循环的3d扫描测定前执行校正处理)。由此，能够校正3d扫描仪与标记之间的位置、姿势来吸收由环境影响(温度)引起的偏差。
73.如以上那样，本实施方式的对象物的检测方法具有：计算定量值的步骤；利用第1位置信息生成装置测定第1对象物的步骤；利用第2位置信息生成装置测定第2对象物的步骤；基于上述第1位置信息生成装置对上述第1对象物的测定值、和上述第2位置信息生成装置对上述第2对象物的测定值、以及上述定量值，计算以上述第1位置信息生成装置为基准的上述第2对象物的位置的步骤；以及在利用上述第2位置信息生成装置测定第3对象物之前校正上述定量值的步骤。由此，无论外部环境的变化(气温等)如何，都能够维持对象物的检测精度。能够校正3d扫描仪与标记之间的位置、姿势来吸收由环境影响(温度)引起的偏差。
74.本技术基于2022年3月24日申请的日本特愿2022-048768。其内容全部包含于此。

技术特征：
1.一种具有校正功能的对象物的检测方法，其特征在于，所述具有校正功能的对象物的检测方法具有：计算定量值的步骤；利用第1位置信息生成装置测定第1对象物的步骤；利用第2位置信息生成装置测定第2对象物的步骤；基于所述第1位置信息生成装置对所述第1对象物的测定值、所述第2位置信息生成装置对所述第2对象物的测定值、以及所述定量值，计算以所述第1位置信息生成装置为基准的所述第2对象物的位置的步骤；以及在利用所述第2位置信息生成装置测定第3对象物之前校正所述定量值的步骤。2.根据权利要求1所述的具有校正功能的对象物的检测方法，其特征在于，所述定量值是以所述第2位置信息生成装置与标记的至少一方为基准的所述第2位置信息生成装置的原点的位置和姿势，用于所述定量值的计算和/或校正的处理步骤具有：第1步骤，在该步骤中，利用所述第1位置信息生成装置测定所述第2位置信息生成装置与所述标记的至少一方；第2步骤，在该步骤中，利用所述第1位置信息生成装置测定第4对象物；第3步骤，在该步骤中，利用所述第2位置信息生成装置测定所述第4对象物；以及第4步骤，在该步骤中，基于所述第1步骤、所述第2步骤以及所述第3步骤的测定结果，计算和/或校正所述定量值。3.根据权利要求2所述的具有校正功能的对象物的检测方法，其特征在于，具有测定用于确保所述第4对象物的位置和姿势的第5对象物的步骤。4.根据权利要求1所述的具有校正功能的对象物的检测方法，其特征在于，所述定量值是根据所述第2位置信息生成装置的温度而不同的预先决定好的值，基于所述第2位置信息生成装置的温度测定，计算和/或校正所述定量值。5.根据权利要求1或2所述的具有校正功能的对象物的检测方法，其特征在于，所述第1位置信息生成装置是激光跟踪器，所述第2位置信息生成装置是3d扫描仪。6.一种具有校正功能的对象物的检测装置，其特征在于，所述具有校正功能的对象物的检测装置具有：计算定量值的装置；测定第1对象物的第1位置信息生成装置；以及测定第2对象物的第2位置信息生成装置，所述具有校正功能的对象物的检测装置构成为：基于所述第1位置信息生成装置对所述第1对象物的测定值、所述第2位置信息生成装置对所述第2对象物的测定值、以及所述定量值，计算以所述第1位置信息生成装置为基准的所述第2对象物的位置，在利用所述第2位置信息生成装置测定第3对象物之前，校正所述定量值。

技术总结
本发明提供一种无论外部环境的变化(气温等)如何都能够维持对象物的检测精度的具有校正功能的对象物的检测方法和检测装置。对象物的检测方法的特征在于，其具有：计算定量值的步骤；利用第1位置信息生成装置测定第1对象物的步骤；利用第2位置信息生成装置测定第2对象物的步骤；基于上述第1位置信息生成装置对上述第1对象物的测定值、上述第2位置信息生成装置对上述第2对象物的测定值、以及上述定量值，计算以上述第1位置信息生成装置为基准的上述第2对象物的位置的步骤；以及在利用上述第2位置信息生成装置测定第3对象物之前校正上述定量值的步骤。量值的步骤。量值的步骤。


技术研发人员：奥村祐 松下直史 中村纯也 内山友和 藤野真司 隐家元弘 八木恒平 平野慎也 藤山仁
受保护的技术使用者：株式会社多摩机电 平野慎也 匠斗设备株式会社
技术研发日：2023.03.22
技术公布日：2023/9/26