伪不合格品数据生成方法与流程

1.本发明涉及为了用于具有使用了神经网络的机器学习功能的检查装置等的学习，大量地伪生成其检查对象物的不合格品数据的伪不合格品数据生成方法。


背景技术：

2.近年来，通过具有使用了神经网络的机器学习功能的检查装置，针对各种工业产品、部件等检查对象物，判定是正常品(合格品)还是异常品(不合格品)的验货作业的自动化技术的开发正在推进。在上述这样的检查装置中，通过读入许多被分类为合格品和不合格品的检查对象物的外观的图像数据来进行学习。并且，通过学习了分类基准的检查装置，能够将由摄像机拍摄到的新的检查对象物分类为合格品和不合格品。
3.如上所述，在检查装置的学习中，使用合格品以及不合格品的图像数据，为了提高检查精度，合格品以及不合格品均需要许多的图像数据。但是，在工业产品等的制造现场，一般以尽可能不产生不合格品的方式进行制造，因此虽然合格品的数量多，但不合格品的数量非常少。因此，与能够比较容易地收集的合格品的图像数据(以下称为“合格品数据”)相比，不合格品的图像数据(以下称为“不合格品数据”)的收集困难。因此，考虑伪生成不合格品数据，作为该生成方法，例如已知有专利文献1所记载的方法。
4.在该伪不合格品数据的生成方法中，首先，提取合格品图像与不合格品图像的差分数据。接着，设定要生成伪不合格品数据的数量(生成数)。然后，在每一个伪不合格品数据的生成时，从随机数产生部取得随机数值，使用该随机数值来决定差分数据的写入位置，将合格品图像与差分数据合成。通过将这样的合成处理反复进行生成数相应的次数，来生成所设定的生成数的伪不合格品数据。在先技术文献专利文献
5.专利文献1：日本特开2005-156334号公报


技术实现要素：

发明所要解决的课题
6.在上述的现有的伪不合格品数据的生成方法中，有时会生成相互类似的不合格品数据。因此，即使大量学习那样的不合格品数据，也有可能无法充分提高检查装置的判定精度。
7.本发明为了解决以上那样的课题而作，其目的在于提供一种伪不合格品数据生成方法，能够通过少数的不合格品数据来高效地生成能够有助于判定精度的提高的许多的伪不合格品数据。用于解决课题的手段
8.为了达成上述目的，技术方案1所涉及的发明是用于伪生成许多的检查对象物g为异常品的、检查对象物的外观图像即不合格品数据的伪不合格品数据生成方法，其特征在
于，具备：真实不合格品数据准备工序，将实际拍摄到的检查对象物的多个不合格品数据分别作为真实不合格品数据而准备多个；合格品数据准备工序，准备比真实不合格品数据多的检查对象物为正常品的、检查对象物的外观图像即合格品数据；第一学习工序，通过使给定的深度生成模型学习合格品数据以及真实不合格品数据，生成给定数量以上的混合有合格品数据以及真实不合格品数据的特征的潜在变量；第二学习工序，通过使给定的分类模型学习所生成的潜在变量，生成被分类为与合格品数据对应的潜在变量即合格品潜在变量、和与真实不合格品数据对应的潜在变量即不合格品潜在变量的分类完成合格品/不合格品潜在变量；合格品潜在变量删除工序，通过从分类完成合格品/不合格品潜在变量中删除合格品潜在变量，输出包含与具有合格品数据以及真实不合格品数据的特征的灰色区域数据对应的潜在变量即灰色潜在变量的不合格品潜在变量；第三学习工序，通过使给定的距离学习模型学习包含灰色潜在变量的不合格品潜在变量以及合格品潜在变量，删除灰色潜在变量；以及第四学习工序，通过使深度生成模型学习通过该第三学习工序而得到的不合格品潜在变量，生成比真实不合格品数据的数量多的不合格品数据作为伪不合格品数据。
9.根据该结构，首先，准备多个真实不合格品数据和比其多的合格品数据(真实不合格品数据准备工序以及合格品数据准备工序)。接着，通过使给定的深度生成模型学习所准备的合格品数据以及真实不合格品数据，生成给定数量以上的混合有合格品数据以及真实不合格品数据的特征的潜在变量(第一学习工序)。接着，通过使给定的分类模型学习所生成的潜在变量，生成被分类为合格品潜在变量和不合格品潜在变量的分类完成合格品/不合格品潜在变量(第二学习工序)。接着，通过从所生成的分类完成合格品/不合格品潜在变量中删除合格品潜在变量，输出包含与上述的灰色区域数据对应的灰色潜在变量的不合格品潜在变量(合格品潜在变量删除工序)。接着，通过使给定的距离学习模型学习所输出的包含灰色潜在变量的不合格品潜在变量以及合格品潜在变量，从上述的不合格品潜在变量中删除灰色潜在变量(第三学习工序)。然后，通过使深度生成模型学习通过该第三学习工序而得到的不合格品潜在变量，生成比真实不合格品数据的数量多的不合格品数据作为伪不合格品数据(第四学习工序)。
10.如以上这样生成的伪不合格品数据保持与真实不合格品数据的相关关系，并且能够生成比所准备的真实不合格数据多的量，因此通过将这些伪不合格品数据用于具有机器学习功能的检查装置的学习，能够提高用于判定检查对象物的良好与否的检查装置的判定精度。
11.技术方案2所涉及的发明是用于伪生成许多的检查对象物为异常品的、检查对象物的外观图像即不合格品数据的伪不合格品数据生成方法，其特征在于，具备：真实不合格品数据准备工序，将实际拍摄到的检查对象物的多个不合格品数据分别作为真实不合格品数据而准备多个；合格品数据准备工序，准备比真实不合格品数据多的检查对象物为正常品的、检查对象物的外观图像即合格品数据；第五学习工序，通过使给定的深度生成模型学习合格品数据以及真实不合格品数据，生成给定数量以上的混合有合格品数据以及真实不合格品数据的特征的数据作为混合数据；第六学习工序，通过使给定的分类模型学习所生成的混合数据，生成被分类为与合格品数据对应的混合数据即合格品混合数据、和与真实不合格品数据对应的混合数据即不合格品混合数据的分类完成合格品/不合格品混合数
据；合格品混合数据删除工序，通过从分类完成合格品/不合格品混合数据中删除合格品混合数据，而输出包含与具有合格品数据以及真实不合格品数据的特征的灰色区域数据对应的混合数据即灰色混合数据的不合格品混合数据；第七学习工序，通过使给定的距离学习模型学习包含灰色混合数据的不合格品混合数据以及合格品数据，从而删除灰色混合数据；以及第八学习工序，通过使深度生成模型学习通过该第七学习工序而得到的不合格品混合数据，生成比真实不合格品数据的数量多的不合格品数据作为伪不合格品数据。
12.根据该结构，与上述技术方案1同样，准备多个真实不合格品数据和比其多的合格品数据(真实不合格品数据准备工序以及合格品数据准备工序)。接着，通过使给定的深度生成模型学习所准备的合格品数据以及真实不合格品数据，生成给定数量以上的混合有合格品数据以及真实不合格品数据的特征的数据作为混合数据(第五学习工序)。接着，通过使给定的分类模型学习所生成的混合数据，生成被分类为合格品混合数据和不合格品混合数据的分类完成合格品/不合格品混合数据(第六学习工序)。接着，通过从所生成的分类完成合格品/不合格品混合数据中删除合格品混合数据，输出包含与上述的灰色区域数据对应的灰色混合数据的不合格品混合数据(合格品混合数据删除工序)。接着，通过使给定的距离学习模型学习所输出的包含灰色混合数据的不合格品混合数据以及合格品数据，从上述的不合格品混合数据中删除灰色混合数据(第七学习工序)。然后，通过使深度生成模型学习通过该第七学习工序而得到的不合格品混合数据，生成比真实不合格品数据的数量多的不合格品数据作为伪不合格品数据(第八学习工序)。
13.如以上这样生成的伪不合格品数据与上述技术方案1同样，保持与真实不合格品数据的相关关系，并且能够生成比真实不合格数据多的量，因此能够得到与技术方案1同样的效果。
附图说明
14.图1是用于说明用于将通过本发明的一个实施方式的伪不合格品数据生成方法而生成的许多的不合格品数据用于学习的检查系统的概要的图。图2是用于说明伪不合格品数据生成装置的结构及其输入输出数据的框图。图3是用于说明第一实施方式的伪不合格品数据生成方法的流程图。图4是关于第一实施方式的伪不合格品数据生成方法，以图形表示伪不合格品数据生成装置的各学习模型的处理的图。图5是用于说明第二实施方式的伪不合格品数据生成方法的流程图。图6是关于第二实施方式的伪不合格品数据生成方法，与图4同样的图。
具体实施方式
15.以下，参照附图，对本发明的优选实施方式详细进行说明。图1示出了具备使用通过本发明的一个实施方式的伪不合格品数据生成方法而生成的许多的伪不合格品数据、以及许多的合格品数据进行了学习的学习模型的检查系统。该检查系统1例如设置于车辆部件的制造工厂等，通过检查车辆部件的外观来自动地判别所制造的车辆部件(例如缸体)是正常品(合格品)还是异常品(不合格品)。以下，将要检查的车辆部件称为“检查对象物”。
16.如图1所示，检查系统1具备：输送机2，其沿给定方向以给定速度输送检查对象物
g；以及检查装置3，其在检查对象物g到达给定的检查位置时，判定该检查对象物g的良好与否。另外，虽然省略图示，但由检查装置3判定为不合格品的检查对象物g从输送机2去除，或者被输送到不合格品专用的保存场所。
17.检查装置3主要由计算机所构成的信息处理装置构成，具备控制部4、图像取得部5、存储部6、学习部7、输入部8、输出部9以及摄像机10。
18.控制部4具备cpu，控制检查装置3的上述各部5～9以及摄像机10等。图像取得部5取得由摄像机10拍摄到的检查对象物g的外观图像作为数字数据。存储部6具有rom以及ram，存储有在检查装置3的控制中使用的各种程序，并且存储各种数据。学习部7具有学习了用于判别检查对象物g的良好与否的基准的学习模型。输入部8具有由作业者操作的键盘、鼠标，并且构成为能够从外部输入数据、信号。输出部9具有显示检查对象物g的判定结果的显示器等显示设备。
19.图2以框图示出了伪不合格品数据生成装置的结构及其输入输出数据。如该图所示，该伪不合格品数据生成装置11由计算机所构成的信息处理装置构成，具备由软件构成的深度生成模型12(12a、12b)、分类模型13以及距离学习模型14。通过向该伪不合格品数据生成装置11输入许多的合格品数据以及少数的真实不合格品数据，从而输出许多的伪不合格品数据。然后，通过将许多的合格品数据以及许多的伪不合格品数据输入到检查装置3，并使学习部7学习，从而能够得到检查对象物g的良好与否的判定精度高的学习模型。
20.另外，上述的“合格品数据”是检查对象物g为正常品(合格品)的外观的图像数据，“不合格品数据”是检查对象物g为异常品(不合格品)的外观的图像，“真实不合格品数据”是实际拍摄到的检查对象物g的不合格品数据，“伪不合格品数据”是伪生成的检查对象物g的不合格品数据。此外，在以下的说明中，在将合格品数据根据表示其是合格品的标签标注的有无来进行区别的情况下，将被标签标注的合格品数据称为“合格品教师数据”，将未被标签标注的合格品数据称为“合格品非教师数据”。
21.图3对于本发明的第一实施方式的伪不合格品数据生成方法，示出了其过程，图4以图形示出了伪不合格品数据生成装置11的各学习模型12～14的处理。另外，在图4中，将合格品数据以及与其对应的数据用
“○”
表示，将不合格品数据以及与其对应的数据用
“□”
表示，将具有合格品数据以及不合格品数据的特征的灰色区域数据以及与其对应的数据用
“▲”
表示。
22.如图3所示，在本实施方式的伪不合格品数据的生成方法中，首先，在步骤1(图示为“s1”。以下相同)中，准备许多的合格品数据和少数的真实不合格品数据(合格品数据准备工序、真实不合格品数据准备工序)。另外，这些合格品数据以及真实不合格品数据的各数据均是具有给定的像素数、许多特征量的高维的数据。此外，在上述的合格品数据中，均包含有合格品教师数据以及合格品非教师数据。
23.接着，执行深度生成模型12(12a)的学习(步骤2)。具体而言，作为该深度生成模型12a，例如使用变分自动编码器(vae：variational autoencoder)等，使深度生成模型12a学习在步骤1中准备的许多的合格品数据以及少数的真实不合格品数据(第一学习工序)。由此，生成许多(例如2000个(给定数量)以上)混合有合格品数据以及不合格品数据这两者的特征的低维(例如二维)的潜在变量。
24.接着，执行分类模型13的学习(步骤3)。具体而言，作为该分类模型13，例如使用
svc(support vector classifier：支持向量分类器)，将在步骤2中生成的许多的潜在变量分为与合格品数据对应的潜在变量(以下称为“合格品潜在变量”)、和与不合格品数据对应的潜在变量(以下称为“不合格品潜在变量”)这2类(第二学习工序)。此外，在该分类中，与具有合格品数据以及不合格品数据的特征的灰色区域数据对应的潜在变量(以下称为“灰色潜在变量”)被分类到不合格品潜在变量侧。另外，上述的svc通过与合格品教师数据对应的潜在变量和与不合格品数据对应的潜在变量而预先进行了学习。
25.接着，在步骤4中，删除由上述的分类模型13分为2类的潜在变量中的合格品潜在变量(合格品潜在变量删除工序)。由此，输出包含灰色潜在变量的许多的不合格品潜在变量。
26.接着，执行距离学习模型14的学习(步骤5)。具体而言，将在步骤4中输出的、包含灰色潜在变量的许多的不合格品潜在变量、以及与合格品教师数据对应的潜在变量(以下称为“合格品教师潜在变量”)输入到距离学习模型14。在该情况下，使距离学习模型14仅学习合格品教师潜在变量，输入许多的不合格品潜在变量作为预测数据，测量与学习数据的马氏距离。
27.接着，从上述的许多的不合格品潜在变量中仅删除与灰色区域相当的近距离数据(步骤6)。由此，得到没有灰色潜在变量的许多的不合格品潜在变量。另外，上述的步骤5以及6相当于本发明的第三学习工序。
28.然后，执行深度生成模型12(12b)的学习(步骤7)。具体而言，向与上述步骤2同样的vea的解码器输入在步骤6中得到的许多的不合格品潜在变量(第四学习工序)。由此，生成无灰色区域数据且高维的许多(例如1000个以上)的伪不合格品数据。
29.如以上这样生成的许多的伪不合格品数据保持与真实不合格品数据的相关关系，因此通过如前述的图2所示，将所生成的许多的伪不合格品数据和许多的合格品教师数据输入到检查装置3，并使学习部7学习，能够得到检查对象物g的良好与否的判定精度高的学习模型。其结果，在检查系统1中，能够高精度地判定检查对象物g的良好与否。
30.接下来参照图5以及图6，对本发明的第二实施方式的伪不合格品数据的生成方法进行说明。如图5所示，在本实施方式的伪不合格品数据的生成方法中，首先，在步骤11中，与上述第一实施方式的步骤1同样，准备许多的合格品数据、和少数的真实不合格品数据(合格品数据准备工序、真实不合格品数据准备工序)。
31.接着，执行深度生成模型12(12a)的学习(步骤12)。具体而言，作为该深度生成模型12a，与上述第一实施方式同样，使用vae等，使深度生成模型12a学习在步骤11中准备的合格品数据中的许多的合格品非教师数据以及少数的真实不合格品数据(第五学习工序)。由此，生成许多(例如2000个(给定数量)以上)混合有合格品数据以及不合格品数据这两者的特征的混合数据。
32.接着，执行分类模型13的学习(步骤13)。具体而言，作为该分类模型13，例如使用无教师聚类模型，将在步骤12中生成的许多的混合数据一对一地聚类为与合格品数据对应的合格品混合数据、和与不合格品数据对应的不合格品混合数据(第六学习工序)。
33.接着，在步骤14中，从由上述的分类模型13分为2类的分类完成合格品/不合格品混合数据中，删除合格品混合数据(合格品混合数据删除工序)。由此，输出包含与灰色区域数据对应的混合数据即灰色混合数据的不合格品混合数据。
34.接着，执行距离学习模型14的学习(步骤15)。具体而言，将在步骤14中输出的、包含灰色混合数据的许多的不合格品混合数据、以及许多的合格品教师数据输入到距离学习模型14。在该情况下，使距离学习模型14仅学习合格品教师数据，输入许多的不合格品混合数据作为预测数据，测量与学习数据的马氏距离。
35.接着，从上述的许多的不合格品混合数据中仅删除与灰色区域相当的近距离数据(步骤16)。由此，得到没有灰色混合数据的许多的不合格品混合数据。另外，上述的步骤15以及16相当于本发明的第七学习工序。
36.然后，执行深度生成模型12(12b)的学习(步骤17)。具体而言，向与上述步骤12同样的vea的解码器输入在步骤16中得到的许多的不合格品混合数据(第八学习工序)。由此，生成无灰色区域数据且高维的许多的伪不合格品数据。
37.如以上这样生成的许多的伪不合格品数据保持与真实不合格品数据的相关关系，因此能够得到与上述第一实施方式同样的效果，即，通过使检查装置3的学习部7学习所生成的许多的伪不合格品数据和许多的合格品教师数据，能够得到检查对象物g的良好与否的判定精度高的学习模型，其结果，在检查系统1中，能够高精度地判定检查对象物g的良好与否。
38.另外，本发明并不限定于所说明的上述实施方式，能够以各种方式实施。例如，在实施方式中，作为深度生成模型而使用vae，作为分类模型而使用了svc、无教师聚类模型，但作为这些深度生成模型、分类模型，也可以采用其他算法的模型。
39.此外，在实施方式中示出的检查系统1、伪不合格品数据生成装置11的细微部分的结构等仅为例示，在本发明的主旨的范围内能够适当变更。符号说明
40.1检查系统2输送机3检查装置4控制部5图像取得部6存储部7学习部8输入部9输出部10摄像机11伪不合格品数据生成装置12深度生成模型13分类模型14距离学习模型g检查对象物。

技术特征：
1.一种伪不合格品数据生成方法，是用于伪生成许多的检查对象物为异常品的、该检查对象物的外观图像即不合格品数据的伪不合格品数据生成方法，其特征在于，具备：真实不合格品数据准备工序，将实际拍摄到的检查对象物的多个不合格品数据分别作为真实不合格品数据而准备多个；合格品数据准备工序，准备比所述真实不合格品数据多的检查对象物为正常品的、该检查对象物的外观图像即合格品数据；第一学习工序，通过使给定的深度生成模型学习所述合格品数据以及所述真实不合格品数据，生成给定数量以上的混合有所述合格品数据以及所述真实不合格品数据的特征的潜在变量；第二学习工序，通过使给定的分类模型学习所生成的所述潜在变量，生成被分类为与所述合格品数据对应的潜在变量即合格品潜在变量、和与所述真实不合格品数据对应的潜在变量即不合格品潜在变量的分类完成合格品/不合格品潜在变量；合格品潜在变量删除工序，通过从所述分类完成合格品/不合格品潜在变量中删除所述合格品潜在变量，输出包含与具有所述合格品数据以及所述真实不合格品数据的特征的灰色区域数据对应的潜在变量即灰色潜在变量的不合格品潜在变量；第三学习工序，通过使给定的距离学习模型学习包含所述灰色潜在变量的不合格品潜在变量以及所述合格品潜在变量，删除所述灰色潜在变量；以及第四学习工序，通过使所述深度生成模型学习通过该第三学习工序而得到的所述不合格品潜在变量，生成比所述真实不合格品数据的数量多的不合格品数据作为伪不合格品数据。2.一种伪不合格品数据生成方法，是用于伪生成许多的检查对象物为异常品的、该检查对象物的外观图像即不合格品数据的伪不合格品数据生成方法，其特征在于，具备：真实不合格品数据准备工序，将实际拍摄到的检查对象物的多个不合格品数据分别作为真实不合格品数据而准备多个；合格品数据准备工序，准备比所述真实不合格品数据多的检查对象物为正常品的、该检查对象物的外观图像即合格品数据；第五学习工序，通过使给定的深度生成模型学习所述合格品数据以及所述真实不合格品数据，生成给定数量以上的混合有所述合格品数据以及所述真实不合格品数据的特征的数据作为混合数据；第六学习工序，通过使给定的分类模型学习所生成的所述混合数据，生成被分类为与所述合格品数据对应的混合数据即合格品混合数据、和与所述真实不合格品数据对应的混合数据即不合格品混合数据的分类完成合格品/不合格品混合数据；合格品混合数据删除工序，通过从所述分类完成合格品/不合格品混合数据中删除所述合格品混合数据，输出包含与具有所述合格品数据以及所述真实不合格品数据的特征的灰色区域数据对应的混合数据即灰色混合数据的不合格品混合数据；第七学习工序，通过使给定的距离学习模型学习包含所述灰色混合数据的不合格品混合数据以及所述合格品数据，删除所述灰色混合数据；以及第八学习工序，通过使所述深度生成模型学习通过该第七学习工序而得到的所述不合格品混合数据，生成比所述真实不合格品数据的数量多的不合格品数据作为伪不合格品数据。

技术总结
本发明提供一种伪不合格品数据生成方法。准备真实不合格品数据以及合格品数据，通过使深度生成模型学习它们，生成混合有合格品数据以及真实不合格品数据的特征的潜在变量，通过使分类模型学习潜在变量，生成被分类为合格品潜在变量和不合格品潜在变量的分类完成合格品/不合格品潜在变量，通过从分类完成合格品/不合格品潜在变量中删除合格品潜在变量，输出包含灰色潜在变量的不合格品潜在变量，通过使距离学习模型学习该不合格品潜在变量以及合格品潜在变量，删除灰色潜在变量，通过使深度生成模型学习所得到的不合格品潜在变量，生成比真实不合格品数据的数量多的伪不合格品数据。据。据。


技术研发人员：轻部俊和
受保护的技术使用者：本田技研工业株式会社
技术研发日：2023.03.29
技术公布日：2023/10/19