作业辅助装置、作业辅助系统、解析程序的制作方法

1.本发明涉及一种对作业人员的现场作业进行辅助的技术。


背景技术：

2.人口减少和少子老龄化造成的人手不足日益严重。尤其是在制造现场具有高超技能的熟练者不足，只有特定的人才能作业的状态也就是所谓的属人化已成为了问题。在传承高级技术的情况下，继承者也需要相应的本领，但这样的地步的中坚技术人员短缺，所以众多企业中的现状是技术传承推进不下去。要推进向年轻技术人员的技术传承，须建立一个将作业顺序和诀窍等显性知识手册化而不论本领如何都能推进工作的结构。
3.受诸于这样的状况，充分利用电子纸等可穿戴终端的作业辅助系统受到关注。例如在检查电路的导通状态而在图纸上的相应部位进行加涂的作业(所谓的涂红作业)中，作业人员在终端画面上显示电路图纸并在电路图纸上沿描已确认导通的电路零件，由此来记录导通路径。由此，电路图纸上的导通路径由标红路径以视觉方式展示出来，所以能将导通路径视觉化。如此，通过充分利用可穿戴终端来获得以往的纸质作业中无法提取的显性知识。
4.通过涂红来记录的手写导通路径记录了作业人员的手写数据。该手写数据只是点群数据，所以并没有与电路图纸上的电路零件和导线直接联系起来。要达成涂红作业的本来目的也就是导通路径的可视化，须在电路图纸上对手写数据的坐标与电路零件的坐标进行对照、由此来明确哪一电路零件是导通的。
5.记述有电路图纸的数据例如有时是像cad图纸数据那样借助数据内的电路零件固有的信息(例如电路符号的类别、标识符、构成电路符号的图形的坐标等)来进行记述。对于以这样的数据形式制作的数据，在通过手写作业来记录导通路径的情况下，确定手写路径上的电路零件是相对容易的。其原因在于，只要确定手写路径的坐标并对该坐标与表示电路零件的图形的坐标进行对照即可。
6.另一方面，作业人员在作业现场使用的可穿戴终端有时并不具备能显示以这样的数据形式制作的电路图纸的处理能力。在该情况下，要将电路图纸数据转换为可供终端显示的数据形式后提供给终端。例如像光栅形式数据那样以像素来表达图形的数据形式便相当于此。在这样的数据形式的电路图纸上通过手写作业来记录导通路径的情况下，确定手写路径上的电路零件并不容易。其原因在于，在转换数据形式时，电路零件的坐标信息会丢失而只是变成像素信息。
7.下述专利文献1记载了一种将光栅形式的图纸上的构成要素结构化(确定构成要素间的连接关系)的技术。该文献以“能自动将光栅形式图纸结构化”为课题，记载了以下技术：“一种光栅形式图纸的结构化系统10，其将光栅形式图纸1转换为向量形式图纸而加以结构化，其具有：向量转换功能部12，其将光栅形式图纸加以向量转换为向量形式图纸；结构化规则定义db 15，其规定有将向量形式图纸中的结构要素结构化时的规则；以及结构化功能部18，其参考结构化规则定义db而对向量形式图纸中的结构要素赋予属性信息及连接
信息，将结构要素结构化”(参考摘要)。
8.下述专利文献2以“在制作到目的地为止的路径图时，简单且准确地制作容易知晓到目的地为止的路径的地图”为课题，记载了以下技术：“利用地图读取单元1从扫描仪输入包含想要展示的路径的地图，利用地图图像存储单元2来存储该地图信息。利用坐标输入单元3、用笔及平板来输入坐标和轨迹，利用轨迹提取单元4来取出该输入的轨迹。利用一致检测单元5对道路信息与输入的轨迹信息的坐标进行比较来检测一致的信息或者处于误差范围内的信息。利用路径提取单元6来提取检测到的点周围的地图信息，利用输出图像存储单元7来存储提取到的路径信息。利用文字输入单元8将地名等文字信息附加至提取到的路径信息，利用输出单元10来输出至文件或打印机”(参考摘要)。现有技术文献专利文献
9.专利文献1：日本专利特开2018-206250号公报专利文献2：日本专利特开平09-305106号公报


技术实现要素：

发明要解决的问题
10.在专利文献1中，将光栅形式图纸转换为向量形式图纸后将向量形式图纸上的结构要素结构化。但该文献中并无以下课题意识：确定作业人员在作业终端上手写输入的导通路径与图纸上的电路零件之间的对应关系。专利文献2中也是一样的。此外，专利文献2中没有转换为适于供作业终端显示的数据形式的过程。因而，需要一种能准确地确定在适于供作业终端显示的数据形式上手写输入的导通路径与电路图纸上的电路零件之间的对应关系的技术。
11.本发明是鉴于上述问题而成，其目的在于提供一种即便在将电路图纸转换成适于供作业终端显示的数据形式的情况下也能对覆盖于图纸上的手写数据的坐标与电路零件的坐标进行对照来确定导通路径的技术。解决问题的技术手段
12.本发明的作业辅助装置从不具有电路零件固有的信息的电路图纸数据中分别检测电路符号和导线，并将该检测结果与作业人员通过手写来沿描导通路径得到的结果进行匹配，由此来确定该导通路径所通过的电路零件和导线。发明的效果
13.根据本发明的作业辅助装置，即便在将电路图纸转换成适于作业终端的数据形式的情况下也能对覆盖于图纸上的手写数据的坐标与电路零件的坐标进行对照来确定导通路径。上述以外的课题、构成、效果将通过以下实施方式的说明来加以明确。
附图说明
14.图1a为电路图纸数据所记述的电路图纸的例子。图1b表示作业人员对电路图纸数据手写输入导通路径得到的结果。图2为实施方式1的作业辅助装置200的构成图。图3a为例示线检测部208对电路图纸数据上的线300进行检测的结果的图。
图3b为表示电路符号检测部209对电路图纸数据上的电路符号进行检测的结果的图。图3c为表示导线检测部210对电路图纸数据上的导线进行检测的结果的图。图4为说明电路符号检测部209检测电路符号的方法的示意图。图5为说明作业辅助装置200的动作的流程图。图6a为包含电路图以外的信息的电路图纸数据的例子。图6b表示对图6a设定有检测区域604和非检测区域605的例子。图7为表示对电路符号赋予了属性信息的例子的电路图。图8为示意性地表示将线检测部208所检测到的线按每一种类加以分类的次序的图。图9表示电路符号被虚线围住的例子。图10为实施方式2的作业辅助装置200的构成图。图11为说明实施方式2中的作业辅助装置200的动作的流程图。图12为1条导线由多条线构成的电路图的例子。图13为表示结构化部213所进行的结构化的1例的示意图。图14为说明结构化部213所实施的结构化的次序的1例。图15为对1个电路符号连接的导线形成多个输入输出关系的例子。图16表示形成了环路路径作为结构化部213所进行的结构化的结果的例子。图17表示实施方式3的作业辅助装置200中db 211所存放的数据的例子。图18为作业辅助装置200所提供的控制画面的例子。
具体实施方式
15.〈实施方式1〉图1a为电路图纸数据所记述的电路图纸的例子。电路图纸数据构成为使用图形的几何学信息来记述电路零件和导线等电路构成要素。例如向量形式(第1数据形式)的cad图纸数据便相当于此。图1a所示的电路图纸以电路构成要素的形式记述有导线101、双绞线102、电源103、电容器104、连接点105、电阻106、ic 107。属性信息100是以字符串来表达电路零件的属性的信息。
16.图1b展示作业人员对电路图纸数据手写输入导通路径得到的结果。作业人员在作业终端(例如可穿戴终端)的画面上显示电路图纸数据，在该电路图纸上手写输入已确认导通的电路零件的路径。手写数据108是追踪该手写输入的坐标得到的，表示作业人员所输入的导通路径。手写数据108中赋予有写入的时刻，所以作业的时间序列数据意味着作业顺序。
17.手写输入导通路径的目的在于在电路图纸上将已导通的电路零件间的连接关系可视化。因而，须确定手写数据108所追踪的电路零件。但是，在将电路图纸数据转换为适于供作业终端显示的数据形式(例如图像数据、pdf数据)时，电路零件的坐标信息有时会消失。如此一来，对手写数据108的坐标与转换后电路图纸数据上的电路零件的坐标进行对照便不容易。本发明的实施方式1的作业辅助装置谋求通过提供该对照处理来自动确定手写数据108所追踪的导通路径上的电路零件。
18.图2为本实施方式1的作业辅助装置200的构成图。作业辅助装置200是将以第1数据形式(例如向量形式)制作的电路图纸数据205转换为第2数据形式(例如光栅形式)的电路图纸数据206而提供给作业终端204的装置。作业辅助装置200和作业终端204形成了辅助作业人员的系统。
19.作业辅助装置200具备图纸解析部201、手写数据解析部202、通信部203、数据库(db)211。图纸解析部201还具备转换部207、线检测部208、电路符号检测部209、导线检测部210。
20.转换部207将电路图纸数据205(第1数据形式)转换为电路图纸数据206(第2数据形式)。线检测部208从电路图纸数据205或电路图纸数据206中的至少某一个检测线。电路符号检测部209检测电路图纸数据206所记述的电路符号。导线检测部210检测电路图纸数据206所记述的导线。这些检测次序于后文叙述。
21.通信部203将电路图纸数据206发送至作业终端204。作业终端204将记述有作业人员对电路图纸数据206手写输入的导通路径的手写数据(例如手写数据108)发送至作业辅助装置200，通信部203接收该手写数据。手写数据解析部202对手写数据的坐标与图纸解析部201所检测到的电路零件及导线各自的坐标进行对照，由此确定导通路径上的电路零件及导线。db 211保存作业辅助装置200的处理结果。db 211可以由存放数据的存储装置构成。
22.图3a为例示线检测部208对电路图纸数据上的线300进行检测的结果的图。检测到的线可以由起点(x0,y0)和终点(x1,y1)来表示。线检测部208从电路图纸数据205或206中检测线300。在数据上定义有线300的起点和终点的情况下，按照该定义来检测线300即可。或者，也可通过对像素数据运用线检测滤波等适当的线检测算法来检测线300。
23.图3b为表示电路符号检测部209对电路图纸数据上的电路符号进行检测的结果的图。电路符号检测部209根据线检测部208所检测到的线来检测构成电路符号的区域。例如可以像后文所述那样使用模板匹配或深度学习来检测与电路符号的形状一致的区域。电路符号检测部209所检测的电路符号不包括导线。检测到的电路符号的坐标例如可以由区域的左下(起点)和右上(终点)来表示。图3b中展示了检测到电源区域301、电容器区域302、电阻区域303的例子。根据检测方法的不同，有时也会将与电路符号连接的导线中的一部分也识别为电路符号的一部分。在该情况下，该导线也可以视为电路符号的一部分。
24.图3c为表示导线检测部210对电路图纸数据上的导线进行检测的结果的图。导线检测部210将从线检测部208所检测到的线中去掉电路符号检测部209所检测到的电路符号之后的部分检测为导线。因而，线检测部208所检测到的线300中的一部分被再定义为具有新的起点和终点的导线304。
25.图4为说明电路符号检测部209检测电路符号的方法的示意图。电路符号检测部209接收电路图纸(输入图像400)并对其运用以下任一项以上，由此来获取电路符号的检测结果406。
26.图4：模板匹配401：电路符号检测部209对模板图像402与输入图像400进行匹配，由此来检测电路符号。模板图像402是有可能包含在电路图纸数据205或206中的电路符号的图像。模板匹配容易部署，另一方面，若有图像的放大缩小或旋转，则检测精度有可能降低。
27.图4：物体检测模型403：电路符号检测部209借助使用r-cnn(region with cnn features)、yolo、ssd(single shot multibox detector)等物体检测模型而通过深度学习进行学习得到的检测器来检测电路符号。该方法使用单一检测模型，所以，若该模型的学习不充分，则有可能发生检测失败。
28.图4：物体检测模型403+物体识别模型405：电路符号检测部209借助除了物体检测模型403以外还使用resnet、densenet、amoebanet、efficientnet等物体识别模型405而通过深度学习进行学习得到的检测器来检测电路符号。具体而言，将使用物体检测模型403检测到的电路符号图像404放入物体识别模型405中。物体识别模型405识别物体检测模型403所检测到的电路符号的类别。通过并用物体识别模型405，能够排除检测失败，所以检测精度提高。
29.图5为说明作业辅助装置200的动作的流程图。作业辅助装置200在转换部207将电路图纸数据205转换成电路图纸数据206后开始本流程图。线检测部208从电路图纸数据中检测线(s01)。电路符号检测部209从电路图纸数据中检测导线以外的电路符号(s02)。导线检测部210检测导线(s03)。通信部203将电路图纸数据206发送至作业终端204(s04)。作业人员在作业终端204上输入导通路径，作业终端204发送手写数据(s05)。通信部203接收手写数据(s06)。手写数据解析部202解析该手写数据而确定导通路径上的电路零件(s07)，并将该结果存放至数据库211(s08)。手写数据解析部202将解析结果通知作业人员(s09)。
30.图6a为包含电路图以外的信息的电路图纸数据的例子。实际的电路图纸数据有时除了电路图以外还记述有各种信息。在该例中，除了电路图以外还记载有方格600、方格参照601、轮廓线602、题目栏603。若这些信息也被线检测部208检测到，则非导线的部分有可能被检测为导线。
31.图6b展示对图6a设定有检测区域604和非检测区域605的例子。通过在图纸解析部201从电路图纸数据中检测电路零件和导线前将电路图以外的信息从检测对象中排除，可以避免将这样的不需要的信息误检测为电路图的一部分。因此，用户经由适当的接口来指定要检测电路图的区域(检测区域604)和不检测电路图的区域(非检测区域605)中的至少任一者。例如可以利用左下角坐标和右上角坐标等来指定各区域。图6b中展示了将题目栏603指定为非检测区域605并将电路图部分指定为检测区域604的例子。图纸解析部201仅从检测区域604检测电路零件等，或者仅从非检测区域605以外的区域检测电路零件等。
32.例如在电路符号的内部记述有多余的信息(例如记述有该电路符号的特性的表格)的情况下，该多余的信息应从线检测部208的检测对象中排除。在该情况下，非检测区域605是有用的。进而，在电路图周围有多余的刻划线等的情况下，并用检测区域604是有用的。
33.图7为表示对电路符号赋予了属性信息的例子的电路图。电路图有时例如会像零件编号700等那样一并记载有电路零件及其属性信息。电路符号检测部209在检测电路符号时，可一并检测这样的属性信息并对检测到的电路符号赋予该属性信息。手写数据解析部202可一并输出解析结果及其属性信息。由此，能够一并识别导通路径及其属性信息。
34.例如在检测到的电路符号的中心坐标与文字区域的中心坐标之间的距离为阈值以内的情况下，电路符号检测部209将该文字视为该电路符号的属性。作为提取文字区域的方法，例如若是记述有文字信息的电路图纸数据，则提取该文字信息即可，或者也可通过对
像素运用与电路符号同样的方法来提取文字。
35.图8为示意性地表示将线检测部208所检测到的线按每一种类加以分类的次序的图。线检测部208在检测到的线的长度不到阈值的情况下将该线再分类为点，在长度为阈值以上的情况下重新再分类为线。作为区分点与线的阈值的例子，例如设为能将由图纸制作软件制作的点线识别为点的程度即可。线检测部208进而在同一直线上的邻接的2条线间的间隔不到阈值的情况下将这2条线再分类为虚线，在间隔为阈值以上的情况下再分类为实线。线检测部208进而按照被分类为虚线的线当中存在于2条线间的点的个数对线类别进行再分类。若点为0个，则视为虚线，若点为1个，则视为单点划线，若点为2个，则视为双点划线。线检测部208进而在存在于同一直线上的2个点间的间隔不到阈值的情况下将这2个点再分类为点线，在间隔为阈值以上的情况下重新再分类为点。作为以上情况下的各阈值，按各个步骤中的每一步骤来制定恰当的值即可，无须使用相同阈值。
36.图9展示电路符号被虚线围住的例子。电路图纸有时会用点线或虚线将参考信息围住，以便让读者容易理解。图9中，导线900与电流计901连接在一起，电流计901被单点划线902围住，进而在单点划线902内部配置有型号903和所在编号904。像这样被特定种类的线围住的文字可以用作电路符号的属性信息。
37.在被点线或虚线围住的区域的内部存在电路符号和文字而且该文字距电路符号而配置在规定距离以内的情况下，电路符号检测部209将该文字视为该电路符号的属性。此时的电路符号与文字之间的规定距离并非一定要与图7中说明的情况下的距离阈值相同。其原因在于，是通过将电路符号和文字围住来初步推断该文字为该电路符号的属性。
38.〈实施方式2〉图10为本发明的实施方式2的作业辅助装置200的构成图。本实施方式2的作业辅助装置200除了实施方式1中说明过的构成以外还具备结构化部213。其他构成与实施方式1相同。结构化部213制作记述有电路图纸数据206所记述的电路符号与导线的连接关系的数据。该处理称为结构化。结构化的具体次序于后文叙述。
39.图11为说明本实施方式2中的作业辅助装置200的动作的流程图。在s03与s04之间，结构化部213按照后文叙述的次序来实施结构化(s10)。其他步骤与图5相同。其中，在s07中，手写数据解析部202可使用结构化部213给出的结构化的结果来确定手写数据的导通路径。例如，可以将结构化结果所记述的电路零件与导线的连接关系与匹配结果所示的连接关系进行对比，由此来输出导通路径所通过的电路零件和导线的列表。
40.图12为1条导线由多条线构成的电路图的例子。图12的(1)中，连接电源1201与ic 1203之间的导线1200由4条线构成，这些线中的至少2条朝着互不相同的方向，而且在端部相接触，由此形成了1个导通路径。进而，在连接点1202与ic 1203之间以与导线1200的第4条线接近的方式配置有导线1204。
41.若像图12的(2)那样通过手写来标记存在接近的其他导线的导通路径，则手写路径有时会与别的导线重叠在一起。在图12的(2)的例子中，手写路径同时沿描在导线1200中的第4部分导线和导线1204上。因而，有可能无法正确地判定导通路径。
42.因此，导线检测部210将构成导线1200的4条部分导线加以统合而作为1条导线1205(图12的(3))。由此，即便导线1205的一部分与导线1204在手写路径上重叠在一起(图12的(4))，手写路径也只会沿描在导线1205的一部分上，所以手写数据解析部202能够判定
该手写路径沿描的不是导线1205。导线检测部210例如在图11的s03中预先实施这样的导线统合即可。
43.图13为表示结构化部213所进行的结构化的1例的示意图。图13左边的电路图中，电源1201与ic 1203之间的路径可以像图13右边那样记述。即，该路径可以记述为电路符号1300与导线1301交替连接在一起的路径。结构化部213按照该原则而利用电路符号与导线交替连接在一起的数据结构来表达电路图纸数据所记述的连接关系。
44.图14为说明结构化部213所实施的结构化的次序的1例。此处，对在像图14的(1)所示那样电源1400导线1403电容器1401导线1404电阻1402导线1405按照该顺序串联在一起的情况下制作表示该连接关系的数据(也就是将图14的(1)结构化)用的次序进行说明。
45.结构化部213列举电路图纸数据内的由电路符号和连接于该电路符号的导线构成的电路要素。例如电源1400上连接有导线1403，所以将它们的组列举为1个电路要素。同样地，电容器1401上连接有导线1403和导线1404，所以将它们的组列举为1个电路要素。通过该次序来制作图14的(2)所示的电路要素列表。
46.结构化部213列举电路要素列表内的电路要素当中有可能成为连接路径的起点的电路要素。具体而言，从电路要素列表中提取并列举电路符号与导线以1：1连接在一起的连接关系。如图14的(3)所示，在开始结构化的时间点上，电路符号与导线以1：1连接在一起的仅为电源1400与导线1403这一组。因而，在该时间点上，它们成为连接关系的起点要素。
47.结构化部213对起点要素与电路要素列表内的各电路要素进行比较。结构化部213从电路要素列表中确定具有与起点要素相同的导线且不具有与起点要素相同的电路符号的电路要素。在该时间点上，电容器1401/导线1403/导线1404这一组便相当于此。
48.结构化部213将确定下来的电路要素与起点要素以它们之间共通的导线加以连接。在该时间点上，导线1403是共通的，所以利用导线1403来连接起点要素与电容器1401。将连接得到的结果更新为新的起点要素。由此，起点要素变为图14的(4)的样子。结构化部213使用新的起点要素来重复同样的处理。结构化部213将无法再更新起点要素的时间点上的起点要素的内容作为结构化的结果存放至db 211。
49.图15为对1个电路符号连接的导线形成多个输入输出关系的例子。结构化部213在该情况下制作图14中说明过的电路要素列表时，按这些输入输出关系中的每一关系来列举电路要素。由此，即便在对1个电路符号形成有多个输入输出关系的情况下，也能将这些输入输出关系所决定的连接路径全部包罗在内。例如预先由电路符号检测部209一并保持有每一电路符号的输入输出关系和电路符号的类别即可。
50.图15的(1)中，双绞线1500具有以下输入输出关系：(a)从导线1501接收输入而从导线1503输出；(b)从导线1502接收输入而从导线1504输出。结构化部213将这2个输入输出关系分别列举为单独的电路要素。因而，双绞线1500像图15的(2)所示那样被列举为2个电路要素。
51.图15的(3)中，ic 1505具有2条输入导线1506和1507以及1条输出导线1508。在它们之间没有输入输出关系的情况下，结构化部213针对ic 1505而按每一导线来列举为单独的电路要素。因而，如图15的(4)所示，ic 1505被列举为3个电路要素。或者，例如在导线1506为输入、导线1508为其输出但导线1507不具有对应的输出的情况下，如图15的(5)所
示，ic 1505被列举为2个电路要素。
52.图16展示形成了环路路径作为结构化部213所进行的结构化的结果的例子。在图16所示的例子中，从起点1600开始的路径在环路路径1601中巡回。在形成了这样的环路路径的情况下，通过结构化得到的连接关系中会出现多次相同的电路符号。结构化部213将包含这样的环路路径的连接路径从结构化结果中删除。其原因在于，这样的路径无法视为导通路径。
53.〈实施方式3〉在本发明的实施方式3中，对db 211所存放的数据以及作业辅助装置200所提供的用户界面的具体例进行说明。其他构成与实施方式1～2相同。
54.图17展示本实施方式3的作业辅助装置200中db 211所存放的数据的例子。db 211除了存放手写数据解析部202及其他各功能部给出的解析结果以外，例如还能存放(a)记述有作业人员相关的信息的作业人员表、(b)记述有作业人员所实施的作业相关的信息的任务表等。
55.作业人员表例如可以存放作业人员的个人id、姓名、所属、使用的作业终端的id、识别所实施的作业的信息(任务信息)等。任务信息参考任务表。任务表例如可以存放任务no.、项目名、交付期、管理者、负责人、进展率等。进展率表示手写输入作业的进展率。手写数据解析部202例如可以根据(a)已完成手写输入的导通路径相对于电路图纸数据所记述的所有导通路径的比例、(b)已完成手写输入的电路零件相对于电路图纸数据所记述的所有电路零件的比例等来计算进展率。
56.图18为作业辅助装置200所提供的控制画面的例子。控制画面例如可以用于供管理作业人员的管理者对各作业人员的作业进展进行管理。控制画面例如可以由手写数据解析部202提供。控制画面具有解析文件指定部1800、解析区域指定部1801、终端操作部1805、进展显示部1810。
57.在解析文件指定部1800中，当用户(例如管理者)点击
▲
按钮时，显示文件选择画面。用户选择由图纸制作软件制作的电路图纸数据或电路图纸的pdf文件。转换部207将所选择的数据转换为适于供作业终端204显示的数据形式(电路图纸数据206)。
58.用户借助页面指定部1802来指定电路图纸数据的页面编号。解析区域指定部1801显示用户所选择的页面所记述的电路图纸。用户例如通过鼠标的拖拽操作来指定检测区域1803和非检测区域1804。存储装置(例如db 221)存放记述有该结果的检测区域数据。
59.在终端操作部1805中，文件选择区域1806显示电路图纸数据206的列表。用户指定其中的任一者。终端选择区域1807显示作业终端204的列表。用户指定要发送电路图纸数据206的收件终端或者要接收手写数据的发送源终端，并点击发送按钮1808或接收按钮1809。通信部203向指定的收件人发送电路图纸数据205或电路图纸数据206，或者从指定的发送源接收手写数据。
60.在进展显示部1810中，按照手写数据的内容来显示作业进展率的数值1811或圆图1812。显示内容变更部1813例如可以按每一项目/每一作业人员等来切换显示内容。
61.控制画面也可除了上述以外还显示图纸解析部201或手写数据解析部202给出的处理结果。例如，可显示结构化结果、结构化结果与手写数据之间的匹配结果、电路符号的属性信息等。进而，也能以代替这些信息及上述控制画面的画面显示或者与其并用的方式
而通过适当的数据形式将同样的内容呈现给用户。
62.〈关于本发明的变形例〉本发明包含各种变形例，并不限定于前文所述的实施方式。例如，上述实施方式是为了以易于理解的方式说明本发明所作的详细说明，并非一定限定于具备说明过的所有构成。此外，可以将某一实施方式的构成的一部分替换为其他实施方式的构成，此外，也可以对某一实施方式的构成加入其他实施方式的构成。此外，可以对各实施方式的构成的一部分进行其他构成的追加、删除、替换。
63.在以上的实施方式中，设想的是线检测部208对电路图纸数据所记述的直线进行检测，但也可使用检测曲线的适当技术来检测曲线。电路符号检测部209使用图案匹配等不仅仅依据线检测的方法，所以，即便在线检测部208仅检测直线的情况下，电路符号中也可包含曲线。
64.在以上的实施方式中，作业辅助装置200对作业终端204发送的是适于供作业终端204显示的数据形式。只要适于供作业终端204显示，电路图纸数据205或电路图纸数据206都可被发送。不论在哪一情况下，设想的都是作业终端204所接收的电路图纸数据将电路零件仅记作图形(线的几何学信息或像素)而丧失了电路零件固有的信息。
65.根据电路图的记述方法的不同，有时也将导线也视为电路符号的1种。但要说明的是，以上的实施方式中要区分电路符号与导线，电路符号为线当中去掉导线后的剩余部分。
66.在以上的实施方式中，图纸解析部201(以及图纸解析部201所具备的各功能部)、手写数据解析部202可以由部署有这些功能的电路器件等硬件构成，也可通过由cpu(central processing unit)等运算装置执行部署有这些功能的软件来构成。
67.在以上的实施方式中，对图纸解析部201具备转换部207、线检测部208、电路符号检测部209、导线检测部210进行了说明，但这些功能部也可作为单独的构成要素进行部署。
68.在以上的实施方式中，图纸解析部201、手写数据解析部202以及图纸解析部201所具备的各功能部可全部配备在同一装置上，也可在别的装置上实施某一部分。例如，也可将图纸解析部201(解析程序)配置在别的装置上而区别于手写数据解析部202来另行实施从电路图纸数据中检测电路零件和导线的处理(也可进而包含进行结构化的处理)。符号说明
69.200
…
作业辅助装置201
…
图纸解析部202
…
手写数据解析部203
…
通信部204
…
作业终端205
…
电路图纸数据206
…
电路图纸数据。

技术特征：
1.一种作业辅助装置，其对作业人员所使用的作业终端提供表示有电路零件的连接关系的电路图纸数据，其特征在于，所述作业辅助装置具备转换部，所述转换部将以第1数据形式制作的第1电路图纸数据转换为以第2数据形式制作的第2电路图纸数据，所述第1数据形式构成为以几何学信息来表达线，所述线构成记述有所述电路零件的图形，所述第2数据形式构成为以像素来表达记述有所述电路零件的图形，所述作业辅助装置还具备：线检测部，其检测所述第1电路图纸数据所记述的直线或者从所述第2电路图纸数据的图像区域中检测直线；电路符号检测部，其从所述第2电路图纸数据的图像区域中检测导线以外的电路符号；导线检测部，其将从所述线检测部所检测到的直线中去掉所述电路符号检测部所检测到的所述电路符号后的剩余部分检测为导线；通信部，其将所述第1电路图纸数据或第2电路图纸数据发送至所述作业终端；以及解析部，其对记述有所述作业人员在所述作业终端上以手写输入的线沿描所述第1电路图纸数据或第2电路图纸数据上的导通路径得到的结果的导通路径数据进行解析，所述解析部将所述导通路径数据所记述的所述导通路径与所述电路符号检测部所检测到的所述电路符号以及所述导线检测部所检测到的所述导线进行匹配，由此确定所述导通路径所通过的所述电路零件和所述导线。2.根据权利要求1所述的作业辅助装置，其特征在于，所述线检测部根据所述第1电路图纸数据所记述的所述几何学信息来检测所述直线，或者通过对所述第2电路图纸数据运用直线检测滤波来检测所述直线，所述电路符号检测部对所述第2电路图纸数据使用模板匹配、运用了物体检测模型的深度学习、或者并用物体检测模型和物体识别模型的深度学习中的至少某一个，由此来检测所述电路符号。3.根据权利要求1所述的作业辅助装置，其特征在于，所述作业辅助装置还具备存放检测区域数据的存储部，所述检测区域数据指定作为检测所述第2电路图纸数据中的所述直线的处理的对象的检测区域和这以外的非检测区域中的至少某一个，所述线检测部从所述检测区域数据所指定的所述检测区域中检测所述直线，或者不从所述检测区域数据所指定的所述非检测区域检测所述直线。4.根据权利要求1所述的作业辅助装置，其特征在于，所述电路符号检测部在所述第2电路图纸数据上检测距所述电路符号而配置在规定距离以内的文字，而且将该文字作为所述电路符号的属性信息与所述电路符号进行关联，所述解析部一并呈现所述导通路径所通过的所述电路零件和与各所述电路符号关联在一起的所述属性信息。5.根据权利要求1所述的作业辅助装置，其特征在于，所述线检测部将所述检测到的直线当中长度不到第1阈值的直线再分类为点，而且将长度为所述第1阈值以上的直线再分类为直线，
所述线检测部将所述再分类得到的直线当中2个直线间的间隔为第2阈值以上的直线再分类为实线，而且将间隔不到所述第2阈值的直线再分类为虚线，所述线检测部将所述再分类得到的虚线按照存在于所述间隔内的点的个数而再分类为虚线、单点划线、双点划线中的任一者，在所述再分类得到的点以第3阈值以内的间隔配置在相同直线上的情况下，所述线检测部将配置在该直线上的点再分类为点线。6.根据权利要求5所述的作业辅助装置，其特征在于，所述电路符号检测部在所述第2电路图纸数据上检测距所述电路符号而配置在规定距离以内且被所述虚线围住的文字，而且将该文字作为所述电路符号的属性信息与所述电路符号进行关联，所述解析部一并呈现所述导通路径所通过的所述电路零件和与各所述电路符号关联在一起的所述属性信息。7.根据权利要求1所述的作业辅助装置，其特征在于，所述作业辅助装置还具备结构化部，所述结构化部将所述第2电路图纸数据上的所述电路符号以及所述第2电路图纸数据上的所述导线按照连接关系进行结构化，所述解析部使用所述结构化部给出的结构化的结果来确定所述导通路径所通过的所述电路零件和所述导线。8.根据权利要求1所述的作业辅助装置，其特征在于，所述导线检测部在检测到通过端部相接触来形成1个路径的2条以上的所述导线的情况下，将这2条以上的导线作为1条导线处理。9.根据权利要求7所述的作业辅助装置，其特征在于，所述结构化部以去掉了所述导线的所述电路符号与所述导线交替连接的方式实施所述结构化。10.根据权利要求7所述的作业辅助装置，其特征在于，所述结构化部制作列举有电路要素的电路要素列表，该电路要素由所述电路符号和连接于该电路符号的所述导线构成，所述结构化部制作列举有1个以上的所述电路要素列表所列举的所述电路要素中的所述电路符号与所述导线一对一连接在一起的电路要素的起点列表，所述结构化部确定所述电路要素列表所列举的所述电路要素中的具有与所述起点列表所列举的所述电路要素相同的所述导线且不具有相同的所述电路符号的电路要素，所述结构化部以所述相同导线来连接所述起点列表所列举的所述电路要素与所述确定下来的所述电路要素，由此来更新所述起点列表所列举的所述电路要素，所述结构化部使用所述更新后的所述起点列表来实施所述结构化。11.根据权利要求10所述的作业辅助装置，其特征在于，在1个所述电路零件中存在多个由对所述电路零件输入信号的所述导线和从所述电路零件输出信号的所述导线中的至少任一个形成的输入输出关系的情况下，所述结构化部在所述电路要素列表中按每一所述输入输出关系来列举所述电路要素。12.根据权利要求7所述的作业辅助装置，其特征在于，在通过所述结构化而形成的所述电路零件与所述导线的连接路径中存在同一所述电
路零件的情况下，所述结构化部将该连接路径从所述结构化的结果中删除。13.根据权利要求3所述的作业辅助装置，其特征在于，所述作业辅助装置还提供控制画面，所述控制画面输入来自用户的、对所述作业辅助装置的指示，所述控制画面具有：数据指定部，其输入选择所述第1电路图纸数据的所述指示；检测区域指定部，其输入指定所述检测区域和所述非检测区域的所述指示；终端指定部，其输入指定所述作业终端的所述指示；发送指示部，其输入对所述作业终端发送所述第1电路图纸数据或所述第2电路图纸数据的所述指示；接收指示部，其输入从所述作业终端接收所述导通路径数据的所述指示；以及进展显示部，其根据所述解析部给出的解析结果来显示所述作业人员的作业进展状况。14.一种作业辅助系统，其特征在于，具有：根据权利要求1所述的作业辅助装置；以及所述作业终端，其从所述作业辅助装置接收所述第1电路图纸数据或所述第2电路图纸数据。15.一种解析程序，其使计算机执行对表示有电路零件的连接关系的电路图纸数据进行解析的处理，该解析程序的特征在于，所述电路图纸数据构成为以像素来表达记述有所述电路零件的图形，所述解析程序使所述计算机执行以下步骤：从所述电路图纸数据的图像区域中检测直线；从所述电路图纸数据的图像区域中检测导线以外的电路符号；将从检测所述直线的步骤中检测到的直线中去掉检测所述电路符号的步骤中检测到的所述电路符号后的剩余部分检测为导线；以及将所述电路图纸数据上的所述电路符号以及所述电路图纸数据上的所述导线按照连接关系进行结构化，在所述结构化的步骤中，使所述计算机以去掉了所述导线的所述电路符号与所述导线交替连接的方式实施所述结构化。

技术总结
本发明提供一种即便在将电路图纸转换成适于供作业终端显示的数据形式的情况下也能对覆盖于图纸上的手写数据的坐标与电路零件的坐标进行对照来确定导通路径的技术。本发明的作业辅助装置从不具有电路零件固有的信息的电路图纸数据中分别检测电路符号和导线，并将该检测结果与作业人员通过手写来沿描导通路径得到的结果进行匹配，由此来确定该导通路径所通过的电路零件和导线。径所通过的电路零件和导线。径所通过的电路零件和导线。


技术研发人员：林真悟 山本将史 上野高明 新冈正彦
受保护的技术使用者：株式会社日立制作所
技术研发日：2023.01.16
技术公布日：2023/8/1