公路设施病害基于深度学习的标准化自动孪生方法及系统与流程

1.本发明涉及人工智能和三维重建的工程应用领域，具体涉及一种公路设施病害基于深度学习的标准化自动孪生方法及系统。


背景技术：

2.桥梁是一个国家交通基础设施的重要组成部分。美国超过61万座在役桥梁中42%服役超过50年，7.5%(46154座)的桥梁被认为存在结构缺陷(asce,2021)。这些桥梁的维修维护需求总费用预估高达1250亿美元(asce,2021)。每年花费在桥梁修复上的支出大约为227亿美元。在英国，大概有超过3万座在役桥梁(network rail, 2015)的维护费用大约为每年40亿英镑(nao,2018)。我国2019年在役公路桥梁数量超过了96万座(中华人民共和国交通运输部，2021)，同样面临巨额的维护修缮开销。由于资金需求庞大，各国政府和交通部门均采用系统的桥梁定期检查，对在役桥梁进行评级评估和预防性维护，优先考虑亟需修缮的项目，以最大限度提高投资成效比。
3.桥梁检测是桥梁运营期间，为了解在役桥梁基本运营和健康状况，研判养护、管制等措施，所采取的重要手段。定检通常提供有关桥梁状况的最新和最全面的数据，因此是维护计划的关键输入信息源。
4.传统在役桥梁检测方式通过大量的人力收集病害，并依赖专业经验进对病害行人工分类。由此产生的桥梁状况信息保存在桥梁检查报告中，用于维护和后续检查做准备。这些报告存储在各种不可互操作的桥梁管理系统中，甚至存储在纸质报告中。这种采集在役桥梁的定检方式主观性大易错；采用桥梁检测单位自己专有的格式或人工记录病害，会阻碍未来对桥梁病害和健康情况的跟踪，可追溯性小，无法有效支撑后续对病害数据的挖掘和利用，更不符合也无法支撑合理养护决策所需的信息标准。
5.如图1所示，桥梁检测人员通常会在桥梁检查纸质报告中列出桥梁检测期间发现的病害，描述病害相关的构件、位置、病害类型及其严重性等。报告通常会提供特定检测时间点桥梁的整体状况，但创建起来费时费力，也缺乏完整性，后续支撑低。检测人员和工程师很难完全理解病害构件或病害位置随时间推移的变化/恶化情况。必须通读所有既有报告，以便寻找对指定构件或对病害的描述等。这个过程费时费力，也容易出错。主要问题包括(1)多数时候很难根据描述的位置、照片、手绘草图、构件、时间等找到过去的病害描述并分析病害的演变；(2)不同桥梁检测单位的报告不统一，即便有部分单位通过信息化手段存储桥梁病害信息，但格式并不统一。各家单位使用各自特定格式来存储病害信息，不能兼容其他格式。这是典型的信息孤岛问题，不利于桥梁病害数据在整个公路桥梁系统各家单位之间的系统互通和共享。borrmann等人(2012)提出了一种基于3d桥梁模型的建筑状况评级系统,采用专有的acis文件格式sat集成病害的几何信息。
6.综上，桥梁定期检测领域，目前尚未有一套集成了以下3种算法的系统：(1)不依赖人工，自动分类主要桥梁病害的方法；(2)一种自动将病害类别和属性结构化，并以工程行业各类软件通用标准文件ifc格式进行存储的方法；(3)一种将ifc结构化后的病害映射集
成在桥梁几何孪生模型相关构件上的方法。


技术实现要素：

7.针对现有技术中的上述问题，通过机器学习和计算机图形学算法，将在役设施的常见病害几何及属性自动以ifc格式映射集成到设施在役孪生模型的相关构件上可视化。提出了一种公路设施病害基于深度学习的标准化自动孪生方法及系统。
8.为了实现上述发明目的，本发明提供了以下技术方案：一种公路设施病害基于深度学习的标准化自动孪生方法，包括以下步骤：基于深度学习的分层级分类算法将在役公路设桥梁的主要病害类别自动分类，得到病害类别；根据病害类别生成带桥梁病害信息的ifc文件，所述带桥梁病害信息的ifc文件是通过病害、元素病害以及桥梁检测任务的关系uml图建立的，所述关系uml图中，多个元素病害与一次特定的桥梁检测任务关联，病害传播到多个元素病害，并通过元素病害与桥梁检测任务关联；建立所述带桥梁病害信息的ifc文件和桥梁的几何孪生模型上病害之间的关联，生成ifc结构化格式呈现的桥梁的几何孪生模型。
9.作为优选方案，病害传播到多个元素病害，并通过元素病害与桥梁检测任务关联具体步骤包括：使用聚合关系ifcrelaggregates将病害传播到多个元素病害；使用ifctask创建桥梁检测任务；通过ifcrelassignstoprocess将ifctask分配给每个元素病害。
10.作为优选方案，还包括将病害几何和病害属性添加到所述桥梁的几何孪生模型上，所述病害几何是将裂缝和剥落/掉角进行病害几何重构生成的立体模型；所述病害属性用于描述病害的特征、位置和方向。
11.作为优选方案，所述病害几何用ifc语句进行表达，使用ifccartesianpoint定义特征点坐标，然后使用ifcpolyloop构建特征点，使用ifcfaceouterbound构建所述特征点坐标之间的连线，以及使用ifcface来构建所述连线构成的面，从而生成所述立体模型。
12.作为优选方案，所述病害几何中裂缝的ifc语句进行表达包括以下内容：以裂缝深度为参数，将裂缝二维平面的坐标和裂缝深度相结合，得到裂缝模型的三维特征点坐标；所述裂缝包括内表面、外表面和n个侧面，分别使用ifcpolyloop、ifcfaceouterbound和ifcface构建裂缝的内表面和外表面，再使用ifcpolyloop、ifcfaceouterbound和ifcface循环定义n个侧面。
13.作为优选方案，所述病害属性用ifcpropertysinglevalue进行定义，所述裂缝的病害属性包括宽度、方向和平面角度测量。
14.作为优选方案，所述病害属性还包括健康状态评估数据集，所述健康状态评估数据集包括评估日期、评估得分、状态评估。
15.作为优选方案，生成ifc结构化格式呈现的桥梁的几何孪生模型具体包括：若病害信息中的病害图片是平面图片，则采用uv映射算法将病害图片由2d转化为3d，再投影到桥梁的几何孪生模型上，具体包括以下步骤：
使用计算机图形学uv纹理映射算法，将图片中顶点，用相应2d坐标u和v来定义；得到2d图像；使用ifctexturevertexlist和ifcindexedtriangletexturemap做2d图像和3d空间三角形的映射，得到3d图像；使用ifcimagetexture将病害3d图像引用为统一资源标识符。
16.基于相同的构思，还提出了一种公路设施病害基于深度学习的标准化自动孪生系统，包括数据处理模块，所述数据处理模块采用上述任一项所述的一种公路设施病害基于深度学习的标准化自动孪生方法将病害信息展示在模型构件上。
17.基于相同的构思，还提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述任一项所述的一种公路设施病害基于深度学习的标准化自动孪生方法。
18.与现有技术相比，本发明的有益效果：本发明的方法将自动分类主要桥梁病害的方法、自动将病害类别和属性结构化和将ifc结构化后的病害映射集成在桥梁几何孪生模型相关构件上的方法相结合，实现了一种公路设施病害基于深度学习的标准化自动孪生方法及系统。实现了自动映射集成病害到在役桥梁的几何孪生模型相关构件上的可视化，为桥梁检测病害数据管理和预测预警分析提供直观可靠的数据支撑。
附图说明
19.图1为本发明实施例1中的一种公路设施病害基于深度学习的标准化自动孪生方法流程图；图2为本发明实施例1中的分层级多类分类器的病害层次；图3为本发明实施例1中一个“fire”模块架构的示意图；图4（a）为本发明实施例1中squeezenet架构策略1的示意图；图4（b）为本发明实施例1中squeezenet架构策略2的示意图；图4（c）为本发明实施例1中squeezenet架构策略3的示意图；图5为本发明实施例1中病害、元素病害及与一次桥梁检测任务的关系uml图；图6为本发明实施例1中裂缝病害的ifc语句代码；图7为本发明实施例1中使用ifcshaperepresentation对纹理形状表示进行创建的代码；图8为通过ifcrelassignstoprocess将ifctask分配给每个元素病害的代码；图9为本发明实施例1中裂缝病害轮廓特征点及面创建示意图；图10为本发明实施例1中裂缝特征点示例的ifc语句代码；图11为本发明实施例1中平移后裂缝特征点代码；图12为本发明实施例1中裂缝内表面由#200-#214特征点连接构成代码；图13为本发明实施例1中裂缝外表面由#100-#114特征点连接构成代码；图14为本发明实施例1中循环定义15个裂缝侧面代码；图15为本发明实施例1中用于描述评估日期、评估得分、状态评估的代码；图16为本发明实施例1中元素病害的属性集描述代码；图17（a）为本发明实施例1中常见病害在桥梁几何孪生模型构件上的可视化效果
图一；图17（b）为本发明实施例1中常见病害在桥梁几何孪生模型构件上的可视化效果图二；图18为本发明实施例1中病害图片到三维几何孪生模型构件的uv映射示意图；图19为本发明实施例1中将病害图片中的像素转化到三维几何孪生模型构件中的代码。
具体实施方式
20.下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
21.实施例1一种一站式的病害自动孪生系统，系统包含：(1) 基于深度学习的分层级分类算法将在役公路设桥梁的主要病害类别自动分类；(2) 基于ifc和其扩展格式将病害类别、几何和属性结构化处理并存储；(3) 基于计算机图形学映射集成算法将病害图片自动可视化呈现到在役桥梁的几何孪生模型构件上。
22.本发明中，钢筋混凝土桥梁病害类别中常见类别有(表1)：剥落/掉角、裂缝、锈蚀、风化、蜂窝/麻面、磨损、露筋和普通病害。并非所有病害类别都可以排他性出现，唯一可能的是剥落/掉角、裂缝、风化、蜂窝/麻面、磨损和普通病害。磨损被排除在外，因为其纹理不是视觉上可检测到的，而是改变三维形状的病害。裂缝与剥落/掉角、蜂窝/麻面和风化会同时发生，裂缝和锈蚀也可能会同时发生。
23.表1
ꢀ–ꢀ
病害类别及部分属性举例图1展示本发明的主要流程步骤。总输入是一张桥梁病害图片，总输出是该病害以
标准化格式孪生在桥梁模型相对应的构件上。下面对流程步骤做具体阐述：步骤1：病害分层级多类分类器步骤1旨在将一张未知类别的病害图片进行病害自动分类。步骤1的输入是一张桥梁病害图片，输出是自动分类，即带有病害类别标签的病害。首先，本发明需确定输入病害图片的分辨率和特征。对于病害特征，分辨率须足以描绘混凝土表面细节，尺寸下限为0.3mm的裂纹。最小病害特征有3个像素的分辨率可最大限度地降低采样不足的风险。因此，表面分辨率应为0.1mm。
24.本发明使用一种基于小体量squeezenet的神经网络，遵循分层级的分类结构来分析桥梁检测指南中预期的病害组合和类别。
25.图2展示了病害分层结构来实现病害检测：初级分类是具有5个类别的多类分类器加上一个互补的“无病害”类别；次级分类是一个二元分类器来决定是否存在露筋类病害；终极分类也是一个二元分类器来决定是否存在锈蚀病害。次级分类只有在初级分类将病害分类为与露筋类病害相关时才会调用；同样，只有在检测到露筋病害时才会调用终极分类。每个表面块可能有多个病害，可能的病害和病害组合是：-剥落/掉角-剥落/掉角+露筋-裂缝-风化-风化带露筋-风化带露筋+锈蚀-蜂窝/麻面-蜂窝/麻面带露筋-蜂窝/麻面带露筋+锈蚀-普通病害-无病害分类器中的每一层级都为一个输入的病害图片输出一组判定类别的分数，根据每层级的结果决定是否执行下一层级。对于每个分类层级，选择得分最高的类别标签。
26.本发明总共使用了来自9座公路桥梁的检测数据的4205张病害/无病害图片，将图片贴上分类标签后，随机选择其中70%(即2944张图片)作为训练集，剩余30%(即1261张图片)作为验证集。露筋和锈蚀分类器是二元分类器，即它们只有两个类别(病害/无病害)。获取接近这两个类别边界的样本有助于提高分类器的稳健性，尤其有助于提高分类器对决定性特征的敏感度。由于病害样本数量不足以从头开始训练深度神经网络，本发明采用了一种交叉学习的方式，即使用一种数据集预训练网络并在特定病害数据集上进行微调的方式。微调网络权重有两种方式：一是只更新网络最后一层的权重，二是通过整个网络将误差反向传播回来。仅更新网络的最后一层所需训练时间和内存更少，而更新整个网络会获得更高的分类可靠性。本发明使用squeezenet神经网络(ferrest等人，2016)对病害进行三个层级的网络的独立训练。squeezenet是一个小型的神经网络，其关键策略有3：1)策略1：使用1x1的滤波器2)策略2：将输入通道的数量减少到 3x3 滤波器
3)策略3：网络后期进行降采样，以便卷积层有较大的激活图初级分类共有七个输出节点：6个病害类别和1个背景类(在机器学习中常使用背景类来表示不属于任何类别的输入)。squeezenet中一个fire模块定义为一个挤压层(1x1卷积滤波器)加一个扩展层(1x1加3x3的卷积滤波器)，fire模块用来描述一个挤压层和一个扩展层，一个“fire”模块架构的示意图如图3所示。
27.一张病害图片首先进入一个独立的卷积层，根据策略1，进入“fire2-9”的8个fire模块。根据策略2，每个fire模块的滤波器都增加了“simple bypass”。最后，squeezenet在conv1、 fire4、 fire8和conv10之后开展步幅为2的最大池化。根据策略3，池化在较晚时进行，使得squeezenet拥有“complex bypass
”ꢀ
squeezenet架构图，squeezenet架构策略1、2、3的示意图依次如图4（a）、图4（b）和图4（c）所示。
28.除体量小并确保准确率外，该神经网络的优点还有参数较少包括：在fire模块内的所有挤压层和扩展层使用了relu activation(图3)，加入了dropout层以减少过拟合现象；另外，网络还适用了adam优化器，批尺寸32、训练学习率为0.04，整个训练过程线性下降。
29.批尺寸英文意思为batch size，深度学习中，批尺寸的大小定义为一次训练的样本数量，决定了梯度下降的方向，影响模型的优化程度和速度。批尺寸过小，算法难以达到收敛，分类效果差；批尺寸增大，处理相同数据量的速度越快，但同时达到收敛精度最优所需要的全数据集训练次数越多，批尺寸参数设置为32，即32个病害数据样本为1批来进行梯度下降。
30.交叉熵是机器学习中常用的损失函数，信息论领域的一种度量，建立在熵的基础上，通常计算两个概率分布之间的差异。本发明使用交叉熵(方程1)来量化数据真实分布 和分类结果分布之间的距离，最小化分类器的交叉熵距离可最大化预测正确性。
31.；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程1其中，x为病害类型， (x)定义为病害类型x的真实概率分布，假设训练集是从的真实采样，则p(x)定义为在训练集上估计病害类型x的概率分布，即可以理解为p(x)是病害类型的预测概率。
32.表2展示了该分层级多类分类器的3个神经网络的交叉熵距离和训练周期。可见该分层级多类分类器的3个神经网络都在趋于35万训练步骤内开始收敛。
33.表2
–
神经网络训练结果
通过以下一系列通用分类指标来对分类结果进行验证。二元分类有四组分类结果：被分类为阳性的正样本数，即true positive—tp；被分类为阴性的负样本数，即truenegative—tn；被分类为阴性的正样本数，即假阴性false negative—fn；以及被分类为阳性的负样本数，即假阳性falsepositive—fp。对于非二元分类器的情况，即多类分类器，汇总所有属于相应类别的样本数。本发明使用以上这4组指标对分类结果进行评估，定义灵敏度为正样本获得正确分类结果的分数：灵敏度；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程2特异度相当于负样本的灵敏度，也称为真阴性率：特异度；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程3精确率
ꢀꢀ
；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程4召回率 ；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程5准确率是样本被正确分类的分数，独立于其类别：
ꢀꢀꢀꢀꢀꢀꢀ
；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程6通常，准确性是评估分类器整体性能的衡量标准。但如果样本中的病害类别不平衡，即当某一种或几种类别的数量远少于或多余其他类别时，分类结果就会倾向数量占大多数的类别。因此，本发明使用分数，又称平衡f分数，来评估分类器的整体性能。被定义为精确率和召回率的调和平均数：；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程7表3展示了该分层级多类分类器的结果。基于squeezenet的分层级多类分类器的平均准确率为92.7%，平均值为83.1%。若再增加更多的病害类型图片和病害数量，该分类器算法能训练出更优异的多类分类器。因此，本发明具有很高的可扩展性和很大的优化空间。
34.表3
ꢀ–
多层级多类分类器的分类结果
步骤2：标准化结构化存储病害类别、几何和属性步骤2旨在用基础设施通用格式将桥梁病害类别及其几何和相关属性进行存储。步骤2的输入有三：(1)步骤1的输出即自动分类且带有病害类别标签的病害；(2)相关病害的几何和属性；(3)已有的桥梁的几何孪生模型。步骤2的输出是用标准化格式结构化后的病害类别及其属性。
35.现有桥梁管理系统的对于桥梁病害信息存储模式多依托于关系型数据库，虽然这种严谨的结构化的数据存储方法给系统提供了较好的鲁棒性，但舍弃了对病害几何及其属性的描述。ifc作为国际通用格式，已得到市面上绝大多数bim软件的支持，兼容性极佳，能支撑数据跨平台跨周期在设施的全生命周期中以协同化、标准化的方式流转和共享。但目前，对于基础设施病害如何用ifc进行结构化存储和可视化表达研究很少。
36.本发明通过生成桥梁病害信息的ifc格式语句，并将其写入桥梁可视化模型的ifc源文件中，生成新的带桥梁病害信息的ifc文件，支撑后续实现桥梁病害信息依附于桥梁结构模型的动态表达。
37.病害层次病害层次主要解决病害类别的存储问题，定义了病害、元素病害和桥梁检测任务之间的关联关系，从而根据该关联关系生成病害的树状图，从而将树状图与桥梁几何孪生模型建立关联，实现桥梁病害信息依附于桥梁结构模型的动态表达。某些病害例如裂纹，本身是一种病害，但也会由其他病害类别引起，如损坏的预应力、分层和冻融。使用两种层次区分对病害的识别和对病害的评估。前者是元素病害，后者是病害。元素病害仅由其可见的几何外观决定，但不具备状态评估的能力。元素病害只涉及一个元素，表示在特定时间特有的病害外观。因此，如图5所示，图5是病害、元素病害及与一次桥梁检测任务的关系uml图，可在桥梁检测时为每个可见的元素病害创建一个单独的实例，即多个元素病害可与一次特定的桥梁检测任务关联。这样一来，也可通过在每次桥梁检测任务时对一个元素病害外观进行描述来记录元素病害随时间推移的演变。
38.病害按成因类型和按时间推移对多种元素病害进行聚合。例如，腐蚀会导致裂缝、剥落、渗漏，甚至分层等不可见的元素病害。所有这些元素病害应关联聚合起来，因为它们
来自同一来源。此外，还需表示这些元素病害随时间推移恶化的情况。因此，每次识别一个元素病害时，都将其作为一个单独实例进行创建，并将其与一个病害进行绑定。随着时间推移，通常会把具有相同成因的多个元素病害聚合起来，成为一个病害。
39.与元素病害不同，病害可传播到多个元素并包含不同元素类型和多个元素类型实例。桥梁的健康状态评估是基于病害级别而非元素病害级别。由于病害独立于特定桥梁检测，所以它不直接与某一次检测绑定，而仅通过元素病害与桥梁检测进行关联。
40.使用ifcelementassembly对病害进行创建。使用聚合关系ifcrelaggregates可将病害在传播到多个元素病害时，分配给一个或多个元素病害。裂缝病害的ifc语句如图6所示。
41.#470句是对病害通过ifcelementassembly进行创建并将病害#470分配给一个#471元素病害(或多个元素病害)。
42.可使用ifcsurfacefeature对可表示为平面类型的元素病害进行创建（立体几何表示可参照后述特征点进行创建）。使用ifcshaperepresentation对纹理形状表示进行创建，使用ifcshaperepresentation对纹理形状表示进行创建的代码如图7所示。
43.使用ifctask创建桥梁检测任务，使用ifctasktime存储检测时间和总用时等信息。通过ifcrelassignstoprocess将ifctask分配给每个元素病害，通过ifcrelassignstoprocess将ifctask分配给每个元素病害的代码如图8所示。
44.病害几何本发明主要针对裂缝和剥落/掉角进行病害几何重构。病害不仅有定性的描述，还有几何描述，也就是这个病害具有怎样的形状，大部分公路桥梁裂缝几何特征在于其呈线型，其特征面可由裂缝表面的各特征点逐一连接构成封闭的“面”，可由此面在高程方向拉伸，得到裂缝的立体几何模型，裂缝病害轮廓特征点及面创建示意图如图9所示。所以，裂缝可基于点—线—面的连接和拉伸去表达。剥落/掉角与裂缝类似，但不同之处在于裂缝是基于狭窄“面”的延伸扩展，是一种线型立体模型，而剥落/掉角是块状立体模型。两者主要差别在于特征点的选择上，但表达形式大同小异。使用ifccartesianpoint去定义特征点坐标，以裂缝深度为参数平移得到裂缝模型的所有特征点；然后使用ifcpolyloop、ifcfaceouterbound以及ifcface来构建裂缝的点-线-面模型。图10为裂缝特征点示例的ifc语句代码。
45.若裂缝深度为2.5cm，由ifccartesianpoint中的z值表达特征点随深度平移，即高程发生的变化，平移后裂缝特征点代码如图11所示。
46.裂缝内表面由#200-#214特征点连接构成，代码如图12所示。
47.裂缝外表面由#100-#114特征点连接构成，代码如图13所示。
48.裂缝还存在15个裂缝侧面，每个侧面由4个特征点构成，循环定义15个裂缝侧面代码如图14所示。
49.病害属性属性分为两组，一组直接描述病害特征并且是病害类型所独有的；另一组是病害的位置和方向。病害除了对相关元素病害进行聚合外，还包括桥梁的健康状态评估。引入pset_condition作为状态评估的属性集，pset_condition有3个单独属性ifcpropertysinglevalue用于描述评估日期、评估得分、状态评估(定性描述)，用于描述评
估日期、评估得分、状态评估的代码如图15所示。
50.元素病害的属性集描述如图16的代码所示，#507-#510语句使用ifcpropertysinglevalue描述单个裂缝病害属性，包括宽度(ifclengthmeasure)、方向(向下/向上)、平面角度测量(ifcplaneanglemeasure)，#511使用ifcpropertyset描述裂缝元素属性集，包含所有单个属性（#507-#510）。
51.以下文字展示了一个用ifcviewer以ifc格式存储的桥墩裂缝病害通过树状视图呈现其相应信息的示例，包括桥墩状态评估、桥梁检测信息、元素病害裂缝属性等：第3联第2跨1#墩
ꢀꢀꢀꢀ
结构裂缝：(ifcelementassembly)
ꢀꢀꢀꢀꢀꢀꢀꢀ
裂缝：裂缝(ifcsurfacefeature)
ꢀꢀꢀꢀꢀꢀꢀꢀ
ifcprocess:
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
对象类型：桥梁定检
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
姓名：李某某，某某公司
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
描述：检测时交通拥堵,桥面湿滑,多云有雾伴有小雨,检测期间天气逐渐放晴
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
状态：完成
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
完成时间：2021-11-10t15:07:00
ꢀꢀꢀꢀꢀꢀꢀ
ifcpropertyset：pset_crackproperties
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
宽度：0.380000
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
向下：.t.
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
向上：.f.
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
朝向关联承重构件：-0.875320
ꢀꢀꢀꢀꢀꢀꢀ
ifcpropertyset：pset_locationproperties
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
靠近承重构件：3.380000
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
弯曲行为：.f.
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
剪力行为：.t.
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
扭力行为：.f.
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
pset_locationproperties：
ꢀꢀꢀꢀꢀꢀꢀꢀ
ifcpropertyset：pset_condition
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
评估日期：2021-11-10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
评估得分：81.2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
状态评估：混凝土表面总体情况良好,但存在微小裂缝在第3联第2跨1#墩离地半米处该树状视图的第一个节点是桥墩其本身，接着是结构裂缝病害节点(ifcelementassembly)，其有2个子节点，即元素病害裂缝(ifcsurfacefeature)和状态评估（pset_condition）。状态评估日期是最近一次检测日期。在元素病害的ifcprocess节点中保存有桥梁检测任务信息，然后是相应节点中病害类型相关的详细属性和病害位置详细属性。
52.步骤3：集成映射病害在几何孪生模型构件上
步骤3旨在将病害映射集成在桥梁几何孪生模型构件上。步骤3的输入是有二：(1)步骤2的输出即以ifc结构化存储的病害；(2)既有的在役桥梁的几何孪生模型。步骤3的输出(即本发明的总输出)是病害以ifc标准化、结构化格式可视化呈现在桥梁的几何孪生模型相对应的构件上。病害以ifc标准化、结构化格式可视化呈现在桥梁的几何孪生模型相对应的构件上主要就是指uv贴图，之后将病害信息和几何孪生模型数据(文件)集成，写入几何孪生模型文件。
53.根据病害的描述类型，通过2种集成方式对病害进行呈现：对于立体几何类型的病害可1)通过病害ifccartesianpoint几何坐标直接将病害几何集成到既有几何孪生模型中；对于平面图片类型的病害，采用uv映射算法将病害图片由2d转化为3d。图17（a）中是立体几何类型病害a)剥落/掉角，b)裂缝；图17（b）中是平面图片类型病害a)剥落/掉角，b)蜂窝/麻面，c)裂缝的图示，下面对第2种集成方式做阐述。
54.在桥梁检测期间拍摄的病害图片通常只显示桥梁病害处的一小部分，虽然在图片上得以很好的呈现，但这些图像很可能会出现严重变形的情况，且它们大多是特写镜头，很难根据病害图片本身全面了解病害的确切位置和方向。若能将病害图片映射到具体构件的表面上，可以消除失真，且更直观呈现病害状态。
55.对于平面图片类型病害，可使用计算机图形学uv纹理映射算法，将图片中顶点，用相应2d坐标u和v来定义，图18是病害图片到三维几何孪生模型构件的uv映射。给定球体上任意一点p，是从点p到球心的单位向量，假设球体极点与y轴对齐，2d图片中坐标和在计算时自动归一化在[0,1]区间内，可表示为： ；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程8 ；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方程9使用ifctexturevertexlist和ifcindexedtriangletexturemap做2d图像和3d空间三角形的映射。使用ifcimagetexture将病害纹理图片引用为统一资源标识符(uniform resource identifier—uri)。外部引用病害纹理图片文件的优点在于，ifc文件小而可读。病害和元素病害两个实体都支持常见图片压缩格式如.jpep或.png。以下ifc语句展示病害纹理图片可以明确分配给元素病害，精确定位在元素病害上，实现了将病害图片中的像素转化到三维几何孪生模型构件中，以下ifc语句展示病害纹理图片ifcimagetexture分配给元素病害#502ifctriangulatedfaceset, 以此将病害图片中的像素转化到三维几何孪生模型构件中，将病害图片中的像素转化到三维几何孪生模型构件中的代码如图19所示。
[0056]
ifcindexedtriangletexturemap用于将二维纹理坐标将其映射到二维表面，用于将纹理映射到#502 ifctriangulatedfaceset的三角形，将二维纹理坐标将其映射到二维表面的相关代码如下所示： #525 ifccarteianpoint((0.0.0.0))为病害纹理的基点；#524 ifcdirection((1.0,1.0))表示病害纹理的方向； #522 ifcimagetexture将病害纹理分配给元素病害#502； #526 ifcindexedtriangletexturemap即将病害纹理坐标映射到#502的元素病害上面。
[0057]
本发明所提出的自动病害数字孪生系统不仅适用于公路桥梁定期检测中的常见病害的分类、基于ifc通用格式标准化病害存储及可视化。其包含的算法可扩展应用在其他
类型的桥梁检测中，以及其他类型的公路设施病害分类和可视化，为公路工程设施病害的数字孪生提供一种可行的一站式解决方案。
[0058]
最后应说明的是：以上详细描述的实施例仅为该发明的较佳实践，并不能以此来限定本发明的权利范围，对前述各实施例所记载的技术方案进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

技术特征：
1.一种公路设施病害基于深度学习的标准化自动孪生方法，其特征在于，包括以下步骤：基于深度学习的分层级分类算法将在役公路设桥梁的主要病害类别自动分类，得到病害类别；根据病害类别生成带桥梁病害信息的ifc文件，所述带桥梁病害信息的ifc文件是通过病害、元素病害以及桥梁检测任务的关系uml图建立的，所述关系uml图中，多个元素病害与一次特定的桥梁检测任务关联，病害传播到多个元素病害，并通过元素病害与桥梁检测任务关联；建立所述带桥梁病害信息的ifc文件和桥梁的几何孪生模型上病害之间的关联，生成ifc结构化格式呈现的桥梁的几何孪生模型。2.如权利要求1所述的一种公路设施病害基于深度学习的标准化自动孪生方法，其特征在于，病害传播到多个元素病害，并通过元素病害与桥梁检测任务关联具体步骤包括：使用聚合关系ifcrelaggregates将病害传播到多个元素病害；使用ifctask创建桥梁检测任务；通过ifcrelassignstoprocess将ifctask分配给每个元素病害。3.如权利要求1-2任一所述的一种公路设施病害基于深度学习的标准化自动孪生方法，其特征在于，还包括将病害几何和病害属性添加到所述桥梁的几何孪生模型上，所述病害几何是将裂缝和剥落/掉角进行病害几何重构生成的立体模型；所述病害属性用于描述病害的特征、位置和方向。4.如权利要求3所述的一种公路设施病害基于深度学习的标准化自动孪生方法，其特征在于，所述病害几何用ifc语句进行表达，使用ifccartesianpoint定义特征点坐标，然后使用ifcpolyloop构建特征点，使用ifcfaceouterbound构建所述特征点坐标之间的连线，以及使用ifcface来构建所述连线构成的面，从而生成所述立体模型。5.如权利要求4所述的一种公路设施病害基于深度学习的标准化自动孪生方法，其特征在于，所述病害几何中裂缝的ifc语句进行表达包括以下内容：以裂缝深度为参数，将裂缝二维平面的坐标和裂缝深度相结合，得到裂缝模型的三维特征点坐标；所述裂缝包括内表面、外表面和n个侧面，分别使用ifcpolyloop、ifcfaceouterbound和ifcface构建裂缝的内表面和外表面，再使用ifcpolyloop、ifcfaceouterbound和ifcface循环定义n个侧面。6.如权利要求3所述的一种公路设施病害基于深度学习的标准化自动孪生方法，其特征在于，所述病害属性用ifcpropertysinglevalue进行定义，所述裂缝的病害属性包括宽度、方向和平面角度测量。7.如权利要求6所述的一种公路设施病害基于深度学习的标准化自动孪生方法，其特征在于，所述病害属性还包括健康状态评估数据集，所述健康状态评估数据集包括评估日期、评估得分、状态评估。8.如权利要求1所述的一种公路设施病害基于深度学习的标准化自动孪生方法，其特征在于，生成ifc结构化格式呈现的桥梁的几何孪生模型具体包括：若病害信息中的病害图片是平面图片，则采用uv映射算法将病害图片由2d转化为3d，再投影到桥梁的几何孪生模型上，具体包括以下步骤：
使用计算机图形学uv纹理映射算法，将图片中顶点，用相应2d坐标u和v来定义；得到2d图像；使用ifctexturevertexlist和ifcindexedtriangletexturemap做2d图像和3d空间三角形的映射，得到3d图像；使用ifcimagetexture将病害3d图像引用为统一资源标识符。9.一种公路设施病害基于深度学习的标准化自动孪生系统，其特征在于，包括数据处理模块，所述数据处理模块采用如权利要求1至8中任一项所述的一种公路设施病害基于深度学习的标准化自动孪生方法将病害信息展示在模型构件上。

技术总结
本发明涉及人工智能和三维重建的工程应用领域，具体涉及公路设施病害基于深度学习的标准化自动孪生方法及系统，方法包括以下步骤：基于深度学习的分层级分类算法将在役公路设桥梁的主要病害类别自动分类；根据病害类别生成带桥梁病害信息的IFC文件，带桥梁病害信息的IFC文件是通过病害、元素病害以及桥梁检测任务的关系UML图建立的；建立带桥梁病害信息的IFC文件和桥梁的几何孪生模型上病害之间的关联，生成IFC结构化格式呈现的桥梁的几何孪生模型。本发明为桥梁检测病害数据管理和预测预警分析提供直观可靠的数据支撑。测预警分析提供直观可靠的数据支撑。测预警分析提供直观可靠的数据支撑。


技术研发人员：黄文悦 岳建洪 黄迪 吕若丹 汪军 乔科 宋路兵 程文诚 沈国炎 杨洁 苏俊龙 李宁 许元 汪波 李勋 庞骁奕 王磊 包发文 康雨嘉 李鑫聃 余文劲 余沛侨
受保护的技术使用者：四川成邛雅高速公路有限责任公司
技术研发日：2023.08.22
技术公布日：2023/9/23