粗糙度传感器及粗糙度等级评估与三维评价装置与方法

1.本发明涉及物体识别、光学成像技术和人工智能技术领域，尤其是一种粗糙度传感器及粗糙度等级评估与三维评价装置与方法。


背景技术：

2.现阶段，在人工智能领域对于表面纹理触觉感知方面的研究已日渐深入，但作为表面纹理主要组成部分的粗糙度却很少被探索。粗糙度检测方法可以分为两类: 接触式方法和非接触式方法。接触式方法一般为触针法，具有稳定可靠、测量范围大、检测成本低等优势，但触针尖端容易在测试表面上造成划痕，且受到触针尖端圆弧半径的限制，其测量精度较低。非接触式方法主要基于光学检测原理，包括散射法、干涉法、散斑法、计算机视觉法等。与接触法相比，非接触法是一种无损快速的表面检测方法，测量精度高且响应速度快，与计算机算法的结合也成为目前粗糙度检测的主要趋势。但一般的非接触式粗糙度仪设备尺寸难以小型化，且价格较为昂贵，故在使用场景上受到很多限制。
3.同时，基于光学原理的粗糙度仪对环境干扰和被测表面的反射性条件要求较高，也不会直接呈现物体表面的三维形状和位置信息。尽管非接触式传感器得到更多的关注和使用，但一些视觉-触觉机制研究发现，对于物体受力变形、表面纹理等信息的感知，触觉的贡献度始终大于视觉，由此可见，接触式传感器依旧更加适用于物体表面粗糙度检测且测量结果可靠。在进行接触探测的同时利用非接触式传感的优势，使用触觉和视觉结合的方式实现表面粗糙度检测，将更能提升粗糙度评估的全面性、准确性和检测效率。
4.粗糙度指标可用来评价精密制造工艺的先进程度，快速获取工件的表面粗糙度等级，对精密加工评价具有重要意义。然而，传统的粗糙度等级评估方法严重依赖专用仪器，在测量效率及表面适应性等方面仍存在着较多问题，尤其对于零件内孔孔壁粗糙度的评估效率较低。这种情况下通常使用内窥镜图像观察，但触觉信息的缺乏极大可能造成粗糙度的测量误差。
5.视触觉传感器为内窥式粗糙度测量提供了更好的解决方案，软弹性触头可以避免划伤物体表面，同时可依靠跟踪传感表面上的高像素、高帧率的图像进行高灵敏度测量，不仅最大限度地减少了传统电气传感器所需的布线数量，也便于器件小型化、系统集成和灵活拆卸。但传统视触觉传感器普遍尺寸较大，平面式结构对接触位置、接触角度有较多要求，对内窥模式下的操作造成不便。同时，一般的视触觉传感器使用单孔径相机成像二维平面，想要得到物体表面形貌更多维度的信息，需要通过组合来自三个或更多方向的彩色led阵列照明，才可根据光度立体视觉技术重建三维形状，对光源的要求较高，不利于系统集成。
6.在表面形貌的粗糙度等级方面，目前工程上大多仍用二维表面粗糙度参数来评估。传统的粗糙度等级评估方法一般有分形几何、motif方法、特定功能参数集等，但在效率方面由于需要提取的数据量较大，且计算过程较为繁琐，造成整体计算效率低下。基于深度学习的表面粗糙度算法普遍使用非接触时拍摄的静态二维图像建立预测模型，虽然提高了
检测的智能性，但检测速度受到限制。而且，目前普遍使用的二维评价标准只是以一条线上的数据来评价一个表面，主要体现表面形貌轮廓的高度信息，很少评价三维空间尺度下的间距、形状等有用信息，故表面粗糙度二维评估标准表征并不全面，具有一定局限性。因此，如何更快的获取更高处理水平的工件表面三维形貌图像以使表面粗糙度评估更合理更有效率，仍然需要进一步研究。


技术实现要素：

7.本发明所要解决的技术问题在于提供一种粗糙度传感器。
8.本发明所要解决的另一技术问题在于提供一种安装有上述粗糙度传感器的粗糙度等级评估与三维评价装置。
9.本发明所要解决的另一技术问题在于提供一种应用上述装置的粗糙度等级评估与三维评价方法。
10.为解决上述技术问题，本发明的技术方案是：一种粗糙度传感器，包括保护膜、红外反射膜、力敏感层、支撑板、微透镜阵列、基底，所述保护膜、红外反射膜和力敏感层均为半球状，且由外及内依次贴合固定连接构成传感器接触软体，所述支撑板中部呈半球状凸起且凸起部分为中空结构，所述力敏感层与支撑板的半球状凸起处贴合固定，所述基底为平面薄板且中心设有圆形凹槽，所述支撑板的半球状凸起与基底的圆形凹槽之间设有微透镜阵列。
11.优选的，上述粗糙度传感器，所述保护膜为均匀高分子透明薄膜。
12.优选的，上述粗糙度传感器，所述红外反射膜为氧化锡锑（ato）薄膜。
13.优选的，上述粗糙度传感器，所述力敏感层为无色透明半球壳，其材料为聚二甲基硅氧烷（pdms）。
14.优选的，上述粗糙度传感器，所述支撑板和基底的材质为聚甲基丙烯酸甲酯（pmma）。
15.优选的，上述粗糙度传感器，所述微透镜阵列由若干子透镜和微透镜座体组成，所述微透镜座体内部设有通孔，所述子透镜固定排布在通孔上。
16.优选的，上述粗糙度传感器，所述子透镜为圆柱形自聚焦透镜。
17.优选的，上述粗糙度传感器，所述子透镜数量为7个，所述微透镜座体的通孔数量为7个，按照六边形排列方式均匀排布。
18.优选的，上述粗糙度传感器，所述微透镜座体的材质为不透明铝合金材料。
19.一种粗糙度等级评估与三维评价装置，包括上述粗糙度传感器、内窥镜成像端、红外光纤束、照明光纤束和镜管，所述镜管上设有内窥镜成像端，该内窥镜成像端的开口大小与所述粗糙度传感器的基底大小一致，粗糙度传感器置于所述内窥镜成像端的开口上方，所述红外光纤束位于内窥镜成像端开口内侧，所述照明光纤束位于内窥镜成像端开口外侧。
20.优选的，上述粗糙度等级评估与三维评价装置，所述红外光纤束分为8束，均匀排列呈圆环状，输出光照亮传感器接触软体内侧。
21.优选的，上述粗糙度等级评估与三维评价装置，所述照明光纤束分为2束，对称位于内窥镜成像端开口两侧，输出光照亮传感器接触软体外侧。
22.优选的，上述粗糙度等级评估与三维评价装置，还包括卡扣，所述卡扣对称设置于粗糙度传感器两侧，用于将粗糙度传感器的基底与镜管固定连接。
23.优选的，上述粗糙度等级评估与三维评价装置，还包括内窥镜主体、用于通入红外光纤束和照明光纤束的光纤接口、物镜玻璃、物镜、反射镜、柱透镜组和目镜，所述内窥镜主体、光纤接口和目镜置于镜管后端，其中，所述内窥镜主体与镜管固定连接，所述目镜固定于内窥镜主体最后端，所述光纤接口与内窥镜主体相连通，所述物镜玻璃置于内窥镜成像端的开口处，所述物镜平行设置于物镜玻璃下方，在镜管内部该物镜下方倾斜设置有反射镜，所述内窥镜主体内部设有柱透镜组。
24.优选的，上述粗糙度等级评估与三维评价装置，所述物镜玻璃为蓝宝石透明圆柱。
25.优选的，上述粗糙度等级评估与三维评价装置，反射镜的倾斜角度为45
°
。
26.优选的，上述粗糙度等级评估与三维评价装置，所述柱透镜组为一组前后设置的中继镜头。
27.优选的，上述粗糙度等级评估与三维评价装置，还包括相机和图像处理单元，所述相机分别与目镜以及图像处理单元线路连接。
28.优选的，上述粗糙度等级评估与三维评价装置，所述相机为双波段rgb-nir相机。
29.优选的，上述粗糙度等级评估与三维评价装置，所述图像处理单元为计算机。
30.应用上述装置的粗糙度等级评估与三维评价方法，具体步骤如下：（1）选用安装有粗糙度传感器的内窥镜，通过红外光纤束和照明光纤束分别接入红外光光源和可见光光源；（2）利用数据线将相机采集的图像传输至计算机；（3）相机查看可见光波段图像，打开可见光光源，进入外部可见光照明模式；对被测物体的内壁、内孔等表面进行非接触内窥操作，观测被测表面的位置和基本轮廓；（4）通过相机采集物体表面反射的可见光图像，在计算机中进行表面形貌的可视化三维重建，观测被测表面的整体纹理走向，确定基准面位置；（5）相机查看近红外波段的图像，打开红外光光源，进入内部红外光照明模式；根据表面三维形貌图设定传感器的压入深度和滑擦速度；对被测表面进行压入接触，待传感器弹性体按压至表面后，从图像上可观察到接触区域的灰度梯度变化；图像中的光强度随传感器的压入深度增加而增强，当图像光强度达到设定阈值时停止压入，传感器沿着一条垂直于纹理的采样线方向滑擦；（6）通过相机采集粗糙度传感器与表面接触时的红外波段视频，在计算机中通过深度学习算法给出接触探测的粗糙度等级，并可通过抽取视频帧得到单帧图片下接触位置的粗糙度三维评价参数值，通过矩阵均衡化方法进行被测表面形貌的三维参数评价。
31.优选的，上述粗糙度等级评估与三维评价方法，所述深度学习算法过程如下：基于多视图的wcnn-lstm并列时空双流网络，通过提取粗糙度传感器中的微透镜阵列实现的7视角图像，作为网络模型输入量进行特征提取；空间网络使用小波卷积网络（wavelet convolutional neural network，wcnn），从接触特征图像中提取灰度分布的高频纹理信息，以计算粗糙度三维评价参数指标；时间网络使用长短期记忆网络（long short-term memory，lstm），从接触视频中提取灰度变化频率特征，得到频域特征参数，通过分类层实现表面粗糙度等级识别。
32.有益效果：上述粗糙度传感器及粗糙度等级评估与三维评价装置，对物体表面感知的高触觉灵敏度，图像视觉的立体维度、等级评估的实时性和参数评价的全面性等方面具有较大优势，为内壁、孔洞等狭小空间物体表面探测和粗糙度评估提供技术支持。具体来说：所述粗糙度传感器进行了小型化设计，可与超细内窥镜灵活组装用于内壁、内孔等狭小空间的表面粗糙度探测。采用接触式触觉感知与非接触式视觉图像结合的方式，进行接触物体表面粗糙度的图像采集和综合评估。基于视触觉原理，利用接触时柔性力敏感层形变导致的光反射梯度变化实现高灵敏度的物体表面触觉感知。透明的红外反射膜具有环境信息的可视性，便于操作时感知被测物体的尺寸、位置等信息，还可通过光源设置获取外部可见光照明模式下的清晰视觉图像，以及内部红外光照明模式下的接触反射光图像。微透镜阵列的加入使集成后的传感器可对接触物体表面进行多视图成像，类似光场的结构可以实现表面形貌的三维重建。同时利用触觉测量的环境适应性强、准确性高及光场的快速成像优势，结合深度神经网络算法检测物体表面粗糙度，实现快速精准的表面粗糙度等级评估和三维参数评价。
33.安装有所述粗糙度传感器的粗糙度等级评估与三维评价装置基于视触觉机制，结合算法可实现快速的表面粗糙度等级评估与三维参数评价。由于粗糙度传感器作为视触觉传感器其尺寸仅为毫米级，且传感器集成一体化，可通过卡扣装置与内窥镜灵活组装，对难以进入的表面轮廓位置（如内孔结构）进行测量评估。该传感器原理上基于柔性力敏感层的变形和反射光的梯度变化来感知接触表面特征，在进行粗糙度探测时对接触力敏感，具有高分辨率图像、高触觉灵敏度、低制造成本和便携性。传感器的反射膜为透明的纳米氧化锡锑薄膜，在可见光范围内，较传统反射式视触觉传感器的镜面反射层透光性更好，有利于在可见光照明下利用光学图像检测方法进行接触表面的初步评估，同时提供清晰的视野图像便于环境观察和技术操作。传感器内部封装自聚焦微透镜阵列，在更小的透镜体积下可以最大限度地捕获三维成像所需的角度信息，无需再对内窥镜内部光路器件进行特殊改良，即可通过特征提取和图像反卷积实现高分辨率的表面形貌三维重建。表面三维形貌模型的建立为接触时的采样方向和基准面的选取提供参考，提高了粗糙度三维检测的速度和准确性。同时，将三维视触觉与时空双流卷积神经网络融合，利用光场快速成像和信息解算的优势，结合多视图信息对接触表面进行三维特征的描述，实现快速精准的物体表面粗糙度等级评估与三维参数评价，改善了以往粗糙度评估效率较低的问题。
附图说明
34.图1为本发明所述粗糙度等级评估与三维评价装置的工作原理示意图。
35.图2为粗糙度传感器的内部结构示意图。
36.图3为粗糙度传感器与内窥镜组装的示意图。
37.图4为自聚焦透镜的成像特性示意图。
38.图5为自聚焦透镜阵列的外形示意图。
39.图6为自聚焦透镜阵列在横向和轴向位置上点源成像的示意图。
40.图7 为侧开成像端的硬管内窥镜镜管内部光路的剖面图。
41.图8为基于视觉图像的光场三维重建算法流程图。
42.图9为基于深度学习的动态粗糙度等级评估与三维参数评价算法流程图。
43.图10为基于多视图的wcnn-lstm并列时空双流网络框架的示意图。
44.图11为粗糙度图像采集与等级评估的操作过程。
45.图中：1-保护膜，2-红外反射膜，3-力敏感层，4-支撑板，5-微透镜阵列，6-基底，7-内窥镜成像端，8-红外光纤束，9-照明光纤束，10-相机，11-计算机，12-镜管，13-微透镜座体，14-内窥镜主体，15-光纤接口，16-粗糙度传感器，17-卡扣，l1-自聚焦透镜，l2-物镜玻璃，l3-物镜，l4-反射镜，l5-柱透镜组，l6-目镜
实施方式
46.下面结合实施例和附图对本发明的触觉成像原理、系统结构组成、图像处理算法及操作步骤做出说明。
47.实施例1如图2、3、5、7所示，一种粗糙度等级评估与三维评价装置，包括粗糙度传感器16、内窥镜成像端7、红外光纤束8、照明光纤束9、内窥镜主体14、用于通入红外光纤束8和照明光纤束9的光纤接口15、物镜玻璃l2、物镜l3、反射镜l4、柱透镜组l5、目镜l6、镜管12和卡扣17，其中，所述粗糙度传感器16包括保护膜1、红外反射膜2、力敏感层3、支撑板4、微透镜阵列5、基底6，所述保护膜1、红外反射膜2和力敏感层3均为半球状，且由外及内依次贴合固定连接构成传感器接触软体，所述保护膜1为均匀高分子透明薄膜, 红外反射膜2为氧化锡锑ato薄膜, 纳米ato粉末颗粒度在20nm左右，该红外反射膜2厚度在60μm左右，呈微蓝色透明，力敏感层3为外径1.5mm，厚0.3mm的无色透明半球壳，其材料为道康宁公司生产的sylgard 184聚二甲基硅氧烷（pdms），其在光学频率（240nm-1100nm）处透光率达到95%，在25-150℃的温度范围内固化；所述支撑板4的中部呈半球状凸起且凸起部分为中空结构，所述力敏感层3与支撑板4的半球状凸起处贴合固定，所述基底6为平面薄板且中心设有圆形凹槽，所述支撑板4和基底6为传感器的支撑部分，其材质均为聚甲基丙烯酸甲酯（pmma），透光率92%，密度小且机械强度较高，抗拉伸和抗冲击的能力比普通玻璃高7～18倍，在保证成像质量的同时可使传感器结构轻量化，其中支撑板4厚0.2mm，基底6厚0.2mm，中心的圆形凹槽深0.1mm，所述支撑板4的半球状凸起与基底6的圆形凹槽之间盛放2mm直径的微透镜阵列5，所述微透镜阵列5由7个圆柱形自聚焦透镜l1和微透镜座体13组成，所述微透镜座体13的材质为不透明铝合金材料，其内部对应设有7个通孔，按照六边形排列方式均匀排布，所述圆柱形自聚焦透镜l1固定排布在通孔上；上述粗糙度传感器16各部分传感单元分层制造，集成封装，最后采用等离子键合技术改善pdms与pmma的表面疏水性，将力敏感层3、支撑体4和基底6贴合牢固。其中，所述力敏感层3首先使用3d打印技术制作模具，并提前在模具表面均匀喷涂sylgard 184专用脱模剂。其次按照基本组分和固化剂的比例为10:1进行配胶，经过脱气去除气泡后浇筑至模具中，在75℃下烘烤30分钟后取出脱模；红外反射膜2首先使用分散工艺将ato粉末制成均匀分散的浆体，然后加入水性聚氨酯树脂为制成涂料，通过喷涂或涂刷的方式在力敏感层3外均匀涂覆，最终红外反射膜2厚度在60μm左右，呈微蓝色透明；保护层1是通过喷涂或涂刷的方法在红外反射膜2上制备的一层均匀高分子透明薄膜，具有光学透明防水防污耐磨的特
性。
48.所述镜管12的管壁一侧设有内窥镜成像端7，该内窥镜成像端7的开口大小与所述粗糙度传感器的基底6大小一致，粗糙度传感器置于所述内窥镜成像端7的2mm直径的开口内，所述卡扣17为环形卡扣，对称设置于粗糙度传感器两侧，将粗糙度传感器的基底6与镜管12固定连接，完成镜管12与粗糙度传感器16的组装，在结构上装配简单，可灵活拆卸，降低了检测操作的复杂程度；所述内窥镜主体14、光纤接口15和目镜l6置于镜管12后端，其中，所述内窥镜主体14与镜管12固定连接，所述目镜l6固定于内窥镜主体14最后端，所述光纤接口15与内窥镜主体14相连通，所述红外光纤束8和照明光纤束9由光纤接口15处接入，穿过镜管12后该红外光纤束8分为8束，呈外径1.5mm的圆环状均匀排列于传感器接触软体内侧下方，传输红外光照射传感器红外反射膜2的内表面，所述照明光纤束9分为2束，对称位于传感器接触软体外侧下方，传输可见光进行环境照明；所述物镜玻璃l2为蓝宝石透明圆柱，置于内窥镜成像端7的开口处，所述物镜l3平行设置于物镜玻璃l2下方，在镜管12内部该物镜l3下方倾斜45
°
设置有反射镜l4，所述内窥镜主体14内部设有柱透镜组l5，所述柱透镜组l5为一组前后设置的中继镜头；所述目镜l6上通过视频适配器连接双波段rgb-nir相机10，相机再将采集到的图像信息通过数据线连接至计算机11。
49.从各部件功能来看，上述粗糙度等级评估与三维评价装置，包括视触觉传感单元、成像采集单元和图像处理单元。其中， (1) 视触觉传感单元此部分用于完成接触时的触觉感知，包括保护膜1、红外反射膜2、力敏感层3、支撑板4、微透镜阵列5和基底6。
50.保护膜1作为视触觉传感器的接触外壳，具有光学透明的特性，起到防污、防划伤和防腐蚀的作用。
51.红外反射膜2作为视触觉传感器的反射层，整体外观为半球面，在接触变形时会产生反射光线的梯度变化，呈现接触物体表面粗糙度图案。为保证反射膜2的透明性，材料采用纳米氧化锡锑（ato）制备。ato是常用的红外反射涂层颜料，纳米ato超微粒子对可见光（380nm～780nm）的吸收率极弱，具有良好的透光性和红外反射的性能。
52.力敏感层3处于红外反射膜2和透明支撑板4之间，整体外观为半球壳，材料采用高透光率的聚二甲基硅氧烷（pdms），弹性模量较低受力易产生形变，在进行接触探测时可获得更高的触觉灵敏度。
53.支撑板4采用高硬度高透光率的聚甲基丙烯酸甲酯（pmma），整体为矩形薄板并与内窥镜成像端尺寸一致。中心部分制作中空的半球形凸起，支撑上层软弹性力敏感层防止其过度变形。平面中心部分中空，用于放置微透镜阵列5器件。
54.微透镜阵列5是组成小型化光场信息采集系统的核心器件，用于实现对视触觉传感单元反馈的接触物表面粗糙度信息进行大景深三维成像。但对于基于微透镜阵列的光场成像而言，由于其空间分辨率取决于微透镜的数量，角度分辨率取决于每个微透镜后覆盖的传感器面上的像素数，因此空间分辨率与角度分辨率存在制约。故当使用密度较大的微透镜阵列时，会造成由于光线空间多路复用而导致空间横向分辨率降低，图片分辨率明显下降。在本实施例中，通过降低透镜阵列密度来获取更加清晰的视觉图像，在圆形基底上六
边形均匀排布7个子透镜。使用自聚焦透镜来代替普通的透镜制作微透镜阵列，因为其长度短芯径大，具有更高的数值孔径，也意味着自聚焦透镜阵列更易小型化，拥有较好的收光能力和空间分辨率。
55.最底层的基底6使用与支撑体材质相同的聚甲基丙烯酸甲酯（pmma）制作，起支撑上层传感元件、封装微透镜阵列和与内窥镜固定的作用。
56.(2) 成像采集单元此部分用于完成在内窥操作下的接触物体表面图像采集，包括硬管光纤内窥镜、光纤光源和相机10。
57.硬管光纤内窥镜包括内窥镜成像端7、导光光纤束、镜管12、内窥镜主体14、目镜l6和光纤接口15。为方便在内窥操作下进行物体内壁探测，成像物镜位于镜管12侧面，同时将导光光纤束按照红外光纤束8和照明光纤束9区分开，其中，为提高红外光纤的红外光传输性能，红外光纤束8可选用硫系玻璃光纤。
58.光纤光源包括红外光光源和可见光光源。为提升系统的光学分辨率，本实施例采用近红外光源（780nm～2500nm），用于从内部照亮反射膜，通过光纤耦合与内窥镜的光纤接口连接，经内侧红外光纤束传输至内窥镜成像端内圈。可见光源（380nm～780nm）用于普通的探测照明，通过光纤耦合与内窥镜光纤接口15连接，经外侧照明光纤束传输至内窥镜成像端外圈。
59.相机选用双波段 rgb-nir 相机，可调整相机模式输出可见光（彩色）图像和近红外光（灰色）图像。通过视频适配器连接至内窥镜的目镜后端，通过数据线将输出图像传输至计算机显示器。
60.(3) 图像处理单元此部分主要为计算机11，用于完成视觉和触觉图像的处理，实现表面粗糙度等级评估与三维参数评价，包括基于视觉图像的光场三维重建算法，以及基于深度学习的动态粗糙度等级评估与三维参数评价算法。
61.基于视觉图像的光场三维重建算法，其目的是实现进行非接触内窥操作时拍摄的表面图像的三维重建，展示出被测表面的纹理走向，辅助被测表面的基准面选取。由于受到自聚焦透镜内部折射的视野畸变影响，拟对获得的光场图像首先进行畸变修正和特征提取，再基于波动光学原理获得系统准确的点扩散函数（psf）函数，最后使用richardson-lucy反卷积算法进行多视角图像下的三维重建，得到进行内窥操作时，由物体表面因照明光反射出的表面形貌。根据三维模型识别出被测表面纹理的基本走向，为接触时的滑擦方向（采样线方向）和基准面的设定提供参考。
62.基于深度学习的动态粗糙度等级评估与三维参数评价算法，其目的是进行快速准确的接触物体表面粗糙度等级评估，从三维参数的角度提供更全面的粗糙度评价。二维粗糙度等级评估通常使用轮廓算术平均偏差ra，然而三维粗糙度评价尚未形成统一的标准。普遍认可的是1998 年欧共体资助的大型表面计量研究项目开发定义的一套基本的三维表面粗糙度标准参数（14+3）体系，包括幅度参数（表面均方根偏差sq，表面十点高度sz，偏斜度s
sk
，陡峭度s
ku
）、空间参数（最速下降自相关长度s
al
，表面峰顶密度s
ds
，表面纹理方向s
td
，表面纹理纵横比s
tr
）、综合参数（表面均方根斜率s
δq
，表面峰顶算术平均曲率s
sc
，展开界面面积s
dr
）和功能参数（表面支撑指数s
bi
，中心液体滞留指数s
ci
，谷区液体滞留指数s
vi
）共17个
参数。从多参数指标上来描述精密加工表面粗糙度，可以有效地检测整个区域的表面特征以便控制加工工艺的制定。（14+3）参数体系在全面性、合理性和普适性上得到认可，但计算过程复杂，因此依旧普遍采用ra作为等级划分的指标。故本实施例中以标准ra等级样块为样本采集数据集，以（14+3）参数体系作为深度学习模型的粗糙度三维评价指标。在网络模型选取中，基于本实施例所述传感器的多视图快速成像特点，设计基于多视图的时空双流神经网，对接触时的反射光图像进行深层特征提取，得到表面的粗糙度三维评价参数，可对表面形貌进行实时精准的粗糙度等级评估与三维参数评价。
63.实施例2(1) 触觉成像原理说明如图1所示，实施例1所述粗糙度等级评估与三维评价装置基于光反射式视触觉传感原理，使用低弹性模量易变形的凝胶材料作为接触介质，利用内窥镜成像系统传输光信号，用相机捕捉外界环境和传感器反射膜上的光线。当传感器与外界物体按压或滑擦接触时，柔性力敏感层形变会导致传感器表面产生梯度变化，进而影响反射膜上反射光的位置、方向、强度等物理参数，由此呈现出物体轮廓和表面形貌。同时结合非接触式的光学图像方法和接触式的触觉方法，可进行表面形貌的三维重建，以及表面粗糙度的等级评估和三维参数评价。将视觉图像传输至计算机，经过图像处理算法可得到接触物体表面的三维形貌图、粗糙度等级和三维评价参数值。
[0064] (2)系统成像过程说明如图4所示，实施例1所述内窥式粗糙度等级评估与三维评价装置采用自聚焦透镜代替普通透镜制作微透镜阵列，自聚焦透镜是一种折射率分布沿径向渐变的柱状光学透镜，透镜的中心部位折射率最高，并从轴部沿径向递减。光线在其中不断折射沿弯曲路径传播，最终可实现出射光线平滑且连续的汇聚到一点，具有体积小平端面，超短焦距、弯曲成像和组合透镜成像的特性。其折射率变化满足平方律分布：
[0065]
其中：n0为自聚焦透镜的中心折射率，r为自聚焦透镜半径，为自聚焦常数。节距p是影响自聚焦成像性能的关键参数，指光束沿正弦轨迹传播完成一个正弦波周期的长度，它只与自聚焦常数相关：
[0066]
当自聚焦透镜长度z满足(n+1/2)p《z《 (n+3/4)p(n = 0, 1, 2
……
)时，物即可成正立的实像。当自聚焦透镜长度z满足(n+1/4)p《z《 (n+1/2)p(n = 0, 1, 2
……
)时，物即可成倒立的实像。
[0067]
考虑到内窥镜照明光路的改造难度和图像分辨率要求，使用多孔径成像原理进行三维形貌解算，在视触觉传感器内封装自聚焦透镜阵列，通过降低透镜阵列密度来提升图像的清晰度，增强了传感器的环境适应性、普适性和设计便携性。
[0068]
如图5所示，微透镜阵列的子透镜均选用自聚焦透镜，通过离子交换技术制备7个
圆柱形自聚焦透镜l1，其参数：直径为0.6mm，长度z为0.3mm, 数值孔径na为0.46。透镜阵列的座体13采用不透明铝合金材料，直径为2mm，其内部按照六边形排列方式均匀排布7个放置子透镜的通孔，每个通孔直径0.6mm，相邻通孔的中心间距0.65mm。使用光学透明粘合剂将透镜固定在各通孔中，并在每个自聚焦透镜端面镀制增透膜，以减少光能损失，同时避免潮湿、化学反应和物理损伤透镜表面。
[0069]
如图6所示，自聚焦透镜的自聚焦参数的范围普遍为0.2～0.6mm-1
，节距p的对应范围为：10.5～31.4mm。根据节距与长度的关系为z 《1/4p，此时物体通过自聚焦透镜后成正立的实像。本实施例中的自聚焦透镜阵列中的每个子透镜都具有相同尺寸和传输特性，且各个子透镜的光轴彼此平行，与阵列系统光轴方向一致，故能产生与阵列分布相同的7个共面的多重像。这表明物体上不同点通过不同的透镜在相机上呈现一个视角下的像，实现了类似光场的空间和角度信息的完整记录。此外，该传感系统实现的是非聚集型光场，故在深度可重建范围上可达无穷远处。根据衍射原理和瑞利判据，艾里斑半径d为：
[0070]
其中，λ为光的波长（nm）。代入自聚焦透镜的数值孔径na，则每个子透镜的分辨率极限为1.33λ。即当进行可见光（380nm～780nm）成像时，理论分辨率极限为0.50～1.03μm，当进行近红外（780nm～2500nm）成像时，理论分辨率极限为1.03～3.32μm。最终的成像系统能达到的最大横向分辨率同时受限于艾里斑的半径d和相机探测器的像素p的大小，即系统在像平面的最小分辨率s为：
[0071]
如图7所示，硬管内窥镜的成像光学系统由物镜l3、柱透镜组l5、目镜l6、红外光纤束8和照明光纤束9组成。本实施例对4mm直径超细硬管式内窥镜进行内部光路改造，将工作镜管最前端的成像端改至侧面。对工作镜管侧壁加工，开口为长5mm，宽3.2mm，深1mm的矩形状开口。物镜玻璃l3处于该开口的中心部位，为直径2mm的蓝宝石透明圆柱，视场角90
°
。镜管内部的导光光纤束分为红外光纤束8和照明光纤束9。其中红外光纤束中通入红外光，被分为8束，均匀分布在物镜玻璃l2周围进行传感器半球形弹性体内侧的环形红外照明。照明光纤束中通入可见光，被分为2束，从传感器半球形弹性体外侧的平面基底两侧照明。使用金属焊接方式将物镜玻璃l2、红外光纤束8和照明光纤束9与内窥镜镜管12紧密焊接牢固。在物镜l3下方加入45
°
倾斜的反射镜l4，进入物镜的光线经反射后平行传导，通过柱透镜组l5中继传像和目镜l6放大后在相机靶面上转换为电信号。
[0072]
(3) 算法处理说明如图8所示，本实施例利用自聚焦透镜阵列采集进行外部可见光模式照明时，被测物体表面反射的多角度光场信息，通过内窥镜的中继镜头传输，在相机上形成空间复用图像。记录的原始图像有7个，在进行三维重建之前，首先对原始图像进行预处理：像差矫正和特征提取，重建过程通过波动光学原理和点扩散函数（psf）反卷积融合7种模式来提取接触物体表面形貌。
[0073]
进行像差矫正是为了纠正自聚焦透镜内部非线性折射率导致的光程差。径向桶形畸变的数学模型可以用主点周围的taylor级数展开式进行描述：
[0074]
其中：(x0,y
0 )是原始图像上像素点的位置，(x,y )是校正后输出图像上像素点的位置，k1、k2、k3……
为失真因子。
[0075]
进行特征提取更有利于从图像中获得表面形貌重建的有利信息。由于本实施例中的传感器近乎透明，在外部可见光照明模式下获得的视觉信息为物体表面的反射光，故纹理的边缘特征更多集中在图像亮度的梯度变化上。采用灰度共生矩阵法对畸变修正后的图像进行特征提取，可以得到图像灰度关于方向、相邻间隔、变化幅度等综合信息。依次通过提取灰度图像、量化灰度级、选取滑动窗口尺寸后，对图像内0
°
，45
°
，90
°
和135
°
四个方向分别进行特征值计算，其平均值作为最终的灰度共生矩阵。该矩阵用于进一步计算全局特征，这里采用最常用的四个参数来提取视觉图像特征：对比度、相关度、能量和熵。
[0076]
之后通过图像预处理后得到7个与视角相关的子图像，采用波动光学算法获取系统准确的psf函数。从波动光学的角度分析，透镜焦平面上的远场分布是由微透镜阵列的传输函数经傅里叶变换得到的。假设相机靶面上的图像为i，反射膜映射的物体表面内的各点为υ，则原始图像与物体表面内各点之间的正投影可表示为：i=hυ。测量矩阵h由psf确定，表示为：
[0077]
其中：表示相机靶面上的坐标，表示物体表面各点的三维坐标。使用球面richardson-lucy反卷积求解υ：
[0078]
其中：diag[ ]表示对角化矩阵，hυk表示物体表面与相机靶面的正向投影，h
t
i和h
t
hυk表示物体表面与相机靶面反向投影。考虑到实际应用中的空间不变性，psf可以表示为位于光轴上的发射极。因此，正、反投影可以被推导为[z0，z1]焦深上多层堆栈的二维卷积之和，即：
[0079]
其中：表示卷积算子，υk(z)表示位于z深度下单层堆栈的物体位置，psf
′
(x
′′
，z)可通过psf(x
′′
，z) 在进行旋转180
°
得到。经过 richardson-lucy反卷积迭代处理后可获得重建的三维图像，由此生成空间三维的物体表面形貌图，可直观的观测到整体被测表面的纹理走向信息。同时，因为进行粗糙度的三维评价时需要一个基准面，故使用最小二乘
法计算得到轮廓表面的最小二乘中位面，将该面作为粗糙度三维评价参数计算时的基准面。
[0080]
如图9所示，采用传感器信号采集系统收集滑擦过程中由于接触面与表面接触产生的微小反射光信号变化，实现表面粗糙度的检测。通过传感器在垂直表面纹理走向的采样线上的滑擦震动信息，即可快速得到表面粗糙度等级。基于本系统可从多视图中获取角度信息，通过设定好的基准面，即可对三维表面粗糙度标准参数（14+3）体系内的所有参数进行计算，给出参数的具体数值。所述方法不仅可对被测表面实现标准ra等级评估，还可以从三维角度进行全面的粗糙度评价。
[0081]
在二维粗糙度评估指标中，较为重要的是参数ra。ra表示的是轮廓算术平均偏差，指在沿基准线x方向上取样长度l内，沿测量方向y的轮廓线上的点与基准线之间距离绝对值的算术平均值。其数学表达式为：
[0082]
虽然现有二维粗糙度评估指标不全面性缺点，但大多数情况下依旧对表面粗糙度进行二维参数ra的等级评估，故最终的评估结果依旧选择ra等级。为更全面的对表面形貌做出评价，使用三维表面粗糙度标准参数（14+3）体系作为粗糙度的三维评价参数指标。首先制备预训练数据集，使用本实施例所述粗糙度传感器对标准ra等级样块表面进行大量的接触滑擦视频采集，其中采样线均垂直于纹理走向，并根据不同ra等级的纹理特点调整传感器的压入深度和滑擦速度，以在进行滑擦时获得较为均匀的反射光振动信号。随后进行图像灰度变化与粗糙度等级之间的转换，以此建立粗糙度评估模型。
[0083]
首先对采集的视频进行预处理。在实际接触滑擦过程中采集到的视频里未必都存在有效的接触信息（如尚未发生接触时），因此首先需要进行视频的关键帧提取，去除冗余信息。本步骤使用帧间差分法进行关键帧提取，选择具有平均帧间差分强度局部最大值的帧作为视频的关键帧，以有效减少视频检索所需要花费的时间，并能够增强视频检索的精确度。
[0084]
随后对特征帧图像进行预处理。由于内部红外光照明模式下物体表面形貌信息只与反射膜上的红外反射光的变化相关，通过双波段 rgb-nir 相机查看近红外波段的灰度图像，即可排除背景光的干扰而提取出接触时的纹理图案，大大降低了算法的复杂度。故预处理部分只需进行图像滤波和图像增强，降低噪声对视触觉图像特征信息的影响。
[0085]
最后对物体表面形貌进行深度特征提取，使用图10所示的基于多视图的wcnn-lstm并列时空双流网络框架，视角子图像并行输入至时间和空间网络中，通过图像的灰度变化频率和空间分布完成粗糙度等级识别和三维参数评价。由于二维视图的深度学习算法发展已十分成熟，且通过本实施例所述粗糙度传感器得到的原始图像为7个与角度信息相关的子图像，因此选择进行多视角的投影视图融合的方法来学习和提取深度特征。将由自聚焦透镜阵列后成像的7个视角图分别提取出来，这7幅图像被当作为一组样本作为网络模型的输入量。主网络选取上考虑到视触觉图像经预处理后的纹理特征较为明显，在样本数据集充足的情况下，可选用卷积神经网络（convolutional neural network，cnn）与长短期记忆网络（long short-term memory，lstm）结合建立空间-时间双流网络结构。在时间网络中实现多帧密度光流场下图像灰度变化频率的时间特征提取，得到表面的频域特征，例如
主频率、功率谱密度、频谱矩心等参数，通过分类层实现粗糙度等级识别。同时利用cnn良好的空间数据处理能量提取每帧图像的灰度分布特征，多视图特征提供的角度信息可进行单帧图像的粗糙度三维评价参数计算。为提高卷积网络的计算速度和精度，在cnn网络中引用小波变换构成小波卷积网络（wavelet convolutional neural network，wcnn），从频域中捕捉高频纹理细节信息，在扩展网络中进行小波逆变换重构高分辨率的特征图像。另外，通过建立矩阵来存储各局部评价指标的具体数据，对各局部相同指标进行均衡化处理，从而使最终整体被测表面的三维评价指标具有较高的置信度。
[0086]
(4) 操作步骤说明，如图11所示步骤一：选用合适的卡扣将传感器与进行光路改造后的硬管内窥镜组装；步骤二：通过内窥镜的光纤接口15，利用红外光纤束8和照明光纤束9分别接入红外光光源和可见光光源；步骤三：在内窥镜的目镜后通过视频适配器（c-mount适配器）连接到具有c或cs安装螺纹的双波段 rgb-nir 相机上，使用数据线将相机采集的图像传输至计算机；步骤四：相机查看可见光波段图像，打开可见光光源，进入外部可见光照明模式。对被测物体的内壁、内孔等表面进行非接触内窥操作，观测被测表面的位置和基本轮廓；步骤五：通过相机采集物体表面反射的可见光图像，在计算机中进行表面形貌的可视化三维重建，观测被测表面的整体纹理走向，确定基准面位置；步骤六：相机查看近红外波段的图像，打开红外光光源，进入内部红外光照明模式。根据表面三维形貌图设定传感器的压入深度和滑擦速度。对被测表面进行压入接触，待传感器弹性体按压至表面后，从图像上可观察到接触区域的灰度梯度变化。图像中的光强度随传感器的压入深度增加而增强，当图像光强度达到设定阈值时停止压入，传感器沿着一条垂直于纹理的采样线方向滑擦；步骤七：通过双波段 rgb-nir 相机采集传感器与表面接触时的红外波段视频，在计算机中通过深度学习算法给出接触探测的粗糙度等级，并可通过抽取视频帧得到单帧图片下接触位置的粗糙度三维评价参数值，通过矩阵均衡化方法进行被测表面形貌的三维参数评价。
[0087]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种粗糙度传感器，其特征在于：包括保护膜（1）、红外反射膜（2）、力敏感层（3）、支撑板（4）、微透镜阵列（5）、基底（6），所述保护膜（1）、红外反射膜（2）和力敏感层（3）均为半球状，且由外及内依次贴合固定连接构成传感器接触软体，所述支撑板（4）中部呈半球状凸起且凸起部分为中空结构，所述力敏感层（3）与支撑板（4）的半球状凸起处贴合固定，所述基底（6）为平面薄板且中心设有圆形凹槽，所述支撑板（4）的半球状凸起与基底（6）的圆形凹槽之间设有微透镜阵列（5）。2.根据权利要求1所述的粗糙度传感器，其特征在于：所述保护膜（1）为均匀高分子透明薄膜；所述红外反射膜（2）为氧化锡锑薄膜；所述力敏感层（3）为无色透明半球壳，其材料为聚二甲基硅氧烷；所述支撑板（4）和基底（6）的材质为聚甲基丙烯酸甲酯。3.根据权利要求1所述的粗糙度传感器，其特征在于：所述微透镜阵列（5）由7个子透镜和微透镜座体（13）组成，所述子透镜为圆柱形自聚焦透镜（l1），所述微透镜座体（13）的材质为不透明铝合金材料，其内部设有7个通孔，各通孔按照六边形排列方式均匀排布，所述子透镜固定排布在通孔上。4.一种粗糙度等级评估与三维评价装置，其特征在于：包括权利要求1-3之一所述的粗糙度传感器（16）、内窥镜成像端（7）、红外光纤束（8）、照明光纤束（9）和镜管（12），所述镜管（12）上设有内窥镜成像端（7），该内窥镜成像端（7）的开口大小与所述粗糙度传感器的基底（6）大小一致，粗糙度传感器置于所述内窥镜成像端（7）的开口上方，所述红外光纤束（8）位于内窥镜成像端开口内侧，所述照明光纤束（9）位于内窥镜成像端开口外侧。5.根据权利要求4所述的粗糙度等级评估与三维评价装置，其特征在于：所述红外光纤束（8）分为8束，均匀排列呈圆环状，输出光照亮传感器接触软体内侧；所述照明光纤束（9）分为2束，对称位于内窥镜成像端开口两侧，输出光照亮传感器接触软体外侧。6.根据权利要求4所述的粗糙度等级评估与三维评价装置，其特征在于：还包括卡扣（17），所述卡扣对称设置于粗糙度传感器两侧，用于将粗糙度传感器的基底（6）与镜管（12）固定连接。7.根据权利要求4所述的粗糙度等级评估与三维评价装置，其特征在于：还包括内窥镜主体（14）、用于通入红外光纤束（8）和照明光纤束（9）的光纤接口（15）、物镜玻璃（l2）、物镜（l3）、反射镜（l4）、柱透镜组（l5）和目镜（l6），所述内窥镜主体（14）、光纤接口（15）和目镜（l6）置于镜管（12）后端，其中，所述内窥镜主体（14）与镜管（12）固定连接，所述目镜（l6）固定于内窥镜主体（14）最后端，所述光纤接口（15）与内窥镜主体（14）相连通，所述物镜玻璃（l2）置于内窥镜成像端（7）的开口处，所述物镜（l3）平行设置于物镜玻璃（l2）下方，在镜管（12）内部该物镜（l3）下方倾斜设置有反射镜（l4），所述内窥镜主体（14）内部设有柱透镜组（l5）。8.根据权利要求7所述的粗糙度等级评估与三维评价装置，其特征在于：所述物镜玻璃（l2）为蓝宝石透明圆柱，反射镜（l4）的倾斜角度为45
°
，所述柱透镜组（l5）为一组前后设置的中继镜头。9.根据权利要求7所述的粗糙度等级评估与三维评价装置，其特征在于：还包括相机（10）和图像处理单元，所述相机（10）分别与目镜（l6）以及图像处理单元线路连接。10.应用权利要求4所述装置的粗糙度等级评估与三维评价方法，其特征在于：具体步骤如下：
（1）选用安装有粗糙度传感器的内窥镜，通过红外光纤束（8）和照明光纤束（9）分别接入红外光光源和可见光光源；（2）利用数据线将相机采集的图像传输至计算机；（3）相机查看可见光波段图像，打开可见光光源，进入外部可见光照明模式；对被测物体的内壁、内孔等表面进行非接触内窥操作，观测被测表面的位置和基本轮廓；（4）通过相机采集物体表面反射的可见光图像，在计算机中进行表面形貌的可视化三维重建，观测被测表面的整体纹理走向，确定基准面位置；（5）相机查看近红外波段的图像，打开红外光光源，进入内部红外光照明模式；根据表面三维形貌图设定传感器的压入深度和滑擦速度；对被测表面进行压入接触，待传感器弹性体按压至表面后，从图像上可观察到接触区域的灰度梯度变化；图像中的光强度随传感器的压入深度增加而增强，当图像光强度达到设定阈值时停止压入，传感器沿着一条垂直于纹理的采样线方向滑擦；（6）通过相机采集粗糙度传感器与表面接触时的红外波段视频，在计算机中通过深度学习算法给出接触探测的粗糙度等级，并可通过抽取视频帧得到单帧图片下接触位置的粗糙度三维评价参数值，通过矩阵均衡化方法进行被测表面形貌的三维参数评价，其中，所述深度学习算法过程如下：基于多视图的wcnn-lstm并列时空双流网络，通过提取粗糙度传感器中的微透镜阵列实现的7视角图像，作为网络模型输入量进行特征提取；空间网络使用小波卷积网络，从接触特征图像中提取灰度分布的高频纹理信息，以计算粗糙度三维评价参数指标；时间网络使用长短期记忆网络，从接触视频中提取灰度变化频率特征，得到频域特征参数，通过分类层实现表面粗糙度等级识别。

技术总结
本发明提供了一种粗糙度传感器及粗糙度等级评估与三维评价装置与方法，所述粗糙度传感器包括保护膜、红外反射膜、力敏感层、支撑板、微透镜阵列和基底，所述装置包括粗糙度传感器以及侧开成像口的硬管内窥镜，所述装置通过深度学习算法实时给出接触探测表面的粗糙度等级，并可通过抽取视频帧得到单帧图片下接触位置的粗糙度三维评价参数值，通过矩阵均衡化方法进行被测表面形貌的三维参数评价，对物体表面感知的高触觉灵敏度，图像视觉的立体维度、等级评估的实时性和参数评价的全面性等方面具有较大优势，为内壁、孔洞等狭小空间物体表面探测和粗糙度评估提供技术支持。表面探测和粗糙度评估提供技术支持。表面探测和粗糙度评估提供技术支持。


技术研发人员：宋乐 路斯莹 于德鑫 刘益维 陶乐颖 陈佳一 陈伟民 杨永 郑叶龙 房丰洲
受保护的技术使用者：天津大学
技术研发日：2023.06.29
技术公布日：2023/8/1