一种基于结构光辅助条纹的图像质量检测方法及装置

1.本发明属于图像质量评价技术领域，具体涉及一种基于结构光辅助条纹的图像质量检测方法及装置。


背景技术：

2.自然图像多数指的是由相机拍下自然光成像的图像，由于自然环境光特性造成的光场分布可视为均匀，因此一般而言自然图像近乎遵守高斯分布。此外，在相似场景中，对于自然图像中像素之间存在结构相似性。图像质量评价是指利用视觉系统感知场景信息，基于计算结构相似性与差异，相应给出图像质量判断。举例来说，人眼是典型的视觉系统，可轻易感知三维空间中的结构信息，并且通过此信息来判断眼前的图像失真程度，因此我们才能轻易辨别物体清晰与模糊，并给出主观感受。图像质量评价的其中一个用途在于评估视觉测量系统当前的状态,一般将视觉系统标定后立即测量的图像作为基准图像,测量图像与基准图像的结构性相似性可间接反映出标定参数是否仍然可靠。
3.图像质量评价分为主观评价以及客观评价，主观评价是透过给予观测者同一组失真图像，根据失真图像进行排序，是直接由人为方式评价，评测过程简单但存在标准落差，因此无法对场景量化。客观评价是利用数学模型建立评价指标，主要分为全参考、半参考、无参考质量评价，区别在于计算机输入信号是否存在完美图像以及失真图像的对比信息。
4.目前，全参考质量评价发展较为成熟，主要以输入完整失真与完美图像进行评价，其中以结构相似性(ssim)算法极具代表性。该方法假定空间中物体的反射系数、表面照度以及亮度信息相互关联，并透过分离照度影响得到结构对比信息，利用亮度、对比度、结构信息综合计算出图像相似性。利用结构相似性(ssim)算法对完美与失真图像进行整体评估，可以初步预估两图像的结构相似性，然而在现实场景中由于相机加工、环境干扰等不利因素，较难获取完美图像。此外，对于人眼评价图像质量时，通常以局部重要特征信息作为评分依据；在自然环境中采集图像多数结构性分布是区块而非整体，因此，利用结构相似性(ssim)算法对整幅图像评价较难适用于实际需求。
5.为了解决以上问题，有人提出了采用神经网络对图像质量进行评价，但是，目前基于神经网络的图像质量检测方法还处于研究阶段，在试验和实际使用中，由于训练样本结构不可控，浅层网络容易存在网络不收敛，深层结构存在梯度消失等问题，造成精确率降低或模型实用性低等多种问题。
6.在现实中，由于相机的长时间工作或环境温度变化导致内部元件的热位移，温漂导致相机采集图像结构性发生变化，但这种情况下的图像质量差异是很些微的，现有技术中还很难识别出这种差异，无法精确进行图像质量检测和评价。


技术实现要素：

7.本发明的目的是为克服现有技术中的不足，提供一种基于结构光辅助条纹的图像质量检测方法及装置。本发明通过增加结构光辅助条纹的主动视觉特征以达到将图像前后
差异变大，进而检测图像质量，检测效率高、能够精确地检测出图像质量，使用效果好，便于推广使用。
8.本发明第一方面实施例提出一种基于结构光辅助条纹的图像质量检测方法，包括：
9.在不同环境温度下获取被测物体通过结构光投影增强后的图像分别作为参考图像和测试图像，所述参考图像和所述测试图像尺寸一致；
10.将所述参考图像和所述测试图像进行裁剪并归一化后划分为设定尺寸的图像块；其中，所述裁剪用于去除每张图像中无结构光投影部分；
11.将所述参考图像的图像块和所述测试图像的图像块输入预设的基于cnn网络的孪生特征提取器，所述孪生特征提取器通过提取各图像块的特征并进行融合，输出所述测试图像的图像质量评价结果。
12.在本发明的一个具体实施例中，所述结构光投影采用标准正弦条纹图像。
13.在本发明的一个具体实施例中，所述基于cnn网络的孪生特征提取器包括：两个相同的cnn网络单元、一个特征融合层、一个最大池化层和一个全连接层；两个所述cnn网络单元的输出分别连接所述特征融合层的输入，所述特征融合层的输出连接所述最大池化层的输入，所述最大池化层的输入连接所述全连接层的输入；其中，所述cnn网络单元包括交替设置的四个卷积层和四个池化层。
14.在本发明的一个具体实施例中，在所述将所述参考图像的图像块和所述测试图像的图像块输入预设的基于cnn网络的孪生特征提取器之前，所述方法还包括：预训练所述基于cnn网络的孪生特征提取器；
15.其中，用于预训练所述基于cnn网络的孪生特征提取器的训练图像被划分为所述设定尺寸的图像块。
16.在本发明的一个具体实施例中，所述将所述参考图像的图像块和所述测试图像的图像块输入预设的基于cnn网络的孪生特征提取器，所述孪生特征提取器通过提取各图像块的特征并进行融合，输出所述测试图像的图像质量评价结果，包括：
17.1)将参考图像的图像块和测试图像的图像块分别依次输入所述基于cnn网络的孪生特征提取器中的两个cnn网络单元，得到参考图像和测试图像中各图像块的特征；
18.2)在特征融合层，将参考图像的图像块的特征和测试图像的对应图像块的特征作差得到该图像块的特征差向量，将参考图像的图像块的特征和测试图像的对应图像块的特征前后串接得到该图像块的特征串接向量；将该图像块的特征差向量和该图像块的特征串接向量串接在一起得到该图像块融合后的特征并输出至最大池化层；
19.3)在最大池化层，对各图像块融合后的特征进行最大池化操作，得到各图像块的全局图像特征并输出至全连接层；
20.4)在全连接层，基于各图像块的全局图像特征，计算得到测试图像的质量评价分数，其中，所述质量评价分数的范围为[0,1]；若该分数越接近1，则测试图像质量越好；若该分数越接近0，则测试图像质量越差。
[0021]
在本发明的一个具体实施例中，所述预训练所述基于cnn网络的孪生特征提取器采用带有l2正则项的均方误差mse函数作为损失函数，表达式如下：
[0022][0023]
其中，predi为第i张训练图像的预测质量，labeli为第i张训练图像的质量标签，n为输入的训练图像的总数，ω为基于cnn网络的孪生特征提取器的参数，λ为正则项系数。
[0024]
在本发明的一个具体实施例中，所述质量评价分数的计算表达式如下：
[0025][0026]
其中，yj为测试图像的第j个图像块的特征质量值，ωj为测试图像的第j个图像块的特征对应的权重参数。
[0027]
本发明第二方面实施例提出一种基于结构光辅助条纹的图像质量检测装置，包括：
[0028]
图像获取模块，用于在不同环境温度下获取被测物体通过结构光投影增强后的图像分别作为参考图像和测试图像，所述参考图像和所述测试图像尺寸一致；
[0029]
图像块划分模块，用于将所述参考图像和所述测试图像进行裁剪并归一化后划分为设定尺寸的图像块；其中，所述裁剪用于去除每张图像中无结构光投影部分；
[0030]
图像质量检测模块，用于将所述参考图像的图像块和所述测试图像的图像块输入预设的基于cnn网络的孪生特征提取器，所述孪生特征提取器通过提取各图像块的特征并进行融合，输出所述测试图像的图像质量评价结果。
[0031]
本发明第三方面实施例提出一种电子设备，其特征在于，包括：
[0032]
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
[0033]
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种基于结构光辅助条纹的图像质量检测方法。
[0034]
本发明第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种基于结构光辅助条纹的图像质量检测方法。
[0035]
本发明的特点及有益效果在于：
[0036]
1、本发明通过增加结构光辅助条纹的主动视觉特征，以达到将图像前后差异变大，进而检测图像质量，能够得到精确的图像质量检测结果。
[0037]
2、本发明在将参考图像和测试图像输入基于cnn网络的孪生特征提取器中前，通过进行图像块划分，能够降低孪生特征提取器的计算复杂度，提高特征提取效率，进而提高质量检测效率。
[0038]
3、本发明将基于cnn网络的孪生特征提取器设计为4个卷积层和4个池化层的结构，网络复杂度低，卷积层通过局部感知和参数共享两个原理，能有效减少基于cnn网络的孪生特征提取器的参数个数，实现高维输入数据的降维和图像特征的提取，再通过池化层进行特征筛选和信息过滤。
[0039]
4、本发明采用带有l2正则项的均方误差mse((mean squared error)函数作为损失函数，能够防止训练过程中，孪生特征提取器过拟合。
[0040]
5、本发明采用基于cnn网络的孪生特征提取器，能直接将原始图像进行简单处理
就作为输入，避免前期对图像进行复杂的预处理操作，提高了检测效率。
[0041]
6、本发明能够精确地检测出图像质量，使用效果好，便于推广使用。
附图说明
[0042]
图1为本发明实施例中一种基于结构光辅助条纹的图像质量检测方法的整体流程图。
[0043]
图2为本发明一个具体实施例中基于cnn网络的孪生特征提取器的结构示意图。
具体实施方式
[0044]
本发明提出一种基于结构光辅助条纹的图像质量检测方法及装置，下面结合附图和具体实施例进一步详细说明如下。
[0045]
本发明第一方面实施例提出一种基于结构光辅助条纹的图像质量检测方法，包括：
[0046]
在不同环境温度下获取被测物体通过结构光投影增强后的图像分别作为参考图像和测试图像，所述参考图像和所述测试图像尺寸一致；
[0047]
将所述参考图像和所述测试图像进行裁剪并归一化后划分为设定尺寸的图像块；其中，所述裁剪用于去除每张图像中无结构光投影部分；
[0048]
将所述参考图像的图像块和所述测试图像的图像块输入预设的基于cnn网络的孪生特征提取器，所述孪生特征提取器通过提取各图像块的特征并进行融合，输出所述测试图像的图像质量评价结果。
[0049]
在本发明的一个具体实施例中，所述一种基于结构光辅助条纹的图像质量检测方法，整体流程如图1所示，包括以下步骤：
[0050]
1)在不同环境温度下获取被测物体通过结构光投影增强后的图像分别作为参考图像和测试图像，具体步骤如下：
[0051]
1-1)采用结构光成像装置在设定的参考温度t0(无特殊要求，本实施例为30摄氏度)下获取一张使用结构光投影增强后的被测物体的图像作为参考图像，所述参考图像的尺寸无特殊要求，本发明一个具体实施例中参考图像尺寸为2560
×
2048；
[0052]
1-2)改变环境温度至测试温度t1(无特殊要求，本实施例为23摄氏度)，获取使用结构光投影增强后的被测物体的图像作为测试图像，所述测试图像与参考图像的尺寸及内容完全一致，本发明一个具体实施例的测试图像尺寸为2560
×
2048。
[0053]
需要说明的是，t0和t1的大小关系无特殊要求，只要两个温度不同即可。
[0054]
本实施例中，对结构光成像装置无特殊要求；投影时采用的是标准正弦条纹图像；被测物体不能为透明、高反光或纯黑色物体，本发明一个具体实施例中被测物体是圆点标定板。
[0055]
2)对步骤1)得到的参考图像和测试图像分别进行剪裁，去除每张图像中无结构光投影部分，然后将剪裁后的参考图像和测试图像分别进行归一化。
[0056]
对归一化后参考图像和测试图像分别进行图像划分，以减少输入网络的图像块尺寸。本实施例对裁剪并归一化后的每张图像划分为256
×
256的像素块；
[0057]
需要说明的是，由于参考图像和测试图像本身大小是一致的，按照同样的剪裁方
式剪裁后大小也是一致的，图像块大小也一致，只是被测物体由于温漂可能会出现变形或者大小不一致的情况。
[0058]
3)构建基于cnn网络的孪生特征提取器并进行预训练。
[0059]
本实施例中，所述基于cnn网络的孪生特征提取器结构如图2所示，包括：两个相同的cnn网络单元、一个特征融合层、一个最大池化层和一个全连接层；两个所述所述cnn网络单元的输出分别连接所述特征融合层的输入，所述特征融合层的输出连接所述最大池化层的输入，所述最大池化层的输入连接所述全连接层的输入。其中，每个所述cnn网络单元包括交替设置的四个卷积层和四个池化层，如图2所示。
[0060]
本实施例中，使用live公开数据集对所述基于cnn网络的孪生特征提取器进行训练和测试，其中随机选取数据集中80％的图像作为训练集，剩余20％作为验证集，训练集的图像的尺寸无特殊要求，但在训练时训练集的图像也要划分成同样尺寸的图像块，共训练6轮，得到训练完毕的基于cnn网络的孪生特征提取器。
[0061]
具体地，在所述基于cnn网络的孪生特征提取器的训练过程中，采用带有l2正则项的均方误差mse函数作为损失函数，该损失函数定义为：
[0062]
其中，predi为第i张训练图像的预测质量，labeli为第i张训练图像的质量标签，n为输入的live数据集的训练图像的总数，(取值一般为100～5000张，本实施例为2295张)，ω为基于cnn网络的孪生特征提取器的参数，λ为正则项系数。
[0063]
4)利用基于cnn网络的孪生特征提取器的cnn网络单元分别提取参考图像的图像块特征和测试图像的图像块特征，以得到参考图像的图像特征和测试图像的图像特征。
[0064]
本实施例中，将经过步骤2)划分后的参考图像的图像块和测试图像的图像块分别输入所述基于cnn网络的孪生特征提取器中的两个cnn网络单元，分别对两张图像的图像块进行特征提取。
[0065]
需要说明的是，将参考图像的图像块和测试图像的图像块分别输入对应的cnn网格单元时，要将每张图像的所有图像块依次输入，得到每个图像块对应的特征。本实施例中，每个图像块提取的特征大小为50维。
[0066]
图2中，从cnn网格单元输出f
ref
和f
test
分别为对参考图像的图像块提取得到的50维的特征和对测试图像的图像块提取得到的50维的特征。
[0067]
5)利用基于cnn网络的孪生特征提取器的特征融合层对cnn网络单元输出的参考图像的图像块特征和测试图像的图像块特征进行特征融合。
[0068]
本实施例中，特征融合时将两张图像对应的图像块特征作差(作差时的先后顺序无特殊要求，本实施例是用参考图像的图像块特征减去测试图像的图像块特征)得到该图像块的特征差向量(本实施例中，图像块的特征是一个50维的特征，作差就是每一维特征对应相减)，同时将参考图像的图像块特征和对应的测试图像的图像块特征前后串接得到该图像块的特征串接向量(本实施例中，将两个50维的向量首尾相接直接合成一个100维的向量。)；将特征差向量和特征串接向量串接在一起作为该图像块融合后的特征。
[0069]
本发明一个具体实施例中，特征通融层的输出是一个对应图像块的150维的向量，由50维的特征差向量和100维的特征串接向量组成，同样使用串接的方式。
[0070]
6)利用基于cnn网络的孪生特征提取器的最大池化层得到全局图像特征。
[0071]
本实施例中，对特征融合层输出的融合后的特征在最大池化层进行最大池化操作，得到该图像块的全局图像特征f
pool
；本发明一个具体实施例中，150维的融合后的特征经过最大池化操作后输出的全局图像特征f
pool
为50维。
[0072]
6)利用基于cnn网络的孪生特征提取器的全连接层输出输出测试图像的质量评价分数。
[0073]
本实施例中，将全局图像特征输入全连接层，全连接层通过计算测试图像每个图像块的质量分数并加权平均，输出测试图像的质量评价分数。该分数代表测试图像质量的好坏，范围为[0,1]。越接近1，测试图像质量越好，越接近0，测试图像质量越差。
[0074]
本实施例中，采用的质量评价公式为其中，yj为测试图像的第j个图像块的特征质量值，ωj为测试图像的第j个图像块的特征对应的权重参数。
[0075]
为实现上述实施例，本发明第二方面实施例提出一种基于结构光辅助条纹的图像质量检测装置，包括：
[0076]
图像获取模块，用于在不同环境温度下获取被测物体通过结构光投影增强后的图像分别作为参考图像和测试图像，所述参考图像和所述测试图像尺寸一致；
[0077]
图像块划分模块，用于将所述参考图像和所述测试图像进行裁剪并归一化后划分为设定尺寸的图像块；其中，所述裁剪用于去除每张图像中无结构光投影部分；
[0078]
图像质量检测模块，用于将所述参考图像的图像块和所述测试图像的图像块输入预设的基于cnn网络的孪生特征提取器，所述孪生特征提取器通过提取各图像块的特征并进行融合，输出所述测试图像的图像质量评价结果。
[0079]
需要说明的是，前述对一种基于结构光辅助条纹的图像质量检测方法的实施例解释说明也适用于本实施例的一种基于结构光辅助条纹的图像质量检测装置，在此不再赘述。根据本发明实施例提出的一种基于结构光辅助条纹的图像质量检测装置，通过在不同环境温度下获取被测物体通过结构光投影增强后的图像分别作为参考图像和测试图像，所述参考图像和所述测试图像尺寸一致；将所述参考图像和所述测试图像进行裁剪并归一化后划分为设定尺寸的图像块；其中，所述裁剪用于去除每张图像中无结构光投影部分；将所述参考图像的图像块和所述测试图像的图像块输入预设的基于cnn网络的孪生特征提取器，所述孪生特征提取器通过提取各图像块的特征并进行融合，输出所述测试图像的图像质量评价结果。由此可实现通过增加结构光辅助条纹的主动视觉特征以达到将图像前后差异变大，进而检测图像质量，检测效率高、能够精确地检测出图像质量，使用效果好，便于推广使用。
[0080]
为实现上述实施例，本发明第三方面实施例提出一种电子设备，包括：
[0081]
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
[0082]
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种基于结构光辅助条纹的图像质量检测方法。
[0083]
为实现上述实施例，本发明第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种基
于结构光辅助条纹的图像质量检测方法。
[0084]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0085]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例的一种基于结构光辅助条纹的图像质量检测方法。
[0086]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0087]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0088]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0089]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0090]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
[0091]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0092]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0093]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0094]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种基于结构光辅助条纹的图像质量检测方法，其特征在于，包括：在不同环境温度下获取被测物体通过结构光投影增强后的图像分别作为参考图像和测试图像，所述参考图像和所述测试图像尺寸一致；将所述参考图像和所述测试图像进行裁剪并归一化后划分为设定尺寸的图像块；其中，所述裁剪用于去除每张图像中无结构光投影部分；将所述参考图像的图像块和所述测试图像的图像块输入预设的基于cnn网络的孪生特征提取器，所述孪生特征提取器通过提取各图像块的特征并进行融合，输出所述测试图像的图像质量评价结果。2.根据权利要求1所述的方法，其特征在于，所述结构光投影采用标准正弦条纹图像。3.根据权利要求1所述的方法，其特征在于，所述基于cnn网络的孪生特征提取器包括：两个相同的cnn网络单元、一个特征融合层、一个最大池化层和一个全连接层；两个所述cnn网络单元的输出分别连接所述特征融合层的输入，所述特征融合层的输出连接所述最大池化层的输入，所述最大池化层的输入连接所述全连接层的输入；其中，所述cnn网络单元包括交替设置的四个卷积层和四个池化层。4.根据权利要求3所述的方法，其特征在于，在所述将所述参考图像的图像块和所述测试图像的图像块输入预设的基于cnn网络的孪生特征提取器之前，所述方法还包括：预训练所述基于cnn网络的孪生特征提取器；其中，用于预训练所述基于cnn网络的孪生特征提取器的训练图像被划分为所述设定尺寸的图像块。5.根据权利要求3所述的方法，其特征在于，所述将所述参考图像的图像块和所述测试图像的图像块输入预设的基于cnn网络的孪生特征提取器，所述孪生特征提取器通过提取各图像块的特征并进行融合，输出所述测试图像的图像质量评价结果，包括：1)将参考图像的图像块和测试图像的图像块分别依次输入所述基于cnn网络的孪生特征提取器中的两个cnn网络单元，得到参考图像和测试图像中各图像块的特征；2)在特征融合层，将参考图像的图像块的特征和测试图像的对应图像块的特征作差得到该图像块的特征差向量，将参考图像的图像块的特征和测试图像的对应图像块的特征前后串接得到该图像块的特征串接向量；将该图像块的特征差向量和该图像块的特征串接向量串接在一起得到该图像块融合后的特征并输出至最大池化层；3)在最大池化层，对各图像块融合后的特征进行最大池化操作，得到各图像块的全局图像特征并输出至全连接层；4)在全连接层，基于各图像块的全局图像特征，计算得到测试图像的质量评价分数，其中，所述质量评价分数的范围为[0,1]；若该分数越接近1，则测试图像质量越好；若该分数越接近0，则测试图像质量越差。6.根据权利要求4所述的方法，其特征在于，所述预训练所述基于cnn网络的孪生特征提取器采用带有l2正则项的均方误差mse函数作为损失函数，表达式如下：其中，pred
i
为第i张训练图像的预测质量，label
i
为第i张训练图像的质量标签，n为输入的训练图像的总数，ω为基于cnn网络的孪生特征提取器的参数，λ为正则项系数。
7.根据权利要求5所述的方法，其特征在于，所述质量评价分数的计算表达式如下：其中，y
j
为测试图像的第j个图像块的特征质量值，ω
j
为测试图像的第j个图像块的特征对应的权重参数。8.一种基于结构光辅助条纹的图像质量检测装置，其特征在于，包括：图像获取模块，用于在不同环境温度下获取被测物体通过结构光投影增强后的图像分别作为参考图像和测试图像，所述参考图像和所述测试图像尺寸一致；图像块划分模块，用于将所述参考图像和所述测试图像进行裁剪并归一化后划分为设定尺寸的图像块；其中，所述裁剪用于去除每张图像中无结构光投影部分；图像质量检测模块，用于将所述参考图像的图像块和所述测试图像的图像块输入预设的基于cnn网络的孪生特征提取器，所述孪生特征提取器通过提取各图像块的特征并进行融合，输出所述测试图像的图像质量评价结果。9.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1-7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任一项所述的方法。

技术总结
本发明提出涉及一种基于结构光辅助条纹的图像质量检测方法及装置，属于图像质量评价技术领域。其中，所述方法包括：在不同环境温度下获取被测物体通过结构光投影增强后的图像分别作为参考图像和测试图像；将参考图像和测试图像进行裁剪并归一化后划分为设定尺寸的图像块；将参考图像的图像块和测试图像的图像块输入预设的基于CNN网络的孪生特征提取器，所述孪生特征提取器通过提取各图像块的特征并进行融合，输出测试图像的图像质量评价结果。本发明通过增加结构光辅助条纹的主动视觉特征以达到将图像前后差异变大，进而检测图像质量，检测效率高、能够精确地检测出图像质量，使用效果好，便于推广使用。便于推广使用。便于推广使用。


技术研发人员：徐静 李志虎 党仁俊
受保护的技术使用者：清华大学
技术研发日：2023.05.10
技术公布日：2023/8/24