一种虹膜特征提取方法、装置、芯片及终端与流程

1.本发明涉及生物特征识别技术领域，特别是涉及一种虹膜特征提取方法、装置、芯片及存储介质。


背景技术：

2.生物特征识别方法相较于传统的身份认证，在安全性，便捷性，和保密性等方面有很大的优势。如虹膜识别技术，其具有高独特性和高稳定性，广泛应用于需要进行身份认证的产品中。
3.虹膜识别的本质也是图像分类的一种，将虹膜识别领域与深度学习技术相结合，使得虹膜识别系统对图像质量的要求没有传统算法那么严苛，但同时也存在许多缺陷。例如，常用的深度学习算法多使用gabor滤波或者haar小波进行特征提取，或通过改进的稠密连接网络来提取虹膜特征。其中，前者的特提取依靠频域信息进行特征编码，后者在单一尺度上进行特征提取，均使得最终获得的特征单一，特征表达能力不足，从而降低虹膜识别系统的识别率。此外，虹膜纹理容易被伪造，若使用伪造的虹膜图像在深度学习算法中进行训练，会使得产品面临非法侵入等安全问题。


技术实现要素：

4.基于此，本发明提供一种虹膜特征提取方法、装置、芯片及存储介质，可以提取丰富的虹膜特征，使得其识别率较高，并且以真实虹膜图像进行特征提取，提高本虹膜特征提取方法所应用的虹膜识别系统的可靠性，避免产品面临非法侵入等安全问题。
5.第一方面，提供一种虹膜特征提取方法，包括：
6.获取初始虹膜图像；
7.通过防伪检测网络，对所述初始虹膜图像进行真伪判别；
8.其中，所述防伪检测网络引入循环注意力机制，聚焦于所述初始虹膜图像的虹膜部分及纹理部分进行检测；
9.若所述防伪检测网络的输出表示初始虹膜图像真实，则将所述初始虹膜图像存储为真实虹膜图像；
10.将所述真实虹膜图像输入改进的mulse-irisnet网络结构模型，以通过所述改进的mulse-irisnet网络结构模型提取所述真实虹膜图像的虹膜特征；
11.其中，所述改进的mulse-irisnet网络结构模型基于真实虹膜图像数据集进行训练，通过小尺度卷积核的叠加替换原mulse-irisnet网络结构模型的大尺度卷积核，且使用联合损失函数。
12.可选地，所述防伪检测网络包括多级特征尺度的特征分类网络；
13.所述通过防伪检测网络，对所述初始虹膜图像进行真伪判别，包括：
14.所述初始虹膜图像经过第一逐点卷积将通道数扩张后通过深度卷积在高维进行特征提取，并在特征提取后将通道数压缩还原，经过第二逐点卷积；所述第一逐点卷积的卷
积核大小为1x1，所述深度卷积的卷积核大小为3x3，所述第二逐点卷积的卷积核大小为1x1；
15.当卷积步长为1时，尺寸相同的输入图像和输出图像之间进行残差连接，得到第一特征图、第二特征图和第三特征图；
16.将所述第一特征图、第二特征图和第三特征图输入第一级特征尺度的特征分类网络，并对原始虹膜图像的虹膜区域和纹理区域进行无监督定位；
17.基于定位结果对特征分类网络的输出进行裁剪，获得虹膜区域图像或纹理区域图；
18.所述虹膜区域图像或所述纹理区域图像经过双线性插值上采样处理后，作为下一级特征尺度的输入图像；
19.其中，各级特征分类网络之间循环插入虹膜注意力网络和纹理注意力网络；
20.根据以预设级别特征尺度的特征分类网络输出的虹膜区域图像和纹理区域图像进行真伪判别。
21.可选地，所述第一逐点卷积的激活函数设置为relu6，所述深度卷积的激活函数设置为relu6，所述第二逐点卷积的激活函数设置为linear。
22.可选地，各级特征分类网络使用分类损失函数；所述虹膜注意力网络和所述纹理注意力网络使用排序损失函数。
23.可选地，所述改进的mulse-irisnet网络结构模型在网络结构上改进，还包括：
24.对原mulse-irisnet网络结构模型的特征通道设置通道注意力机制；
25.对于原mulse-irisnet网络结构模型的子网络，使用shortcut连接。
26.可选地，所述通过防伪检测网络，对所述初始虹膜图像进行真伪判别之前，包括：
27.基于brenner梯度函数及虹膜区域面积对初始虹膜图像质量进行评价。
28.可选地，所述通过防伪检测网络，对所述初始虹膜图像进行真伪判别之前，还包括：
29.检测并标记通过图像质量评价的初始虹膜图像的内外边界；
30.归一化和增强标记后的初始虹膜图像。
31.第二方面，提供一种虹膜特征提取装置，包括：
32.初始图像获取模块，用于获取初始虹膜图像；
33.图像检测模块，用于通过防伪检测网络，对所述初始虹膜图像进行真伪判别；
34.其中，所述防伪检测网络引入循环注意力机制，聚焦于所述初始虹膜图像的虹膜部分及纹理部分进行检测；
35.真实虹膜图像获取模块，用于若所述防伪检测网络的输出表示初始虹膜图像真实，则将所述初始虹膜图像存储为真实虹膜图像；
36.虹膜特征提取模块，用于将所述真实虹膜图像输入改进的mulse-irisnet网络结构模型，以通过所述改进的mulse-irisnet网络结构模型提取所述真实虹膜图像的虹膜特征；
37.其中，所述改进的mulse-irisnet网络结构模型基于真实虹膜图像数据集进行训练，通过小尺度卷积核的叠加替换原mulse-irisnet网络结构模型的大尺度卷积核，且使用联合损失函数。
38.第三方面，提供一种芯片，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至7任一项所述的虹膜特征提取方法的各个步骤。
39.第四方面，提供一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现如上介绍的虹膜特征提取方法的各个步骤。
40.上述虹膜特征提取方法、装置、芯片及存储介质，基于改进的mulse-irisnet网络结构模型进行虹膜特征提取，改进的mulse-irisnet网络结构模型通过小尺度卷积核的叠加替换原mulse-irisnet网络结构模型的大尺度卷积核，从而获取丰富的虹膜特征，并适应于虹膜图像的数据特性，使用更加适合的联合损失函数，提升特征提取效果。此外，在基于改进的mulse-irisnet网络结构模型进行虹膜特征提取之前，本发明还通过防伪检测网络对输入的初始虹膜图像进行真伪判别，并且，改进的mulse-irisnet网络结构模型本身也基于真实虹膜图像数据集进行训练，提升了mulse-irisnet网络结构模型、及其所应用的虹膜识别系统的可靠性，避免产品面临非法侵入等安全问题。
附图说明
41.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1为本发明实施例虹膜特征提取方法的基本流程示意图；
43.图2为本发明实施例改进的mulse-irisnet网络结构模型的结构示意图；
44.图3为本发明实施例另一虹膜特征提取方法的基本流程示意图；
45.图4为本发明实施例步骤s12的详细实现方式示意图；
46.图5为本发明实施例虹膜特征提取装置的基本结构框图；
47.图6为本发明实施例芯片基本结构框图。
具体实施方式
48.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
49.在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
50.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施
例，都属于本发明保护的范围。
51.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(ai：artificial intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
52.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
53.具体地请参阅图1，图1为本实施例虹膜特征提取方法的基本流程示意图。
54.如图1所示，一种虹膜特征提取方法，包括：
55.s11、获取初始虹膜图像。
56.在本发明实施例中，初始虹膜图像的获取途径不进行限定，示例性的可以为：通过发光仪器将投射在虹膜上的光线反射到感光原件上，然后再将其转为数字信号传输到计算机设备中。
57.s12、通过防伪检测网络，对所述初始虹膜图像进行真伪判别；
58.其中，所述防伪检测网络引入循环注意力机制，聚焦于所述初始虹膜图像的虹膜部分及纹理部分进行检测。
59.在实际应用中，真实虹膜与基于纹理隐形眼镜而构成的伪造虹膜的相似度极高，且虹膜图像中大部分区域被相近的巩膜、眼睑和睫毛等背景特征占据，从而使得虹膜图像的类间差异较小。又，获取的虹膜图像，受到光照、角度、姿态和遮挡等方面的影响，从而虹膜图像的类内差异较大。
60.上述虹膜图像的特点表示真实虹膜图像、伪造虹膜图像与细粒度图像的特点一致，因此，本发明实施例将上述步骤s12中的初始虹膜图像的真伪判别，转换为细粒度图像分类问题进行处理，使用防伪检测网络对初始虹膜图像进行真伪判别。
61.本发明实施例中，防伪检测网络还引入循环注意力机制，即利用区域定位和特征提取之间存在的相互关联性，对网络的定位能力和提取能力进行交替训练，从而达到相互强化的目的，最终使网络聚焦于关键区域的微小特征差异进行检测，关键区域即初始虹膜图像的虹膜部分及纹理部分。
62.s13、若所述防伪检测网络的输出表示初始虹膜图像真实，则将所述初始虹膜图像存储为真实虹膜图像。
63.通过上述步骤s12和s13，本发明实施例在基于改进的mulse-irisnet网络结构模型进行虹膜特征提取之前，通过防伪检测网络对输入的初始虹膜图像进行真伪判别，且在下述步骤s14中，改进的mulse-irisnet网络结构模型本身也基于真实虹膜图像数据集进行训练，两者共同提升了mulse-irisnet网络结构模型、及其所应用的虹膜识别系统的可靠性，避免产品面临非法侵入等安全问题。
64.s14、将所述真实虹膜图像输入改进的mulse-irisnet网络结构模型，以通过所述改进的mulse-irisnet网络结构模型提取所述真实虹膜图像的虹膜特征。
65.其中，所述改进的mulse-irisnet网络结构模型基于真实虹膜图像数据集进行训
练，改进的mulse-irisnet网络结构模型改进之处在于通过小尺度卷积核的叠加替换原mulse-irisnet网络结构模型的大尺度卷积核，且使用联合损失函数。
66.改进的mulse-irisnet网络为残差网络，如图2所示，本发明实施例还示出了改进的mulse-irisnet网络结构模型的结构示意图。图2仅示出了conv1、conv2和conv3，其均为小尺度卷积核。
67.在上述步骤s14中，多个小尺度卷积核的叠加，可以获取丰富的虹膜特征；适应于虹膜图像的数据特性，使用联合损失函数，可以提升特征提取效果。
68.在具体应用中，通过小尺度卷积核的叠加来替代大尺度的卷积核，可以控制感受野不变的情况下降低网络模型的计算量。以四个分支的小尺度卷积核叠加为例进行说明：分支一的卷积核尺度大小为1，此1
×
1的卷积核大小用来给基于真实虹膜图像的特征图像进行降维操作；分支二的卷积核大小分别为1
×
1和3
×
3，通过设置1
×
1的卷积核用来进行降维操作减少计算量；分支三通过设置两个3
×
3的卷积核达到与5
×
5卷积核相同感受野的效果，分支四通过设置三个3
×
3的卷积核达到与7
×
7卷积核相同感受野的效果，同时相比于直接使用5
×
5和7
×
7的卷积核可以大大减小运算量，并且网络模型中多个卷积核与激活函数组合结构的特征提取效果要优于单独层卷积结构。最后将四个分支提取完之后的特征图像在通道维度合并起来，获得虹膜特征，通道数与输入之前保持不变，但是相比于使用单一尺度的卷积核来提取特征，所提取的虹膜特征包含的信息更加丰富。
69.在一个实施例中，所述改进的mulse-irisnet网络结构模型在网络结构上改进，还包括：
70.对原mulse-irisnet网络结构模型的特征通道设置通道注意力机制；对于原mulse-irisnet网络结构模型的子网络，使用shortcut连接。
71.其中，在原mulse-irisnet网络结构模型的特征通道设置通道注意力机制，用于提高网络结构通道的相关性。详细步骤为：在mulse-residual模块中加入se(squeeze-and-excitation，压缩及激励网络)，首先对上一部分得到的虹膜特征图在空间特征通道上进行压缩处理，通过这一步将每一个二维的特征通道变成一个实数，这个实数代表着在特征通道上的全局分布。这一步操作通过使用全局平均池化层来实现，将整张虹膜特征图的尺度大小变成1
×
1，使得通道数为n的三维特征图像转化为1
×1×
n的数列。公式如下：
[0072][0073]
接着使用如下激活函数:
[0074]
s＝f
ex
(z,w)＝σ(g(z,w))＝σ(w2relu(w1z))
[0075]
最后进行加权的操作，由如上公式可得经过sigmoid激活函数处理后得到取值范围在0-1区间的值s，该s值就代表每个特征通道的权重，表示特征通道的重要程度，最后通过s与每个特征通道的值相乘，完成特征通道重要性的再分配。
[0076]
其中，对原mulse-irisnet网络结构模型的子网络使用shortcut连接，既没有引入多余的参数，也没有增加网络结构的计算复杂性，同时有效地避免了网络结构随着深度的增加发生性能下降的问题。
[0077]
在本发明实施例中，联合损失函数包括amsoftmax函数和center loss函数，对于
amsoftmax函数，令和||fi||的值为1，引入两个超参数来调整边界值和网络的收敛速度。amsoftmax函数的计算公式如下：
[0078][0079]
在具体应用中，amsoftmax可以有效的增加类间距离，center loss可以有效的减少类内距离，因此，amsoftmax及λcenter loss的联合损失函数，既能够有效地增加虹膜特征的类间距离，也能够降低虹膜特征的类内距离，期望比使用单一的损失函数训练取得更好的效果。
[0080]
联合损失函数如下所示，其中引入了超参数来调节center loss，即中心损失函数的约束强度。
[0081][0082]
在具体应用中，初始虹膜图像质量不一，质量较差的初始虹膜图像会影响后续的识别准确率，因此，在上述步骤s11之后，步骤s12之前，还包括对初始虹膜图像的质量评价，具体地请参阅图3，图3为本实施例另一虹膜特征提取方法的基本流程示意图，包括：
[0083]
s11、获取初始虹膜图像。
[0084]
s111、基于brenner梯度函数及虹膜区域面积对初始虹膜图像质量进行评价。
[0085]
示例性的，brenner梯度函数的公式如下所示：
[0086]
d(f)＝∑y∑
x
|f(x+2,y)-f(x,y)|
[0087]
其中，f(x,y)表示的对应的像素点(x,y)处的灰度值。
[0088]
本发明实施例通过brenner梯度函数，对初始虹膜图像的清晰度进行评价；通过虹膜区域面积，对初始虹膜图像的内容进行评价，以筛选掉由于采集过程中眯眼，闭眼，或者睫毛眼皮遮挡等原因造成虹膜可见区域较小的图片。
[0089]
可以理解的是，基于虹膜区域面积和brenner梯度函数，若当前获取的初始虹膜图像的质量评价没有达到预设标准，则重新获取初始虹膜图像，或选择用户的其它初始虹膜图像。
[0090]
其中，预设标准可以为预先设置的瞳孔像素个数阈值，以及灰度值阈值；若虹膜区域中的瞳孔像素个数大于瞳孔像素个数阈值，且所计算的灰度值大于灰度值阈值，则该初始虹膜图像达到预设标准，通过图像质量评价。
[0091]
s112、对于通过图像质量评价的初始虹膜图像，进行图像增强处理，包括：
[0092]
检测并标记通过图像质量评价的初始虹膜图像的内外边界；
[0093]
归一化和增强标记后的初始虹膜图像。
[0094]
在上述步骤s112中，内外边界为虹膜的内边界和虹膜的外边界，虹膜的内边界为虹膜和瞳孔的边界，虹膜的外边界为虹膜和巩膜的边界。
[0095]
由于虹膜区域内外边界灰度值的变化较大，因此，本发明实施例使用霍夫变换实现内外边界的检测标记，包括：先使用prewitt算子对虹膜图像进行处理，通过利用虹膜图
像上的像素点与上下，左右相邻的灰度差，来检测虹膜区域的边缘，这个操作是将质量评价后的虹膜图像与prewitt算子进行卷积来完成。相关公式如下:
[0096][0097][0098]
g(xj,yj,xc,yc,r)＝(x
j-xc)2+(y
j-yc)
2-r2[0099]
其中，(xc,yc,r)表示霍夫圆拟合出来的不同圆的坐标和参数，(xj,yj,r)表示虹膜图像上边缘点，当g(xj,yj,xc,yc,r)＝0表示实际虹膜图像中边缘点落在拟合出来的圆形坐标点上，则h+1，否则h不变，通过统计点的个数来确定圆的位置。
[0100]
在上述步骤s112中，归一化标记后的初始虹膜图像，目的是减少瞳孔在不同的光照环境下虹膜区域面积发生变化的影响。
[0101]
而对标记后的初始虹膜图像进行增强，目的是克服采集过程中光照环境的限制和采集设备硬件的限制，所导致的虹膜区域中纹理表达清晰度参差不齐的情况。本发明实施例对标记后的初始虹膜图像的灰度直方图进行调整，实现对标记后的虹膜图像的增强，提高纹理对比度的效果，使得虹膜图像的亮度更为平均，减弱光照不均的负面影响。
[0102]
s12、通过防伪检测网络，对所述初始虹膜图像进行真伪判别。
[0103]
s13、若所述防伪检测网络的输出表示初始虹膜图像真实，则将所述初始虹膜图像存储为真实虹膜图像。
[0104]
s14、将所述真实虹膜图像输入改进的mulse-irisnet网络结构模型，以通过所述改进的mulse-irisnet网络结构模型提取所述真实虹膜图像的虹膜特征。
[0105]
如图4所示，本发明实施例示出了上述步骤s12，即所述通过防伪检测网络，对所述初始虹膜图像进行真伪判别的详细实现方式，首先，在本发明实施例中，所述防伪检测网络包括多级特征尺度的特征分类网络，基于此，上述步骤s12的详细实现方式，包括：
[0106]
s121、所述初始虹膜图像经过第一逐点卷积将通道数扩张后通过深度卷积在高维进行特征提取，并在特征提取后将通道数压缩还原，经过第二逐点卷积；所述第一逐点卷积的卷积核大小为1x1，所述深度卷积的卷积核大小为3x3，所述第二逐点卷积的卷积核大小为1x1；
[0107]
在上述步骤s121中，所述第一逐点卷积的激活函数设置为relu6，所述深度卷积的激活函数设置为relu6，所述第二逐点卷积的激活函数设置为linear。
[0108]
本发明实施例通过将最后一个逐点卷积，即第二逐点卷积的激活函数由relu6替换为linear，避免在低维度进行非线性激活会导致特征信息损失的问题。
[0109]
s122、当卷积步长为1时，尺寸相同的输入图像和输出图像之间进行残差连接，得到第一特征图、第二特征图和第三特征图；
[0110]
s123、将所述第一特征图、第二特征图和第三特征图输入当前级特征尺度的特征分类网络，并对原始虹膜图像的虹膜区域和纹理区域进行无监督定位；
[0111]
s124、基于定位结果对特征分类网络的输出进行裁剪，获得虹膜区域图像或纹理区域图；
[0112]
s125、所述虹膜区域图像或所述纹理区域图像经过双线性插值上采样处理后，作为下一级特征尺度的输入图像；
[0113]
其中，各级特征分类网络之间循环插入虹膜注意力网络和纹理注意力网络。
[0114]
需要说明的是，若当前级特征尺度的特征分类网络中插入虹膜注意力网络，则下一级特征尺度的特征分类中插入纹理注意力网络，且当前级特征尺度的特征分类网络输出虹膜区域图像，下一级特征尺度的特征分类网络输出纹理区域图像。
[0115]
基于上述步骤s123至步骤s125，本发明实施例中，防伪检测网络中引入了racnn的循环注意力机制，在各级特征分类网络之间循环插入虹膜注意力网络i-apn和纹理注意力网络t-apn，先后对原始虹膜图像的虹膜区域和纹理区域进行无监督定位，模拟人眼的视觉特性使特征分类网络的注意力集中到图像中的虹膜及其纹理部分。
[0116]
以虹膜注意力网络i-apn为例，将虹膜图像的左上角设为坐标系的原点，其x轴和y轴分别从左到右和自上到下定义。根据虹膜区域位置参数(x
t
，y
t
，l
t
)，可以获得虹膜区域左上角点坐标(x
tl
,y
tl
)和右下角点坐标(x
br
,y
br
)，计算公式为
[0117][0118]
根据虹膜区域的顶点坐标，使用图像掩模函数m(
·
)与虹膜图像x
t
进行逐像素相乘的裁剪操作，即可得到裁剪后的虹膜区域图像x
t
′
，即：
[0119]
x
t
′
＝x
t
⊙
m(x
tl
，y
tl
，x
br
，y
br
)
[0120]
掩模函数m(
·
)是一个阶跃函数:
[0121]mnew
(
·
)＝[σ(x-x
tl
)-σ(x-x
br
)]
·
[σ(y-y
tl
)-σ(y-y
br
)]
[0122]
σ(
·
)为sigmoid函数，其取值范围为0～1。
[0123]
s126、根据以预设级别特征尺度的特征分类网络输出的虹膜区域图像和纹理区域图像进行真伪判别。
[0124]
上述步骤s121至步骤s126，通过多次循环迭代计算，对网络的定位能力和提取能力进行交替训练，从而达到相互强化的目的，最终使网络聚焦于所述初始虹膜图像的虹膜部分及纹理部分进行检测。
[0125]
在一个实例中，各级特征分类网络使用分类损失函数；所述虹膜注意力网络和所述纹理注意力网络使用排序损失函数。基于此，本发明实施例中，防伪检测网络的总体损失函数定义为：
[0126][0127]
式中s为第s级特征尺度；l
cls
(
·
)为分类损失函数；l
rank
(
·
)为排序损失函数；为样本的标签值；为第s级特征分类网络对样本的预测值；和为第s级和第s+1级特征分类网络对真实标签的预测概率。
[0128]
示例性的，对于分类损失，本发明实施例使用交叉熵损失函数进行计算，可以避免
网络出现梯度弥散问题，使特征分类网络的预测结果有效地向真实标签收敛。对于排序损失，本发明实施例通过相邻两级特征分类网络对真实标签的预测误差进行计算。
[0129]
为解决上述技术问题，本发明实施例还提供一种虹膜特征提取装置。具体请参阅图5，图5为本发明实施例虹膜特征提取的基本结构框图，包括：
[0130]
初始图像获取模块51，用于获取初始虹膜图像；
[0131]
图像检测模块52，用于通过防伪检测网络，对所述初始虹膜图像进行真伪判别；
[0132]
其中，所述防伪检测网络引入循环注意力机制，聚焦于所述初始虹膜图像的虹膜部分及纹理部分进行检测；
[0133]
真实虹膜图像获取模块53，用于若所述防伪检测网络的输出表示初始虹膜图像真实，则将所述初始虹膜图像存储为真实虹膜图像；
[0134]
虹膜特征提取模块54，用于将所述真实虹膜图像输入改进的mulse-irisnet网络结构模型，以通过所述改进的mulse-irisnet网络结构模型提取所述真实虹膜图像的虹膜特征；
[0135]
其中，所述改进的mulse-irisnet网络结构模型基于真实虹膜图像数据集进行训练，通过小尺度卷积核的叠加替换原mulse-irisnet网络结构模型的大尺度卷积核，且使用联合损失函数。
[0136]
为解决上述技术问题，本发明实施例还提供一种芯片，该芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器，处理器用于支持终端执行上述相关步骤，例如从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行，以实现上述各个实施例中的虹膜特征提取方法。
[0137]
可选的在一些示例下，该芯片还包括收发器，收发器用于接受处理器的控制，用于支持终端执行上述相关步骤，以实现上述各个实施例中的虹膜特征提取方法。
[0138]
可选的，该芯片还可以包括存储介质。
[0139]
需要说明的是，该芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，fpga)、可编程逻辑器件(programmablelogic device，pld)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本技术通篇所描述的各种功能的电路的任意组合。
[0140]
本发明还提供一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的虹膜特征提取方法的步骤。
[0141]
具体请参阅图6，图6为示出的一种终端的基本结构框图，该终端包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该终端的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种人脸表情识别方法。该终端的处理器用于提供计算和控制能力，支撑整个终端的运行。该终端的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种人脸表情识别方法。该终端的网络接口用于与终端连接通信。本领域技术人员可以理解，图中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部
件布置。
[0142]
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的电子设备。这种电子设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；pcs(personal communications service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；pda(personal digital assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或gps(global positioning system，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是pda、mid(mobile internet device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述虹膜特征提取方法的步骤。
[0143]
本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述介绍的虹膜特征提取方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。
[0144]
本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。
[0145]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
[0146]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0147]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0148]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并
不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种虹膜特征提取方法，其特征在于，包括：获取初始虹膜图像；通过防伪检测网络，对所述初始虹膜图像进行真伪判别；其中，所述防伪检测网络引入循环注意力机制，聚焦于所述初始虹膜图像的虹膜部分及纹理部分进行检测；若所述防伪检测网络的输出表示初始虹膜图像真实，则将所述初始虹膜图像存储为真实虹膜图像；将所述真实虹膜图像输入改进的mulse-irisnet网络结构模型，以通过所述改进的mulse-irisnet网络结构模型提取所述真实虹膜图像的虹膜特征；其中，所述改进的mulse-irisnet网络结构模型基于真实虹膜图像数据集进行训练，通过小尺度卷积核的叠加替换原mulse-irisnet网络结构模型的大尺度卷积核，且使用联合损失函数。2.如权利要求1所述的虹膜特征提取方法，其特征在于，所述防伪检测网络包括多级特征尺度的特征分类网络；所述通过防伪检测网络，对所述初始虹膜图像进行真伪判别，包括：所述初始虹膜图像经过第一逐点卷积将通道数扩张后通过深度卷积在高维进行特征提取，并在特征提取后将通道数压缩还原，经过第二逐点卷积；所述第一逐点卷积的卷积核大小为1x1，所述深度卷积的卷积核大小为3x3，所述第二逐点卷积的卷积核大小为1x1；当卷积步长为1时，尺寸相同的输入图像和输出图像之间进行残差连接，得到第一特征图、第二特征图和第三特征图；将所述第一特征图、第二特征图和第三特征图输入第一级特征尺度的特征分类网络，并对原始虹膜图像的虹膜区域和纹理区域进行无监督定位；基于定位结果对特征分类网络的输出进行裁剪，获得虹膜区域图像或纹理区域图；所述虹膜区域图像或所述纹理区域图像经过双线性插值上采样处理后，作为下一级特征尺度的输入图像；其中，各级特征分类网络之间循环插入虹膜注意力网络和纹理注意力网络；根据以预设级别特征尺度的特征分类网络输出的虹膜区域图像和纹理区域图像进行真伪判别。3.如权利要求2所述的虹膜特征提取方法，其特征在于，所述第一逐点卷积的激活函数设置为relu6，所述深度卷积的激活函数设置为relu6，所述第二逐点卷积的激活函数设置为linear。4.如权利要求2所述的虹膜特征提取方法，其特征在于，各级特征分类网络使用分类损失函数；所述虹膜注意力网络和所述纹理注意力网络使用排序损失函数。5.如权利要求1所述的虹膜特征提取方法，其特征在于，所述改进的mulse-irisnet网络结构模型在网络结构上改进，还包括：对原mulse-irisnet网络结构模型的特征通道设置通道注意力机制；对于原mulse-irisnet网络结构模型的子网络，使用shortcut连接。6.如权利要求1所述的虹膜特征提取方法，其特征在于，所述通过防伪检测网络，对所述初始虹膜图像进行真伪判别之前，包括：
基于brenner梯度函数及虹膜区域面积对初始虹膜图像质量进行评价。7.如权利要求6所述的虹膜特征提取方法，其特征在于，所述通过防伪检测网络，对所述初始虹膜图像进行真伪判别之前，还包括：检测并标记通过图像质量评价的初始虹膜图像的内外边界；归一化和增强标记后的初始虹膜图像。8.一种虹膜特征提取装置，其特征在于，包括：初始图像获取模块，用于获取初始虹膜图像；图像检测模块，用于通过防伪检测网络，对所述初始虹膜图像进行真伪判别；其中，所述防伪检测网络引入循环注意力机制，聚焦于所述初始虹膜图像的虹膜部分及纹理部分进行检测；真实虹膜图像获取模块，用于若所述防伪检测网络的输出表示初始虹膜图像真实，则将所述初始虹膜图像存储为真实虹膜图像；虹膜特征提取模块，用于将所述真实虹膜图像输入改进的mulse-irisnet网络结构模型，以通过所述改进的mulse-irisnet网络结构模型提取所述真实虹膜图像的虹膜特征；其中，所述改进的mulse-irisnet网络结构模型基于真实虹膜图像数据集进行训练，通过小尺度卷积核的叠加替换原mulse-irisnet网络结构模型的大尺度卷积核，且使用联合损失函数。9.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至7任一项所述的虹膜特征提取方法的各个步骤。10.一种终端，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的虹膜特征提取方法的步骤。

技术总结
本发明实施例公开了一种虹膜特征提取方法、装置、芯片及终端，方法包括获取初始虹膜图像，通过防伪检测网络对初始虹膜图像进行真伪判别，若防伪检测网络的输出表示初始虹膜图像真实，则将真实虹膜图像输入改进的MulSE-IrisNet网络结构模型提取虹膜特征，其中改进的网络结构模型基于真实虹膜图像数据集进行训练。改进后的网络结构模型通过小尺度卷积核可以获取丰富的虹膜特征，适应于虹膜图像数据特性而使用更加适合的联合损失函数可以提升特征提取效果。此外，进行真伪判别并且改进后的网络结构模型是基于真实虹膜图像数据集进行训练的，提升了该网络结构模型及其所应用的虹膜识别系统的可靠性，避免产品面临非法侵入等安全问题。等安全问题。等安全问题。


技术研发人员：王汉波 郭军 柯武生
受保护的技术使用者：山东睿芯半导体科技有限公司
技术研发日：2023.07.24
技术公布日：2023/10/19