一种石斑鱼图像分类识别方法

1.本发明涉及水产动物分类研究的技术领域，具体是涉及一种石斑鱼图像分类识别方法。


背景技术：

2.石斑鱼是驰名世界的名贵海产鱼类，属于鲈形目(perciformes)、鮨科(serranidae)、石斑鱼亚科(epinephelinae),包括15属，159种，其中分布于沿海的约有46种。石斑鱼广泛分布于太平洋和印度洋的热带、亚热带海域，其肉质鲜美，营养丰富，深受消费者欢迎，是我国沿海地区重要海水养殖对象，经济价值巨大。
3.目前，我国沿海地区养殖的石斑鱼主要有斜带石斑鱼(epinephelus coioides)、棕点石斑鱼(epinephelus fuscoguttatus)、鞍带石斑鱼(epinephelus lanceolatus)、赤点石斑鱼(epinephelus akaara)、云纹石斑鱼(epinephelus moara)、豹纹鳃棘鲈(plectropomus leopardus)、驼背鲈(cromileptesaltivelis)，以及一些杂交石斑鱼品种，如虎龙杂交斑(棕点石斑鱼
♀×
鞍带石斑鱼
♂
)，俗称珍珠龙趸、金虎杂交斑(棕点石斑鱼
♀×
蓝身大斑石斑鱼
♂
)、杉虎杂交斑(棕点石斑鱼
♀×
清水石斑鱼
♂
)等。
4.由于石斑鱼种类较多，且部分石斑鱼品种外型较为相似，难以分辨，尤其是近年来杂交石斑鱼养殖的兴起，更是导致消费者难以辨认石斑鱼种类；而且不同种类石斑鱼的价格差异较大，如棕点石斑鱼每公斤的价格大约是珍珠龙趸的2倍以上，且两者的外形非常相似。部分商家为了获取暴利，有意将珍珠龙趸标为棕点石斑鱼，这种现象在我国沿海地区或内陆的海鲜市场非常常见。由于消费者对石斑鱼种类认识有限，经常受骗上当。因此，开发石斑鱼种类图像识别系统非常符合市场的需要，可帮助消费者辨别常见的石斑鱼品种。此外，石斑鱼种类图像识别系统也能为从事石斑鱼分类研究以及遗传育种的工作者带来便利。
5.在应激情况下，石斑鱼容易变色，斑点特征不显著，使得不同品种间的差异进一步减小，因此对于许多品种的石斑鱼来说，像素间的空间关系是不可缺少的，而在图像识别领域中常用的卷积神经网络方法，即使使用残差连接，也只能得到有限空间的上下文信息，应用在石斑鱼的识别上并无法取得很好的效果。因此，针对石斑鱼的外形特征，需要采用更有效的方法以更好地分辨不同的石斑鱼种类。


技术实现要素：

6.本发明所要解决的技术问题，就是提供一种石斑鱼图像分类识别方法，可快速、便捷地帮助用户获取石斑鱼品种信息。
7.解决上述技术问题，本发明采用的技术方案如下：
8.一种石斑鱼图像分类识别方法，其特征在于，包括以下步骤：
9.步骤一、采集石斑鱼的图像，构建为数据集；
10.步骤二、采用数据增强的方式扩充石斑鱼图像的数量，通过数据增强的方式将单
张图片扩增成多个图像副本，增加训练样本量，进而提高网络的泛化性，减少过拟合；
11.步骤三、构建模型，所述模型包括以下数据处理过程：
12.将步骤二中经过数据增强扩增的图像通过运算模块，将运算模块输出的结果等分成2x2共四块，再转换成patch tokens向量(先将矩阵转换成向量，再将每个转换后的向量拼接起来)，准备作为transformer(一种深度学习模型)的输入；
13.将得到的patch tokens向量，连续通过三组数据处理模块的处理，每组数据处理模块中依次包括标准化处理模块、多头自注意力模块、残差连接和标准化处理模块、局部增强前馈网络模块；
14.步骤四、训练步骤三中的模型，将训练好的模型部署为后端服务。
15.优选的，步骤一中，所述图像将被缩放为384x 384像素大小。
16.优选的，步骤二中，数据增强的方式包括：对图像进行水平/垂直翻转、随机裁剪、随机缩放、随机旋转变换和随机伽马变换。
17.其中，随机缩放的上下限为0.5-3，随机旋转变换的角度范围为0-60度，伽马变换的γ的上下限为0和1.5。
18.优选的，步骤三的所述运算模块由卷积、批量标准化和最大池化组成。
19.写成公式为：
20.x'＝maxpool(bn(conv(x)))
21.公式中：conv为卷积，bn为批量标准化，maxpool为最大池化。
22.优选的，步骤三中：局部增强前馈网络模块的结构如下：
23.多头自注意力模块得到的结果分为代表类名(一般称为class，例如虎龙石斑鱼、金虎石斑鱼)的(h是一个自定义的名称，取head的首字母，表示来自上一步的多头自注意力模块)和代表patch token的(h同上，p取自patch token的首字母)，其中通过线性映射拓展到更高维度，得到(p同上，l1取自linear1，表示是应用了linear1的结果)，接着通过维度恢复还原成二维图片(p同上，s表示是经过spatial restore的结果)，再应用卷积得到(p同上，c表示是经过了卷积的结果)，然后展平得到(p同上，f表示是经过flatten的结果)，再线性映射回开始的维度，得到(p同上，l2表示是经过了lienar2的结果)，最后和代表类名信息的合并起来；每个线性映射和卷积之后都会加上批量标准化，并且运用gelu激活函数，用公式表示如下：
[0024][0025][0026][0027][0028]
[0029][0030][0031]
式中linear1和linear2分别代表第一个和第二个线性映射，spatialrestore是图像恢复，concat是拼接操作，conv是卷积运算，flatten是将矩阵展平，bn是批量标准化，split是向量的分割；
[0032]
将三个transformer模块的输出到一个由多头自注意力模块和前馈网络组成的模块，得到最终的结果。
[0033]
优选的，步骤三中，选用adamw作为优化器函数，应用分段衰减学习率，激活函数选择relu，在dense(密集连接层，一种神经网络层)后接入dropout层(丢弃层，一种神经网络层，用于减少过拟合)，系数为0.25。
[0034]
优选的，步骤四中，对模型进行尺寸优化和进行裁剪，以减小模型体积，加快推断速度。
[0035]
优选的，步骤一中：是采集不同环境中不同状态下的不同品种的石斑鱼的图像。
[0036]
与现有技术相比，本发明具有以下有益效果：
[0037]
1、本发明开发了石斑鱼种类图像的识别系统，通过拍照、上传图片至系统，即可分别出相应的石斑鱼品种，可快速、便捷地帮助用户获取石斑鱼品种信息。
[0038]
2、本发明结合了transformer(使用自注意力机制的深度学习模型，常用于自然语言处理和计算机视觉领域)和cnn(使用卷积核的深度学习模型，常用于计算机视觉和语音识别领域)，用于石斑鱼的图像识别。
[0039]
本发明的步骤一和步骤二中，在采集不同环境中和不同状态下的石斑鱼图像基础上，包括水中正常状态下、水中应激状态下、离水正常状态下、离水应激状态下等，并应用数据增强，以扩增数据集；在步骤三构建模型中，分别利用cnn善于提取邻近像素点关系的特点和transformer善于提取相距较远像素的关系的特点，能更好的获取石斑鱼的斑点分布情况，以对抗石斑鱼应激变色时，体色对于识别的影响。此外，在局部增强前馈网络模块中，对参数矩阵进行降维后，应用卷积进行采样，可以得到更多的信息，有利于提取不同品种的特点。
[0040]
其中，如果单独使用cnn，则无法应对石斑鱼这种体表花纹复杂的任务，例如斜带石斑鱼和棕点石斑鱼，都有条状的大块斑点，差异在于这些条状半点的空间关系，单独使用cnn，很难学习这些空间特征；而如果单独使用transformer，数据量不够庞大，transformer很难学习到斑点的局部特征。
[0041]
3、本发明可更准确地识别不同的石斑鱼类品种，为石斑鱼类辨别、种质鉴定、保护和改良提供可靠的方法。
附图说明
[0042]
图1是本发明的运算模块的运行原理示意图；
[0043]
图1中的英文解析为，convolution：卷积；max pooling:最大池化；split：2x2切分；embedding：嵌入层；patch tokens：将输入transformer的序列向量；
[0044]
图2是本发明的局部增强前馈网络模块的示意图；
[0045]
其中，token代表向量，class token就是类名编码成的0,1向量；
[0046]
图3是本发明构建的软件在使用过程中，用户将一张赤点石斑鱼图像输入软件后，在软件的用户界面上展示结果的示意图；
[0047]
图4是本发明构建的软件在使用过程中，用户将虎龙杂交斑图像输入软件后，在软件的用户界面上展示结果的示意图；
[0048]
图5是本发明构建的软件在使用过程中，用户将金虎斑图像输入软件后，在软件的用户界面上展示结果的示意图。
具体实施方式
[0049]
下面结合实施例对本发明进一步描述。
[0050]
实施例：
[0051]
本实施例的石斑鱼图像分类识别方法包括以下步骤：
[0052]
步骤一、采集不同环境中不同状态下的不同品种的石斑鱼(斜带石斑鱼、棕点石斑鱼，鞍带石斑鱼、赤点石斑鱼、豹纹鳃棘鲈、驼背鲈、珍珠龙趸、金虎杂交斑、杉虎杂交斑)的图像，环境包括养殖池、菜市场、水产市场、饭店水箱等，状态包括水中正常状态下、水中应激状态下、离水正常状态下、离水应激状态下等，筛选掉不清晰的图像，将图像大小缩放为384x 384，构建为数据集。
[0053]
步骤二、由于石斑鱼图像数量对于深度神经网络所需的训练样本量来说相对较小，因此采用数据增强的方式扩充石斑鱼图像数量，通过数据增强的方式将单张图片扩增成多个图像副本，大幅度增加训练样本量，进而提高网络的泛化性，减少过拟合；
[0054]
数据增强的方式具体包括：对图像进行水平/垂直翻转、随机裁剪、随机缩放、随机旋转变换和随机伽马变换；
[0055]
其中，随机缩放的上下限为0.5-3，随机旋转变换的角度范围为0-60度，伽马变换的γ的上下限为0和1.5。
[0056]
步骤三、构建模型，模型包括以下数据处理过程：
[0057]
将步骤二中经过数据增强扩增的图像通过运算模块，运算模块由卷积(conv)、批量标准化(batch normalization，bn)和最大池化(max-pooling，maxpool)组成，写成公式是：
[0058]
x'＝maxpool(bn(conv(x)))
[0059][0060]
公式中：conv为卷积，bn为批量标准化，maxpool为最大池化；
[0061]
然后将运算模块输出的结果等分成2x2共四块，再转换成patch tokens向量，准备作为transformer的输入，图示1所示。
[0062]
将得到的patch tokens向量，连续通过三组数据处理模块的处理，每组数据处理模块中依次包括标准化处理模块、多头自注意力模块、残差连接和标准化处理模块、局部增强前馈网络模块；
[0063]
上述标准化处理模块、残差连接和标准化处理模块采用常规的处理方法。其中，自注意力模块有基本的三个变量，q(query)、k(key)、v(value)，注意力仿照人脑看见内容时
的注意力机制，为内容的每一部分加上权重，代表需要关心的重要程度，自注意力是注意力的一种变体，擅长提取数据或者特征内部的相关性，其中自注意力计算公式为：
[0064]
qi＝w
qai
[0065]ki
＝w
kai
[0066]
vi＝wvai[0067]ai
＝wxi[0068][0069][0070]
式子中带有w的是可训练参数(weight)，attention是计算结果的惯称，q是当前位置的query，k是整个序列中某一个位置的key，v是当前位置的value，先将q和k的转置做点积，然后除以这里的dk是序列的第一个维度，将结果通过softmax运算后，与v相乘，并将每一个位置的attention累加起来作为该位置的自注意力值。
[0071]
而多头自注意力模块(multi-head self attention)在自注意力模块(self attention)的基础上，由一组q、k、v改为多组q、k、v，组数即为head数，计算公式为：
[0072]
multihead(q，k，v)＝concat(head1，...，headh)wo[0073][0074][0075]
式中：multihead是多头注意力，concat是直接将矩阵首尾相连，wo是一个线性转换全连接层的参数矩阵，分别代表q、k、v的参数，hii中第一个i代表该token在序列中的位置，第二个i代表多头中的第几组。
[0076]
其中，局部增强前馈网络结构如下：
[0077]
多头自注意力模块得到的结果分为代表类名(一般称为class，例如虎龙石斑鱼、金虎石斑鱼)的(h是一个自定义的名称，取head的首字母，表示来自上一步的多头自注意力模块)和代表patch token的(h同上，p取自patch token的首字母)，其中通过线性映射拓展到更高维度，得到(p同上，l1取自linear1，表示是应用了linear1的结果)，接着通过维度恢复还原成二维图片(p同上，s表示是经过spatial restore的结果)，再应用卷积得到(p同上，c表示是经过了卷积的结果)，然后展平得到(p同上，f表示是经过flatten的结果)，再线性映射回开始的维度，得到(p同上，l2表示是经过了lienar2的结果)，最后和代表类名信息的合并起来；每个线性映射和卷积之后都会加上批量标准化，并且运用gelu激活函数，用公式表示如下：
[0078]
[0079][0080][0081][0082][0083][0084][0085]
式中linear1和linear2分别代表第一个和第二个线性映射，spatialrestore是图像恢复，concat是拼接操作，conv是卷积运算，flatten是将矩阵展平，bn是批量标准化，split是向量的分割；图示2所示；
[0086]
将三个transformer(一种深度学习模型)的输出到一个由多头自注意力模块和前馈网络(这个前馈网络为普通的前馈网络)组成的模块，得到最终的结果。
[0087]
步骤四、训练步骤三中的模型，将通过常规手段训练好的模型部署为后端服务。其可以作为软件、小程序的后端接口，从而采用常用编程手段构建为软件系统，运行在对应用户端(如手机、电脑等)上构建软件界面。
[0088]
上述步骤三中，选用adamw作为优化器函数，应用分段衰减学习率，激活函数选择relu，在dense(密集连接层，一种神经网络层)后接入dropout层(丢弃层，一种神经网络层，用于减少过拟合)，系数为0.25。
[0089]
使用的超参数如下：
[0090]
超参数名称超参数值filtersize3x3filtercount64stride2head3metricsaccuracywarmupratio0.1optimizeradamwlearningrate5e-3weightdecay1.5e-3
[0091]
上述步骤四中，对模型进行尺寸优化，裁剪不必要的枝叶，以减小模型体积，加快推断速度。
[0092]
在后续中，本石斑鱼图像分类识别方法可被构建为软件，用户上传图像或使用相机拍照上传，上述软件接受到上传的图像，将图像进行转换后传入软件的神经网络，最终在软件的用户界面上展示识别结果。
[0093]
上述软件在运行时会展示识别置信度最高的几个种类，如：鞍带石斑鱼＝0.85、棕点石斑鱼＝0.1、金虎石斑鱼＝0.05。如图3至图5所示为软件使用过程中，用户将几种石斑
鱼图像输入软件后，在软件的用户界面上展示结果的示意图，在石斑鱼图像的下面展示有识别出的种类和石斑鱼种类所对应的评分值。
[0094]
本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。

技术特征：
1.一种石斑鱼图像分类识别方法，其特征在于，包括以下步骤：步骤一、采集石斑鱼的图像，构建为数据集；步骤二、采用数据增强的方式扩充石斑鱼图像的数量，通过数据增强的方式将单张图片扩增成多个图像副本，增加训练样本量，进而提高网络的泛化性，减少过拟合；步骤三、构建模型，所述模型包括以下数据处理过程：将步骤二中经过数据增强扩增的图像通过运算模块，将运算模块输出的结果等分成2x2共四块，再转换成patchtokens向量，准备作为transformer的输入；将得到的patchtokens向量，连续通过三组数据处理模块的处理，每组所述数据处理模块中依次包括标准化处理模块、多头自注意力模块、残差连接和标准化处理模块、局部增强前馈网络模块；步骤四、训练步骤三中的模型，将训练好的模型部署为后端服务。2.根据权利要求1所述的石斑鱼图像分类识别方法，其特征在于：步骤一中，所述图像将被缩放为384x384像素大小。3.根据权利要求1所述的石斑鱼图像分类识别方法，其特征在于：步骤二中，数据增强的方式包括：对图像进行水平/垂直翻转、随机裁剪、随机缩放、随机旋转变换和随机伽马变换。4.根据权利要求3所述的石斑鱼图像分类识别方法，其特征在于：其中，随机缩放的上下限为0.5-3，随机旋转变换的角度范围为0-60度，伽马变换的γ的上下限为0和1.5。5.根据权利要求1所述的石斑鱼图像分类识别方法，其特征在于：步骤三的所述运算模块由卷积、批量标准化和最大池化组成。6.根据权利要求1所述的石斑鱼图像分类识别方法，其特征在于：步骤三中：局部增强前馈网络模块的结构如下：多头自注意力模块得到的结果分为代表类名的和代表patch token的其中通过线性映射拓展到更高维度，得到接着通过维度恢复还原成二维图片再应用卷积得到然后展平得到再线性映射回开始的维度，得到最后和代表类名信息的合并起来；每个线性映射和卷积之后都会加上批量标准化，并且运用gelu激活函数，将三个transformer的输出到一个由多头自注意力模块和前馈网络组成的模块，得到最终的结果。7.根据权利要求1所述的石斑鱼图像分类识别方法，其特征在于：步骤三中，选用adamw作为优化器函数，应用分段衰减学习率，激活函数选择relu，在dense后接入dropout层，系数为0.25。8.根据权利要求1所述的石斑鱼图像分类识别方法，其特征在于：步骤四中，对模型进行尺寸优化和进行裁剪，以减小模型体积，加快推断速度。9.根据权利要求1所述的石斑鱼图像分类识别方法，其特征在于：步骤一中：是采集不同环境中不同状态下的不同品种的石斑鱼的图像。

技术总结
本发明公开了一种石斑鱼图像分类识别方法,其结合了Transformer和CNN，在其步骤一、二中，在采集不同环境中不同状态下的石斑鱼图像基础上，并应用数据增强，以扩增数据集；在步骤三构建模型中，分别利用CNN善于提取邻近像素点关系的特点和Transformer善于提取相距较远像素的关系的特点，能更好的获取石斑鱼的斑点分布情况，以对抗石斑鱼应激变色时，体色对于识别的影响。此外，在局部增强前馈网络模块中，对参数矩阵进行降维后，应用卷积进行采样，可以得到更多的信息，有利于提取不同品种的特点。本发明可更准确地识别不同的石斑鱼类品种，为石斑鱼类辨别、种质鉴定、保护和改良提供可靠的方法。可靠的方法。可靠的方法。


技术研发人员：李水生 王志威 张勇 张晋 魏千皓 张思琦 林浩然
受保护的技术使用者：中山大学
技术研发日：2023.04.23
技术公布日：2023/7/12