基于语义分割和关键点检测的叶片相似度度量方法及装置

1.本发明属于计算机视觉中目标识别技术领域，具体涉及一种基于语义分割和关键点检测的叶片相似度度量方法及装置。


背景技术：

2.叶片相似度是指在生物学或植物学中，比较两个叶片的形状、大小、纹理等特征的相似程度。通常使用数字来表示两个叶片的相似度，其值越高则说明两个叶片越相似。在植物学中，叶片相似度是一项重要的研究内容，它可以用来帮助区分不同的植物品种、鉴定植物是否属于同一种类等。叶片相似度的计算通常需要借助计算机技术，这种技术被称为“叶片图像识别”。
3.目前此领域大多是：1)特征提取，研究如何从叶片图像中提取出更加准确、丰富的叶片特征，以提高叶片相似度计算的精度；2)相似度计算，研究如何设计更加有效、准确的叶片相似度计算方法，以提高叶片识别的准确率；3)数据集构建，研究如何构建更加完整、丰富的叶片图像数据集，以支持更加广泛的叶片识别应用；4)应用场景，研究如何将叶片识别技术应用到更广泛的植物学领域，如植物种质资源鉴定、植物生长监测、植物病害诊断等领域。
4.这类装置的缺点是在叶片相似度对比过程没有充分注意叶片两端的差异及拍摄过程的远近等进而导致相似度有较大的差异。
5.因此，需要提供一种基于语义分割和关键点检测的叶片相似度度量的系统及方法。


技术实现要素：

6.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于语义分割和关键点检测的叶片相似度度量方法及装置，通过确定叶片叶柄点和叶尖点并分别对齐，从而提高相似度的准确率。
7.为了达到上述目的，本发明采用以下技术方案：
8.本发明一方面提供了一种基于语义分割和关键点检测的叶片相似度度量方法，包括下述步骤：
9.对采集到的叶片图像进行标注，得到标注好的叶片图像；
10.将所述标注好的叶片图像输入至预先设立的融合网络模型中进行训练，得到训练好的融合网络模型，并获得叶片图像的轮廓信息和两端端点信息；所述融合网络模型是使用resnet作为骨干网络提取叶片图像的特征信息，包括mask r-cnn分支和simple baselines分支，所述mask r-cnn分支用于获取叶片的轮廓信息；所述simple baseliness分支用于获取叶片的两端端点信息；
11.根据所述叶片图像的轮廓信息和两端端点信息，对叶片图像进行尺度归一化，得到归一化的叶片图像；
12.对所述尺度归一化的叶片图像进行配准对齐，并计算相似度。
13.作为优选的技术方案，所述标注的内容包括叶片轮廓信息和叶片两端端点；所述叶片两端端点为叶柄点和叶尖点。
14.作为优选的技术方案，所述将所述标注好的叶片图像输入至预先设立的融合网络模型中进行训练，具体的训练过程为：
15.输入原始图像及标注好的信息，经过特征提取网络得到一组特征图；
16.对于mask r-cnn分支：在特征图上使用rpn网络生成候选区域，对每个候选区域，使用roialign层将其对齐到固定大小的特征块，并送入两个并行的分支；在分类和回归分支中，使用全连接层输出每个候选区域的类别和边界框修正值；在掩码分支中，使用全卷积层输出每个候选区域的像素级别的掩码，并使用1
×
1卷积层和像素级别的softmax函数得到每个像素点属于不同类别的概率；
17.对于simple baseliness分支：在每个特征图上使用一个卷积层输出对应关键点类别的热图，并通过softmax函数归一化；在每个热图上找到最大值所在位置作为预测关键点坐标，并通过高斯峰值调整进行细化；
18.将预测的结果与真实的标签进行比较，计算出损失函数；
19.利用计算出的损失函数，使用反向传播算法，更新现有模型的权重和偏置；
20.不断迭代训练模型，直到达到预设的停止条件；得到训练好的融合网络模型，依此获得叶片图像的轮廓信息和两端端点信息。
21.作为优选的技术方案，所述对叶片图像进行尺度归一化是使多张叶片图像上的叶柄点和叶尖点的像素距离一致，具体的：
22.首先，设两张叶片图像分别为a和b，宽度分别为wa和wb，高度分别为ha和hb；设a上的两端点坐标为(x1，y1)和(x2，y2)，b上的两端点坐标为(x3，y3)和(x4，y4)，则两张叶片图像上的两端点像素距离如下所示：
[0023][0024][0025]
其次，需要对a或b进行缩放操作，使得da和db相等，假设对a进行缩放，则需要求出一个缩放因子s，使得：s*da＝db，即s＝db/da；即对a进行缩放，缩放因子为s。
[0026]
作为优选的技术方案，所述对所述尺度归一化的叶片图像进行配准对齐，具体为：
[0027]
设两张叶片图像分别为a和b，假设对图像a进行处理，以使图像a中叶片叶柄点和叶尖点分别对齐图像b中叶片叶柄点和叶尖点；
[0028]
叶柄点配准对齐：设图像a中叶片叶柄点的像素点坐标为(x，y)，图像b中叶片叶柄点的像素点坐标为(x
′
，y
′
)，则要使两个叶柄点像素坐标相同，需要将图像a中叶片沿x轴平移δx＝x
′‑
x，沿y轴平移δy＝y
′‑
y，从而使得两张图像的叶片叶柄点在同一像素坐标位置；
[0029]
叶尖点配准对齐：设图像a中的叶片叶尖点的像素点坐标为(m，n)，已配准的叶柄点的像素点坐标为(m0，n0)，则要使两张图像中的叶片叶尖点对齐，需要对图像a以(m0，n0)为旋转中心作如下旋转，(m
′
，n
′
)为图像a旋转后的叶片叶尖点像素点坐标：
[0030][0031]
该方程表示一个二维空间中以点(m0，n0)为中心逆时针旋转θ角度后的坐标变换，θ通过余弦定理方法计算，设两叶尖点坐标分别为(m1，n1)、(m2，n2)，则
[0032][0033]
其中
[0034][0035][0036][0037]
其中，a、b和c为余弦定理的三边长度；
[0038]
经过上述矩阵变换，使图像旋转到相应位置，从而两张叶片的叶柄点和叶尖点分别对齐。
[0039]
作为优选的技术方案，所述计算相似度，具体的：
[0040]
将配准对齐的叶片图像的像素值视为二进制变量，其中，用0表示背景，用1表示叶片内部，两个1表示两叶片之间的重叠像素，非0表示两叶片之间的所有像素，两个1的像素总数与非0的像素总数的比值为叶片相似度的值，即：
[0041][0042]
其中，叶片相似度的范围为0到1之间，当两者集合完全重合时，叶片相似度为1，当叶片相似度越趋近1，两者越相似。
[0043]
本发明又一方面提供了一种基于语义分割和关键点检测的叶片相似度度量系统，应用于所述的基于语义分割和关键点检测的叶片相似度度量方法，包括图像标注模块、获取轮廓与关键点模块、归一化模块以及相似度计算模块；
[0044]
所述图像标注模块，用于对采集到的叶片图像进行标注，得到标注好的叶片图像；
[0045]
所述获取轮廓与关键点模块，用于将所述标注好的叶片图像输入至预先设立的融合网络模型中进行训练，得到训练好的融合网络模型，并获得叶片图像的轮廓信息和两端端点信息；所述融合网络模型是使用resnet作为骨干网络提取叶片图像的特征信息，包括mask r-cnn分支和simple baselines分支，所述mask r-cnn分支用于获取叶片的轮廓信息；所述simple baseliness分支用于获取叶片的两端端点信息；
[0046]
所述归一化模块，用于根据所述叶片图像的轮廓信息和两端端点信息，对叶片图像进行尺度归一化，得到归一化的叶片图像；
[0047]
所述相似度计算模块，用于对所述尺度归一化的叶片图像进行配准对齐，并计算相似度。
[0048]
本发明又一方面提供了一种电子设备，其特征在于，所述电子设备包括：
[0049]
至少一个处理器；以及，
[0050]
与所述至少一个处理器通信连接的存储器；其中，
[0051]
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于语义分割和关键点检测的叶片相似度度量方法。
[0052]
本发明再一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于语义分割和关键点检测的叶片相似度度量方法。
[0053]
本发明与现有技术相比，具有如下优点和有益效果：
[0054]
1、基于语义分割算法和关键点检测算法的融合网络可以快速获得叶片的语义信息和关键点信息；
[0055]
2、由于对图像进行了尺度归一化处理，计算叶片相似度不受图像拍摄距离、叶龄等的影响；
[0056]
3、通过确定叶片的叶柄点和叶尖点并分别对齐，从而提高相似度的准确率。
附图说明
[0057]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0058]
图1为本发明实施例基于语义分割和关键点检测的叶片相似度度量方法的流程图；
[0059]
图2为本发明实施例融合网络模型处理的流程图；
[0060]
图3(a)为本发明实施例为叶片原始图；
[0061]
图3(b)为本发明实施例的叶片轮廓信息及叶片两端端点；
[0062]
图4为本发明实施例的叶片尺度归一化图；
[0063]
图5为本发明实施例的叶柄点配准对齐图；
[0064]
图6为本发明实施例叶片两端点配准对齐图；
[0065]
图7为本发明实施例两叶片交集并集可视化图；
[0066]
图8为本发明实施例基于语义分割和关键点检测的叶片相似度度量系统的方框图；
[0067]
图9为本发明实施例电子设备的结构图。
具体实施方式
[0068]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0069]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本技术所描述的实施例可以与其它实施例相结合。
[0070]
请参阅图1，在本技术的一个实施例中提供了一种基于语义分割和关键点检测的叶片相似度度量方法，包括下述步骤：
[0071]
s1、对采集到的叶片图像进行标注，得到标注好的叶片图像；
[0072]
进一步的，所述标注的内容包括叶片轮廓信息和叶片两端端点；所述叶片两端端点为叶柄点和叶尖点。
[0073]
s2、将所述标注好的叶片图像输入至预先设立的融合网络模型中进行训练，得到训练好的融合网络模型，并获得叶片图像的轮廓信息和两端端点信息；所述融合网络模型是使用resnet作为骨干网络提取叶片图像的特征信息，包括mask r-cnn分支和simple baselines分支，所述mask r-cnn分支用于获取叶片的轮廓信息；所述simple baseliness分支用于获取叶片的两端端点信息，请参阅图2、图3(a)、图3(b)；
[0074]
进一步的，所述将所述标注好的叶片图像输入至预先设立的融合网络模型中进行训练，具体的训练过程为：
[0075]
s21、输入原始图像及标注好的信息，经过特征提取网络得到一组特征图；
[0076]
s22、对于mask r-cnn分支：在特征图上使用rpn网络生成一些候选区域，对每个候选区域，使用roialign层将其对齐到固定大小的特征块，并送入两个并行的分支；在分类和回归分支中，使用全连接层输出每个候选区域的类别和边界框修正值；在掩码分支中，使用全卷积层输出每个候选区域的像素级别的掩码，并使用1
×
1卷积层和像素级别的softmax函数得到每个像素点属于不同类别的概率；
[0077]
s23、对于simple baseliness分支：在每个特征图上使用一个卷积层输出对应关键点类别的热图，并通过softmax函数归一化；在每个热图上找到最大值所在位置作为预测关键点坐标，并通过高斯峰值调整(gpa)进行细化；
[0078]
s24、将预测的结果与真实的标签进行比较，计算出损失函数；
[0079]
s25、利用计算出的损失函数，使用反向传播算法，更新现有模型的权重和偏置；
[0080]
s26、不断迭代训练模型，直到达到预设的停止条件；得到训练好的融合网络模型，依此获得叶片图像的轮廓信息和两端端点信息。
[0081]
s3、根据所述叶片图像的轮廓信息和两端端点信息，对叶片图像进行尺度归一化，得到归一化的叶片图像，请参阅图4；
[0082]
进一步的，所述对叶片图像进行尺度归一化是使两张叶片图像上的叶柄点和叶尖点的像素距离一致，具体的：
[0083]
首先，设两张叶片图像分别为a和b，宽度分别为wa和wb，高度分别为ha和hb；设a上的两端点坐标为(x1，y1)和(x2，y2)，b上的两端点坐标为(x3，y3)和(x4，y4)，则两张叶片图像上的两端点像素距离如下所示：
[0084][0085][0086]
其次，需要对a或b进行缩放操作，使得da和db相等，假设对a进行缩放，则需要求出一个缩放因子s，使得：s*da＝db，即s＝db/da，对a进行缩放时，缩放因子为s。
[0087]
s4、对所述尺度归一化的叶片图像进行配准对齐，并计算相似度。
[0088]
进一步的，设两张叶片图像分别为a和b，假设对图像a进行处理，以使图像a中叶片
叶柄点和叶尖点分别对齐图像b中叶片叶柄点和叶尖点；
[0089]
请参阅图5，叶柄点配准对齐：设图像a中叶柄点的像素坐标为(x，y)，图像b中叶片叶柄点的像素坐标为(x
′
，y
′
)，则要使两个叶柄点像素坐标相同，需要将图像a中叶片沿x轴平移δx＝x
′‑
x，沿y轴平移δy＝y
′‑
y，从而使得两张图像的叶片叶柄点在同一像素坐标位置；
[0090]
进行叶尖点配准对齐，以使两张图像的叶片叶柄点和叶尖点的像素位置都一致，本发明用矩阵变换描述二维或三维空间中物体的平移、缩放、旋转等操作，进而可以使图片旋转到指定位置，设图像a中的叶片叶尖点的像素点坐标为(m，n)，已配准的叶柄点的像素点坐标为(m0，n0)，则要使两张图像中的叶片叶尖点对齐，需要对图像a以(m0，n0)为旋转中心作作如下旋转，(m
′
，n
′
)为图像a旋转后的叶片叶尖点像素点坐标：
[0091][0092]
该方程表示一个二维空间中以点(m0，n0)为中心逆时针旋转θ角度后的坐标变换，θ通过余弦定理方法计算，设两叶尖点坐标分别为(m1，n1)、(m2，n2)，则
[0093][0094]
其中
[0095][0096][0097][0098]
其中，a、b和c分别余弦定理的三边长度；
[0099]
进一步的，请参阅图6，经过上述矩阵变换，使图像旋转到相应位置，从而两张叶片的叶柄点和叶尖点分别对齐。
[0100]
具体的，所述计算相似度为：
[0101]
相似度为两叶片之间的重叠程度，将配准对齐的叶片图像的像素值视为二进制变量，其中，用0表示背景，用1表示叶片内部，两个1表示两叶片之间的重叠像素，非0表示两叶片之间的所有像素；两个1的像素总数与非0的像素总数的比值为叶片相似度的值，值介于0和1之间，即：
[0102][0103]
其中，当两者集合完全重合时，叶片相似度为1，当叶片相似度越趋近1，两者越相似，请参阅图7。
[0104]
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
[0105]
基于与上述实施例中的基于语义分割和关键点检测的叶片相似度度量方法相同的思想，本发明还提供了基于语义分割和关键点检测的叶片相似度度量系统，该系统可用
于执行上述基于语义分割和关键点检测的叶片相似度度量方法。为了便于说明，基于语义分割和关键点检测的叶片相似度度量系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0106]
请参阅图8，在本技术的另一个实施例中，提供了一种基于语义分割和关键点检测的叶片相似度度量系统100，该系统包括图像标注模块101、获取轮廓与关键点模块102、归一化模块103以及相似度计算模块104；
[0107]
所述图像标注模块101，用于对采集到的叶片图像进行标注，得到标注好的叶片图像；
[0108]
所述获取轮廓与关键点模块102，用于将所述标注好的叶片图像输入至预先设立好的融合网络模型中进行训练，得到训练好的融合网络模型，并获得叶片图像的轮廓信息和两端端点信息；所述融合网络模型是使用resnet作为骨干网络提取输入图像的特征信息，包括mask r-cnn分支和simple baselines分支，所述mask r-cnn分支用于获取两张叶片的轮廓信息；所述simple baseliness分支用于获取叶片两端端点信息；
[0109]
所述归一化模块103，用于根据所述叶片图像的轮廓信息和两端端点信息，对叶片图像进行尺度归一化，得到归一化的叶片图像；
[0110]
所述相似度计算模块104，用于对所述尺度归一化的叶片图像进行配准对齐，并计算相似度。
[0111]
需要说明的是，本发明的基于语义分割和关键点检测的叶片相似度度量系统与本发明的基于语义分割和关键点检测的叶片相似度度量方法一一对应，在上述基于语义分割和关键点检测的叶片相似度度量方法的实施例阐述的技术特征及其有益效果均适用于基于语义分割和关键点检测的叶片相似度度量系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
[0112]
此外，上述实施例的基于语义分割和关键点检测的叶片相似度度量系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于语义分割和关键点检测的叶片相似度度量系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
[0113]
请参阅图9，在一个实施例中，提供了一种实现基于语义分割和关键点检测的叶片相似度度量方法的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如语义分割和关键点检测的叶片相似度度量程序203。
[0114]
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(securedigital，sd)卡、闪存卡(flash card)等。进一步地，所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器
202不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如语义分割和关键点检测的叶片相似度度量程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0115]
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行电子设备200的各种功能和处理数据。
[0116]
图9仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图9示出的结构并不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0117]
所述电子设备200中的所述第一存储器202存储的基于语义分割和关键点检测的叶片相似度度量程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
[0118]
对采集到的叶片图像进行标注，得到标注好的叶片图像；
[0119]
将所述标注好的叶片图像输入至预先设立好的融合网络模型中进行训练，得到训练好的融合网络模型，并获得叶片图像的轮廓信息和两端端点信息；所述融合网络模型是使用resnet作为骨干网络提取输入图像的特征信息，包括mask r-cnn分支和simple baselines分支，所述mask r-cnn分支用于获取两张叶片的轮廓信息；所述simple baseliness分支用于获取叶片两端端点信息；
[0120]
根据所述叶片图像的轮廓信息和两端端点信息，对叶片图像进行尺度归一化，得到归一化的叶片图像；
[0121]
对所述尺度归一化的叶片图像进行配准对齐，并计算相似度。
[0122]
进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0123]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0124]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例
中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0125]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.基于语义分割和关键点检测的叶片相似度度量方法，其特征在于，包括下述步骤：对采集到的叶片图像进行标注，得到标注好的叶片图像；将所述标注好的叶片图像输入至预先设立的融合网络模型中进行训练，得到训练好的融合网络模型，并获得叶片图像的轮廓信息和两端端点信息；所述融合网络模型是使用resnet作为骨干网络提取叶片图像的特征信息，包括mask r-cnn分支和simple baselines分支，所述mask r-cnn分支用于获取叶片的轮廓信息；所述simple baseliness分支用于获取叶片的两端端点信息；根据所述叶片图像的轮廓信息和两端端点信息，对叶片图像进行尺度归一化，得到归一化的叶片图像；对所述尺度归一化的叶片图像进行配准对齐，并计算相似度。2.根据权利要求1所述基于语义分割和关键点检测的叶片相似度度量方法，其特征在于，所述标注的内容包括叶片轮廓信息和叶片两端端点；所述叶片两端端点为叶柄点和叶尖点。3.根据权利要求1所述基于语义分割和关键点检测的叶片相似度度量方法，其特征在于，所述将所述标注好的叶片图像输入至预先设立的融合网络模型中进行训练，具体的训练过程为：输入原始图像及标注好的信息，经过特征提取网络得到一组特征图；对于mask r-cnn分支：在特征图上使用rpn网络生成候选区域，对每个候选区域，使用roialign层将其对齐到固定大小的特征块，并送入两个并行的分支；在分类和回归分支中，使用全连接层输出每个候选区域的类别和边界框修正值；在掩码分支中，使用全卷积层输出每个候选区域的像素级别的掩码，并使用1
×
1卷积层和像素级别的softmax函数得到每个像素点属于不同类别的概率；对于simple baseliness分支：在每个特征图上使用一个卷积层输出对应关键点类别的热图，并通过softmax函数归一化；在每个热图上找到最大值所在位置作为预测关键点坐标，并通过高斯峰值调整进行细化；将预测的结果与真实的标签进行比较，计算出损失函数；利用计算出的损失函数，使用反向传播算法，更新现有模型的权重和偏置；不断迭代训练模型，直到达到预设的停止条件，得到训练好的融合网络模型，依此获得叶片图像的轮廓信息和两端端点信息。4.根据权利要求1所述基于语义分割和关键点检测的叶片相似度度量方法，其特征在于，所述对叶片图像进行尺度归一化是使多张叶片图像上的叶柄点和叶尖点的像素距离一致，具体的：首先，设两张叶片图像分别为a和b，宽度分别为w
a
和w
b
，高度分别为h
a
和h
b
；设a上的两端点坐标为(x1,y1)和(x2,y2)，b上的两端点坐标为(x3,y3)和(x4,y4)，则两张叶片图像上的两端点像素距离如下所示：端点像素距离如下所示：其次，需要对a或b进行缩放操作，使得d
a
和d
b
相等，假设对a进行缩放，则需要求出一个
缩放因子s，使得：s*d
a
＝d
b
，即s＝d
b
/d
a
；即对a进行缩放，缩放因子为s。5.根据权利要求1所述基于语义分割和关键点检测的叶片相似度度量方法，其特征在于，所述对所述尺度归一化的叶片图像进行配准对齐，具体为：设两张叶片图像分别为a和b，假设对图像a进行处理，以使图像a中叶片叶柄点和叶尖点分别对齐图像b中叶片叶柄点和叶尖点；叶柄点配准对齐：设图像a中叶片叶柄点的像素点坐标为(x,y)，图像b中叶片叶柄点的像素点坐标为(x
′
,y
′
)，则要使两个叶柄点像素坐标相同，需要将图像a中叶片沿轴平移δx＝x
′‑
x，沿轴平移δy＝y
′‑
y，从而使得两张图像的叶片叶柄点在同一像素坐标位置；叶尖点配准对齐：设图像a中的叶片叶尖点的像素点坐标为(m,n)，已配准的叶柄点的像素点坐标为(m0,n0),则要使两张图像中的叶片叶尖点对齐，需要对图像a以(m0,n0)为旋转中心作如下旋转，(m
′
,n
′
)为图像a旋转后的叶片叶尖点像素点坐标：该方程表示一个二维空间中以点(m0,n0)为中心逆时针旋转θ角度后的坐标变换，θ通过余弦定理方法计算，设两叶尖点坐标分别为(m1,n1)、(m2,n2),则：其中其中其中其中，a、b和c为余弦定理的三边长度；经过上述矩阵变换，使图像旋转到相应位置，从而两张叶片的叶柄点和叶尖点分别对齐。6.根据权利要求1所述基于语义分割和关键点检测的叶片相似度度量方法，其特征在于，所述计算相似度，具体的：将配准对齐的叶片图像的像素值视为二进制变量，其中，用0表示背景，用1表示叶片内部，两个1表示两叶片之间的重叠像素，非0表示两叶片之间的所有像素，两个1的像素总数与非0的像素总数的比值为叶片相似度的值，即：其中，叶片相似度的范围为0到1之间，当两者集合完全重合时，叶片相似度为1，当叶片相似度越趋近1，两者越相似。7.基于语义分割和关键点检测的叶片相似度度量系统，其特征在于，应用于权利要求1-6中任一项所述的基于语义分割和关键点检测的叶片相似度度量方法，包括图像标注模块、获取轮廓与关键点模块、归一化模块以及相似度计算模块；所述图像标注模块，用于对采集到的叶片图像进行标注，得到标注好的叶片图像；
所述获取轮廓与关键点模块，用于将所述标注好的叶片图像输入至预先设立的融合网络模型中进行训练，得到训练好的融合网络模型，并获得叶片图像的轮廓信息和两端端点信息；所述融合网络模型是使用resnet作为骨干网络提取叶片图像的特征信息，包括mask r-cnn分支和simple baselines分支，所述mask r-cnn分支用于获取叶片的轮廓信息；所述simple baseliness分支用于获取叶片的两端端点信息；所述归一化模块，用于根据所述叶片图像的轮廓信息和两端端点信息，对叶片图像进行尺度归一化，得到归一化的叶片图像；所述相似度计算模块，用于对所述尺度归一化的叶片图像进行配准对齐，并计算相似度。8.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6中任意一项所述的基于语义分割和关键点检测的叶片相似度度量方法。9.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-6任一项所述的基于语义分割和关键点检测的叶片相似度度量方法。

技术总结
本发明公开了一种基于语义分割和关键点检测的叶片相似度度量方法及装置，包括：对采集到的叶片图像进行标注，得到标注好的叶片图像；将所述标注好的叶片图像输入至预先设立好的融合网络模型中进行训练，得到训练好的融合网络模型，并获得叶片图像的轮廓信息和两端端点信息；所述融合网络模型是使用ResNet作为骨干网络提取输入图像的特征信息，包括Mask R-CNN分支和Simple Baselines分支；根据所述叶片图像的轮廓信息和两端端点信息，对叶片图像进行尺度归一化，得到归一化的叶片图像；对所述尺度归一化的叶片图像进行配准对齐，并计算相似度。本发明通过获取叶片轮廓信息以及叶柄点和叶尖点信息并将其分别进行配准对齐，从而提高了相似度的准确率。提高了相似度的准确率。提高了相似度的准确率。


技术研发人员：高月芳 李大志 李必政 黄琼 杨存义 肖冬冬 郑朱茵 叶颖欣
受保护的技术使用者：华南农业大学
技术研发日：2023.04.28
技术公布日：2023/8/28