基于拉曼光谱的芒果成熟度检测方法及系统

1.本发明属于芒果成熟度检测技术领域，具体涉及基于拉曼光谱的芒果成熟度检测方法及系统。


背景技术：

2.在农产品的种植和采摘过程中，确定其成熟度是至关重要的。芒果作为一种常见的热带水果，在全球范围内广泛种植和消费。然而，传统的芒果成熟度检测方法存在一些局限性，如主观性高、时间和劳动力成本高等问题。
3.目前，一些传统的芒果成熟度检测方法包括外观检查、果实硬度测量和化学分析。外观检查主要通过观察芒果的颜色、皮肤纹理和果实大小等进行判断，但这种方法容易受到主观因素的影响，而且在芒果的颜色变化不明显时很难准确判断。果实硬度测量方法可以衡量果实的硬度或弹性，但它需要破坏性测试，对芒果的质量造成损害。化学分析方法包括测量果实中的糖度、酸度和淀粉含量等参数，但这些方法需要取样并进行实验室测试，耗时且不适用于实时检测。
4.为了解决传统方法存在的问题，一些研究人员开始探索利用光谱技术来检测芒果的成熟度。拉曼光谱是一种非破坏性的光谱分析技术，可以提供关于分子振动和结构的信息。通过对芒果进行拉曼光谱扫描，可以获取芒果内部化学成分的特征光谱图，进而判断芒果的成熟度。
5.然而，现有的基于拉曼光谱的芒果成熟度检测方法和系统还存在一些问题。例如，存在对光谱信号进行有效提取和分析的挑战，以及如何建立准确的成熟度预测模型等。因此，需要提出基于拉曼光谱的芒果成熟度检测方法及系统，以克服现有技术的局限性并提高检测的准确性和效率。


技术实现要素：

6.基于上述技术问题，本发明提供基于拉曼光谱的芒果成熟度检测方法及系统，通过提取拉曼光谱特征，建立成熟度预测模型，将颜色作为辅助技术共同预测，综合分析和预测芒果成熟度，提高检测的准确性。
7.本发明提供基于拉曼光谱的芒果成熟度检测方法，所述方法包括：
8.步骤s1：获取芒果表面不同位置的拉曼光谱数据以及芒果表面不同区域的图像，所述芒果表面不同区域包括主视根部、主视中部、主视顶部、后视根部、后视中部和后视顶部；
9.步骤s2：将所述拉曼光谱数据进行预处理，得到标准拉曼光谱数据；
10.步骤s3：根据所述标准拉曼光谱数据进行特征提取，提取峰位置和峰强度特征，并转换成二维光谱图像；
11.步骤s4：将所述二维光谱图像输入到可变形扩张网络中，进行成熟度预测，得到光谱预测结果；
12.步骤s5：根据所述芒果表面不同区域的图像进行成熟度预测，得到颜色预测结果；
13.步骤s6：根据所述光谱预测结果和所述颜色预测结果综合预测芒果成熟度。
14.可选地，所述将所述拉曼光谱数据进行预处理，得到标准拉曼光谱数据，具体包括：
15.将所述拉曼光谱数据进行滤波操作，得到平滑拉曼光谱数据；
16.将所述平滑光谱数据进行基线校正操作，得到稳定拉曼光谱数据；
17.将所述稳定光谱数据进行标准化操作，得到所述标准拉曼光谱数据。
18.可选地，所述将所述二维光谱图像输入到可变形扩张网络中，进行成熟度预测，得到光谱预测结果，具体包括：
19.可变形扩张网络包括第一标准卷积模块、第一最大池化层、可变形卷积模块、扩张卷积模块、第二可变形卷积层、第二标准卷积模块、第三标准卷积模块、全局平均池化层、全连接层和softmax分类器；
20.将所述二维光谱图像依次输入到所述第一标准卷积模块和所述第一最大池化层进行标准卷积操作和最大池化操作，得到特征图l3；
21.将所述特征图l3输入到所述可变形卷积模块进行可变形卷积操作，得到特征图l9；
22.将所述特征图l9输入到所述扩张卷积模块进行扩张卷积操作，得到特征图l19；
23.将所述特征图l19输入到所述第二可变形卷积层进行可变形卷积操作，得到特征图l20；
24.将所述特征图l20依次输入到所述第二标准卷积模块和所述第三标准卷积模块进行标准卷积操作，得到特征图l24；
25.将所述特征图依次输入到所述全局平均池化层、所述全连接层和所述softmax分类器进行池化、全连接和分类，得到所述光谱预测结果。
26.可选地，所述根据所述芒果表面不同区域的图像进行成熟度预测，得到颜色预测结果，具体包括：
27.计算所述芒果表面不同区域的图像中像素的rgb数值；
28.将所述rgb数值与颜色成熟度范围进行判断，得到颜色预测结果。
29.可选地，所述根据所述光谱预测结果和所述颜色预测结果综合预测芒果成熟度，具体包括：
30.计算芒果成熟度的值，具体公式为：
31.式中，为芒果成熟度的值，为光谱对应的权重，为颜色对应的权重，为光谱预测结果对应的值，为颜色预测结果对应的值；
32.根据芒果成熟度的值确定芒果成熟度。
33.本发明还提供基于拉曼光谱的芒果成熟度检测系统，所述系统包括：
34.芒果数据采集模块，用于获取芒果表面不同位置的拉曼光谱数据以及芒果表面不同区域的图像；
35.数据预处理模块，用于将所述拉曼光谱数据进行预处理，得到标准拉曼光谱数据；
36.数据特征提取模块，根据所述标准拉曼光谱数据进行特征提取，提取峰位置和峰强度特征，并转换成二维光谱图像；
37.光谱成熟度预测模块，用于将所述二维光谱图像输入到可变形扩张网络中，进行成熟度预测，得到光谱预测结果；
38.颜色成熟度预测模块，根据所述芒果表面不同区域的图像进行成熟度预测，得到颜色预测结果；
39.芒果成熟度预测模块，根据所述光谱预测结果和所述颜色预测结果综合预测芒果成熟度。
40.可选地，所述数据预处理模块，具体包括：
41.滤波子模块，用于将所述拉曼光谱数据进行滤波操作，得到平滑拉曼光谱数据；
42.基线校正子模块，用于将所述平滑光谱数据进行基线校正操作，得到稳定拉曼光谱数据；
43.标准化处理子模块，用于将所述稳定光谱数据进行标准化操作，得到所述标准拉曼光谱数据。
44.可选地，所述光谱成熟度预测模块，具体包括：
45.第一标准卷积子模块，用于将所述二维光谱图像依次输入到所述第一标准卷积模块和所述第一最大池化层进行标准卷积操作和最大池化操作，得到特征图l3；
46.可变形卷积子模块，用于将所述特征图l3输入到所述可变形卷积模块进行可变形卷积操作，得到特征图l9；
47.扩张卷积子模块，用于将所述特征图l9输入到所述扩张卷积模块进行扩张卷积操作，得到特征图l19；
48.可变形卷积层子模块，用于将所述特征图l19输入到所述第二可变形卷积层进行可变形卷积操作，得到特征图l20；
49.复合标准卷积子模块，用于将所述特征图l20依次输入到所述第二标准卷积模块和所述第三标准卷积模块进行标准卷积操作，得到特征图l24；
50.池化连接分类子模块，用于将所述特征图依次输入到所述全局平均池化层、所述全连接层和所述softmax分类器进行池化、全连接和分类，得到所述光谱预测结果。
51.可选地，所述颜色成熟度预测模块，具体包括：
52.数值计算子模块，用于计算所述芒果表面不同区域的图像中像素的rgb数值；
53.判断子模块，用于将所述rgb数值与颜色成熟度范围进行判断，得到颜色预测结果。
54.可选地，所述芒果成熟度预测模块，具体包括：
55.芒果成熟度计算子模块，用于计算芒果成熟度的值，具体公式为：
56.式中，为芒果成熟度的值，为光谱对应的权重，为颜色对应的权重，为光谱预测结果对应的值，为颜色预测结果对应的值；
57.成熟度确定子模块，根据芒果成熟度的值确定芒果成熟度。
58.本发明与现有技术相比，具有以下有益效果：
59.本发明基于拉曼光谱的成熟度检测方法是非破坏性的，不需要对芒果进行破坏性的样品采集或处理。相比传统的化学分析方法，这种非破坏性特点可以保持芒果的完整性和品质，同时提高检测的效率和实时性；利用拉曼光谱技术提取峰位置和峰强度特征，这些特征能够反映芒果内部化学成分的变化。通过分析和比对不同成熟度的芒果的光谱特征，
构建卷积神经网络模型，实现对芒果成熟度的准确预测；引入了可变形卷积和扩张卷积，能够自适应地调整感受野的大小和形状，从而更好地捕捉芒果光谱中的局部和全局特征。这种特点使得预测模型能够更好地适应不同芒果样本的特征变化，提高成熟度预测的准确性和鲁棒性；除了光谱特征，本发明还结合了颜色辅助特征进行成熟度的预测，芒果的颜色在成熟度变化过程中通常会发生明显的变化，因此将颜色信息与光谱特征相结合可以提供更全面和可靠的成熟度预测，这种综合利用多种特征的方法能够进一步提高成熟度检测的准确性和可靠性。
附图说明
60.图1为本发明的基于拉曼光谱的芒果成熟度检测方法流程图；
61.图2为本发明的基于拉曼光谱的芒果成熟度检测方法中芒果示意图；
62.图3为本发明的基于拉曼光谱的芒果成熟度检测方法网络结构图；
63.图4为本发明的基于拉曼光谱的芒果成熟度检测系统结构图。
具体实施方式
64.下面结合具体实施案例和附图对本发明作进一步说明，但本发明并不局限于这些实施例。
65.实施例1
66.如图1所示，本发明公开基于拉曼光谱的芒果成熟度检测方法，方法包括：
67.步骤s1：获取芒果表面不同位置的拉曼光谱数据以及芒果表面不同区域的图像，芒果表面不同区域包括主视根部、主视中部、主视顶部、后视根部、后视中部和后视顶部。
68.步骤s2：将拉曼光谱数据进行预处理，得到标准拉曼光谱数据。
69.步骤s3：根据标准拉曼光谱数据进行特征提取，提取峰位置和峰强度特征，并转换成二维光谱图像。
70.步骤s4：将二维光谱图像输入到可变形扩张网络中，进行成熟度预测，得到光谱预测结果。
71.步骤s5：根据芒果表面不同区域的图像进行成熟度预测，得到颜色预测结果。
72.步骤s6：根据光谱预测结果和颜色预测结果综合预测芒果成熟度。
73.下面对各个步骤进行详细论述：
74.步骤s1：获取芒果表面不同位置的拉曼光谱数据以及芒果表面不同区域的图像，芒果表面不同区域包括主视根部、主视中部、主视顶部、后视根部、后视中部和后视顶部。
75.如图2所示，步骤1具体包括：
76.步骤s11：采用线扫描法，获取芒果表面不同位置的拉曼光谱数据，具体包括：
[0077]ⅰ、准备扫描设备，使用激光拉曼光谱仪，能够发射激光光束并记录样品反射的拉曼光谱。
[0078]ⅱ、确定扫描路径，在芒果表面选择一条路径进行扫描。
[0079]ⅲ、设定扫描线，选择要进行线扫描的方向和起点。
[0080]ⅳ、定位起点：将激光聚焦在扫描线上的起点位置。
[0081]
ⅴ
、进行线扫描：从起点开始，将激光拉曼光谱仪以恒定的速度移动激光沿着扫描
路径移动，在每个位置，触发仪器记录该位置的拉曼光谱数据。
[0082]ⅵ、采集拉曼光谱数据：当扫描设备停留在每个位置时，它将记录该位置的拉曼光谱数据。拉曼光谱是由样品反射的激光光束中的拉曼散射产生的，这些散射包含有关样品分子结构和化学成分的信息，随着激光的移动，拉曼光谱仪记录沿着扫描线收集到的光谱数据。
[0083]ⅶ、移动到下一个位置：移动扫描设备到下一个位置，继续进行线扫描，直到扫描路径上的所有位置都被覆盖。
[0084]
ⅷ
、完成扫描线：当激光移动到扫描线的终点位置时，线扫描完成。
[0085]
步骤s12：使用数码相机或图像采集设备获取芒果表面的图像。确保图像清晰度和色彩准确性。芒果表面不同区域包括主视根部、主视中部、主视顶部、后视根部、后视中部和后视顶部。
[0086]
步骤s2：将拉曼光谱数据进行预处理，得到标准拉曼光谱数据，具体包括：
[0087]
步骤s21：拉曼光谱数据通常会包含一些随机噪声，噪声会干扰信号的准确性和可靠性。为了去除这些噪声，可以采用高斯滤波进行操作，可以得到平滑拉曼光谱数据；滤波操作能够平滑光谱曲线，减少噪声的影响，增强信噪比并提高后续分析的准确性。
[0088]
步骤s22：将平滑光谱数据进行基线校正操作，拉曼光谱中可能存在基线漂移的问题，即光谱曲线的整体趋势偏离了真实的光谱特征。为了消除基线漂移的影响，可以采用基线校正方法对光谱数据进行调整，采用线性插值校正基线，使光谱曲线更加准确和稳定，得到稳定拉曼光谱数据。
[0089]
步骤s23：将基线校正后的稳定光谱数据进行标准化操作，得到标准拉曼光谱数据。原始的拉曼光谱数据通常会受到不同的实验条件、仪器参数等因素的影响，导致光谱强度存在差异。为了消除这些差异，可以对光谱数据进行最小-最大标准化(离散标准化)处理，以消除由样品厚度、激光功率或仪器设置等因素引起的强度变化。标准化可以将光谱数据缩放到相同的范围或分布，以便后续的特征提取和分析。
[0090]
步骤s3：根据标准拉曼光谱数据进行特征提取，提取峰位置和峰强度特征，并转换成二维光谱图像，具体包括：
[0091]
步骤s31：拉曼光谱数据提取峰强度，对于每个位置的光谱数据，通过寻找光谱中的峰值，提取峰强度作为特征。峰值可以通过高斯拟合来确定。峰强度是峰值的幅度或强度值，通常表示为光谱强度的峰值。
[0092]
步骤s32：拉曼光谱数据提取峰位置，对于每个位置的光谱数据，确定峰值出现的波长位置，并提取峰位置作为特征。峰位置可以通过寻找峰值对应的波长或波数来确定。
[0093]
步骤s33：提取的峰强度转换成图像，将峰强度特征重新排列成一个256
×
256的矩阵，根据采集到的不同位置的光谱数据，按照扫描顺序将峰强度特征值填充到一个256
×
256的矩阵中。
[0094]
本实施例中，可以将第一个位置的峰强度值放在矩阵的左上角，第二个位置的值放在右边的像素位置，以此类推，直到将所有位置的峰强度值都填充到矩阵中；对峰强度矩阵进行归一化操作，将峰强度值映射到0到255的灰度值范围内，使用线性归一化方法来实现；使用归一化后的峰强度矩阵作为图像的灰度通道，生成一个灰度图像。每个像素的灰度值表示相应位置的峰强度值，可以根据灰度值设置像素的亮度。
[0095]
步骤s34：提取的峰位置转换成图像，根据峰位置的值，将波长范围划分为三个区间，并将它们映射到rgb通道的红色、绿色和蓝色分量上。
[0096]
本实施例中，可以根据波长或波数的大小将较短的波长映射到蓝色通道，中间波长映射到绿色通道，较长的波长映射到红色通道；根据峰位置的值，设置rgb通道的像素值。对于较短波长的峰位置，将蓝色通道的像素值设置为255，而将绿色和红色通道的像素值设置为0。对于中间波长的峰位置，将绿色通道的像素值设置为255，而将蓝色和红色通道的像素值设置为0。对于较长波长的峰位置，将红色通道的像素值设置为255，而将蓝色和绿色通道的像素值设置为0。
[0097]
步骤s35：将灰度图像和rgb通道的图像进行合并，得到彩色图像，将灰度图像作为图像的亮度通道，将rgb通道的图像作为彩色通道；将灰度图像的每个像素值复制到彩色图像的三个通道中，形成一个256
×
256
×
3的彩色图像；亮度通道中的像素值由峰强度的灰度图像决定，像素值保持不变，而彩色通道中的像素值由峰位置特征决定。
[0098]
步骤s36：将彩色图像进行图像增强、高斯滤波和调整对比度和亮度操作，得到二维光谱图像。
[0099]
步骤s4：将二维光谱图像输入到可变形扩张网络中，进行成熟度预测，得到光谱预测结果。
[0100]
图3中，conv2d表示标准卷积层；strides表示步长；规范化激活层包含批归一化层(batchnormalization)和激活函数层(activation(relu))，规范化激活层选择relu激活函数；dilationconv2d表示扩张卷积层；dense代表全连接层；convoffest2d表示可变形卷积层；globalaveragepooling2d，表示全局平均池化层；maxpooling2d表示最大池化层；add(,)表示和进行逐元素相加；l表示可变形扩张网络中得到的各特征图，取值范围为[1,24]，为整数。
[0101]
如图3所示，步骤s4具体包括：
[0102]
步骤s41：将二维光谱图像依次输入到第一标准卷积模块和第一最大池化层进行标准卷积操作和最大池化操作，得到特征图l3，具体包括：
[0103]
将二维光谱图像(256
×
256
×
3)输入到第一标准卷积层进行卷积操作，得到特征图l1，第一标准卷积层卷积核数量为12，卷积核尺寸为3
×
3，步长为2；特征图l1为12通道的128
×
128；将特征图l1输入到第一规范化激活层进行批归一化和激活操作，得到特征图l2；特征图l2为12通道的128
×
128；将特征图c2输入到第一最大池化层进行最大池化操作，得到特征图l3；第一最大池化层池化窗口尺寸为3
×
3，步长为2；特征图l3为12通道的64
×
64。
[0104]
本实施例中，第一标准卷积模块包括第一标准卷积层、第一规范化激活层。
[0105]
步骤s42：将特征图l3输入到可变形卷积模块进行可变形卷积操作，得到特征图l9，具体包括：
[0106]
步骤s421：将特征图l3输入到第一可变形卷积层进行可变形卷积操作，得到特征图l4，第一可变形卷积层卷积核数量为12，卷积核尺寸为3
×
3，步长为1；特征图l4为12通道的64
×
64；将特征图l4输入到第二标准卷积层进行卷积操作，得到特征图l5，第二标准卷积层卷积核数量为48，卷积核尺寸为3
×
3，步长为1；特征图l5为48通道的64
×
64；将特征图l5输入到第二规范化激活层进行批归一化和激活操作，得到特征图l6；特征图l6为48通道的64
×
64。
[0107]
步骤s422：将特征图l3输入到第三标准卷积层进行卷积操作，得到特征图l7，第三标准卷积层卷积核数量为48，卷积核尺寸为3
×
3，步长为1；特征图l7为48通道的64
×
64；将特征图l7输入到第三规范化激活层进行批归一化和激活操作，得到特征图l8；特征图l8为48通道的64
×
64。
[0108]
步骤s423：将特征图l6和特征图l8输入到第一逐元素相加层进行逐元素相加操作，得到特征图l9；特征图l9为48通道的64
×
64。
[0109]
本实施例中，可变形卷积模块包括第一可变形卷积层、第二标准卷积层、第二规范化激活层、第三标准卷积层、第三规范化激活层和第一逐元素相加层。
[0110]
步骤s43：将特征图l9输入到扩张卷积模块进行扩张卷积操作，得到特征图l19，具体包括：
[0111]
步骤s431：将特征图l9输入到第四标准卷积层进行卷积操作，得到特征图l10，第四标准卷积层卷积核数量为24，卷积核尺寸为3
×
3，步长为1；特征图l10为24通道的64
×
64；将特征图l10输入到第四规范化激活层进行批归一化和激活操作，得到特征图l11；特征图l11为24通道的64
×
64；将特征图l11输入到第五标准卷积层进行卷积操作，得到特征图l12，第五标准卷积层卷积核数量为96，卷积核尺寸为3
×
3，步长为1；特征图l12为96通道的32
×
32；将特征图l12输入到第五规范化激活层进行批归一化和激活操作，得到特征图l13；特征图l13为96通道的32
×
32。
[0112]
步骤s432：将特征图l9输入到第一扩张卷积层进行扩张卷积操作，得到特征图l14；第一扩张卷积层卷积核数量为48，卷积核尺寸为3
×
3，步长为1，扩张系数为2；特征图l14为48通道的64
×
64；将特征图l14输入到第二规范化激活层进行批归一化和激活操作，得到特征图l15；特征图l15为48通道的64
×
64；将特征图l15输入到第二最大池化层进行最大池化操作，得到特征图l16；第二最大池化层池化窗口尺寸为3
×
3，步长为2；特征图l16为48通道的32
×
32；将特征图l16输入到第二扩张卷积层进行扩张卷积操作，得到特征图l17；第二扩张卷积层卷积核数量为96，卷积核尺寸为3
×
3，步长为1，扩张系数为2；特征图l17为96通道的32
×
32；将特征图l17输入到第七规范化激活层进行批归一化和激活操作，得到特征图l18；特征图l18为96通道的32
×
32。
[0113]
步骤s433：将特征图l13和特征图l18输入到第二逐元素相加层进行逐元素相加操作，得到特征图l19；特征图l19为96通道的32
×
32。
[0114]
本实施例中，扩张卷积模块包括第四标准卷积层、第四规范化激活层、第五标准卷积层、第五规范化激活层、第一扩张卷积层、第六规范化激活层、第二最大池化层、第二扩张卷积层、第三规范化激活层和第二逐元素相加层。
[0115]
步骤s44：将特征图l19输入到第二可变形卷积层进行可变形卷积操作，得到特征图l20；第二可变形卷积层卷积核数量为96，卷积核尺寸为3
×
3，步长为1；特征图l20为96通道的32
×
32。
[0116]
步骤s45：将特征图l20依次输入到第二标准卷积模块和第三标准卷积模块进行标准卷积操作，得到特征图l24，具体包括：
[0117]
将特征图l20输入到第六标准卷积层进行卷积操作，得到特征图l21，第六标准卷积层卷积核数量为192，卷积核尺寸为3
×
3，步长为2；特征图l21为192通道的16
×
16；将特征图l21输入到第八规范化激活层进行批归一化和激活操作，得到特征图l22；特征图l22为
192通道的16
×
16。
[0118]
将特征图l22输入到第七标准卷积层进行卷积操作，得到特征图l23，第七标准卷积层卷积核数量为384，卷积核尺寸为3
×
3，步长为1；特征图l23为384通道的64
×
64；将特征图l23输入到第九规范化激活层进行批归一化和激活操作，得到特征图l24；特征图l24为384通道的8
×
8。
[0119]
本实施例中，第二标准卷积模块包括第六标准卷积层、第八规范化激活层；第三标准卷积模块包括第七标准卷积层、第九规范化激活层。
[0120]
步骤s46：将特征图依次输入到全局平均池化层、全连接层和softmax分类器进行池化、全连接和分类，得到光谱预测结果，光谱预测结果包括成熟、半熟、过熟和不熟四种成熟度中的一种。
[0121]
本实施例中，可变形扩张网络包括第一标准卷积模块、第一最大池化层、可变形卷积模块、扩张卷积模块、第二可变形卷积层、第二标准卷积模块、第三标准卷积模块、全局平均池化层、全连接层和softmax分类器。
[0122]
步骤s5：根据芒果表面不同区域的图像进行成熟度预测，得到颜色预测结果，如图2所示，具体包括：
[0123]
步骤s51：计算芒果表面不同区域图像中像素的rgb数值，具体包括：
[0124]
(1)、对采集到的芒果表面不同区域的图像进行预处理，包括图像去噪、增强对比度操作，以提高后续颜色获取的准确性。
[0125]
(2)、利用图像分割技术将芒果表面区域与背景进行分离，可以采用阈值分割和边缘检测方法。
[0126]
(3)、在芒果表面区域内，通过计算主视根部、主视中部、主视顶部、后视根部、后视中部和后视顶部中每个像素的颜色信息，获取芒果的颜色数据，使用rgb颜色空间进行颜色表示。
[0127]
步骤s52：将rgb数值与颜色成熟度范围进行判断，得到颜色预测结果，具体包括：
[0128]
第一、对获取的芒果颜色数据进行计算，计算各个区域内(根部、中部和顶部)颜色落在范围内的比例，比例通过将落在范围内的颜色数值个数除以总颜色数值个数得到。
[0129]
本实施例中，采集一张芒果图像，主视图可以将其划分为根部、中部和顶部三个区域。对于每个区域，需要遍历该区域内的像素，并判断每个像素的颜色数值是否在对应颜色范围内。假设成熟芒果根部红颜色的范围是[50,100]，中部红颜色的范围是[101,150]，顶部红颜色的范围是[151,200]。
[0130]
对于根部区域，遍历根部区域内的像素，统计其中红颜色数值落在范围[50,100]内的像素数量，将落在成熟芒果所处的范围内的像素数量除以总的像素数量。同样的方法，可以统计中部区域和顶部区域内落在红颜色范围内的像素数量。
[0131]
本实施例中，将成熟芒果对应的颜色范围设定为根部r:[150,255],g:[0,100],b:[0,50]、中部r:[200,255],g:[150,200],b:[0,100]、顶部r:[200,255],g:[150,220],b:[0,50]；将半熟芒果对应的颜色范围设定为根部r:[150,200],g:[100,150],b:[0,50]、中部r:[150,200],g:[150,200],b:[0,100]、顶部r:[200,255],g:[150,220],b:[0,50]；将过熟芒果对应的颜色范围设定为根部r:[150,255],g:[0,100],b:[0,50]、中部r:[150,200],g:[100,150],b:[0,100]、顶部r:[200,255],g:[150,220],b:[0,50]；将不熟芒果对应的颜
色范围设定为根部r:[0,100],g:[100,150],b:[0,50]、中部r:[100,150],g:[150,200],b:[0,100]、顶部r:[150,200],g:[150,220],b:[0,50]，本发明中的颜色范围根据实际芒果品种、光照条件和环境影响进行设定。
[0132]
第二、根据各区域内的各像素所占成熟度范围的比例，进行分析，按照比例大小进行由大到小排序，选取比例最大的对应的成熟度，作为颜色预测结果。
[0133]
步骤s6：根据光谱预测结果和颜色预测结果综合预测芒果成熟度，具体包括：
[0134]
步骤s61：计算芒果成熟度的值，具体公式为：
[0135]
式中，为芒果成熟度的值，为光谱对应的权重，为颜色对应的权重，为光谱预测结果对应的值，为颜色预测结果对应的值，
[0136]
值为固定值1，本发明将设置为0.7，设置为0.3，和的值根据实际情况进行设定。
[0137]
本实施例中，不熟、半熟、成熟和过熟对应的值为1、2、3和4，光谱预测结果为成熟、半熟、过熟和不熟的其中一种，颜色预测结果为成熟、半熟、过熟和不熟的其中一种。
[0138]
步骤s62：根据芒果成熟度的值确定芒果成熟度，具体包括：
[0139]
当芒果成熟度的值大于或等于第一阈值，则当前芒果成熟度为过熟。
[0140]
当芒果成熟度的值大于或等于第二阈值且小于第一阈值，则当前芒果成熟度为成熟。
[0141]
当芒果成熟度的值大于或等于第三阈值且小于第二阈值，则当前芒果成熟度为半熟。
[0142]
当芒果成熟度的值大于或等于第四阈值且小于第三阈值，则当前芒果成熟度为不熟。
[0143]
芒果成熟度包括：不熟、半熟、成熟和过熟。
[0144]
第一阈值、第二阈值、第三阈值和第四阈值均可以根据实际需求进行设定。
[0145]
实施例2
[0146]
如图4所示，本发明公开基于拉曼光谱的芒果成熟度检测系统，系统包括：
[0147]
芒果数据采集模块10，用于获取芒果表面不同位置的拉曼光谱数据以及芒果表面不同区域的图像。
[0148]
数据预处理模块20，用于将拉曼光谱数据进行预处理，得到标准拉曼光谱数据。
[0149]
数据特征提取模块30，根据标准拉曼光谱数据进行特征提取，提取峰位置和峰强度特征，并转换成二维光谱图像。
[0150]
光谱成熟度预测模块40，用于将二维光谱图像输入到可变形扩张网络中，进行成熟度预测，得到光谱预测结果。
[0151]
颜色成熟度预测模块50，根据芒果表面不同区域的图像进行成熟度预测，得到颜色预测结果。
[0152]
芒果成熟度预测模块60，根据光谱预测结果和颜色预测结果综合预测芒果成熟度。
[0153]
作为一种可选地实施方式，本发明数据预处理模块20，具体包括：
[0154]
滤波子模块，用于将拉曼光谱数据进行滤波操作，得到平滑拉曼光谱数据；
[0155]
基线校正子模块，用于将平滑光谱数据进行基线校正操作，得到稳定拉曼光谱数据。
[0156]
标准化处理子模块，用于将稳定光谱数据进行标准化操作，得到标准拉曼光谱数据。
[0157]
作为一种可选地实施方式，本发明光谱成熟度预测模块40，具体包括：
[0158]
第一标准卷积子模块，用于将二维光谱图像依次输入到第一标准卷积模块和第一最大池化层进行标准卷积操作和最大池化操作，得到特征图l3。
[0159]
可变形卷积子模块，用于将特征图l3输入到可变形卷积模块进行可变形卷积操作，得到特征图l9。
[0160]
扩张卷积子模块，用于将特征图l9输入到扩张卷积模块进行扩张卷积操作，得到特征图l19。
[0161]
可变形卷积层子模块，用于将特征图l19输入到第二可变形卷积层进行可变形卷积操作，得到特征图l20。
[0162]
复合标准卷积子模块，用于将特征图l20依次输入到第二标准卷积模块和第三标准卷积模块进行标准卷积操作，得到特征图l24。
[0163]
池化连接分类子模块，用于将特征图依次输入到全局平均池化层、全连接层和softmax分类器进行池化、全连接和分类，得到光谱预测结果。
[0164]
作为一种可选地实施方式，本发明颜色成熟度预测模块50，具体包括：
[0165]
数值计算子模块，用于计算芒果表面不同区域的图像中像素的rgb数值。
[0166]
判断子模块，用于将rgb数值与颜色成熟度范围进行判断，得到颜色预测结果。
[0167]
作为一种可选地实施方式，本发明芒果成熟度预测模块60，具体包括：
[0168]
芒果成熟度计算子模块，用于计算芒果成熟度的值，具体公式为：
[0169]
式中，为芒果成熟度的值，为光谱对应的权重，为颜色对应的权重，为光谱预测结果对应的值，为颜色预测结果对应的值。
[0170]
成熟度确定子模块，根据芒果成熟度的值确定芒果成熟度。
[0171]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于拉曼光谱的芒果成熟度检测方法，其特征在于，所述方法包括：步骤s1：获取芒果表面不同位置的拉曼光谱数据以及芒果表面不同区域的图像，所述芒果表面不同区域包括主视根部、主视中部、主视顶部、后视根部、后视中部和后视顶部；步骤s2：将所述拉曼光谱数据进行预处理，得到标准拉曼光谱数据；步骤s3：根据所述标准拉曼光谱数据进行特征提取，提取峰位置和峰强度特征，并转换成二维光谱图像；步骤s4：将所述二维光谱图像输入到可变形扩张网络中，进行成熟度预测，得到光谱预测结果；步骤s5：根据所述芒果表面不同区域的图像进行成熟度预测，得到颜色预测结果；步骤s6：根据所述光谱预测结果和所述颜色预测结果综合预测芒果成熟度。2.根据权利要求1所述的基于拉曼光谱的芒果成熟度检测方法，其特征在于，所述将所述拉曼光谱数据进行预处理，得到标准拉曼光谱数据，具体包括：将所述拉曼光谱数据进行滤波操作，得到平滑拉曼光谱数据；将所述平滑光谱数据进行基线校正操作，得到稳定拉曼光谱数据；将所述稳定光谱数据进行标准化操作，得到所述标准拉曼光谱数据。3.根据权利要求1所述的基于拉曼光谱的芒果成熟度检测方法，其特征在于，所述将所述二维光谱图像输入到可变形扩张网络中，进行成熟度预测，得到光谱预测结果，具体包括：可变形扩张网络包括第一标准卷积模块、第一最大池化层、可变形卷积模块、扩张卷积模块、第二可变形卷积层、第二标准卷积模块、第三标准卷积模块、全局平均池化层、全连接层和softmax分类器；将所述二维光谱图像依次输入到所述第一标准卷积模块和所述第一最大池化层进行标准卷积操作和最大池化操作，得到特征图l3；将所述特征图l3输入到所述可变形卷积模块进行可变形卷积操作，得到特征图l9；将所述特征图l9输入到所述扩张卷积模块进行扩张卷积操作，得到特征图l19；将所述特征图l19输入到所述第二可变形卷积层进行可变形卷积操作，得到特征图l20；将所述特征图l20依次输入到所述第二标准卷积模块和所述第三标准卷积模块进行标准卷积操作，得到特征图l24；将所述特征图依次输入到所述全局平均池化层、所述全连接层和所述softmax分类器进行池化、全连接和分类，得到所述光谱预测结果。4.根据权利要求1所述的基于拉曼光谱的芒果成熟度检测方法，其特征在于，所述根据所述芒果表面不同区域的图像进行成熟度预测，得到颜色预测结果，具体包括：计算所述芒果表面不同区域的图像中像素的rgb数值；将所述rgb数值与颜色成熟度范围进行判断，得到颜色预测结果。5.根据权利要求1所述的基于拉曼光谱的芒果成熟度检测方法，其特征在于，所述根据所述光谱预测结果和所述颜色预测结果综合预测芒果成熟度，具体包括：计算芒果成熟度的值，具体公式为：ml＝α
·v光谱
+β
·v颜色
式中，ml为芒果成熟度的值，α为光谱对应的权重，β为颜色对应的权重，v
光谱
为光谱预测结果对应的值，v
颜色
为颜色预测结果对应的值；根据芒果成熟度的值确定芒果成熟度。6.基于拉曼光谱的芒果成熟度检测系统，其特征在于，所述系统包括：芒果数据采集模块，用于获取芒果表面不同位置的拉曼光谱数据以及芒果表面不同区域的图像；数据预处理模块，用于将所述拉曼光谱数据进行预处理，得到标准拉曼光谱数据；数据特征提取模块，根据所述标准拉曼光谱数据进行特征提取，提取峰位置和峰强度特征，并转换成二维光谱图像；光谱成熟度预测模块，用于将所述二维光谱图像输入到可变形扩张网络中，进行成熟度预测，得到光谱预测结果；颜色成熟度预测模块，根据所述芒果表面不同区域的图像进行成熟度预测，得到颜色预测结果；芒果成熟度预测模块，根据所述光谱预测结果和所述颜色预测结果综合预测芒果成熟度。7.根据权利要求6所述的基于拉曼光谱的芒果成熟度检测系统，其特征在于，所述数据预处理模块，具体包括：滤波子模块，用于将所述拉曼光谱数据进行滤波操作，得到平滑拉曼光谱数据；基线校正子模块，用于将所述平滑光谱数据进行基线校正操作，得到稳定拉曼光谱数据；标准化处理子模块，用于将所述稳定光谱数据进行标准化操作，得到所述标准拉曼光谱数据。8.根据权利要求6所述的基于拉曼光谱的芒果成熟度检测系统，其特征在于，所述光谱成熟度预测模块，具体包括：第一标准卷积子模块，用于将所述二维光谱图像依次输入到所述第一标准卷积模块和所述第一最大池化层进行标准卷积操作和最大池化操作，得到特征图l3；可变形卷积子模块，用于将所述特征图l3输入到所述可变形卷积模块进行可变形卷积操作，得到特征图l9；扩张卷积子模块，用于将所述特征图l9输入到所述扩张卷积模块进行扩张卷积操作，得到特征图l19；可变形卷积层子模块，用于将所述特征图l19输入到所述第二可变形卷积层进行可变形卷积操作，得到特征图l20；复合标准卷积子模块，用于将所述特征图l20依次输入到所述第二标准卷积模块和所述第三标准卷积模块进行标准卷积操作，得到特征图l24；池化连接分类子模块，用于将所述特征图依次输入到所述全局平均池化层、所述全连接层和所述softmax分类器进行池化、全连接和分类，得到所述光谱预测结果。9.根据权利要求6所述的基于拉曼光谱的芒果成熟度检测系统，其特征在于，所述颜色成熟度预测模块，具体包括：数值计算子模块，用于计算所述芒果表面不同区域的图像中像素的rgb数值；
判断子模块，用于将所述rgb数值与颜色成熟度范围进行判断，得到颜色预测结果。10.根据权利要求6所述的基于拉曼光谱的芒果成熟度检测系统，其特征在于，所述芒果成熟度预测模块，具体包括：芒果成熟度计算子模块，用于计算芒果成熟度的值，具体公式为：ml＝α
·v光谱
+β
·v颜色
式中，ml为芒果成熟度的值，α为光谱对应的权重，β为颜色对应的权重，v
光谱
为光谱预测结果对应的值，v
颜色
为颜色预测结果对应的值；成熟度确定子模块，根据芒果成熟度的值确定芒果成熟度。

技术总结
本发明提供了基于拉曼光谱的芒果成熟度检测方法及系统，属于芒果成熟度检测领域。首先获取芒果表面拉曼光谱数据和图像数据；其次将拉曼光谱数据依次进行预处理操作，特征提取操作，并转换成二维光谱图像；再将二维光谱图像输入到可变形扩张网络中，进行成熟度预测，得到光谱预测结果；然后根据芒果表面不同区域的图像进行成熟度预测，得到颜色预测结果；最后根据光谱预测结果和颜色预测结果综合预测芒果成熟度。本发明通过芒果表面拉曼光谱数据，提取峰位置和峰强度特征，应用到卷积神经网络中，并结合颜色辅助特征，实现了对芒果成熟度的准确预测；具备非破坏性、高效性，同时为芒果生产和销售环节提供了一种可靠的技术手段。段。段。


技术研发人员：汪源 黄丽萍 汪雨潇 周淼
受保护的技术使用者：三亚学院
技术研发日：2023.06.30
技术公布日：2023/9/25