基于特征差异检测的农业图像传输方法、系统及介质

1.本发明属于图像差异化检测及农业图像特征处理的技术领域，具体涉及一种基于特征差异检测的农业图像传输方法、系统及介质。


背景技术：

2.农业成为主要大国发展的重大战略，精准农业、智慧农业等应运而生。智慧农业以信息为基础，物联网是实现智慧农业的关键技术。得益于图像处理技术迅速崛起，图像数据在农业中得到了广泛应用，在农业物联网中引入图像信息，不仅可直观反映动植物的生长状态等，而且还可为农业生产管理提供更加科学的决策依据；但是图像数据的感知、传输、处理等必须依托于现有的农业物联网技术，而传统农业物联网在图像感知、数据有效性、传输成本等层面面临着诸多问题亟需解决。
3.现有技术中，钟委钊等人在文献《基于群智感知的街景变化检测方法》中提出一种端到端的针对大视差街景图像对变化对象检测的算法框架，结合边缘检测和超像素分割算法提取具体的变化对象；文献《多特征融合的高分辨率影像建筑物变化检测》中利用变化矢量分析方法计算不同时相遥感影像的光谱、纹理、形状特征及形态学建筑物指数特征差异来实施建筑物变化检测；同时专利《基于变化检测的图像采集任务系统》(申请号：cn2016800197820)基于地区变化水平，向图像采集系统提供控制命令来调整与所述地理区域相关联的图像数据的采集。但上述技术主要针对城市街景、遥感图像等非农业领域，少有涉及有关农作物图像的方法，同时由于需要考虑农作物生长等特点，也加大了农业图像数据的获取难度；并且，上述技术只研究了关于图像变化的检测方法，计算量较大，推理效率低，容易受光照，阴影等无关变化的影响大，导致采集的图像不利于后续的农业生长管理的分析与决策。


技术实现要素：

4.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于特征差异检测的农业图像传输方法、系统及介质，通过图像获取节点采集农业图像，采用神经网络提取特征，再使用改进的结构相似性指数来对图像变化进行差异检测，进而降低数据冗余、减少传输时间、减小网络压力，有利农业图像高效、准确地获取。
5.为了达到上述目的，本发明一方面采用一种基于特征差异检测的农业图像传输方法，包括下述步骤：
6.步骤1，将配备有摄像机的图像获取节点部署在农作物生长环境中，设置摄像机参数后采集农作物图像并上传至边缘计算设备；
7.步骤2，边缘计算设备将收到同一场景下同一摄像机在不同时间拍摄的第一农作物作为基准图、第二农作物作为待测图；
8.步骤3，边缘计算设备采用神经网络模型对基准图和待测图进行特征检测及提取，分别得到感兴趣作物特征和其他特征；
9.步骤4，使用改进的结构相似性指数计算基准图和待测图的相似度，进行差异检测；若基准图与待测图的相似度s低于设定阈值，则判定待测图与基准图存在差异，边缘计算设备将待测图通过网络发送到数据中心，同时将待测图更新为基准图；若基准图与待测图的相似度s等于或高于设定阈值，则判定待测图与基准图不存在差异，边缘计算设备不传输待测图，且保持基准图不变；
10.步骤5，边缘计算设备接收新的农作物作为待测图，重复步骤3，步骤4，直至截止。
11.作为优选的技术方案，所述图像获取节点包括摄像机、处理器、通信模块及电源；所述边缘计算设备包括计算单元、数据存储单元和通信系统；所述数据中心包括计算服务器、数据存储服务器及通信装置；
12.所述图像获取节点通过通信模块与其邻近的边缘计算设备进行无线或有线通信连接；
13.所述边缘计算设备通过通信系统与数据中心的通信装置进行无线通信连接；
14.所述农作物生长环境包括农田、温室和果园；
15.所述摄像机参数包括拍摄间隔时间、高度、角度和图像分辨率。
16.作为优选的技术方案，所述神经网络模型为预先训练得到的神经网络模型，其训练步骤为：
17.首先获取训练图像集；所述训练图像集包含有多组农作物图像样本，每组农作物图像样本均携带有特征标签；
18.基于深度学习或机器学习方式构建待训练的神经网络模型；
19.将训练图像集输入至待训练的神经网络模型中，对神经网络模型参数进行调优，直至神经网络模型的损失函数收敛至预设值时停止训练；
20.所述特征标签包括作物本体、作物叶片、果实、作物株高、叶片颜色、果实大小和果实颜色；
21.训练得到的神经网络模型能够对基准图和待测图进行特征提取，确定基准图与待测图的感兴趣作物特征和其他特征。
22.作为优选的技术方案，所述待训练的神经网络模型由编码网络和解码网络构成；
23.所述编码网络通过引入深度可分离卷积，调整传统残差瓶颈结构中各模块的顺序，改变快捷键的方式引入残差块，构建残差沙漏结构，降低参数量的同时提取丰富的图像特征，具体为：
24.将输入的图像数据经过1*1点态卷积将通道调整成高维度，再采用3*3卷积核作深度可分离卷积计算；加入瓶颈结构用点态卷积编码通道间信息；再用3*3卷积核作深度可分离卷积计算并输出，输出时作归一化处理；最后根据不同步长大小的卷积核做调整，引入快捷键在高维度上作通道拼接，输出最终的图像特征；
25.所述解码网络对提取的图像特征进行深化解码，采用不同膨胀率的并行空洞卷积进行卷积计算获取更多特征，然后经过拼接层得到新的图像特征，再将提取的图像特征与新的图像特征进行拼接融合，得到特征分割图像，具体为：
26.以编码网络传入的的图像特征为基础，经过四个并行的不同膨胀率的空洞卷积进行卷积计算获取更多特征，利用第一拼接层将不同图像特征进行融合，得到新的图像特征；然后使用第二拼接层将传入的图像特征与新的图像特征进行拼接融合，最后再利用两次深
度可分离卷积作特征解码并调整通道，输出特征分割图像。
27.作为优选的技术方案，所述使用改进的结构相似性指数计算基准图和待测图的相似度，具体为：
28.设基准图的总特征为a(t)，待测图的总特征为a(t+1)，则：
29.a(t)＝a(t,r)+a(t,b)
30.a(t+1)＝a(t+1,r)+a(t+1,b)
31.其中，a(t,r)为基准图的感兴趣作物特征，a(t,b)为基准图的其他特征，a(t+1,r)为待测图的感兴趣作物特征，a(t+1,b)为待测图的其他特征；
32.分别计算基准图与待测图的感兴趣作物特征和其他特征的结构相似度：
33.s(r)＝ssim(a(t,r),a(t+1,r))
34.s(b)＝ssim(a(t,b),a(t+1,b))
35.其中，s(r)为基准图与待测图的感兴趣作物特征的结构相似度，s(b)为基准图与待测图的其他特征的结构相似度；
36.引入比例系数，对基准图和待测图的总结构相似度进行计算：
37.s＝δs(r)+εs(b)
38.其中，δ,ε为比例系数，δ+ε＝1。
39.作为优选的技术方案，所述结构相似性指数的公式为：
40.ssim(x,y)＝[l(x,y)]
α
×
[c(x,y)]
β
×
[s(x,y)]
γ
[0041]
其中，l(x,y)为均值估计亮度，表示为：
[0042][0043]
c(x,y)为方差估计对比度，表示为：
[0044][0045]
s(x,y)为协方差估计结构相似度，表示为：
[0046][0047]
x,y分别为图像，u
x
,uy表示亮度比较函数；σ
x
,σy表示相关性比较函数，c1,c2,c3分别为不为0的常数，σ
xy
为图像x和图像y的协方差，α,β,γ为权重系数，分别代表亮度、对比度、结构相似度在结构相似性指数中权重，根据基准图和待测图采集时间段的不同进行调整。
[0048]
另一方面，本发明提供一种基于特征差异检测的农业图像传输系统，应用于上述的基于特征差异检测的农业图像传输方法，包括图像采集模块、图像接收模块、特征提取模块及差异检测模块；
[0049]
所述图像采集模块用于将配备有摄像机的图像获取节点部署在农作物生长环境中，设置摄像机参数后采集农作物图像并上传至边缘计算设备；
[0050]
所述图像接收模块用于边缘计算设备将收到同一场景下同一摄像机在不同时间拍摄的第一农作物图像作为基准图、第二农作物图像作为待测图；
[0051]
所述特征提取模块用于边缘计算设备采用神经网络模型对基准图和待测图进行特征检测及提取，分别得到感兴趣作物特征和其他特征；
[0052]
所述差异检测模块用于使用改进的结构相似性指数计算基准图和待测图的相似度，进行差异检测；若基准图与待测图的相似度s低于设定阈值，则判定待测图与基准图存在差异，边缘计算设备将待测图通过网络发送到数据中心，同时将待测图更新为基准图；若基准图与待测图的相似度s等于或高于设定阈值，则判定待测图与基准图不存在差异，边缘计算设备不传输待测图，且保持基准图不变；边缘计算设备接收新的农作物图像作为待测图，重复调用特征提取模块及差异检测模块，直至截止。
[0053]
作为优选的技术方案，所述差异检测模块中，使用改进的结构相似性指数计算基准图和待测图的相似度，具体为：
[0054]
设基准图的总特征为a(t)，待测图的总特征为a(t+1)，则：
[0055]
a(t)＝a(t,r)+a(t,b)
[0056]
a(t+1)＝a(t+1,r)+a(t+1,b)
[0057]
其中，a(t,r)为基准图的感兴趣作物特征，a(t,b)为基准图的其他特征，a(t+1,r)为待测图的感兴趣作物特征，a(t+1,b)为待测图的其他特征；
[0058]
分别计算基准图与待测图的感兴趣作物特征和其他特征的结构相似度：
[0059]
s(r)＝ssim(a(t,r),a(t+1,r))
[0060]
s(b)＝ssim(a(t,b),a(t+1,b))
[0061]
其中，s(r)为基准图与待测图的感兴趣作物特征的结构相似度，s(b)为基准图与待测图的其他特征的结构相似度；
[0062]
引入比例系数，对基准图和待测图的总结构相似度进行计算：
[0063]
s＝δs(r)+εs(b)
[0064]
其中，δ,ε为比例系数，δ+ε＝1。
[0065]
作为优选的技术方案，所述结构相似性指数的公式为：
[0066]
ssim(x,y)＝[l(x,y)]
α
×
[c(x,y)]
β
×
[s(x,y)]
γ
[0067]
其中，l(x,y)为均值估计亮度，表示为：
[0068][0069]
c(x,y)为方差估计对比度，表示为：
[0070][0071]
s(x,y)为协方差估计结构相似度，表示为：
[0072][0073]
x,y分别为图像，u
x
,uy表示亮度比较函数；σ
x
,σy表示相关性比较函数，c1,c2,c3分别为不为0的常数，σ
xy
为图像x和图像y的协方差，α,β,γ为权重系数，分别代表亮度、对比度、结构相似度在结构相似性指数中权重，根据基准图和待测图采集时间段的不同进行调整。
[0074]
本发明还一方面提供一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于特征差异检测的农业图像传输方法。
[0075]
本发明与现有技术相比，具有如下优点和有益效果：
[0076]
1、本发明通过设计改进的结构相似性指数计算图像间的相似性指数，加入比例系数，除了关注感兴趣作物特征外，还综合考虑了背景等各种变化带来的其他特征影响，对图像的变化进行差异检测，即差异大的图像中，包含更多变化信息，这是后期数据处理和现场监测关注的信息，可以提升网络传输数据的质量、有效降低数据冗余、减少传输时间、减轻网络压力、降低网络传输负担等；而传统农业图像物联网很少在数据传输前对数据进行筛选。
[0077]
2、本发明引入神经网络模型能够对基准图和待测图进行特征提取，将差异计算偏重于检测出的特征，即对基准图中和待测图中的作物本体，重点对作物本体相关图像信息进行差异计算，从图像中分割出作物边界，提取感兴趣作物特征，同时也关注背景中的其他特征，全面地反应图像中作物的变化。
[0078]
3、本发明构建的结构相似性指数采用α,β,γ这三个权重系数根据时间进行自适应调整，消除变化检测中光照、亮度等产生的影响，增强检测精度；而现有技术中较少根据采集时间段的光照变化来对参数进行调整，对检测结果影响较大。
附图说明
[0079]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0080]
图1为本发明实施例基于特征差异检测的农业图像传输方法的流程图。
[0081]
图2为本发明实施例中三种解码网络的结构示意图；其中图2(a)为传统残差瓶颈结构；图2(b)为反残差瓶颈结构；图2(c)为残差沙漏式结构。
[0082]
图3为本发明实施例中解码网络的结构示意图。
[0083]
图4为本发明实施例基于特征差异检测的农业图像传输系统的方框图。
[0084]
图5为本发明实施例一种电子设备的结构图。
具体实施方式
[0085]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0086]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本技术所描述的实施例可以与其它实施例相结合。
[0087]
请参阅图1，在本技术的一个实施例中提供了一种基于特征差异检测的农业图像
传输方法，包括下述步骤：
[0088]
步骤1，将配备有摄像机的图像获取节点部署在农作物生长环境中，设置摄像机参数后采集农作物图像并上传至边缘计算设备；
[0089]
步骤2，边缘计算设备将收到同一场景下同一摄像机在不同时间拍摄的第一农作物图像作为基准图、第二农作物图像作为待测图；
[0090]
步骤3，边缘计算设备采用神经网络模型对基准图和待测图进行特征检测及提取，分别得到感兴趣作物特征和其他特征；
[0091]
步骤4，使用改进的结构相似性指数计算基准图和待测图的相似度，进行差异检测；若基准图与待测图的相似度s低于设定阈值，则判定待测图与基准图存在差异，边缘计算设备将待测图通过网络发送到数据中心，同时将待测图更新为基准图；若基准图与待测图的相似度s等于或高于设定阈值，则判定待测图与基准图不存在差异，边缘计算设备不传输待测图，且保持基准图不变；
[0092]
步骤5，边缘计算设备接收新的农业图像作为待测图，重复步骤3，步骤4，直至截止。
[0093]
具体的，步骤1中，图像获取节点包括摄像机、处理器、通信模块及电源等；边缘计算设备包括计算单元、数据存储单元和通信系统等；数据中心包括计算服务器、数据存储服务器及通信装置等；图像获取节点通过通信模块与其邻近的边缘计算设备进行无线或有线通信连接；如：距离较远的采用无线方式，通常是wi-fi局域网或其他网络；距离近的通过usb连接。边缘计算设备通过通信系统与数据中心的通信装置进行无线通信(wi-fi或互联网)连接传输数据。
[0094]
本实施例中，农作物生长环境包括农田、温室和果园等场景；一个区域内，一个图像获取节点可以存在多个固定安装的摄像机，每个摄像机各自工作互不干扰。一个摄像机负责一个固定场景的图像拍摄。当工作开始时，图像获取节点对摄像机参数进行设置，包括拍摄间隔时间、高度、角度和图像分辨率等；如根据设置，摄像机a在不同时间(例如，相隔每秒、每10秒、每分钟、每小时等)以固定高度、固定角度、固定图像分辨率，拍摄同一场景的农作物图像，并将图像数据通过网络(wifi，zigbee，因特网等)发送至边缘计算设备，根据图像获取的先后顺序，将图像标记为a0,a1…an
，其他摄像机(摄像机b,c,d
…
)同上。本实施例中均以摄像机a为例，其他摄像机不作赘述。
[0095]
边缘计算设备开始以收到的第一农作物图像作为基准图(即摄像机a拍摄的第一张图像a0称为第一图像)，等待一段时间后，以边缘计算设备接收的第二农作物图像为待测图(即摄像机a拍摄的第二张图像a1或拍摄时序晚于基准图的图像)，采用机器学习或深度学习等技术(如cnn，rnn等神经网络)，对图像进行特征检测与提取，特征可以包括作物本体、作物叶片、果实、作物株高、叶片颜色、果实大小和果实颜色等可能出现的农作物变化的特征；具体的，步骤3中，神经网络模型为预先训练得到的神经网络模型，其训练步骤为：
[0096]
首先获取训练图像集，其中训练图像集中包含有多组作物图像样本，每组作物图像样本均携带有特征标签；然后基于深度学习或机器学习方式构建待训练的神经网络模型；接着将训练图像集输入至待训练的神经网络模型中，对神经网络模型的参数进行调优，直至神经网络模型的损失函数收敛至预设值时停止训练。
[0097]
训练得到的神经网络模型能够对基准图和待测图进行特征提取，确定基准图与待
测图的感兴趣作物特征和其他特征。
[0098]
进一步的，待训练的神经网络模型由编码网络和解码网络构成；编码网络与解码网络在segnet之后被广泛应用于语义分割的模型，在编码网络中，随着卷积层数的加深，图像数据的尺寸大小，通道数量随之不断变更，最终提取具有高级语义性的目标特征；而解码网络则通过所学习到的特征，将特征图重新还原成于原图大小的尺寸，实现对图像像素点的分割，通过大量的图像数据学习，训练出使原图与标签之间能够实现对应映射的网络模型参数，从而达到对像素点的准确预测；而本技术中，编码网络采用沙漏式的瓶颈设计来缓解在高维度上的信息丢失，同时采用深度可分离卷积方法来加深网络，减少网络模型参数；解码网络中利用不同大小的空洞卷积核做卷积运算，使提取的图像特征更加稠密。
[0099]
其中，如图2所示，编码网络(enconder net)结构上与传统残差瓶颈结构相类似，但为了在降低模型参数量的同时可以提取出更丰富的作物特征，通过引入深度可分离卷积，调整传统残差瓶颈结构中各模块的顺序，改变快捷键的方式引入残差块，构建残差沙漏结构，具体为：
[0100]
将输入的图像数据经过1*1点态卷积将通道调整成高维度，再采用3*3卷积核作深度可分离卷积计算；中间加入瓶颈结构用点态卷积编码通道间信息；再用3*3卷积核作深度可分离卷积计算并输出，输出时为了保证特征信息的不丢失，因此只对输出做归一化处理而不使用激活函数；最后根据不同步长大小的卷积核做调整，引入快捷键在高维度上作通道拼接，输出最终的图像特征。
[0101]
经典的传统残差瓶颈结构首次在resnet中提出，如图2(a)所示，主要由三个卷积层构成，其通过一个1*1的点态卷积将信道缩减，一个3*3卷积用于空间特征提取，另一个1*1卷积用于信道的扩张，该结构的设计虽然在权重网络中取得较大的成功，但由于模型使用标准3*3深度卷积，参数量大，计算量大，难以构建轻量型网络以及部署于移动端；反残差瓶颈结构首先在mobilenetv2中引入，如图2(b)所示，在线性瓶颈之间通过快捷键连接，它极大地提高了网络性能并优化了模型地复杂性，但结构上将高维度空间进行压缩，映射于低维度的特征张量中，难以保证获取到足够的特征信息；此外，快捷键连接于低维度张量之间也增加了特征丢失的机率。因此，本发明结合上述两种瓶颈结构的特点，采用如图2(c)所示的残差沙漏式的网络结构，向深层网络传播的同时保留更多来自底层的信息，并将快捷键连接设置在高维度特征上，从而提取更加丰富的目标特征，使用深度可分离卷积以及对网络模块的做适度裁剪达到降低网络大小的目的。
[0102]
为了避免忽略高级全局特征和低级局部特征的关系，从而导致对农作物小目标识别分割效果不佳，因此如图3所示，解码网络对提取的图像特征进行深化解码，采用不同膨胀率的并行空洞卷积进行卷积计算获取更多特征，经过拼接层得到新的图像特征；为了不丢失原有的图像特征，再将提取的图像特征与新的图像特征进行拼接融合，充分挖掘图像特征，得到特征分割图像，具体为：
[0103]
解码网络(dnconder net)包括6个卷积层及2个拼接层，以编码网络传入的的图像特征为基础，经过四个并行的不同膨胀率(rate)的空洞卷积进行卷积计算获取更多特征，利用第一拼接层将不同图像特征进行融合，得到新的图像特征；然后调整第一拼接层(concatenate1)输出图像特征尺寸大小、通道数量，使用第二拼接层(concatenate2)将传入的图像特征与新的图像特征进行拼接融合，最后再利用两次深度可分离卷积作特征解码
并调整通道，输出特征分割图像。本实施例中，四个并行的空洞卷积的膨胀率(rate)分别为2,4,8,16。
[0104]
得到相应特征后，需要计算基准图和待测图之间的相似度，本发明步骤4中使用改进的结构相似性指数来计算基准图和待测图的相似度，具体为：
[0105]
设基准图的总特征为a(t)，待测图的总特征为a(t+1)，则：
[0106]
a(t)＝a(t,r)+a(t,b)
[0107]
a(t+1)＝a(t+1,r)+a(t+1,b)
[0108]
其中，a(t,r)为基准图的感兴趣作物特征，a(t,b)为基准图的其他特征，a(t+1,r)为待测图的感兴趣作物特征，a(t+1,b)为待测图的其他特征；
[0109]
分别计算基准图与待测图的感兴趣作物特征和其他特征的结构相似度：
[0110]
s(r)＝ssim(a(t,r),a(t+1,t))
[0111]
s(b)＝ssim(a(t,b),a(t+1,b))
[0112]
其中，s(r)为基准图与待测图的感兴趣作物特征的结构相似度，s(b)为基准图与待测图的其他特征的结构相似度；
[0113]
考虑到除感兴趣作物特征外的其他特征也可能包含重要的种植信息，如大量落叶或落果等，引入比例系数，对基准图和待测图的总结构相似度进行计算：
[0114]
s＝δs(r)+εs(b)
[0115]
其中，δ,ε为比例系数且δ+ε＝1，一般根据实际情况而定，本实施例中δ＝0.7,ε＝0.3。
[0116]
进一步的，结构相似性指数(structural similarity index，ssim)的范围为0至1，越大代表图像越相似，如果两张图片完全一样时，ssim值为1；对于图像x和图像y，其ssim计算方式如下：
[0117]
ssim(x,y)＝[l(x,y)]
α
×
[c(x,y)]
β
×
[s(x,y)]
γ
[0118]
其中，l(x,y)为均值估计亮度，表示为：
[0119][0120]
c(x,y)为方差估计对比度，表示为：
[0121][0122]
s(x,y)为协方差估计结构相似度，表示为：
[0123][0124]ux
,uy表示亮度比较函数；σ
x
,σy表示相关性比较函数；c1,c2,c3分别为不为0的常数，避免分母接近于0时造成的不稳定性；σ
xy
为图像x和图像y的协方差；α,β,γ为权重系数，分别代表亮度、对比度、结构相似度在结构相似性指数中权重，根据基准图和待测图采集时间段的不同进行调整，以消除光照亮度等产生的影响；例如将一天24小时的时间t{0,1,2,...,23}分为8个子集，t1{0,1,2}，t2{4,5,6}，t3{7,8,9}，...，以此类推，每个子集代表一个时间段，若基准图与待测图的采集时间不在同个时间段(即同一子集)内，则将α,β,γ
数值适当调整。
[0125]
得到相似性指数后便进行差异检测，具体的：若基准图与待测图的相似性指数s低于设定阈值(如相似性指数为0.4，阈值为0.5)，则判定待测图与基准图存在差异，农作物生长状态发生变化，因此边缘计算设备将待测图通过网络发送到数据中心，同时将待测图更新为基准图；若基准图与待测图的相似性指数s等于或高于设定阈值，则判定待测图与基准图不存在差异，农作物生长状态未发生变化，因此边缘计算设备不传输待测图，且保持基准图不变。然后边缘计算设备继续接收下一农作物图像作为待测图，重复步骤3、4，将差异于基准图的农作物图像传输至数据中心，缩减了数据量，降低了数据冗余，减少了传输时间及减轻了网络压力，便于数据中心对农作物生产的高效、精准管理。
[0126]
传统的图像差异化检测，只是简单两张图片数据层面的比较(比如相应图像像素数据的比较)缺乏对兴趣区域或特征的偏重和关注，存在计算量较大，极易忽视兴趣区域微小的变化等的问题，而往往在农业中，兴趣区域或特征的微小变化，是关注的重点。同时，现有的方法，很少考虑光照、亮度等外界条件变化因素，在检测图像差异时，存在推理准确性差，容易受光照，阴影等无关变化的影响。而本技术通过预先训练得到的神经网络模型提取感兴趣作物特征和其他特征，再基于改进的结构相似性指数，考虑光照、亮度等外界条件变化因素，全面反应图像中作物的变化，增强检测精度。
[0127]
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
[0128]
基于与上述实施例中的基于特征差异检测的农业图像传输方法相同的思想，本发明还提供了基于特征差异检测的农业图像传输系统，该系统可用于执行上述基于特征差异检测的农业图像传输方法。为了便于说明，基于特征差异检测的农业图像传输系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0129]
请参阅图4，在本技术的另一个实施例中，提供了一种基于特征差异检测的农业图像传输系统，该系统包括图像采集模块、图像接收模块、特征提取模块及差异检测模块；
[0130]
其中，图像采集模块用于将配备有摄像机的图像获取节点部署在农作物生长环境中，设置摄像机参数后采集农业图像并上传至边缘计算设备；
[0131]
图像接收模块用于边缘计算设备将收到同一场景下同一摄像机在不同时间拍摄的第一农作物图像作为基准图、第二农作物图像作为待测图；
[0132]
特征提取模块用于边缘计算设备采用神经网络模型对基准图和待测图进行特征检测及提取，分别得到感兴趣作物特征和其他特征；
[0133]
差异检测模块用于使用改进的结构相似性指数计算基准图和待测图的相似度，进行差异检测；若基准图与待测图的相似度s低于设定阈值，则判定待测图与基准图存在差异，边缘计算设备将待测图通过网络发送到数据中心，同时将待测图更新为基准图；若基准图与待测图的相似度s等于或高于设定阈值，则判定待测图与基准图不存在差异，边缘计算设备不传输待测图，且保持基准图不变；边缘计算设备接收新的农作物图像作为待测图，重复调用特征提取模块及差异检测模块，直至截止。
[0134]
具体的，差异检测模块中，使用改进的结构相似性指数计算基准图和待测图的相似度，具体为：
[0135]
设基准图的总特征为a(t)，待测图的总特征为a(t+1)，则：
[0136]
a(t)＝a(t,r)+a(t,b)
[0137]
a(t+1)＝a(t+1,r)+a(t+1,b)
[0138]
其中，a(t,r)为基准图的感兴趣作物特征，a(t,b)为基准图的其他特征，a(t+1,r)为待测图的感兴趣作物特征，a(t+1,b)为待测图的其他特征；
[0139]
分别计算基准图与待测图的感兴趣作物特征和其他特征的结构相似度：
[0140]
s(r)＝ssim(a(t,r),a(t+1,r))
[0141]
s(b)＝ssim(a(t,b),a(t+1,b))
[0142]
其中，s(r)为基准图与待测图的感兴趣作物特征的结构相似度，s(b)为基准图与待测图的其他特征的结构相似度；
[0143]
引入比例系数，对基准图和待测图的总结构相似度进行计算：
[0144]
s＝δs(r)+εs(b)
[0145]
其中，δ,ε为比例系数，δ+ε＝1。
[0146]
进一步的，结构相似性指数的公式为：
[0147]
ssim(x,y)＝[l(x,y)]
α
×
[c(x,y)]
β
×
[s(x,y)]
γ
[0148]
其中，l(x,y)为均值估计亮度，表示为：
[0149][0150]
c(x,y)为方差估计对比度，表示为：
[0151][0152]
s(x,y)为协方差估计结构相似度，表示为：
[0153][0154]
x,y分别为图像，u
x
,uy表示亮度比较函数；σ
x
,σy表示相关性比较函数，c1,c2,c3分别为不为0的常数，σ
xy
为图像x和图像y的协方差，α,β,γ为权重系数，分别代表亮度、对比度、结构相似度在结构相似性指数中权重，根据基准图和待测图采集时间段的不同进行调整。
[0155]
需要说明的是，上述实施例的基于特征差异检测的农业图像传输系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于特征差异检测的农业图像传输系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
[0156]
请参阅图5，在一个实施例中，提供了一种计算机可读存储介质，存储有程序，当程序被处理器执行时，实现基于特征差异检测的农业图像传输方法，具体为：
[0157]
步骤1，将配备有摄像机的图像获取节点部署在农作物生长环境中，设置摄像机参
数后采集农业图像并上传至边缘计算设备；
[0158]
步骤2，边缘计算设备将收到同一场景下同一摄像机在不同时间拍摄的第一农作物图像作为基准图、第二农作物图像作为待测图；
[0159]
步骤3，边缘计算设备采用神经网络模型对基准图和待测图进行特征检测及提取，分别得到感兴趣作物特征和其他特征；
[0160]
步骤4，使用改进的结构相似性指数计算基准图和待测图的相似度，进行差异检测；若基准图与待测图的相似度s低于设定阈值，则判定待测图与基准图存在差异，边缘计算设备将待测图通过网络发送到数据中心，同时将待测图更新为基准图；若基准图与待测图的相似度s等于或高于设定阈值，则判定待测图与基准图不存在差异，边缘计算设备不传输待测图，且保持基准图不变；
[0161]
步骤5，边缘计算设备接收新的农作物图像作为待测图，重复步骤3，步骤4，直至截止。
[0162]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
[0163]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0164]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.基于特征差异检测的农业图像传输方法，其特征在于，包括下述步骤：步骤1，将配备有摄像机的图像获取节点部署在农作物生长环境中，设置摄像机参数后采集农作物图像并上传至边缘计算设备；步骤2，边缘计算设备将收到同一场景下同一摄像机在不同时间拍摄的第一农作物作为基准图、第二农作物作为待测图；步骤3，边缘计算设备采用神经网络模型对基准图和待测图进行特征检测及提取，分别得到感兴趣作物特征和其他特征；步骤4，使用改进的结构相似性指数计算基准图和待测图的相似度，进行差异检测；若基准图与待测图的相似度s低于设定阈值，则判定待测图与基准图存在差异，边缘计算设备将待测图通过网络发送到数据中心，同时将待测图更新为基准图；若基准图与待测图的相似度s等于或高于设定阈值，则判定待测图与基准图不存在差异，边缘计算设备不传输待测图，且保持基准图不变；步骤5，边缘计算设备接收新的农作物作为待测图，重复步骤3，步骤4，直至截止。2.根据权利要求1所述的基于特征差异检测的农业图像传输方法，其特征在于，所述图像获取节点包括摄像机、处理器、通信模块及电源；所述边缘计算设备包括计算单元、数据存储单元和通信系统；所述数据中心包括计算服务器、数据存储服务器及通信装置；所述图像获取节点通过通信模块与其邻近的边缘计算设备进行无线或有线通信连接；所述边缘计算设备通过通信系统与数据中心的通信装置进行无线通信连接；所述农作物生长环境包括农田、温室和果园；所述摄像机参数包括拍摄间隔时间、高度、角度和图像分辨率。3.根据权利要求1所述的基于特征差异检测的农业图像传输方法，其特征在于，所述神经网络模型为预先训练得到的神经网络模型，其训练步骤为：首先获取训练图像集；所述训练图像集包含有多组农作物图像样本，每组农作物图像样本均携带有特征标签；基于深度学习或机器学习方式构建待训练的神经网络模型；将训练图像集输入至待训练的神经网络模型中，对神经网络模型参数进行调优，直至神经网络模型的损失函数收敛至预设值时停止训练；所述特征标签包括作物本体、作物叶片、果实、作物株高、叶片颜色、果实大小和果实颜色；训练得到的神经网络模型能够对基准图和待测图进行特征提取，确定基准图与待测图的感兴趣作物特征和其他特征。4.根据权利要求3所述的基于特征差异检测的农业图像传输方法，其特征在于，所述待训练的神经网络模型由编码网络和解码网络构成；所述编码网络通过引入深度可分离卷积，调整传统残差瓶颈结构中各模块的顺序，改变快捷键的方式引入残差块，构建残差沙漏结构，降低参数量的同时提取丰富的图像特征，具体为：将输入的图像数据经过1*1点态卷积将通道调整成高维度，再采用3*3卷积核作深度可分离卷积计算；加入瓶颈结构用点态卷积编码通道间信息；再用3*3卷积核作深度可分离卷积计算并输出，输出时作归一化处理；最后根据不同步长大小的卷积核做调整，引入快捷键
在高维度上作通道拼接，输出最终的图像特征；所述解码网络对提取的图像特征进行深化解码，采用不同膨胀率的并行空洞卷积进行卷积计算获取更多特征，然后经过拼接层得到新的图像特征，再将提取的图像特征与新的图像特征进行拼接融合，得到特征分割图像，具体为：以编码网络传入的的图像特征为基础，经过四个并行的不同膨胀率的空洞卷积进行卷积计算获取更多特征，利用第一拼接层将不同图像特征进行融合，得到新的图像特征；然后使用第二拼接层将传入的图像特征与新的图像特征进行拼接融合，最后再利用两次深度可分离卷积作特征解码并调整通道，输出特征分割图像。5.根据权利要求1所述的基于特征差异检测的农业图像传输方法，其特征在于，所述使用改进的结构相似性指数计算基准图和待测图的相似度，具体为：设基准图的总特征为a(t)，待测图的总特征为a(t+1)，则：a(t)＝a(t，r)+a(t，b)a(t+1)＝a(t+1，r)+a(t+1，b)其中，a(t，r)为基准图的感兴趣作物特征，a(t，b)为基准图的其他特征，a(t+1，r)为待测图的感兴趣作物特征，a(t+1，b)为待测图的其他特征；分别计算基准图与待测图的感兴趣作物特征和其他特征的结构相似度：s(r)＝ssim(a(t，r)，a(t+1，r))s(b)＝ssim(a(t，b)，a(t+1，b))其中，s(r)为基准图与待测图的感兴趣作物特征的结构相似度，s(b)为基准图与待测图的其他特征的结构相似度；引入比例系数，对基准图和待测图的总结构相似度进行计算：s＝δs(r)+εs(b)其中，δ，ε为比例系数，δ+ε＝1。6.根据权利要求5所述的基于特征差异检测的农业图像传输方法，其特征在于，所述结构相似性指数的公式为：ssim(x，y)＝[l(x，y)]
α
×
[c(x，y)]
β
×
[s(x，y)]
γ
其中，l(x，y)为均值估计亮度，表示为：c(x，y)为方差估计对比度，表示为：s(x，y)为协方差估计结构相似度，表示为：x，y分别为图像，u
x
，u
y
表示亮度比较函数；σ
x
，σ
y
表示相关性比较函数，c1，c2，c3分别为不为0的常数，σ
xy
为图像x和图像y的协方差，α，β，γ为权重系数，分别代表亮度、对比度、结构相似度在结构相似性指数中权重，根据基准图和待测图采集时间段的不同进行调整。7.基于特征差异检测的农业图像传输系统，其特征在于，应用于权利要求1-6中任一项
所述的基于特征差异检测的农业图像传输方法，包括图像采集模块、图像接收模块、特征提取模块及差异检测模块；所述图像采集模块用于将配备有摄像机的图像获取节点部署在农作物生长环境中，设置摄像机参数后采集农作物图像并上传至边缘计算设备；所述图像接收模块用于边缘计算设备将收到同一场景下同一摄像机在不同时间拍摄的第一农作物图像作为基准图、第二农作物图像作为待测图；所述特征提取模块用于边缘计算设备采用神经网络模型对基准图和待测图进行特征检测及提取，分别得到感兴趣作物特征和其他特征；所述差异检测模块用于使用改进的结构相似性指数计算基准图和待测图的相似度，进行差异检测；若基准图与待测图的相似度s低于设定阈值，则判定待测图与基准图存在差异，边缘计算设备将待测图通过网络发送到数据中心，同时将待测图更新为基准图；若基准图与待测图的相似度s等于或高于设定阈值，则判定待测图与基准图不存在差异，边缘计算设备不传输待测图，且保持基准图不变；边缘计算设备接收新的农作物图像作为待测图，重复调用特征提取模块及差异检测模块，直至截止。8.根据权利要求7所述的基于特征差异检测的农业图像传输系统，其特征在于，所述差异检测模块中，使用改进的结构相似性指数计算基准图和待测图的相似度，具体为：设基准图的总特征为a(t)，待测图的总特征为a(t+1)，则：a(t)＝a(t，r)+a(t，b)a(t+1)＝a(t+1，r)+a(t+1，b)其中，a(t，r)为基准图的感兴趣作物特征，a(t，b)为基准图的其他特征，a(t+1，r)为待测图的感兴趣作物特征，a(t+1，b)为待测图的其他特征；分别计算基准图与待测图的感兴趣作物特征和其他特征的结构相似度：s(r)＝ssim(a(t，r)，a(t+1，r))s(b)＝ssim(a(t，b)，a(t+1，b))其中，s(r)为基准图与待测图的感兴趣作物特征的结构相似度，s(b)为基准图与待测图的其他特征的结构相似度；引入比例系数，对基准图和待测图的总结构相似度进行计算：s＝δs(r)+εs(b)其中，δ，ε为比例系数，δ+ε＝1。9.根据权利要求8所述的基于特征差异检测的农业图像传输系统，其特征在于，所述结构相似性指数的公式为：ssim(x，y)＝[l(x，y)]
α
×
[c(x，y)]
β
×
[s(x，y)]
γ
其中，l(x，y)为均值估计亮度，表示为：c(x，y)为方差估计对比度，表示为：s(x，y)为协方差估计结构相似度，表示为：
x，y分别为图像，u
x
，u
y
表示亮度比较函数；σ
x
，σ
y
表示相关性比较函数，c1，c2，c3分别为不为0的常数，σ
xy
为图像x和图像y的协方差，α，β，γ为权重系数，分别代表亮度、对比度、结构相似度在结构相似性指数中权重，根据基准图和待测图采集时间段的不同进行调整。10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-6任一项所述的基于特征差异检测的农业图像传输方法。

技术总结
本发明公开了一种基于特征差异检测的农业图像传输方法、系统及介质，方法为：采集农作物图像并上传至边缘计算设备；边缘计算设备将收到的第一农作物作为基准图、第二农作物作为待测图；采用神经网络模型得到感兴趣作物特征和其他特征；使用改进的结构相似性指数计算基准图和待测图的相似度进行差异检测；若待测图与基准图存在差异，将待测图发送到数据中心，同时将待测图更新为基准图；若不存在差异，不传输待测图且保持基准图不变；接收新的农作物作为待测图，重复执行直至截止。本申请通过改进的结构相似性指数计算图像间的相似度，对图像的变化进行差异检测，提升网络传输数据的质量，有效降低数据冗余，为作物生长研究提供准确数据。确数据。确数据。


技术研发人员：李小敏 侯炳法 肖更生 王琴 刘袆帆
受保护的技术使用者：仲恺农业工程学院
技术研发日：2023.05.05
技术公布日：2023/9/22