一种基于语义分割和霍夫变换结合的海天线检测方法

1.本发明涉及海天线检测技术领域，特别涉及一种基于语义分割和霍夫变换结合的海天线检测方法。


背景技术：

2.海天线是将水上交通图像划分为天空区域和海面区域的边界线，是水上交通图像所具有的重要特征之一。在远距离水平观测的水上交通图像中，船舶目标大部分位于海天线附近，海天线检测有助于缩小船舶目标检测搜索范围，为船舶智能航行提供安全保障，在海上搜救、航线规划、海域监控等领域都具有重要意义。
3.目前许多文献提出了不同关于海天线检测的算法。其中，主要包括直线拟合法、梯度显著性、图像分割等方法，但是面对复杂水上交通场景，这些方法没有取得很好的效果。其主要原因在于水上交通图像中包含大量干扰海天线检测的因素，如条纹状的海浪与海天线具有一定的相似性、大雾天气下天空与海面较为相似、大量船只破坏海天线的连续性等。因此，在复杂水上交通场景精确检测存在一定的局限性。


技术实现要素：

4.针对水上交通场景复杂，海天线检测干扰因素繁多，现有海天线检测技术在复杂水上交通场景下检测效果不佳的问题，本发明提出了一种基于语义分割和霍夫变换结合的海天线检测方法，采用mo-segnet网络模型作为语义分割模型并霍夫变换拟合海天线，实现了复杂水上交通场景对海天线的精准检测。
5.技术方案如下所述：
6.一种基于语义分割和霍夫变换结合的海天线检测，包括以下步骤：
7.s1：输入水上交通场景的可见光图像，制作水上交通图像的数据集，所述数据集包括训练集和测试集，所述训练集经过扩充之后得到扩充训练集；
8.s2：建立水上交通图像mo-segnet网络模型作为语义分割模型，利用s1中扩充训练集对所述mo-segnet网络模型进行训练得到语义分割权重，利用训练好的mo-segnet网络模型对输入的s1中测试集的水上交通图像进行逐像素分割输出语义分割图像；
9.s3：采用canny检测算法对s2输出的语义分割的图像进行边缘检测，输出仅包含海天线边缘轮廓及背景的二值图像；
10.s4：在二值图像上进行霍夫变换，对海天线边缘轮廓的边缘像素进行拟合，得到海天线检测结果。
11.优选地，s1中，针对输入所述水上交通场景的可见光图像，将图像由标注软件逐像素进行标注制作数据集，将水上交通图像按照像素点分类为天空区域、海面区域和其他区域，并将所述数据集按8:2的比例分为训练集和测试集，对训练集进行旋转、镜像图像处理对训练集进行扩充，最终得到扩充训练集；所述其他区域包括海面船舶、漂浮物和遮挡物像素。
12.优选地，s2中，所述mo-segnet网络模型由编码网络和解码网络构成；
13.所述编码网络由一次标准卷积和三次深度可分离卷积组成，每一次卷积均增加了一层bn层，对输出的特征图结果进行归一化；通过多层卷积实现对水上交通图像中天空、海面、船舶等像素特征的提取，得到相应的特征层；
14.所述解码网络采用三次重复的补零、卷积、批标准化、激活和上采样操作，将水上交通图像中的每一个像素赋予一个类别标签；在最后一层解码器输出高维特征表示向量，作为可训练softmax分类器中函数的输入。
15.优选地，所述softmax分类器中softmax函数为：
[0016][0017]
式中，i为第i个节点输出，zi为第i个节点的输出值，c为输出节点的个数，即分类的类别个数。
[0018]
优选地，所述softmax分类器中应用交叉熵作为损失函数，公式为：
[0019][0020]
式中，l
ce
为损失值，m为类别数，ti为真实概率，fi为预测概率。
[0021]
优选地，s3中，选用所述canny检测算法对语义分割图像进行边缘检测的具体过程为：通过代表边缘检测的垂直和水平方向的算子，如水平方向的g
x
和垂直方向的gy所得出一阶导数值，推测出像素点的方向和像素点的梯度g，计算公式为：
[0022][0023][0024]
式中，g代表梯度强度，g
x
代表x方向的梯度幅值，gy代表y方向的梯度幅值，代表像素点的方向，arctan为反正切函数。
[0025]
优选地，s4中，采用所述霍夫变换拟合海天界限的边缘像素的方法是：
[0026]
在图像空间中海天线边缘轮廓像素坐标内的直线设定为预测海天线；
[0027]
在xy平面坐标系中，将任意一条预测海天线上每个点的像素坐标(x，y)通过参数变换到霍夫空间中，得到ρθ平面坐标系的一组单元格h(θ，ρ)，对所述单元格进行投票累加，得到该条预测海天线的累加值，选择累加值最大的预测海天线作为海天线的检测结果。
[0028]
优选地，所述参数变换的公式为：ρ＝xcosθ+ysinθ
[0029]
式中，ρ表示直线到原点的距离，θ为该直线与正x轴的夹角。
[0030]
本发明提出了一种基于语义分割和霍夫变换结合的海天线检测方法，对经典语义分割网络segnet网络进行改进，采用mobilenet网络作为编码网络，并对解码网络进行精简，提出mo-segnet网络，对输入的s1中测试集的水上交通图像进行逐像素分割，并且减少了网络参数。同时，该mo-segnet网络对训练集进行扩充进行深度学习训练，扩充数据集，以增强网络的鲁棒性。第三，在s3中选用canny检测算法对语义分割图像进行边缘检测，将语义分割图像中海天界限以及船舶边缘检测出来，有效排除天空中云层、海面上海浪等线性干扰因素的影响。第四，本发明采用霍夫变换拟合海天线，有效的解决了海天界限受船舶影响破坏连续性的问题。综上所述，本发明用mo-segnet网络模型作为语义分割模型并霍夫变
换拟合海天线，实现了复杂水上交通场景对海天线的精准检测。
附图说明
[0031]
图1为实施例中一种基于语义分割和霍夫变换结合的海天线检测方法流程图。
[0032]
图2为实施例中一种水上交通场景的可见光图像。
[0033]
图3为实施例中包含海天线边缘轮廓及背景的二值图像。
[0034]
图4为实施例中基于语义分割和霍夫变换结合的海天线检测方法输出的海天线检测效果图。
具体实施方式
[0035]
下面结合附图，对本发明的具体实施例做进一步说明。
[0036]
实施例一：
[0037]
如图1所示，一种基于语义分割和霍夫变换结合的海天线检测方法，包括以下步骤：
[0038]
s1：输入水上交通场景的可见光图像，制作水上交通图像的数据集，所述数据集包括训练集和测试集，所述训练集经过扩充之后得到扩充训练集；
[0039]
s2：建立水上交通图像mo-segnet网络模型作为语义分割模型，利用s1中扩充训练集对所述mo-segnet网络模型进行训练得到语义分割权重，利用训练好的mo-segnet网络模型对输入的s1中测试集的水上交通图像进行逐像素分割输出语义分割图像；
[0040]
s3：采用canny检测算法对s2输出的语义分割的图像进行边缘检测，输出仅包含海天线边缘轮廓及背景的二值图像；
[0041]
s4：在二值图像上进行霍夫变换，对海天线边缘轮廓的边缘像素进行拟合，得到海天线检测结果。
[0042]
所述s1中，针对输入的水上交通图像，将图像由标注软件逐像素进行标注制作数据集，将水上交通图像按照像素点分类为天空区域、海面区域和其他区域，其中其他区域包括海面船舶、漂浮物和遮挡物等像素，并将数据集按8:2的比例分为训练集和测试集。并对训练集进行旋转、镜像等图像处理操作，扩充数据集，以增强网络的鲁棒性。
[0043]
所述s2中，建立水上交通图像语义分割模型。具体包括：
[0044]
(1)对经典语义分割网络segnet网络进行改进提出mo-segnet网络模型。
[0045]
编码网络由一次标准卷积和三次深度可分离卷积组成，每一次卷积均增加了一层bn(batchnormalization)层，对输出的特征图结果进行归一化。通过多层卷积实现对水上交通图像中天空、海面、船舶等像素特征的提取，得到相应的特征层。解码网络是对经典segnet网络解码结构进行简化修改，采用三次重复的补零、卷积、批标准化、激活和上采样操作，来将水上交通图像中的每一个像素赋予一个类别标签。在最后一层解码器输出高维特征表示向量，作为可训练softmax分类器的输入。
[0046]
softmax函数的定义计算公式为
[0047]
式中，i为第i个节点输出，zi为第i个节点的输出值，c为输出节点的个数，即分类的类别个数。
[0048]
使用交叉熵作为损失函数，其计算公式为
[0049]
式中，l
ce
为损失值，m为类别数，ti为真实概率，fi为预测概率。
[0050]
(2)将s1中所制作的训练集投入提出的网络模型中进行训练，由训练所得权重对测试集中图像进行预测。
[0051]
所述s3中，选用canny检测算法对语义分割图像进行边缘检测，将语义分割图像中海天界限以及船舶边缘检测出来，有效排除天空中云层、海面上海浪等线性干扰因素的影响。
[0052]
水上交通图像在梯度变化较大的相邻像素之间存在着较大差异，即区域存在边缘。边缘检测具体过程为通过代表边缘检测的垂直和水平方向的算子，如水平方向的g
x
和垂直方向的gy所得出一阶导数值，推测出像素点的方向和像素点的梯度g，计算公式为和
[0053]
式中，g代表梯度强度，g
x
代表x方向的梯度幅值，gy代表y方向的梯度幅值，代表像素点的方向，arctan为反正切函数。
[0054]
在找寻到水上交通图像的强度梯度之后，应用非极大值抑制技术来抑制梯度不够大的像素点，只保留最大的梯度，达到防止边误检的效果。
[0055]
所述s4中，采用霍夫变换拟合海天界限的边缘像素，得到海天线检测结果。霍夫变换的基本思想是将图像空间中的一个像素坐标(x，y)通过参数变换到霍夫空间中的一组单元格h(θ，ρ)进行投票累加，参数曲线由下式定义：
[0056]
ρ＝xcosθ+ysinθ
[0057]
式中，ρ表示直线到原点的距离，θ为该直线与正x轴的夹角。
[0058]
通过ρθ平面坐标系中的累计单元的累加机制，可以得到每条直线的累加值，而每条直线的累加值越大，则表示该直线在xy平面中通过的边缘像素越多，则认为其是海天线的可能性最大。因此，水上交通边缘图像通过霍夫变换得到一个在ρθ平面坐标系累加值最大的点，选择其在xy平面对应的直线作为海天线。
[0059]
实施例二：
[0060]
下面以实力来说明本发明公开的一种基于语义分割和霍夫变换结合的海天线检测方法。本实施例基于深度学习框架tensorflow搭建，采用python程序语言和opencv库实现，具体实施步骤如下：
[0061]
s1：获取典型水上交通场景的可见光图像，制作数据集。
[0062]
本实施例选择一个包含海浪、云层、船舶干扰的典型水上交通场景，原始彩色图像是24位rgb数字图像，分辨率为1920
×
1080，如图2所示。
[0063]
s2：建立水上交通图像语义分割模型，对输入水上交通图像进行逐像素分割。
[0064]
将训练集投入所提出的mo-segnet网络进行特征学习，为了保证网络的有效运行，将原始图像分辨率从1920
×
1080缩小为416
×
416。经过编码网络提取提取特征，解码网络解析特征，实现对水上交通图像的分割，将图像分割为天空区域、海面区域和其他区域三类，如图3所示。
[0065]
s3：采用canny检测算法对语义分割的图像进行边缘检测，从而获得仅包含边缘轮廓及背景的二值图像。
[0066]
语义分割图像中将云层等像素归类为天空区域，海浪等像素归类为海绵区域，船舶等像素归类为其他区域，为后续边缘检测有效的减少了云层、海浪等线性噪声的干扰。
[0067]
s4：在二值图像上进行霍夫变换，对海天界限的边缘像素进行拟合，得到海天线检测结果。
[0068]
拟合海天边缘处的像素作为最终海天线检测结果，如图4所示。
[0069]
为了量化评价本实施例所提出的一种基于语义分割和霍夫变换结合的海天线检测方法，在一个典型的水上交通场景下进行实验，并与pspnet网络、unet网络和deeplab v3+网络进行对比，采用accuracy、precision、f1-score、iou等评价指标。其计算公式如下：
[0070][0071][0072][0073][0074][0075]
式中：rb表示正确分类为背景的像素数；rh表示正确分类为海天线区域的像素数；lb表示被错误分类为海天线区域的背景像素数；lh表示被错误分类为背景的海天线区域像素数。
[0076]
计算结果如表1所示。
[0077]
表1
[0078][0079]
本实施例场景为海浪干扰场景下拍摄的监控视频，图中包含大量云层、海浪和船舶等干扰因素。由表1可知，本实施例所提出的mo-segnet语义分割网络和霍夫变换结合的海天线检测方法相比其他网络算法在各个评价指标上均有一定的提升，基本实现了在复杂水上交通场景下海天线的精确检测。
[0080]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈诉的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

技术特征：
1.一种基于语义分割和霍夫变换结合的海天线检测，其特征在于，包括以下步骤：s1：输入水上交通场景的可见光图像，制作水上交通图像的数据集；所述数据集包括训练集和测试集，所述训练集经过扩充之后得到扩充训练集；s2：建立水上交通图像mo-segnet网络模型作为语义分割模型，利用s1中扩充训练集对所述mo-segnet网络模型进行训练得到语义分割权重，利用训练好的mo-segnet网络模型对输入的s1中测试集的水上交通图像进行逐像素分割输出语义分割图像；s3：采用canny检测算法对s2输出的语义分割的图像进行边缘检测，输出仅包含海天线边缘轮廓及背景的二值图像；s4：在二值图像上进行霍夫变换，对海天线边缘轮廓的边缘像素进行拟合，得到海天线检测结果。2.如权利要求1所述的基于语义分割和霍夫变换结合的海天线检测方法，其特征在于，s1中，针对输入所述水上交通场景的可见光图像，将图像由标注软件逐像素进行标注制作数据集，将水上交通图像按照像素点分类为天空区域、海面区域和其他区域，并将所述数据集按8:2的比例分为训练集和测试集，对训练集进行旋转、镜像图像处理对训练集进行扩充，最终得到扩充训练集；所述其他区域包括海面船舶、漂浮物和遮挡物像素。3.如权利要求1所述的基于语义分割和霍夫变换结合的海天线检测方法，其特征在于，s2中，所述mo-segnet网络模型由编码网络和解码网络构成；所述编码网络由一次标准卷积和三次深度可分离卷积组成，每一次卷积均增加了一层bn层，对输出的特征图结果进行归一化；通过多层卷积实现对水上交通图像中天空、海面、船舶等像素特征的提取，得到相应的特征层；所述解码网络采用三次重复的补零、卷积、批标准化、激活和上采样操作，将水上交通图像中的每一个像素赋予一个类别标签；在最后一层解码器输出高维特征表示向量，作为可训练softmax分类器中函数的输入。4.如权利要求3所述的基于语义分割和霍夫变换结合的海天线检测方法，其特征在于，所述softmax分类器中softmax函数为：式中，i为第i个节点输出，z
i
为第i个节点的输出值，c为输出节点的个数，即分类的类别个数。5.如权利要求3所述的基于语义分割和霍夫变换结合的海天线检测方法，其特征在于，所述softmax分类器中应用交叉熵作为损失函数，公式为：式中，l
ce
为损失值，m为类别数，t
i
为真实概率，f
i
为预测概率。6.如权利要求1所述的基于语义分割和霍夫变换结合的海天线检测方法，其特征在于，s3中，选用所述canny检测算法对语义分割图像进行边缘检测的具体过程为：通过代表边缘检测的垂直和水平方向的算子，如水平方向的g
x
和垂直方向的g
y
所得出一阶导数值，推测出像素点的方向和像素点的梯度g，计算公式为：
式中，g代表梯度强度，g
x
代表x方向的梯度幅值，g
y
代表y方向的梯度幅值，代表像素点的方向，arctan为反正切函数。7.如权利要求1所述的基于语义分割和霍夫变换结合的海天线检测方法，其特征在于，s4中，采用所述霍夫变换拟合海天界限的边缘像素的方法是：在图像空间中海天线边缘轮廓像素坐标内的直线设定为预测海天线；在xy平面坐标系中，将任意一条预测海天线上每个点的像素坐标(x，y)通过参数变换到霍夫空间中，得到ρθ平面坐标系的一组单元格h(θ，ρ)，对所述单元格进行投票累加，得到该条预测海天线的累加值，选择累加值最大的预测海天线作为海天线的检测结果。8.如权利要求7所述的基于语义分割和霍夫变换结合的海天线检测方法，其特征在于，所述参数变换的公式为：ρ＝xcosθ+ysinθ式中，ρ表示直线到原点的距离，θ为该直线与正x轴的夹角。

技术总结
本发明提出了一种基于语义分割和霍夫变换结合的海天线检测方法，具体步骤为：S1：输入水上交通场景的可见光图像，制作水上交通图像的数据集，S2：建立水上交通图像Mo-SegNet网络模型作为语义分割模型，对输入的测试集的水上交通图像进行逐像素分割输出语义分割图像；S3：采用Canny检测算法对S2输出的语义分割的图像进行边缘检测，输出仅包含海天线边缘轮廓及背景的二值图像；S4：在二值图像上进行霍夫变换，对海天线边缘轮廓的边缘像素进行拟合，得到海天线检测结果。本发明用Mo-SegNet网络模型作为语义分割模型并霍夫变换拟合海天线，实现了复杂水上交通场景对海天线的精准检测。实现了复杂水上交通场景对海天线的精准检测。实现了复杂水上交通场景对海天线的精准检测。


技术研发人员：陈信强 韩冰 吴中岱 陈建慧 段载誉
受保护的技术使用者：上海海事大学
技术研发日：2023.06.28
技术公布日：2023/10/5