一种水下原位图像的目标检测方法和系统

1.本技术涉及水环境监测领域，特别涉及一种水下原位图像的目标检测方法和系统。


背景技术：

2.浮游生物广泛分布于海洋中，它们是海洋生态系统和海洋食物网中的关键一环，其有害暴发也会造成巨大的损失，具有重要的研究价值和观测意义。
3.基于光学成像的浮游生物原位观测技术通常包含如下步骤：先利用原位成像仪在水下拍摄原始图像，然后进行预处理，包括目标检测，最后对目标图像进行存储、传输、识别、测量和分析，得到观测结果。其中，目标检测从原图中获取图像上目标所在区域，再进行裁剪，获得每张包含一个目标的小图(roi)，才便于进行后续的识别、处理与分析的。目标检测的效果和运行效率很大程度影响着对后续识别分析准确性以及整个原位观测系统运行效率。
4.相关技术中，campbell r等公开了一种浮游生物和微粒的原位观测方法，先对原始图像以最邻近插值下采样四倍，转换成8位图像，以减小计算量。然后应用canny边缘检测操作获取图像中目标所在位置。接着利用形态学闭操作，将边缘的断裂部分闭合起来。再使用 opencv的findcontours函数检测目标的轮廓，得到目标的边界框，并对边界大于300个像素的目标的外接矩形以50％的系数从中心向外扩大。再从原始图像上分割出边界框对应的目标的roi图像。
5.yamazaki h等公开了一种用于了解浮游生态系统的综合长期、高频生物、化学、物理测量的有线观测系统，利用blob特征检测算法，检测与周围像素有明显亮度差异的的连续区域，并设定连续像素数量阈值，大于该阈值则判定其为目标，获取其边界框，再根据事先设定的因子来扩大边界框的大小，裁剪获得roi子图。
6.cheng k等公开了一种用于浮游生物识别和枚举的增强型卷积神经网络，先设定亮度阈值，对图像进行二值化。然后对图像执行形态学开操作以消除背景噪声。再通过目标边缘，获得目标所在位置，最后裁剪获得目标roi子图。
7.geraldes p等公开了一种原位实时浮游动物检测和分类，利用深度神经网络模型进行目标检测。先利用人工标注大量图像中的目标，构建训练数据集，再训练网络。训练完成后，原始图像输入网络，在输出端可得到图中目标边界框信息，并根据此裁剪roi子图。
8.但是，现有技术有的检测方法背景噪声干扰导致检测效果不好，难以在高浊度海水中有效；有的检测方法参数需人工设置，当图像亮度改变时参数也许重新设置；有的检测方法容易忽略图像中较为透明的目标，造成目标漏检和依赖大量标注图像用作训练集，且神经网络模型训练时间长、计算复杂度高，不利于在低功耗、低成本、低算力的平台上部署算法。


技术实现要素：

9.本技术实施例提供一种水下原位图像的目标检测方法和系统，以解决相关技术中易被背景噪音干扰、自适应性差、效率低，不利于在低功耗、低成本、低算力的平台上部署算法的问题。
10.为实现上述目的，本发明采用以下技术方案予以实现：
11.一种水下原位图像的目标检测方法，其特征在于，其步骤包括：
12.s1.将原始图像进行预处理，得到灰度图像；利用滑动窗移动遍历所述灰度图像；所述滑动窗每次移动时，获取当前滑动窗对应图像子块内每个像素亮度值的第一分位数，并将遍历所获取的所有第一分位数依次排列，获得分位数列表；
13.s2.计算所述分位数列表的第二分位数，将所述第二分位数加上预设偏置值作为分位数阈值，之后将所述分位数阈值与所述第一分位数对比，判断所述图像子块是否为前景，并构建二值图像；
14.s3.利用连通域检测算法，计算所述二值图像上的连通域，获得所述连通域的外接矩形框坐标，并将所述外接矩形框坐标映射回所述灰度图像上，裁剪并获得roi图像。
15.一些实施例中，所述构建二值图像包括：
16.每个像素代表灰度图像上的一个滑动窗，其纵坐标表示滑动窗在灰度图像上所属行号，其横坐标表示滑动窗为所在行的第几个滑动窗，根据所述图像子块属于前景或背景，像素值分别用1或0表示。
17.一些实施例中，所述步骤s2中判断所述图像子块是否为前景包括：
18.判断所述列表中的所述第一分位数与所述分位数阈值的大小关系，若前者大于后者，则当前第一分位数对应的所述图像子块为前景，反之为背景。
19.一些实施例中，所述步骤s3包括：
20.s31.利用连通域检测算法，计算所述二值图像上的连通域，获取所述连通域的外接矩形框坐标；
21.s32.将所述外接矩形框坐标转换到所述灰度图像上，获得目标定位信息；
22.s33.根据所述目标定位信息从原始图像上裁剪所需矩形区域，获得包含浮游生物目标的roi图像。
23.一些实施例中，所述原始图像预处理包括将原始图像转化为灰度图像并将其尺寸缩小。
24.一些实施例中，滑动窗的移动步长与滑动窗宽度的关系为：
25.patch_step＝factor*patch_size/2；
26.其中patch_step为滑动窗的移动步长，factor为灰度图像的缩放倍数，factor*patch_size为滑动窗的宽度。
27.一些实施例中，当滑动窗为矩形时，将所述外接矩形框的坐标转换到灰度图像上，采用的公式为：
28.x1’＝x1*patch_step/factor；y1’＝y1*patch_step/factor；
29.x2’＝x2*patch_step/factor；y2’＝y2*patch_step/factor；
30.其中x1、y1、x2、y2为所述外接矩形框的坐标值，x1’、x2’、 y1’、y2’为灰度图像中所对应的矩形框的坐标值。
31.一些实施例中，所述滑动窗形状为正方形、长方形、圆形、梯形或三角形。
32.一些实施例中，所述第一分位数与第二分位数的取值范围为 25％-75％。
33.一种水下原位图像的目标检测系统，其特征在于，包括：计算机可读存储介质和处理器；
34.所述计算机可读存储介质用于存储可执行指令；
35.所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行上述水下原位图像的目标检测方法。
36.本技术提供的技术方案带来的有益效果包括：
37.(1)本发明利用滑动窗，并以分位数描述滑动窗内图像特征，具有更强的自适应能力，抗背景噪声和亮度变化的干扰能力强，可满足在不同浊度海水环境下的目标检测工作精度要求。
38.(2)本发明利用分位数自适应地确定划分前景与背景的阈值，相比于现有非基于学习的技术，具有更好的自适应性，能适应图像亮度的变化，且算法灵敏度高，对低亮度目标检测效果好；算法无需训练，实施难度小，且包含更少的手工调整参数，使用难度低。
39.(3)本发明将原图上的滑动窗映射至二值小图，并在其上进行目标边界框检测，该步骤处理的图像尺寸更小，计算效率更高，采用的计算优化方法具有更小的计算量，既可满足在浮游生物原位成像仪内置的低功耗、低算力的嵌入式计算平台上的实时处理需求，也可在云端服务器上实现后处理，用途多样，应用场景广泛。
40.本技术实施例提供了一种水下原位图像的目标检测方法和系统，由于本发明先缩小图像尺寸下采样，再利用滑动窗遍历图像，同时统计滑动窗区域内像素亮度分位数后，对滑动窗分位数再统计分位数作为阈值，并判断滑动窗对应图像区域是否为前景，接着生成二值图，并在其上计算前景的外接矩形框，最终将外接矩形框坐标映射回原始图像，裁剪并获得roi图像。因此，本发明实施难度小、具有更强的自适应能力且灵敏度高，还具有更小的计算量应用场景更广泛。
附图说明
41.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1为本发明实施例中水下原位图像的目标检测方法流程图；
43.图2为本发明实施例中对浮游生物原位图像目标检测的样例。
具体实施方式
44.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.本技术实施例提供了一种水下原位图像的目标检测方法和系统，配合浮游生物成
像仪仪器工作，解决从成像仪采集的原始图像中定位和提取目标前景图像的问题，可为数据后续的识别、测量和分析做好准备，提高其准确性。
46.参照图1，一种水下原位图像的目标检测方法其具体步骤包括：
47.步骤一：原始图像初始化，将彩色图像转为灰度图像便于处理、缩小图像尺寸加速计算；
48.s11.逐像素对原始图像i_raw的rgb三通道求平均，得到灰度图像i_raw_gray；
49.s12.对灰度图像i_raw_gray的长宽缩放factor倍，得到缩放后的图像i_gray。
50.步骤二：滑动窗分位数统计，利用滑动窗遍历图像，本实施例中计算每个滑动窗对应图像子块内的像素值50％分位数，使此方法具有更好的抗背景噪音干扰的能力；
51.s21.本实施例中利用窗宽为factor*patch_size的滑动窗，以每步 patch_step的步长逐行沿从左向右方向移动，遍历缩放后的图像 i_gray，其中patch_step＝factor*patch_size/2；
52.s22.滑动窗每移动一次，计算当前滑动窗对应图像子块内每个像素的亮度值从小到大排序的50％分位数q_0.5，并依次记入列表 qs_0.5中。
53.在一些实施例中，每个滑动窗对应图像子块内每个像素的亮度值的分位数的取值范围为25％-75％。
54.在一些实施例中，滑动窗的形状可为长方形、圆形、梯形或三角形等任意二维平面的闭合图形。
55.在一些实施例中，滑动窗的的遍历顺序可以是逐列从上到下遍历、乱序遍历或者编写并行计算程序同时计算所有的滑动窗。
56.步骤三：滑动窗前景判断，判断滑动窗对应子图内是否为包含目标的前景区域，使该方法具有更好的自适应性，能适应图像亮度的变化；
57.s31.本实施例中计算qs_0.5从小到大排序的75％分位数q_0.75，再加上q_bias(经验取值为2)，获得区分前景与背景的分位数阈值 q_thresh；
58.s32.判断qs_0.5中每个元素q_0.5与q_thresh的大小关系。若 q_0.5》q_thresh，则标记当前q_0.5对应的滑动窗范围内的图像子块为前景区域，否则，标记子块为背景区域。
59.s33.构建二值图像i_bin。每个像素代表灰度图像i_gray上的一个滑动窗，其纵坐标表示滑动窗在灰度图像i_gray上所属行号，其横坐标表示滑动窗为所在行的第几个滑动窗。根据滑动窗属于前景或背景，像素值分别用1或0表示，加速后续的目标定位与roi提取步骤的计算流程。
60.步骤四：目标定位与roi提取，分离二值图像i_bin上的前景目标，映射坐标至原始图像i_raw上并提取目标图像；
61.s41.本实施例中，利用连通域检测算法，计算二值图像i_bin上的连通域，并获取其外接矩形框的左上角坐标(x1,y1)和右下角坐标 (x2,y2)；
62.s42.转换二值图像i_bin上目标边界框坐标至灰度图像i_gray上：
63.x1’＝x1*patch_step/factor；y1’＝y1*patch_step/factor
64.x2’＝x2*patch_step/factor；；y2’＝y2*patch_step/factor；
65.s43.从原始图像i_raw上裁剪左上角和右下角坐标分别为(x1’, y1’)和(x2’,
y2’)的矩形区域，获得包含浮游生物目标的roi图像。
66.在一些实施例中，滑动窗的的遍历顺序可以是逐列从上到下遍历、乱序遍历或者编写并行计算程序同时计算所有的滑动窗。
67.浮游生物原位图像目标检测的结果如图2所示，其中，左侧为一张在高浊度海水中拍摄的含有两个棕囊藻目标的原始图像。棕囊藻具有较高的透明度，其亮度接近背景，检测难度大。左图白色矩形框显示了本发明对该图像中目标位置的检测效果，右侧为提取的roi图像。
68.一种水下原位图像的目标检测方法中涉及的变量名称含义的对照如表1所示。
69.表1
[0070][0071][0072]
本发明实施例还提供了一种水下原位图像的目标检测系统包括：计算机可读存储介质和处理器；
[0073]
所述计算机可读存储介质用于存储可执行指令；
[0074]
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行上述水下原位图像的目标检测方法。
[0075]
需要说明的是，在本发明中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者
设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0076]
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种水下原位图像的目标检测方法，其特征在于，其步骤包括：s1.将原始图像进行预处理，得到灰度图像；利用滑动窗移动遍历所述灰度图像；所述滑动窗每次移动时，获取当前滑动窗对应图像子块内每个像素亮度值的第一分位数，并将遍历所获取的所有第一分位数依次排列，获得分位数列表；s2.计算所述分位数列表的第二分位数，将所述第二分位数加上预设偏置值作为分位数阈值，之后将所述分位数阈值与所述第一分位数对比，判断所述图像子块是否为前景，并构建二值图像；s3.利用连通域检测算法，计算所述二值图像上的连通域，获得所述连通域的外接矩形框坐标，并将所述外接矩形框坐标映射回所述灰度图像上，裁剪并获得roi图像。2.根据权利要求1所述的目标检测方法，其特征在于，所述构建二值图像包括：每个像素代表灰度图像上的一个滑动窗，其纵坐标表示滑动窗在灰度图像上所属行号，其横坐标表示滑动窗为所在行的第几个滑动窗，根据所述图像子块属于前景或背景，像素值分别用1或0表示。3.根据权利要求1所述的目标检测方法，其特征在于，所述步骤s2中判断所述图像子块是否为前景包括：判断所述列表中的所述第一分位数与所述分位数阈值的大小关系，若前者大于后者，则当前第一分位数对应的所述图像子块为前景，反之为背景。4.根据权利要求1所述的目标检测方法，其特征在于，所述步骤s3包括：s31.利用连通域检测算法，计算所述二值图像上的连通域，获取所述连通域的外接矩形框坐标；s32.将所述外接矩形框坐标转换到所述灰度图像上，获得目标定位信息；s33.根据所述目标定位信息从原始图像上裁剪所需矩形区域，获得包含浮游生物目标的roi图像。5.根据权利要求1所述的目标检测方法，其特征在于，所述原始图像预处理包括将原始图像转化为灰度图像并将其尺寸缩小。6.根据权利要求5所述的目标检测方法，其特征在于，滑动窗的移动步长与滑动窗宽度的关系为：patch_step＝factor*patch_size/2；其中patch_step为滑动窗的移动步长，factor为灰度图像的缩放倍数，factor*patch_size为滑动窗的宽度。7.根据权利要求4所述的目标检测方法，其特征在于，当滑动窗为矩形时，将所述外接矩形框的坐标转换到灰度图像上，采用的公式为：x1’＝x1*patch_step/factor；y1’＝y1*patch_step/factor；x2’＝x2*patch_step/factor；y2’＝y2*patch_step/factor；其中x1、y1、x2、y2为所述外接矩形框的坐标值，x1’、x2’、y1’、y2’为灰度图像中所对应的矩形框的坐标值。8.根据权利要求1所述的目标检测方法，其特征在于，所述滑动窗形状为正方形、长方形、圆形、梯形或三角形。9.根据权利要求1所述的目标检测方法，其特征在于，所述第一分位数与第二分位数的
取值范围为25％-75％。10.一种水下原位图像的目标检测系统，其特征在于，包括：计算机可读存储介质和处理器；所述计算机可读存储介质用于存储可执行指令；所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至9任一项所述的一种水下原位图像的目标检测方法。

技术总结
本申请涉及一种水下原位图像的目标检测方法和系统，其步骤包括：将原始图像进行预处理，得到灰度图像；利用滑动窗移动遍历所述灰度图像；所述滑动窗每次移动时，获取当前滑动窗对应图像子块内每个像素亮度值的第一分位数，并将遍历所获取的所有第一分位数依次排列，获得分位数列表；计算所述分位数列表的第二分位数，将所述第二分位数加上预设偏置值作为分位数阈值，之后将所述分位数阈值与所述第一分位数对比，判断所述图像子块是否为前景，并构建二值图像；利用连通域检测算法，计算所述二值图像上的连通域，获得所述连通域的外接矩形框坐标，并将所述外接矩形框坐标映射回所述灰度图像上，裁剪并获得ROI图像。裁剪并获得ROI图像。裁剪并获得ROI图像。


技术研发人员：杨振宇 李剑平 陈涛
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：2022.03.18
技术公布日：2023/9/22