一种基于机器视觉的泵吸式死鱼打捞机器人

1.本发明涉及养殖设备技术领域，具体指一种基于机器视觉的泵吸式死鱼打捞机器人。


背景技术：

2.近年来，随着经济的发展，人们生活水平的日益提高，对水产品需求量也越来越多，由于池塘化水产养殖可控性差，工厂化水产养殖已逐渐成为水产养殖业的主要方向。但与之配套的生产辅助装备发展还不完善，尤其是养殖池中漂浮死鱼的捞除技术与装备尚鲜有涉及，相对于封闭的养殖系统，而且养殖密度高，一旦出现死鱼非常容易感染，因此对死鱼的快速清理提出了更高的要求。目前，只能通过工人在巡查过程中观察池子的各种地方是否有死鱼，而且在水质比较浑浊的情况下，更难以发现其中的死鱼。但如果不将死鱼及时捞出，将会带来死鱼腐烂影响水质、死鱼堵塞出水管道、有病的死鱼被同类吃掉继续导致同类死亡等问题，故而提出一种基于机器视觉的泵吸式死鱼打捞机器人来解决上述所提出的问题。


技术实现要素：

3.本发明的目的是为了解决上述的问题，而提出的一种基于机器视觉的泵吸式死鱼打捞机器人，实现死鱼的目标追踪和实时打捞，降低渔业养殖风险、改善渔业养殖环境，降低人工成本。
4.为了解决上述技术问题，本发明的技术方案为：
5.一种基于机器视觉的泵吸式死鱼打捞机器人，包括行走机构，所述行走机构上设置有机架，所述机架的底端设置有控制箱、机械臂和深度相机，所述行走机构包括两个主动轮、一个辅助轮、两个张紧轮和张紧底座，所述主动轮的下端与张紧轮的上端设置有行走轨道，所述机架底部的上端面设置有控制箱，所述控制箱内设有运动模块，目标检测模块和坐标转换模块，所述机架底部的下端面设置有机械臂与深度相机，所述机械臂的末端设置水泵，所述水泵的下端设置抄网。
6.作为优选，所述行走机构包括两个主动轮，一个辅助轮，两个张紧轮和张紧底座。所述行走机构在行走轨道上运动，所述行走轨道包括轨道和立柱，所述行走轨道的前端设置有零点传感器，所述零点传感器正下方放有死鱼回收箱。
7.作为优选，所述机械手包括，机械臂顶端连接件，机械臂末端连接件，第一关节，第二关节，第三关节，第四关节，第一机械臂和第二机械臂，机械臂的每个关节内部都装有防水电机，所述机械臂的末端安装有与水泵连接的旋转件。
8.作为优选，所述深度相机的镜头处设置有自动刷洗装置，深度相机的外壳装有镜头保护膜，清洁刷和电机。
9.作为优选，所述控制箱，控制箱主要包括中控机，stm32开发板、锂电池等。
10.作为优选，所述水泵的下端安装有连接抄网的夹具，保证抄网安装在水泵前端正
下方。
11.本发明具有以下的特点和有益效果：
12.本发明通过设置有轨道，节省了工厂化养殖的地面空间，路径运动可靠，不用考虑机器人导航的路径规划问题，通过行走机构运动到每个养殖池正上方，然后通过深度相机识别养殖池内鱼的情况，若识别到死鱼则发送出坐标信息，再通过机械臂将水泵运动到坐标位置，然后通过开启水泵，将死鱼吸附在水泵的前端，再通过机械臂末端运动离开水池，水泵自动停止工作，吸附的死鱼脱离水泵落入抄网，最后行走机构运动到零点位置旋转机械臂末端，使得死鱼落入回收箱中，实现死鱼的目标追踪和实时打捞，有效推动智慧渔业的发展，提高渔业生产效率和产量、保障水产品安全、降低渔业养殖风险、改善渔业养殖环境。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明一种基于机器视觉的泵吸式死鱼打捞机器人的整体结构示意图；
15.图2为本发明一种基于机器视觉的泵吸式死鱼打捞机器人的行走轨道整体示意图；
16.图3为本发明一种基于机器视觉的泵吸式死鱼打捞机器人的行走机构示意图；
17.图4为本发明一种基于机器视觉的泵吸式死鱼打捞机器人的深度相机自动清洁装置示意图；
18.图5为本发明一种基于机器视觉的泵吸式死鱼打捞机器人的机械臂示意图；
19.图6为本发明一种基于机器视觉的泵吸式死鱼打捞机器人的水泵示意图；
20.图7为本发明一种基于机器视觉的泵吸式死鱼打捞机器人的总技术路线图。
21.图中，1、控制箱；2、行走轨道；3、行走机构；4、机架；5、深度相机；6、水泵；7、抄网；8、机械手；9、照明灯；21、零点传感器；31、张紧底座；32、辅助轮；33、张紧轮；34、主动轮；51、镜头保护膜；52、清洁刷；53、电机；61、出水口；62、进水口；63、吸附端；64、无刷直流电机；81、第一关节；82、第二关节；83、第四关节；84、第三关节；85、第一机械臂；86、第二机械臂；88机械臂顶端连接件；89、机械臂末端连接件。
具体实施方式
22.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
23.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可
以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
24.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
25.本实施例提供了一种基于机器视觉的泵吸式死鱼打捞机人，如图1-图5所示，包括行走机构3，所述行走机构3上设置有机架4，机架4的底端设置有控制箱1、机械臂8和深度相机5，所述行走机构包括两个主动轮34、一个辅助轮32、两个张紧轮33和行车架31，所述主动轮34的下端与张紧轮33的上端设置有行走轨道2，所述机架4底部的上端面设置有控制箱1，所述机架4底部的下端面设置有机械臂8与深度相机5，所述机械臂8的末端设置水泵6，所述水泵的下端设置抄网7，控制箱1上设置有处理器，所述微处理器的型号为stm32f103，微处理器能完成取指令、执行指令，以及与外界存储器和逻辑部件交换信息操作，所述控制箱1内设置jetson xavier nx中控机，用于处理相机传入的视频，对死鱼的实时识别并实现对死鱼和抄网的坐标位置获取等操作，所述行车架31上设置有两个伺服驱动，用于对行走机构更精确的控制，所述控制箱1内设置锂电池，所述锂电池设置有蓝牙模块，对锂电池剩余电量进行实时检测；数据库用于将采集的不同时期、不同品种的水产动物活动数据存储，用户可以对文件中的数据运行新增、截取、更新、删除操作；机器视觉系统，机器视觉系统通过yolov5s对水下目标跟踪，用siamrpn++对复杂场景下的多目标跟踪，yolo检测到死鱼后，将目标帧的初始位置传递给siamrpn++，然后跟踪后续帧中的目标，最终对死鱼进行实时识别；转换坐标系是通过采集图像中棋盘格的信息、aruco码的位姿信息和机械臂末端抄网的位姿信息得到相机内参标定参数和手眼标定参数，实现将死鱼的像素坐标位置转换为机械臂基础坐标系位置，实现死鱼的坐标系转换。
26.具体的，参照图1-7，其中，行走轨道2包括轨道和立柱，轨道2的前端设置有零点传感器21，所述零点传感器21正下方放有死鱼回收箱。
27.通过上述结构设置，能够使得行走机构3按照轨道的路线行走，防止出现机器人碰撞，避免行走机构复杂的路径规划问题，并且在捞出死鱼后，可回到零点位置倒出死鱼。
28.参照图1-7，其中，行走机构3包括两个主动轮34，一个辅助轮32，两个张紧轮33和行车架31；
29.通过上述结构设置，可使得机器人平稳运行，防止出现振动，确保机架4可承受机械臂8，电控箱1，水泵6和抄网7，以及5kg死鱼的重量。
30.参照图1-7，其中，深度相机5外壳装有镜头保护膜51，清洁刷52和电机53；
31.通过上述结构设置，通过电机53带动清洁刷52的转动，可以清洁深度相机5外壳的镜头保护膜51，使得机器人在工作状态下，深度相机保持在清晰状态，避免机器人在运行时，镜头表面附着水雾、污渍等影响对死鱼的识别。
32.参照图1-7，其中，机械臂8包括，机械臂顶端连接件88，机械臂末端连接件89，第一关节81，第二关节82，第三关节84，第四关节83，第一机械臂85和第二机械臂86，机械臂8的每个关节内部都装有防水电机。
33.具体的，机械臂顶端连接件88的一侧固定安装在第一关节81内的防水电机的输出轴端部，第二关节内的防水电机的输出轴端部与第一关节81内防水电机的外壁固定连接；第一机械臂85的一端与第二关节82内的防水电机的外壁固定连接；第一机械臂85的另一端与第三关节84内的防水电机的外壁固定连接，第三关节84内的防水电机的输出轴的端部与第二机械臂86的一端径向外壁固定连接，所述第二机械86的另一端与第四关节83内的防水电机的外壁固定连接，机械臂末端连接件89固定安装在第四关节83内的防水电机的输出轴端部。
34.通过上述结构设置，通过各个关节的电机转动，可以使得水泵6运动到养殖池水面的各个位置，并且机械臂8的第二关节86与第四关节防水，使得其可在水下稳定运行。
35.参照图1-7，其中，水泵6包括，出水口61，进水口62，吸附端63，无刷直流电机64；
36.具体的，如图6所示，所述水泵6包括壳体和无刷直流电机64，所述壳体上设有进水口62和出水口61，所述进水口62设有吸附端63，所述吸附端63得端面为弧形面，所述进水口62分布在弧形面。
37.通过上述结构设置，通过水泵6内无刷直流电机64的转动带动叶轮，使得进水口62吸入池水，并产生吸力，将死鱼吸附到吸附端63附近或者吸附在吸附端63上，而未吸附死鱼前的池水由出水口61排除。
38.参照图1-7，其中，机架4的下端面装有照明灯9；
39.通过上述结构设置，设置有照明灯9，使得机器人在对死鱼进行识别时，照明灯9能够对其进行补光，从而保证识别的精准度。
40.进一步的，本实施例对上述技术方案的工作原理进行阐述：
41.准备工作：第一部分为目标追踪，首先制作死鱼数据集，获得大量死鱼图片，包括一条死鱼、两条死鱼、多条死鱼、无进水、无进水无曝光、黑暗、朦胧、日光照射、水雾等情况的图片。其次利用labelimg软件对上述图像进行标注，并按比例分为训练集和验证集。再通过yolov5s进行训练生成自己的目标检测模型，最后通过自己训练的模型可以实现对相机输入的视频进行实时死鱼检测。第二部分为坐标转换，首先使用小孔成像的原理对深度相机5建立数学模型，使用ros内部的相机标定算法对相机进行标定，确定内部参数、切向畸变参数和径向畸变。其次对深度相机5和机械臂8使用眼在手外的方式手眼标定进行理论建模，最后通过算法实现手眼标定。
42.如图7所示，具体步骤如下：
43.第一步：启动机器人，行走机构3开始运动，然后与零点传感器21接触，停在零点位置，开启深度相机5，即为待机状态。
44.第二步：行走机构开始运行，根据编码器传回的信息判断是否运动到下一个养殖池中心的正上方。若是，则停留，等待图像识别模块识别完毕；若否，则继续运动到下一养殖池中心的正上方。
45.第三步：在目标跟踪中得到死鱼在图像像素信息以后，需要将其转换为机械手基坐标系的位姿信息，使得机械手8能够运动到死鱼位置去捞除死鱼。首先需要通过相机标定求解出相机的内参，其次通过手眼标定方法确定死鱼像素坐标系到机械手基础坐标系的外参。通过在水面上的死鱼位置高度将像素坐标下的死鱼位置映射到机械手需要运动到的捞除位置。
46.第四步：当机械臂8运动到死鱼位置后，传回电信号，延时5秒使得养殖池的水进入水泵6，开启水泵6，将死鱼吸附在水泵6的前端，延时5秒后，启动机械臂8，将水泵6运离水面，此时水泵脱离水面自动停止工作，吸附在水泵前端的死鱼落入抄网7中。
47.第五步：行走机构3自动寻找零点位置，当找到零点位置时启动连接水泵6和机械臂8末端的电机，使得其旋转180
°
将死鱼从抄网7中倒出，落入回收箱中，从而实现了死鱼的自动打捞。
48.以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

技术特征：
1.一种基于机器视觉的泵吸式死鱼打捞机器人，其特征在于，包括行车轨道(2)、行车机构(3)、识别系统和打捞机构，所述行车机构(3)可移动安装在行车轨道(2)，所述行车机构(3)的底部固定设置有机架(4)，所述识别系统和打捞机构均设置在机架(4)上，所述机架(4)上安装有控制箱(1)和深度相机(5)，所述控制箱(1)分别与行车机构(3)和打捞机构信号连接，所述控制箱(1)内设置有主控单元、目标检测模块和坐标转换模块，所述目标检测模块加载有机器视觉模型，所述坐标转换模块加载有ros系统内部的相机标定算法。2.根据权利要求1所述的基于机器视觉的泵吸式死鱼打捞机器人，其特征在于，所述行车机构(3)包括行车架(31)、驱动单元、主动轮(34)和张紧轮(33)，所述行车架(31)上设置有两个张紧底座，两个所述主动轮(34)分别通过旋转轴承安装在张紧底座上，所述驱动单元的输出轴与安装有主动轮(34)的旋转轴承固定连接，两个所述张紧轮(33)分别位于两个主动轮(34)下方，两个所述主动轮(34)滚动设置在行车轨道(2)上方，两个所述从动轮(33)压紧至行车轨道(2)下方。3.根据权利要求2所述的基于机器视觉的泵吸式死鱼打捞机器人，其特征在于，两个所述主动轮(34)之间设有辅助轮(32)。4.根据权利要求2所述的基于机器视觉的泵吸式死鱼打捞机器人，其特征在于，所述机架(4)固定在行车架(31)的底部，所述打捞机构包括机械手(8)、水泵(6)和抄网(7)，所述机械手(8)包括第一关节(81)、第二关节(82)、第三关节(84)和第四关节(83)、第一机械臂(85)和第二机械臂(86)，所述第一关节(81)的一端通过机械臂顶端连接件(88)固定安装在机架(4)底部，所述第二关节(82)连接至第一关节(81)，所述第一机械臂(85)的一端与第二关节(82)相连接，所述第三关节(84)安装至第一机械臂(85)的另一端，所述第二机械臂(86)的一端连接至第三关节(84)，所述第四关节(83)安装在第二机械臂(86)的另一端，所述第四关节(83)上设置有机械臂末端连接件(89)，所述水泵(6)和抄网(7)均安装在机械臂末端连接件(89)上。5.根据权利要求4所述的基于机器视觉的泵吸式死鱼打捞机器人，其特征在于，所述水泵(6)包括壳体和无刷直流电机(64)，所述壳体上设有进水口(62)和出水口(61)，所述进水口(62)设有吸附端(63)，所述吸附端(63)得端面为弧形面，所述进水口(62)分布在弧形面。6.根据权利要求2所述的基于机器视觉的泵吸式死鱼打捞机器人，其特征在于，所述深度相机(5)设置在机架(4)的底侧，所述深度相机(5)包括相机本体和清洁刷(52)，所述相机本体的镜头处设置有镜头保护膜(51)，所述相机本体的底侧设置有电机(53)，所述清洁刷(52)安装在电机(53)的输出端。7.根据权利要求5所述的基于机器视觉的泵吸式死鱼打捞机器人，其特征在于，所述机架(4)的底侧还设置有照明灯(9)，所述照明灯(9)靠近深度相机(5)。8.根据权利要求1-7任意一项所述的基于机器视觉的泵吸式死鱼打捞机器人，其特征在于，所述行车轨道(2)的两端设置有与行车机构(3)相配合的零点传感器(21)。9.根据权利要求8所述的基于机器视觉的泵吸式死鱼打捞机器人，其特征在于，所述主控单元包括中控机和微处理器，所述中控机为jetson xavier nx中控机，所述微处理器为stm32f103。10.根据权利要求8所述的基于机器视觉的泵吸式死鱼打捞机器人，其特征在于，所述机器视觉模型包括yolov5s网络和siamrpn++网络。

技术总结
本发明公开了一种基于机器视觉的泵吸式死鱼打捞机器人，包括行车轨道、行车机构、识别系统和打捞机构，所述行车机构可移动安装在行车轨道，所述行车机构的底部固定设置有机架，所述识别系统和打捞机构均设置在机架上，所述机架上安装有控制箱和深度相机，所述控制箱分别与行车机构和打捞机构信号连接，所述控制箱内设置有主控单元、目标检测模块和坐标转换模块，所述目标检测模块加载有机器视觉模型，所述坐标转换模块加载有ROS系统内部的相机标定算法。该装置实现死鱼的目标追踪和实时打捞，降低渔业养殖风险、改善渔业养殖环境，降低人工成本。工成本。工成本。


技术研发人员：王晨烨 陈凯 应伟杰 项伟涛 曾超贤
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.04.11
技术公布日：2023/9/23