基于Mask R-CNN的智能苹果采摘机器人.pdf

中国科技信息2023年第13期 CHINA SCIENCE AND TECHNOLOGY INFORMATION Jul 2023 146 四星推荐 近年来 随着人工智能和机器人技术的不断发展 各行 各业都在积极探索如何利用这些技术提高工作效率和减少劳 动力成本 其中 农业领域也不例外 越来越多的农民开始使 用机器人来完成种植 收割等任务 在所有农作物中 苹果是 一个重要的种植品种 并且由于该种水果的特殊性质 采摘过 程中机器人的目标识别 果实定位与分离 果实保护是苹果采 摘机器人的关键技术 决定了苹果采摘的质量和效率 随着我 国对世界的苹果贡献率不断提高下 传统的人工采摘和现有的 机器人采摘方法无法满足需求 为此 设计了一种基于Mask R CNN的优化智能苹果采摘机器人 以实现苹果采摘的自 动化 降低生产成本的同时提高苹果采摘效率 机器人的系统组成 智能苹果采摘机器人以实现目标果实的智能识别 精确 定位 快速采摘 精准输送等多项联合作业为设计目标 设计 出一款实现高效采摘且适用于大部分地域果园的基于智能识 别及精确采摘的机械臂式智能苹果采摘机器人 因此 必须解 决的问题包括机器人的 自动避障系统 采摘控制系统等 目标识别与定位系统 通过搭载优化后的掩码卷积神经网络 Mask R CNN 算法的STM32 单片机主控制器 搭配DSP高速算法计算 芯片 基于建立的优化掩码卷积神经网络成熟目标果实识别 模型 可以初步提取苹果的边缘 角点等低级特征 再通过 对高级特征如红色 圆形 纹理等的提取 可形成不同大小 和维度的特征图 其图像信息作为区域建议网络的输入 并 将其输入到区域建议网络中进行端训练 生成感兴趣区域 最后通过全卷积网络生成掩模 得到苹果所在的区域 如图 1 2所示 并通过目的果实的输出框 利用输出结果中的 包围框坐标求出二维中心点坐标 显示在 Mask R CNN的 输出结果中 该算法采用了区域提议网络 RPN 来生成感 兴趣区域 并使用少量带有掩膜注释信息的样本进行训练 来对每个感兴趣区域进行实例分割 不仅可以检测出物体的 位置信息 还可以精确地得到物体的边界信息 从而更加全 面地描述目标物从而可以对部分遮挡或者重叠的目标物进行 准确识别 使得目标识别系统具有好的准确性 高效性和鲁 棒性 同时 构建的深度网络结构通过不断的自身特征提取 和对特征自学习不断被优化 大幅提高枝叶遮挡和重叠目标 果实识别精度 将目标框从二维坐标转化为三维坐标 需要 借助Kinect V2摄像头的深度信息进行计算 具体过程如下 在获取到苹果目标框后 根据输出结果中的包围框坐标求出 行业曲线 开放度 创新度生态度 互交度 持续度 可替代度 影响力 可实现度 行业关联度 真实度 基于Mask R CNN的智能苹果采摘机器人 颜清华 杜玉珠 李亚芹 刘兆光 翟子顺 李冰阳 曹明浩 颜清华 杜玉珠 李亚芹 刘兆光 翟子顺 李冰阳 曹 明浩 佳木斯大学 机械工程学院 颜清华 2003 本科在读 从事智能农业装备方面研究 通信作者 蒲岩岩 1992 硕士 讲师 从事智能农 业装备方面研究 基金项目 黑龙江省教育厅基本科研业务费 2020 KYYWF 0264 国家级大学生创新创 业训练计划项目 202210222126 针对于当前我国机械臂采摘式苹果采摘机器人市场中存在的 由于目标果实被枝叶遮挡或重叠 机器人避障识别度不高 果园地 形外貌差异巨大 果实与果树分离引起的果树振动 果实损坏率高 等问题所导致的采摘效率低下的现状 设计了一套实现果农高效采 摘且适用于大部分地域果园的基于智能识别及精确采摘的机械臂式 智能苹果采摘机器人 该设计立足于多传感自动避障系统 优化的 RCNN识别系统 仿形快速采摘系统等 对果园作业区域内苹果树 的成熟果实实时监测 再根据相关数据结合实现自主避障 智能识 别 精确采摘 果实保护等功能 通过仿真实验得出 该设备相较 于人工采摘的作业效率和传统机械臂采摘机器人的果实保护率都有 一定提高 在一定程度上推进了智慧农业与高效农业的发展 147 CHINA SCIENCE AND TECHNOLOGY INFORMATION Jul 2023 中国科技信息2023年第13期 四星推荐 苹果在二维图像上的中心点坐标 利用Kinect V2深度映射 图获取该坐标点的深度值 即第三个坐标值 对于Kinect V2摄像头来说 它提供了一个已知的相机内参和畸变参 数 可以通过相机模型将二维坐标映射到三维空间中 并得 到苹果在三维空间中的坐标 在实现该过程时 需要使用到 Kinect V2摄像头的外界接口 通过电信号将苹果的二维坐 标和深度信息传递给STM32单片机主控制器和DSP高速 计算芯片进行处理 整个过程需要对硬件和软件进行充分的 配合和优化 才能保证准确性和效率 自动避障系统 以STM32 单片机为基础 采用红外线传感器 超声波 传感器 舵机与陀螺仪相结合实现多种传感器有效的协同工 作 并在对其传入的数据进行合理的分析与计算 实现了苹 果采摘机器人在面对复杂果园时的有效避障 图3是该系统 的工作流程图 机器人正常前进时 由多种传感器融合协作 感应前方是否存在障碍物 若存在障碍物 通过舵机调整角 度进行转弯或后退 进而实现自动避障过程 该设计解决了 红外传感器易受光线干扰和单个超声波测距角度有限不足的 缺点 避免了对苹果采摘机器人工作过程中由于天气原因 机器行走时制造的灰尘以及温度等外在因素所导致的机器人 无法正常避障问题 提供了一种有效的解决方案 采摘控制系统 执行控制结构 当识别控制系统识别出目标果实时 机器人运动停止 并立即向采摘控制系统发送动作信号 并通过建立D H矩阵 来建立机械手坐标系 利用齐次变换矩阵分析正 逆运动进而 计算出机械臂的最优路径 接着机械臂末端逐渐接近果实 以 直流电机带动丝杠和双面齿条的螺旋转动和双面齿条上下移 动 进而引起两个啮合齿轮对转 以达到控制夹持结构开合的 目的 采摘手搭配钢丝 软轴和切割刀片 让后者借助软轴的 带动绕手指外廓旋转近似一周 成功完成了对手指外周上任意 位置苹果柄的切割 楔形设计的刀片提高了切割果柄的准确性 和采摘效率 并明显提高了切断果柄的易度 从而提高了采摘 成功率 这种方法不仅使得检测果柄过程简化 采摘效率也得 到了有效提升 相较于传统的机械手 该设计避免了由于采摘 时机械果实与果树分离引起的果树振动 而导致摄像机捕捉果 实图像出现误差 从而降低工作效率的现象 末端夹持结构 末端夹持结构的设计直接影响苹果的果实的损伤率和采 摘效率 所以考虑到采用两个弧形碗状结构为采摘器夹持结构 如图4所示 内层接触果实的部分采用比较柔软的橡胶 或者绸缎材料 这样在采摘果实时 即便夹持力稍大也不会立 马使苹果表皮破损 增大了采摘结构的容错性 并通过传感器 检测末端碗状结构与苹果的接触力并转换为电信号 当接触力 达到设定值后 电机驱动弧形碗状结构收缩 将果实固定在内 部 并传送至车厢内 为了提高末端采摘结构的鲁棒性 我们 采用遗传算法 Genetic Algorithm 来优化夹持力参数 该 算法可以有效地搜索最优解 且计算量相对较小 不会增加主 控制器的负担 通过适应度函数对解进行评估 选择 交叉和 变异等操作 以生成新的解并逐步优化解的质量 最终 得到 的最优解即为最佳夹持力参数和接触力阈值 根据不同种类苹 果应该设计不同的苹果夹持力相关参数以及接触力阈值 以适 图5 机器人夹持苹果工作图 图4 机器人的整体模型图 图3 避障系统的工作流程图 图2 改进后的Mask R CNN网络模型苹果分割定位图 图1 改进后的Mask R CNN网络模型整体结构图 中国科技信息2023年第13期 CHINA SCIENCE AND TECHNOLOGY INFORMATION Jul 2023 148 四星推荐 应复杂果园环境下果实的保护 提高苹果采摘的经济效益 图 4 5分别为机器人的整体模型图和实物图 工作流程 苹果采摘机器人启动后 通过多传感器的数据输入 目 标果实识别定位系统通过对前方目标进行图像处理 如若遇 到障碍物或未成熟果实 避障系统进行自动避障处理 如果 目标为成熟果实 则由Kinect V2计算空间点坐标来完成成 熟果实识别与定位识别目标果实后 控制模块接收到采摘信 号并发送指令给智能采摘系统 机械手建立坐标系并分析其 逆运动学 从而计算出机械手的最优路径的运动解 机械手 移动至目标水果位置 末端刀片进行采摘使其落入弧形夹持 结构 并通过末端的压力传感器配合遗传算法优化夹持力参 数 并得出最优夹持力参数 以保护果实免受损坏 机械爪 完成采摘后将果实运送到车厢内 机械臂复位 为下一次采 摘做准备 图6为机器人的工作流程图 实验模拟 为了检验机器人的工作效率 以模拟红色气球为成熟果 实 并将气球挂在模拟树上 在实验室内开展了一场模拟实 验 图7为模拟苹果采摘实验 首先 在测试区域中寻找 四颗类似于苹果树的模拟树 并将100个红色气球 代表成 熟果实 20个绿色气球和10个白色气球 随机分配在四 颗树上 接着启动苹果采摘机器人并开始30min采摘时间 倒计时 让它在测试区域内进行采摘操作 在机器人完成采 摘后 收集所有被漏摘的气球 代表漏摘的果实 和被采摘 的各色气球 红色代表成熟果实 绿色和白色代表未成熟果 实 以及被夹爆的气球 代表损坏的果实 记录好各颜色 气球的数量 并分别计算出果实漏摘率 果实误摘率 果实 损伤率以及工作效率可靠度 接着将模拟树以及各气球放置 的位置打乱 重复三遍上述实验 并将实验结果数据入下来 经过三次模拟实验最终得出 该机器人的漏摘率为7 00 误摘率为5 64 果实损伤率为1 65 进而得出该苹果 采摘机器人的工作可靠度为R t 1 7 00 1 5 64 1 1 65 86 54 相较于人工采摘该苹 果采摘机器人的工作效率大大提高 图8为苹果 气球 分 割定位图 表1为三次实验数据汇总表 表1 三次实验数据汇总表 实验一 实验二 实验二 平均值 红色气球 成熟果实 92 93 94 93 白色气球 未成熟果实 2 2 1 1 66 绿色气球 未成熟果实 3 4 5 4 破损气球 破损果实 1 2 2 1 66 果实漏摘率 8 00 7 00 6 00 7 00 果实误摘率 5 10 5 94 5 88 5 64 果实损伤率 1 02 1 98 1 96 1 65 工作效率可靠度 87 13 85 74 86 74 86 54 结语 本文以搭载优化后的掩码卷积神经网络 Mask R CNN 算法的STM32 单片机为主控制器 设计了一台 可以实现自主避障 智能识别 精确采摘 果实保护等功能 的苹果采摘机器人 并得出以下结论 机器人的关键技术包括由基于Mask R CNN神经网络 模型为果实目标的识别算法和通过搭配遗传算法优化夹持力 的弧形夹持结构 有效的解决了采摘过程中枝叶遮挡和果实 重叠给识别系统带来的难题 并降低了苹果的损失率 使得 机器人的具有较好的准确性 适应性 高效性以及鲁棒性 通过假定红色气球为成熟果实 绿 黄色气球为未成熟 果实 模拟一场苹果机器人的采摘实验 实验结果得出该机 器人的漏摘率为7 00 误摘率为5 64 果实损伤率为 1 65 工作效率为86 54 满足现阶段苹果采摘机器人 的基本工作要求 相较于人工采摘该苹果采摘机器人的工作 效率大大提高 尽管采用了Mask R CNN算法进行目标检测和实例分 割 但仍无法避免由于光线 阴影 角度等因素导致识别精 度下降的问题 特别是对于非规则形状的水果或者有局部变 形的水果 精度会受到更大的影响 图8 苹果 气球 分割定位图 图7 模拟苹果采摘实验 图6 机器人的工作流程图