基于显著性特征的蝴蝶兰组培苗夹取点检测方法.pdf

农业信息与电气技术 基于显著性特征的蝴蝶兰组培苗夹取点检测方法 苑 朝 张 鑫 王家豪 赵明雪 徐大伟 华北电力大学自动化系 保定 071000 摘 要 为了提高蝴蝶兰自动化快速繁育过程中组培苗夹取点视觉检测的适应性和效率 该研究提出了一种基于改进 U2 Net显著性检测网络 MBU2 Net 的组培苗夹取点定位方法 首先 通过显著性检测网络得到蝴蝶兰组培苗的显著 性图像 然后 对显著性图像进行骨架提取 并经过形态学分析计算定位组培苗夹取点 最后 将夹取点位置数据发送 给机械臂进行夹取 在图像显著性检测试验中 MBU2 Net 的平均绝对误差为0 002 最大F1分数为0 993 FPS frames per second 每秒帧率 为33 99 帧 s 模型权重大小为2 37 MB 在组培苗夹取试验中 4组共112颗苗的 夹取点提取成功率为85 71 为验证该研究的适应性 将其应用于各阶段组培苗以及部分虚拟两叶苗共11株种苗的夹 取点提取 成功率为81 82 使用该方法对不同时期的蝴蝶兰组培苗进行夹取点检测 具有较高的成功率 研究结果 可为发展组培苗自动化快速繁育技术提供参考 关键词 图像识别 自动化 显著性特征 改进的U2 Net 蝴蝶兰组培苗 夹取点检测 doi 10 11975 j issn 1002 6819 202304132 中图分类号 S24 文献标志码 A 文章编号 1002 6819 2023 13 0151 09 苑朝 张鑫 王家豪 等 基于显著性特征的蝴蝶兰组培苗夹取点检测方法 J 农业工程学报 2023 39 13 151 159 doi 10 11975 j issn 1002 6819 202304132 http www tcsae org YUAN Chao ZHANG Xin WANG Jiahao et al Pinch point extraction method for phalaenopsis tissue cultured seedlings based on salient features J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2023 39 13 151 159 in Chinese with English abstract doi 10 11975 j issn 1002 6819 202304132 http www tcsae org 0 引 言 蝴蝶兰为兰科蝴蝶兰属植物 其花型奇特 姿态优 雅 素有 兰花皇后 之美誉 市场需求量越来越大 蝴蝶兰的传统繁殖方式为分株繁殖 但繁殖系数低 速 度慢 1 2 不能满足日益增长的市场需求 组织培养作为 植物无性繁殖的一种有效方法 其能够有效提高植物个 体成活率并减少病毒传播范围 提高产量 因此 组培 苗快速繁育技术开始广泛应用于蝴蝶兰培育 3 蝴蝶兰组培苗的扩繁流程较为复杂 主要分为4个 阶段 3次移植 第1次移植是将第1个阶段母瓶中的 蝴蝶兰幼苗从基部将芽团分开并切掉大主芽的顶端及叶 片 移植到新的母瓶中进行第2个阶段培养 第2次移 植是将第2个阶段母瓶中的多个芽团分开成单芽 并将 合格单芽移植入中母瓶中进行第3阶段培养 第3次移 植是将中母瓶中的幼苗大于1 cm的根全部切除 并切掉 多余老叶片 留下新叶片 将切割好的蝴蝶兰幼苗移植 进入子母瓶中 最后进行第4个阶段室外培养 每次移 植都需要将组培苗从培养瓶中取出 并进行剪切处理后 再种入新的培养瓶 然而 目前大部分的组培苗快速繁育工作主要由人 工完成 存在工作强度大 重复性高 效率低下等问题 4 6 在中国城镇化加快 农业领域从业人员大大减少 人工 成本急剧上升的背景下 亟需发展组培苗自动化快速繁 育技术 以解决人工不足 效率低下 生产成本高等问 题 促进农业发展 蝴蝶兰种苗组织培养过程中自动化移植操作关键在 于能够准确快速的定位 以便机器人进行自动移植 蝴 蝶兰组织快速繁育过程的每个阶段组培苗具有不同图 像特征 7 因此给组培苗夹取点定位带来了困难 由于 深度学习神经网络具有强大的特征提取与学习能力 常 用于农作物目标检测 如YOLO系列 Mask R CNN等 算法被应用于红花丝 8 苹果 9 12 香蕉 13 芒果 14 荔枝 15 番茄 16 18 的检测 XIAO等 19 使用轻量级 MobileNets网络对蝴蝶兰组培苗的各阶段图像进行了分 类 成功率达98 1 李威等 20 采用YOLOv4识别网络 对中耕期幼苗进行了识别和定位 马翠花等 21 通过基于 显著性检测与改进Hough变换对番茄进行了检测 具有 较好的普适性 然而 将显著性检测算法应用到组培苗 夹取中的相关研究较少 针对快速繁育过程各阶段蝴蝶兰种苗形态不同导致 的夹取点识别困难问题 本文旨在分析夹取蝴蝶兰组培 苗时需要满足的要求 并提出一种基于显著性检测的方 法以定位夹取点 完成蝴蝶兰种苗移植 该方法首先通 过显著性检测网络得到蝴蝶兰组培苗的显著性图像 然 后对图像进行形态学分析 自动计算出各阶段组培苗的 夹取点 最后使用机器人完成种苗培育各阶段移植任务 收稿日期 2023 04 17 修订日期 2023 06 13 基金项目 国家自然科学基金联合基金项目重点支持项目 U21A20486 中央高校基本科研业务费专项资金资助 2022MS100 作者简介 苑朝 博士 讲师 研究方向为机械臂控制 机器视觉 机器 人结构设计及优化 Email chaoyuan 通信作者 徐大伟 博士 讲师 研究方向为机械臂控制及路径规划 Email xudawei 第 39 卷 第 13 期 农 业 工 程 学 报 Vol 39 No 13 2023 年 7 月 Transactions of the Chinese Society of Agricultural Engineering July 2023 151 在组培苗图像显著性检测过程中 该方法仅需对图像中 组培苗与背景做二分类 因此模型对语义信息不敏感 不需要种类丰富的样本进行训练 从而能够更快速高效 完成组培苗的检测 有效完成蝴蝶兰组织培养中各个阶 段的组培苗移植任务 1 种苗移植方法 1 1 整体流程 组培苗移植系统由视觉检测模块 夹取点定位模块 和机械臂控制模块构成 如图1所示 该系统通过工业 相机拍摄组培苗图像 并通过深度学习算法对其进行处 理 得到组培苗与背景分割的显著性图像 然后 通过 图像处理获取组培苗的待夹取点像素坐标 通过手眼标 定算法将像素坐标转化为机械臂基坐标系下的世界坐标 后再将其传输给机械臂 机械臂控制末端夹取装置完成 组培苗移植 工业相机拍摄显著性检测 图像处理夹取点定位 视觉检测模块 夹取点定位模块 机械臂移植 机械臂控制模块 图1 蝴蝶兰组培苗移植整体流程 Fig 1 Overall flow of phalaenopsis tissue cultured seedlings transplantation 1 2 视觉检测算法 由于本文的目标是针对蝴蝶兰组培苗进行夹取移植工 作 在培育过程中 蝴蝶兰组培苗与背景区别明显 因此 通过将蝴蝶兰组培苗与背景图像分离完成二分类显著性 检测 再处理显著性检测的结果以获得最终的夹取目标 点 U2 Net 22 是一种高效的应用于图像显著性检测的深 度网络 由于该网络参数量较大 所以本文在U2 Net 的编码解码阶段均加入了MBConv模块对U2 Net进行改 进 降低了模型的权重大小 提高了检测速度 本文在处 理U2 Net的基模块RSU模块时 加入了深度可分离卷积 depth wise separable convolutions 以进一步减少模 型的参数量 增强了模型的可移植性 使其易于部署 1 2 1 MBConv模块 MBConv mobile inverted bottleneck convolution 23 是一种包含深度可分离卷积的倒置线性瓶颈层 其中加 入了SENet注意力机制模块 24 能够加强图像不同通道 中的前景信息 并压缩背景信息 MBConv模块的结构 如图2所示 从左至右 MBConv模块包含以下部分 第1部分是一个1 1普通卷积模块 起到将特征图升维 的作用 卷积核个数是输入特征图通道数的n n 1 6 倍 n 1时 该卷积不参与运算 第2部分是一个 k k的深度可分离卷积模块 k通常取3或5 第3部分 是一个SE注意力模块 SE由一个全局平均池化 压 缩 两个全连接层 激励 构成 全局平均池化将 H W C 高 宽 通道数 的特征图压缩至1 1 C 第1 个全连接层的节点个数为MBConv模块的输入特征图的 通道数的1 4 且使用Swish激活函数 Swish激活函数 是一个平滑的 非单调的函数 常被用于深度网络 能 够使网络稀疏化 减少参数间的耦合关系 能够一定程 度缓解过拟合问题 第2个全连接层的节点个数等于逐 通道卷积的输出特征图的通道数 且使用Sigmoid激活 函数 得到输入特征图的各个通道的权重系数 后一个 1 1卷积将压缩后的特征图进行升维操作 并通过残差 结构与输入特征图进行融合 第3部分是一个1 1普通 卷积模块 起到将特征图降维的作用 最后一个部分是 Dropout层 起到减小模型参数量的作用 H W C H W CH W C H W C CBNSW CBNSW DSCBNSW DSCBNSW SE CBN CBN Dropout SE 压缩激励模块 l 1 Cl 1 C 压缩激励 Squeeze Excitation Conv Scale 乘 Conv BN Swish DSConv BN Swish Conv BN Addition 加 注 H W C表示高度为H 宽度为W 通道数为C的特征图 Conv表示卷积 BN为批量归一化层 DSConv表示深度可分离卷积 Note H W C represents a feature map with a height of H width of W and C channels Conv denotes convolution BN represents batch normalization layer DSConv represents depth wise separable convolution 图2 MBConv模块结构图 Fig 2 MBConv module structure diagram 1 2 2 改进型U2 Net算法 大多数显著性检测算法使用了图像分类网络的骨干 网络 这些带有骨干网络的算法的准确率很高 但往往 过于复杂 因为其包含很多复杂的额外特征模块 此外 152 农业工程学报 http www tcsae org 2023 年 这些骨干网络最初是为图像分类任务而设计 主要用于 提取图像中的语义信息 然而显著性检测任务的重点是 提取图像的局部信息和全局对比信息 U2 Net采用了一 种两级嵌套的U形结构 25 不需要使用任何预训练的骨 干网络 该结构中的基本模块RSU模块能够在不降低图 像分辨率的情况下提取图像的多尺度特征 并获得良好 的效果 但是 使用大量的U形块以及残差的堆叠会增 大计算量 并导致模型参数量增加 为实现组培苗夹取 点提取的高效准确 需要对模型进行轻量化 本文提出 了一种MBU2 Net 网络结构 将深度可分离卷积应用到 每一个RSU模块中 该模块称为DSCRSU n 为了增加 模型的感受野 在DSCRSU n模块中使用扩张卷积 dilated convolution 该模块称为DSCRSU nF DSCRSU 结构减少了计算量和参数量 使网络更加轻量化 更容 易部署 结构如图3所示 为了增加网络在处理各种尺 度和复杂度特征时的表达能力 提高泛化性 在U2 Net 的输入输出阶段加入了MBConv模块 MBU2 Net 网络 结构由多个DSCRSU n或DSCRSU nF模块组成 如图4 所示 在本文中 en4 de4层的扩张卷积参数为2 en5 de5的扩张参数为4 en6的扩张参数为8 Concat 堆叠 Conv BN ReLuDSConv BN ReLu Addition 加 US US US DSDSDS DS Downsample 下采样 US Upsample 上采样 UCn UCn 1 UC1 DC1 DCn 1 DCn OR DLConv BN ReLu H W C H W C 注 Concat为通道数相加的特征融合方式 DCn UCn分别表示第n个下采样卷积层 第n个上采样卷积层 ReLu为激活函数 DLConv为扩张卷积 当 实线框内取DSConv BN ReLu时为DSCRSU n模块 当实线框内取DLConv BN ReLu时为DSCRSU nF模块 Note Concat denotes the feature fusion method where channels are concatenated DCn and UCn represent the nth downsampling convolutional layer and upsampling convolutional layer ReLU is a activation function DLConv Represents Dilated Convolution When DSConv BN ReLu is selected within the solid line box the module corresponds to DSCRSU n When DLConv BN ReLu is selected within the solid line box the module corresponds to DSCRSU nF 图3 DSCRSU n与DSCRSU nF模块结构图 Fig 3 DSCRSU n and DSCRSU nF module structure diagram 1 3 夹点定位算法 为了移植蝴蝶兰组织培养苗 需要对进入视觉传感 器视野的蝴蝶兰组培苗进行准确的待夹取点计算 常用 的目标检测算法计算待夹取点的坐标是使用目标检测框 的中点作为待夹取点 26 或者对目标的各个部分进行检 测 如根 茎 叶 再对检测图像进行处理得到夹取点 坐标 然而 在蝴蝶兰组织培养过程中母瓶到子母瓶的 移植阶段 理想夹取点范围如图5所示 使用上述算法 得到的夹取点坐标易不满足所在区域要求 并且上述算 法在数据集种类不够 仅中母瓶到子母瓶移植阶段 时 夹取点提取的准确度较低 导致种夹取过程对组培苗造 成损伤或因为夹取点提取错误导致移植失败 由于实际 组培苗培育过程中 蝴蝶兰组培苗各阶段的背景信息简 单且相对单一 所以可以通过显著检测网络将组培苗和 背景分割 再对蝴蝶兰组培苗的显著性图进行分析得到 夹取点 本文对显著性检测的二值化图进行处理 并得 到组培苗图像处理过后的骨架图 通过对组培苗的结构 进行分析 发现各阶段组培苗的夹取点常位于根茎的交 叉处 而在骨架图上 该处是两个交叉点位置的中心 本文利用多种图像处理算法提取根茎的交叉位置中心作 为待夹取点 使机械臂能够在不伤害蝴蝶兰组培苗的情 况下 成功完成对各个阶段蝴蝶兰组培苗的移植 对蝴蝶兰组培苗结构进行分析得知 在根茎叶的连 接处 所检测到的骨架图交叉点最多 而夹取点常位于 根茎 茎叶连接点之间的茎处 通过这种分析 可确定 骨架线交点的集合C x y 中的点为备选夹取点 为解决 集合C中的点分布过于分散的问题 使用K近邻 K nearest neighbor KNN 算法对集合 的每个点p xi yi 进 行聚类 当以p xi yi 为圆心 m个像素为半径的圆内的 备选点个数小于j时 则将该点从备选点集合C x y 中 删除 遍历结束后 通过随机抽样一致 random sample consensus RANSAC 算法剔除掉噪声点并拟合夹具中 心线投影 然后求取所有备选点的中点 即为待夹取点 Co xo yo 并得到拟合中心线投影直线的斜率k 对斜率 第 13 期 苑 朝等 基于显著性特征的蝴蝶兰组培苗夹取点检测方法 153 求反三角函数得到镊子中心线投影与水平方向夹角 DSCRSU 7 DSCRSU 7 Conv sigmoid upsample 卷积 激活 上采样 Downsample 下采样 Upsample 2 上采样 2堆叠 Concat MBConv MBConv en1 en2 en3 en4 en5 en6 de1 de2 de3 de4 de5 640 640 1 640 640 3 DSCRSU 6 DSCRSU 6 DSCRSU 5 DSCRSU 5 DSCRSU 4 DSCRSU 4 DSCRSU 4F DSCRSU 4F DSCRSU 4F 注 输入图像尺寸为640 640 3 输出图像尺寸为640 640 1 en1 en6 为编码层 de1 de6为解码层 编码层解码层均为基本单元DSCRSU n 或DSCRSU nF模块 Concat为通道数相加的特征融合方式 Note The input image has dimensions of 640 640 3 while the output image has dimensions of 640 640 1 en1 to en6 represent the encoding layers and de1 to de6 represent the decoding layers Both the encoding and decoding layers consist of basic units either DSCRSU n or DSCRSU nF module Concat denotes the feature fusion method where channels are concatenated 图4 MBU2 Net 网络结构图 Fig 4 MBU2 Net network structure diagram 夹取点提取的流程如下 相机拍摄组培苗图像 首 先对移植条件进行判断 在满足移植条件的情况下 将 拍摄的组培苗图像送入显著性检测网络 得到显著性图 像 若不满足移植条件 则持续拍摄图像直至满足条件 然后对显著性图像进行一系列滤波 降噪 图像增强 再使用ZHANG SUEN 27 图像细化算法 得到组培苗的 骨架图 对骨架图进行预处理后 再进行交点检测 得 到骨架图中所有骨架线交点的集合C 对该集合使用KNN 算法进行遍历 将位于图像边缘的交点剔除 然后更新 集合C 再对C通过RANSAC数据筛选并拟合夹具中 心线投影 得到拟合中心线投影并计算更新后的集合C 的中点 xo yo 即待夹取点 以及直线斜率k 整体流程 如图6所示 夹取点所在区域 Grasping point area 注 为夹具中心线投影与水平方向的夹角 Note is defined as the angle between the projected central line of the gripper and the horizontal direction 图5 夹取点区域及夹取角度 Fig 5 Grasping point area and grab angle 交点提取与原图显示 显著性检测 组培苗图像显著性图像骨架图原图中夹取点显示夹点检测结果图 骨架提取 MBU2 Net Zhang suen Ransac 直线拟合 图6 夹取点定位流程 Fig 6 Grasping point localization process 2 试验系统搭建 2 1 试验平台搭建 arm imgT 本文采用海康MV CE060 10UC彩色工业相机采集 蝴蝶兰组培苗的图像 相机与机械臂以眼在手外的方式 进行操作 本文使用ZHANG S标定法 28 标定相机参数 并通过眼在手外的手眼标定获得图像坐标系到机械臂基 坐标系的转换矩阵 利用式 1 将相机坐标系下的 像素点转化为机械臂基坐标下的空间坐标 26 6666 664 X Y Z 37 7777 775 armimgT 26 6666 6664 Px Py 1 37 7777 7775 1 式中X Y Z为机械臂基坐标系下的x y z坐标 mm Px Py为相机坐标系下目标的像素坐标 本文试验采用的机械臂为JAKA Zu3六自由度协作 机械臂 最大负载为3 kg 重复定位精度低于 0 03 mm 最大工作半径为639 mm 由于蝴蝶兰组培苗的结构特别 且脆弱 需要将其移植进入培养皿中 当前常见的机械 臂末端执行机构并不能完成当前任务 对此 本文设计 了一种蝴蝶兰组培苗的移植末端 末端夹具与试验平台 如图7所示 夹具使用的镊子长为30 cm 材质为不锈 钢 由电磁推杆控制开合 电磁推杆的推力为20 N 除 电磁推杆和镊子外 本末端均为3D打印制作 材料为 ABS 末端连接件连接机械臂和工具 所有工具均布置 154 农业工程学报 http www tcsae org 2023 年 在底盘上滑块能够调整镊子的位置 电磁推杆能够控制 镊子开合 当检测到蝴蝶兰组培苗的夹取点时 控制机 械臂使组培苗夹取点位于镊子中心 驱动电磁推杆使镊 子闭合以完成夹取 b 实物图 b Terminal phtsical figure a 仿真设计图 a Simulation design figure 1 2 3 4 5 6 c 试验平台 c Experimental platform 7 8 9 10 1 机械臂 2 底盘 3 滑块 4 电磁推杆 5 末端连接件 6 镊子 7 工业相机 8 环形光源 9 模拟蝴蝶兰组培苗 10 模拟培养基 1 Robotic arm 2 Base plate 3 Slider 4 Electromagnetic actuator 5 End effector 6 Tweezers 7 Industrial camera 8 Ring light 9 Simulated phalaenopsis seedlings 10 Simulated culture medium 图7 末端夹具与试验平台 Fig 7 End tool and experimental platform 2 2 数据采集与模型训练 数据集采用的是蝴蝶兰组培苗培育阶段中 从中母 瓶到子母瓶切割组培苗前的图像 图像分辨率为3 072 2 048像素 如图8所示 由于蝴蝶兰花卉昂贵 且在培 育过程中极易发生病变 影响其生长 因此数据集仅限 于单一阶段的蝴蝶兰组培苗 导致数据集较小 通过图 像增强 最终得到包含986张图像的数据集 本文采用 9 1的训练集验证集比例对总体数据集进行随机抽样 数 据集中的图像均包含清晰前景 即蝴蝶兰组培苗 且背 景相对简单 本文使用Labelimg工具对蝴蝶兰组培苗与 背景进行分割 并将图片手动分成Mask和Images两部 分 在视觉模型训练方面 本文使用Ubuntu18 04操作 系 统 64GB内 存 Nvidia GeForceRTX3090显 卡 pytorch1 9 1 CUDA11 1环境 模型测试与机械臂夹取 试验在Windows操作系统下进行 在训练过程中 每个 图像先被垂直翻转并裁剪为640 640像素 使用Adam 优化器来训练网络 初始学习率为0 01 所有模型均训 练了360个轮次 a 组培苗1 b 组培苗2 a Tissue cultured seedling 1 b Tissue cultured seedling 2 图8 部分蝴蝶兰组培苗数据集 Fig 8 Partial phalaenopsis seedling data set 2 3 算法验证 为了验证本算法的实际效果 选取4组共112颗蝴 蝶兰组培苗进行夹取点提取试验 满足夹取点识别范围 在主茎范围内条件 则可认为夹取点提取成功 采用室 内试验的方式 相机采用眼在手外的安装方式 手动将 蝴蝶兰组培苗放入相机视野内 每次间隔5 s 共计放 入112颗蝴蝶兰组培苗 将相机所拍摄的原始图像传入MBU2 Net 模型中 对待移植的蝴蝶兰组培苗进行夹取试验 计算夹取点提 取成功率 成功率S的计算式为 S CsC a 100 2 式中Cs为成功提取夹点组培苗数 Ca为总蝴蝶兰组培 苗数 3 结果与分析 3 1 模型训练结果 模型的性能指标由平均绝对误差 mean absolute error 和F 来体现 平均绝对误差是一种线性分数 它 表示预测值和观测值之间的绝对误差的平均值 F 基于 查准率 precision 查全率 recall 的加权调和平均 定义 能够表达出对查准率和查全率的不同侧重 用来 综合评价查准率 查重率 平均绝对误差 F 的计算式 如下 M 1HW H r 1 W c 1 jP r c G r c j 3 式中r c分别为特征图的行数 列数 P为预测概率图 G为图像标签 F 1 2 PrR 2Pr R 4 式中Pr为查准率 R为查全率 为常系数 当 1时 为F1 1时查全率有更大影响 0 1时查准率有更 大影响 每秒帧数 frames per second FPS 是测量用于保 存 显示动态视频的信息数量 每秒钟帧数越高 所显 示的动作就会越流畅 通常 为了保证画面动作流畅 需要达到30 帧 s 由于蝴蝶兰组培苗需要实时移植 因 此该指标非常关键 本文对U2 Net U2 Net Res2Net PoolNet模型与本 文提出的改进 MBU2 Net MBU2 Net 模型分别进行了 第 13 期 苑 朝等 基于显著性特征的蝴蝶兰组培苗夹取点检测方法 155 360个轮次的训练 输入图像的分辨率为3 072 2 048像 素 batch size为4 训练结果对比如表1所示 表 1 不同模型性能对比 Table 1 Performance comparison of different models 模型 Model 平均绝 对误差 Mean absolute error F1 最大 分数 Maximum F1 score 权重大小 Weight size MB 训练时间 Training time min 帧率 Frames per second 帧 s 1 Res2Net PoolNet 0 004 0 982 269 10 947 3 79 U 2 Net 0 003 0 988 504 31 803 20 26 U 2 Net 0 002 0 987 13 51 489 28 78 MBU 2 Net 0 002 0 993 123 87 729 21 08 MBU 2 Net 0 002 0 993 2 37 607 33 99 因为在实际的工业培育过程中 蝴蝶兰组培苗和背 景有较为明显的区分度 所以蝴蝶兰数据集背景简单 在这种情况下 显著性检测任务并不困难 各类算法的 性能指标较为接近 通过对比表1中的5种网络 其中 使用骨干网络的Res2Net PoolNet的平均绝对误差为 0 004 U2 Net MBU2 Net MBU2 Net 的平均绝对误差 均在0 002左右 平均绝对误差最大差值为0 02 这是 因为训练所使用的数据集较小并且背景并不复杂 各种 网络的平均绝对误差指标差距不明显 但是在加入改进 模块后 MBU2 Net MBU2 Net 的最大F1分数较U2 Net U2 Net 模型有一定提升 均提高到0 993 经过改进的 MBU2 Net MBU2 Net 虽然训练时间不是最低的 但是 权重大小相比于U2 Net U2 Net 有较大提升 其中MBU2 Net 权重大小仅为2 37 MB 更便于实际工业过程中的模 型部署 此外 MBU2 Net 的帧率对比U2 Net 提升了5 帧 大于30帧 满足蝴蝶兰组培苗移植过程的实时性要 求 综上所述 本文提出的MBU2 Net 在保证精度的同 时推理速度更快 适用于蝴蝶兰组培苗夹取点的检测 3 2 蝴蝶兰组培苗夹点提取试验结果 通过对112颗蝴蝶兰组培苗进行4组组培苗夹取点 提取试验 结果见表2 图9 平均夹取点检测成功率达 到85 71 导致夹取点提取失败的原因是部分组培苗的 老根老叶较多 骨架图得到的交点在根或叶处更密集 而第2组组培苗夹取点提取的成功率低于平均水平是由 于第二组有部分组培苗图像过曝 导致算法并未完整提 取到显著性图像 从而导致夹取点计算错误 表 2 组培苗夹点提取试验结果 Table 2 Results of tissue cultured seedlings pinch test extracted 组别 Group 组培苗数 Number of tissue cultured seedlings 成功提取夹点数 Number of successfully extracted pinch 成功率 Success rate 1 29 25 86 21 2 25 19 76 00 3 30 26 86 67 4 28 26 92 86 3 3 夹点提取算法的适应性验证结果 为证明本文提出方法的普适性 本试验选取了蝴蝶 兰组织培养过程中不同时期的组培苗 选择母瓶到中母 瓶时期蝴蝶兰组培苗6株 中母瓶到子母阶段2株 制 作了虚拟样本2株模拟其他类型组培苗进行了试验 试 验结果如表3 图10所示 a 夹取点区域b 显著性图像c 骨架图d 夹点提取结果 a Regionof expected pinch point b Salient image c Thinning image d Pinch point extraction results 组培苗 1 Tissue cultured seedling l 组培苗 2 Tissue cultured seedling 2 组培苗 3 Tissue cultured seedling 3 图9 部分试验结果 Fig 9 Partial experimental results 156 农业工程学报 http www tcsae org 2023 年 表 3 夹取点提取适应性试验结果 Table 3 Result of pinch point extraction universality test 组培苗时期 Stage of seedings 组培苗数 Number of seedings 识别成功个数 Number of recognition successes 成功率 Success rate 母瓶 中母瓶 Mother bottle sub mother bottle 6 6 100 00 中母瓶 子母瓶 Sub mother bottle parent offspring bottle 3 2 66 67 虚拟样本 Virtual samples 2 1 50 00 总 计 Sum 11 9 81 82 a 夹取点区域b 显著性图像c 骨架图d 夹点提取结果 a Region of pinch point b Salient image c Thinning image d Pinch point extraction results 虚拟样本 Virtual samples 中母瓶 子母瓶 Sub mother bottle parent of fspring bottle 母瓶 中母瓶 Mother bottle sub mother bottle 图10 适应性验证试验 Fig 10 Test results of adaptability validation test 从表3夹取点提取适应性试验结果可知 母瓶 中母 瓶时期以及中母瓶 子母瓶的蝴蝶兰组培苗的夹取点提取 成功率总体为81 82 可以证明本文提出的算法在仅有 中母瓶 子母瓶时期的未经过切除老叶的蝴蝶兰组培苗数 据集的情况下 能够适用于蝴蝶兰组织培养全过程的蝴 蝶兰组织培养苗的夹取点提取 从表3的虚拟样本的夹 取点识别成功率还可以看出本文提出的算法对于类似蝴 蝶兰结构的组织培养苗的夹取点提取有一定的泛化性 4 结 论 1 本文针对蝴蝶兰组培苗培育过程中 部分图像识 别算法对各阶段不同特征的组培苗识别适应性差的问题 提出了一种基于显著性特征的蝴蝶兰组培苗夹取点提取 方法 通过组培苗夹点提取试验结果分析 使用本文构 建的MBU2 Net 网络模型能够高效的提取组培苗夹取点 4组共112颗组培苗的平均提取成功率为85 71 2 对本文构建的MBU2 Net 网络进行夹点提取适应 性试验 对于试验中所处的另外三种类型的组培苗 总 体成功率为81 82 结果表明 构建的MBU2 Net 网络 具有一定的泛化性能 3 通过引入MBConv与深度可分离卷积对U2 Net 进行改进 试验与Res2Net PoolNet U2 Net U2 Net 等 网络对比 MBU2 Net 网络在准确率没有损失的情况下 有效减小了的模型参数量 并提高了检测速度 检测速 度为33 99 帧 s 对于形态各异的组培苗 仅使用2维识别定位难免 出现误差造成机械臂移植失败 下一步研究中 拟采用 3维识别定位的方案 提升组培苗移植的成功率 参 考 文 献 PRAMANIK D SPAANS M KRANENBURG T et al Inflorescence lignification of natural species and horticultural hybrids of phalaenopsis orchids J Scientia Horticulturae 2022 295 110845 1 HAN Z CRISP P STELPFLUG S et al Heritable epigenomic changes to the maize methylome resulting from tissue culture J Genetics 2018 209 4 983 995 2 任桂萍 王小菁 朱根发 不同光质的LED对蝴蝶兰组织 培养增殖及生根的影响 J 植物学报 2016 51 1 81 88 REN Guiping WANG Xiaojing ZHU Genfa Effect of LED in different light qualities on growth of phalaenopsis plantlets J Chin Bull Bot 2016 51 1 81 88 in Chinese with English abstract 3 黄成龙 柯宇曦 华向东 等 边缘计算在智慧农业中的 应用现状与展望 J 农业工程学报 2022 38 16 224 234 HUANG Chenglong KE Yuxi HUA Xiangdong et al Application status and prospect of edge computing in smart agriculture J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2022 38 16 224 234 in Chinese with English abstract 4 翟永杰 胡东阳 苑朝 等 基于视觉伺服的蝴蝶兰种苗 切割系统设计与试验 J 农业工程学报 2022 38 6 148 156 ZHAI Yongjie HU Dongyang YUAN Chao et al Design and experime