穴盘苗发芽率在线视觉检测研究_张帆.pdf

第 卷第 期 西 南 大 学 学 报 自然科学版 年 月 穴盘苗发芽率在线视觉检测研究 张 帆 杨 勇 骆少明 黄 福 成克强 广东技术师范大学 机电学院 广州 工业和信息化部电子第五研究所 广州 摘要 植物工厂实现大规模 高速和自动化作业需要快速 精准地掌握种苗发芽生长信息 在线检测是关键 本文 设计了一套基于机器学习的在线视觉检测系统 用于检测穴盘苗的发芽率 并计算种苗的生长方向 进而定位种苗 所在的穴位 该系统用数字相机联网技术 采集穴盘苗图像 基于机器学习方法制作训练样本 构建训练集和测试 集 通过多视图融合方法估计每个穴位有苗的可信度 并依据可信度来判断发芽率情况 试验结果表明 单视图检 测种苗速度快 误检率低 但检出率较低 采用多视图融合的方法后穴盘苗检出率达到 穴位检出率达到 本文提出的多视图融合估计可信度方法具有较高的检测精度 而且精度仍有提升的空间 研究结果可为单 粒播种的大规模 高速和自动化作业提供技术参考 关 键 词 植物工厂 机器学习 穴盘苗 机器视觉 在线视觉检测 中图分类号 文献标志码 文 章 编 号 收稿日期 基金项目 广东省自然科学基金项目 广东省科技创新战略专项资金 攀登计划 专项资金项目 作者简介 张 帆 博士 高级工程师 主要从事机器人视觉 智慧工厂等研究 通信作者 杨 勇 博士 教授 植物工厂在未来城市农业现代化建设中发挥着重要作用 我国是蔬菜栽培的农业生产大国 但不是农 业生产强国 确保新鲜水果和蔬菜的安全高效供给面临巨大的挑战 目前 我国蔬菜的栽植量巨大 以上蔬菜种植采用育苗移栽 传统的移栽作业方式要求大量的手工作业 制约了蔬菜栽培的发展 设施园艺智能化是当前包括中国在内的世界农业智能化装备的研发热点和产业升级重点 自动化作业 可以解放人的手工劳动 在保持质量稳定的同时使作业速度成倍提高 但目前距离产业化应用仍存在目标 检测 种苗识别等技术瓶颈需要突破 发芽率是采购种子时计算成本的重要依据 对研究农作物适宜的环境条件亦有意义 由于穴盘播种普 遍存在空穴问题 为保证出苗率 一般在 个穴位里放多粒种子 甚至通过补种获得整齐一致的穴盘苗 补种虽然可以提高穴盘的使用效率 但浪费种子 效率低 只适合人工操作 影响发芽率测算 也制约了移 栽效率 随着计算机视觉和图像处理技术的进步 实施单粒精量播种有利于在线检测种子的发芽率和 提高移栽效率 现代检测技术已经形成了自动化操作 逐步替代了人工目测的传统检测方法 产品的 检测效率极大提高 目前 机器视觉已应用到农业生产的多个检测环节 如 种子的筛选和质量检 验 蔬菜生长状况的监测 蔬菜秧苗形态测量 蔬菜新鲜度分级 杂草的检测 等 配置视觉 的检测系统可在线监测穴盘苗的发芽生长情况 不受空穴问题影响 本文设计的基于机器学习的发芽率在线视觉检测系统 是基于机器学习的图像特征提取方法和分类方 法 实现对穴盘苗发芽阶段的图像检测 基于多视图定位原理 提出融合不同视角的检测结果计 算穴孔的可信度 最后对系统进行试验 验证了穴盘苗检出率 穴位检出率和误检率等详细指标 系统简介 系统整体组成 穴盘苗发芽率在线视觉检测系统如图 所示 主要由传送控制系统 支撑架 移栽机构 夹持手爪 检 测相机 穴盘和传送带组成 在育苗室 穴盘苗通过上料机推送至传送带后随传动带运动 检测相机对穴盘 第 期 张 帆 等 穴盘苗发芽率在线视觉检测研究 苗进行拍照 采集图像并输送至计算节点 计算节点对发芽种苗进行图像识别 计算出种子的发芽情况和 生长姿态以及所在的穴孔并保存记录 图 穴盘苗发芽率在线视觉检测系统示意图 设计要求和工作原理 植物工厂是设施园艺的高级形式 由于种子出苗率的问题 在育苗阶段要检测发芽率 生长情况和种 苗的位置信息 一般设施园艺生产中使用 单机检测 或 人工检测 这种方式存在性能瓶颈 制约了穴盘 的输送速度 无法满足高速的需求 从规模效率的角度出发 在线视觉检测具有高速 非接触式的优点 满 足植物工厂大规模 高速 高精度检测的需求 穴盘苗发芽率在线视觉检测系统工作原理是通过将多个视图检测结果融合达到提高检测精度 同时估 算种苗所在穴位的效果 主要包括多相机采集图像 网络传输 机器学习方法快速检测和多视图检测结果 融合算法等环节 穴盘苗视觉检测 图 穴盘苗的顶视图 穴盘苗图像 从油麦菜种子的穴盘苗图像可观测到发芽的情况 如图 所示 图片来自于顶部视角拍摄 穴盘是黑色塑料制品 共有 个穴孔 采 取 排列 每个穴孔放有 棵种子在椰糠混合土栽培基质中 客观存在各个穴孔发芽情况不一致及空穴的现象 种子发芽除了 本身发育完全的内在条件外 还受到外部环境条件的影响 外部环境 条件包括水分 氧气 温度 光线等 对应的种苗发芽的不同阶段在 图像上也呈现不同的效果 过早可能叶片还没有展开 过晚有的种苗 已经长出多片叶子 种苗发芽的方向和姿态 发芽的进度是系统检测 发芽率的重要影响因素 图像预处理 检测种苗 种苗在颜色和形状上与背景存在明显的差异 用颜色特征可以 区分种苗与背景 作为检测种苗的依据 这种用颜色特征的方法具 有较高的鲁棒性 通常相机采集的彩色图像为 模型 不能直接 使用 要转换为在植物叶片检测中广泛使用的 模型 本文先将获得的彩色图像进行颜色模型转换 然后将提取种苗所拥有的绿色并过滤掉绿色以外的颜色 颜色模型转换 对人而言 最直观的颜色模型是 色相 饱和度 亮度 也叫 西南大学学报 自然科学版 第 卷 模型 模型是由 在 年创建的一种颜色空间 也称六角锥体模型 在自然界单 色光有自己独特的光谱特征 模型中 表示色彩信息 即光谱颜色所在的位置 提取种苗的绿色要 选择对应的 值 饱和度 是一个比例值 表示所选颜色的纯度和该颜色最大的纯度之间的比率 表示 色彩的明亮程度 与光强度无直接关系 用 和 表示颜色距离 对于不同的彩色区域 混合 与 变 量 根据划定的阈值就可以进行简单快速的颜色分割 在 色域中 色调 用角度表示 取值范围为 从红色开始按逆时针方向计算 红色为 绿色为 蓝色为 饱和度 取值范围 为 亮度 取值范围为 彩色图像从 模型转换为 模型 计算方法如下 首先 将图像的 值做归一化处理 即将每个通道的取值范围由 映射到 新的 模型计算 如公式 所示 取新的 模型的最大值 和最小值 如公式 所示 求最大值与最小值的差 如公式 所示 公式 分别计算 和 的值 烅 烄 烆 烅 烄 烆 彩色图像灰度化 种苗的颜色是绿色 与穴盘 基质以及其他设备的颜色有明显的区别 因此利用 模型对绿色的连 续表示 将绿色从背景颜色中提取出来 提取后的图像只包含绿色和去除背景部分的黑色 将绿色替换成 白色就可以获得灰度图 效果如图 所示 穴盘苗视觉检测 穴盘苗的图像质量和目标检测方法 由于种苗发芽生长的姿态不同 机器要像人一样快速准确检测种苗是一项具有挑战性的工作 在基 第 期 张 帆 等 穴盘苗发芽率在线视觉检测研究 于特征的目标检测研究上 局部归一化的方向梯度直方图 相比 于传统的小波 形状上下文方法有更好的表现 特征检测种苗的基本原理是利用图像的 梯度和边缘方向的密度分布描述图像中种苗的外观和形状 特征检测种苗的方法是提取纹理特 征 不受颜色变化影响 对光照变化 阴影等噪声具有较好的鲁棒性 只能用于彩色图像或灰度 图 无法用于二值图 提取 特征后就需要进行分类 使用核方法的 是目前广泛使用的分类器 在图像分类任务 上有很好的性能表现 是在统计学习理论的基础上发展起来的机器学习算法 以结构风险最小化原理 为准则 能够有效解决过拟合 落入局部极值和 维数灾难 等问题 在解决小样本 非线性 高维空间模式 识别问题中表现出良好的推广性和较好的分类准确性 图 不同相机的检测结果 多视图融合定位 发芽种苗所在的穴位是一项重要的信息 可根据多视图检测结果分析得出 之所以采用多视图 一方 面是视觉检测存在漏检和误检 另一方面则是由于种苗生长方向的不确定性以及拍照角度的问题 检测结 果误判种苗落在其他穴孔上 标准统一的工业产品使用单个摄像头即可完成准确的检测 但应用在种苗的穴位判断上 单个相机的 检测结果不足以获得好的漏检率和误判率 如图 所示 通过顶视图观察 种苗的叶片在边界上 根系则可 能是在上部分穴位 也可能是在下部分穴位 即使图像检测成功 仍然不能判断穴位 左前 视图和 右前 视图观察种苗叶片在下部分穴位 根据图像检测结果判断穴位是误判 左后 视图和 右 后 视图观察种苗叶片在上部分穴位 根据图像检测结果判断穴位是正确的 利用多个相机从不同视角采集 图像信息进行融合后判断 不仅减少漏检 还可减小误判几率 多视图融合判断穴位算法描述如下 西南大学学报 自然科学版 第 卷 试验与结果分析 穴盘苗发芽检测试验 试验方案 为测试多视图融合下的发芽检测效果 本文采用小样本训练算法 然后分别对采集的 个视图图像 进行检测 如图 所示 试验的穴盘共有 个穴位 其中左下方的 个穴位空着作为标记 有 个穴位 的种子没有发芽 因此最终有 个穴位的种子成功发芽 个方向的检测试验得到的成功率各不相同 视图检测到 个 视图检测到 个 视图检测到 个 视图检测到 个 视图检 测到 个 分别对应图 的 和 子图 图 种苗检测结果 结果与分析 穴盘一共播种 颗 发芽 颗 种子的实际发芽率为 其中各视图的检测发芽率和漏检数各 有不同 视图的检测发芽率为 漏检测 个 穴盘苗检出率为 视图的检测发 芽率为 漏检测 个 穴盘苗检出率为 视图的检测发芽率为 漏 检测 个 穴盘苗检出率为 视图的检测发芽率为 漏检测 个 穴盘苗检出率 为 视图的检测发芽率为 漏检测 个 穴盘苗检出率为 由试验结果可以得到 单个相机的检测发芽率与实际发芽率存在较大偏差 存在漏检问题 所以穴盘 苗的检出率低 单个视图检测算法优化只能减小漏检 但不能消除漏检 而且减少漏检的同时会导致误检 增多 本文探讨多视图信息融合的方法提升检测效果 在无误检的前提下减少漏检 因此进一步做了穴盘 苗定位试验 第 期 张 帆 等 穴盘苗发芽率在线视觉检测研究 图 多视图检测结果叠加对比 穴盘苗定位试验 试验方案 多视图检测结果画矩形框 框的中心分别 用不同的符号表示 符号 表示 视图检 测结果框的中心 符号 表示 和 视图 检测结果框的中心 符号 表示 和 视 图检测结果框的中心 配上穴盘苗原图作为对 比 检测结果叠加效果如图 所示 种子没有发 芽的 个穴位分别是 和 结果与分析 从图 可观察到 多视图检测结果叠加后 明显提升了检测效果 这里用可信度来描述 采用多视图融合判断穴位算法对叠加效果进行 计算 可得到每个穴位有种苗的可信度 如表 所示 除种子没有发芽的 个穴位之外 有 个 穴位 漏检 多视图融合后的检测 发芽率为 漏检 个 穴盘苗检出率为 有可信度的穴位实际都有种苗 没有误 判 穴位检出率 表 穴位有种苗的可信度 穴位编号 结 论 本文设计了一种基于机器学习的穴盘苗发芽率在线视觉检测系统 通过多视图融合可以显著地提高穴 位的检出率 首先 使用颜色空间模型对输入穴盘苗图像进行变换预处理 并归一化到统一的尺寸 然后 在预处理后的图像上制作训练集和测试集 为了提高运算速度 采用基于 特征和 分类器的方 法 提取 特征 送入支撑向量机进行分类 最后 将单视图检测结果汇聚叠加 用多视图融合方法计 算每个穴位的可信度 根据可信度判定待移栽的穴位 试验结果表明 单视图的检出率较低 但通过多视图 融合的方法不仅提高了检出率 而且有效减少了误检率和漏检率 该算法能较好地完成穴盘苗的目标检 西南大学学报 自然科学版 第 卷 测 准确地定位发芽幼苗的穴位 同时多视图检测与传统单视图检测需要停顿相比 在实时检测的效率上 有明显的改进 具有一定的应用价值 参考文献 刘霓红 蒋先平 程俊峰 等 国外有机设施园艺现状及对中国设施农业可持续发展的启示 农业工程学报 童俊华 俞高红 朱赢鹏 等 三臂回转式蔬菜钵苗取苗机构设计与试验 农业机械学报 齐 飞 李 恺 李 邵 等 世界设施园艺智能化装备发展对中国的启示研究 农业工程学报 束 胜 康云艳 王 玉 等 世界设施园艺发展概况 特点及趋势分析 中国蔬菜 齐 飞 魏晓明 张跃峰 中国设施园艺装备技术发展现状与未来研究方向 农业工程学报 李玉东 于晓峰 佟立辉 玉米单粒播种栽培技术 农业与技术 胡建平 常 航 杨丽红 等 自动移栽机整排取苗间隔投苗控制系统设计与试验 农业机械学报 王桂莲 刘伟超 王 安 等 基于机器视觉的水稻秧盘育秧智能补种装置设计与试验 农业工程学报 玄冠涛 邵园园 侯加林 等 小型蔬菜穴盘精密播种机的设计与试验 农机化研究 朱盘安 李建平 楼建忠 等 便携式蔬菜穴盘自动播种机设计与试验 农业机械学报 廖庆喜 雷小龙 廖宜涛 等 油菜精量播种技术研究进展 农业机械学报 全 胜 基于机器视觉的蔬菜种子质量检测系统的设计与实现 长沙 湖南大学 豆东东 基于机器视觉的大棚蔬菜生长状况的监测 上海 东华大学 冯青春 陈 建 李翠玲 等 基于光度立体视觉的蔬菜秧苗叶片形态测量方法 农业机械学报 冯甲一 基于计算机视觉技术的叶类蔬菜新鲜度检测分级研究 南京 南京农业大学 张雨滋 计算机视觉技术在果园除草机上的应用研究 农机化研究 潘 琪 尹 雄 秦襄培 等 基于 特征与 的胶体气泡识别方法研究 智能计算机与应用 郭晶晶 许 萌 孔令爱 基于改进 特征的人数统计算法 信息技术与信息化 王 伟 吴 芳 基于注意机制和循环卷积神经网络的细粒度图像分类算法 西南师范大学学报 自然科学版 责任编辑 汤振金 第 期 张 帆 等 穴盘苗发芽率在线视觉检测研究