白芦笋采收机器人视觉定位与采收路径优化方法.pdf

2020 年12 月 第2 卷 第4 期 Dec 2020 Vol 2 No 4 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 白 芦 笋 采 收 机 器 人 视 觉 定 位 与 采 收 路 径 优 化 方 法 李 扬 1 2 张 萍 4 苑 进 1 3 刘 雪 美 1 2 1 山 东 农 业 大 学 机 械 与 电 子 工 程 学 院 山 东 泰 安 2 7 1 0 1 8 2 山 东 省 园 艺 机 械 与 装 备 重 点 实 验 室 山 东 泰 安 2 7 1 0 1 8 3 山 东 省 农 业 装 备 智 能 化 工 程 实 验 室 山 东 泰 安 2 7 1 0 1 8 4 山 东 农 业 大 学 信 息 科 学 与 工 程 学 院 山 东 泰 安 2 7 1 0 1 8 摘 要 依 据 笋 芽 出 土 状 态 的 选 择 性 收 获 是 目 前 白 芦 笋 公 认 的 最 佳 收 获 方 式 针 对 采 收 过 程 中 机 器 视 觉 识 别 笋 尖 存 在 笋 尖 与 垄 面 纹 理 和 颜 色 相 近 等 识 别 难 题 本 研 究 提 出 了 一 种 变 尺 度 感 兴 趣 区 域 R O I 检 测 方 法 融 合 图 像 色 域 变 换 直 方 图 均 值 化 形 态 学 和 纹 理 滤 波 等 技 术 研 究 了 笋 尖 识 别 与 精 准 定 位 方 法 在 定 位 多 笋 尖 坐 标 基 础 上 提 出 了 多 笋 芽 的 采 收 路 径 优 化 方 法 解 决 了 因 采 收 路 径 不 合 理 导 致 的 采 收 效 率 低 的 问 题 首 先 通 过 机 器 人 视 觉 系 统 实 时 采 集 采 收 区 域 图 像 并 进 行 R G B 三 通 道 高 斯 滤 波 采 用 H S V 色 域 变 换 并 进 行 直 方 图 均 值 化 处 理 在 此 基 础 上 对 笋 尖 土 壤 进 行 特 征 聚 类 分 析 根 据 笋 芽 抽 发 程 度 研 究 变 尺 度 R O I 检 测 方 法 对 采 集 图 像 中 笋 尖 的 形 态 学 以 及 笋 尖 和 土 壤 的 纹 理 进 行 统 计 学 分 析 设 定 笋 尖 的 似 圆 度 阈 值 并 参 考 纹 理 特 征 参 数 判 定 笋 尖 位 置 计 算 其 几 何 中 心 获 得 笋 尖 轮 廓 中 心 坐 标 其 次 为 实 现 白 芦 笋 的 高 效 采 收 根 据 多 目 标 点 与 集 箱 点 的 位 置 分 布 本 研 究 设 计 了 一 种 基 于 多 叉 树 遍 历 的 采 收 路 径 优 化 算 法 以 获 得 多 个 目 标 笋 尖 的 最 优 采 收 路 径 最 后 搭 建 采 收 机 器 人 试 验 平 台 开 展 了 笋 尖 定 位 与 采 收 验 证 性 试 验 结 果 表 明 视 觉 系 统 对 白 芦 笋 的 识 别 率 可 达 9 8 0 4 笋 尖 轮 廓 中 心 坐 标 的 定 位 最 大 误 差 X 方 向 为 0 8 7 9 m m Y 方 向 为 0 8 8 2 m m 采 收 笋 的 个 数 在 不 同 情 况 下 采 用 路 径 优 化 后 的 末 端 执 行 器 运 动 距 离 平 均 可 节 省 4 3 8 9 末 端 执 行 器 定 位 成 功 率 达 到 1 0 0 在 实 验 室 环 境 下 的 白 芦 笋 采 收 率 达 到 8 8 1 3 验 证 了 采 用 视 觉 定 位 的 白 芦 笋 采 收 机 器 人 选 择 性 采 收 的 可 行 性 关 键 词 白 芦 笋 采 收 机 器 人 选 择 性 采 收 视 觉 定 位 采 收 路 径 优 化 笋 尖 识 别 中 图 分 类 号 T P 2 4 2 6 S 2 2 文 献 标 志 码 A 文 章 编 号 2 0 2 0 0 9 S A 0 0 3 引 文 格 式 李 扬 张 萍 苑 进 刘 雪 美 白 芦 笋 采 收 机 器 人 视 觉 定 位 与 采 收 路 径 优 化 方 法 J 智 慧 农 业 中 英 文 2020 2 4 65 78 LI Yang ZHANG Ping YUAN Jin LIU Xuemei Visual positioning and harvesting path optimization of white as paragusharvestingrobot J SmartAgriculture 2020 2 4 65 78 inChinesewithEnglishabstract 1 引 言 白 芦 笋 系 百 合 科 多 年 生 草 本 植 物 富 含 多 种 氨 基 酸 蛋 白 质 和 维 生 素 质 地 白 嫩 清 脆 可 口 具 有 独 特 芳 香 风 味 深 受 消 费 者 的 青 睐 1 在 国 际 市 场 上 享 有 蔬 菜 之 王 的 美 称 白 芦 笋 为 一 次 栽 植 多 年 采 收 植 物 依 据 笋 芽 出 土 状 态 选 择 性 收 获 是 白 芦 笋 目 前 公 认 的 最 佳 收 获 方 式 2 3 这 主 要 是 由 白 芦 笋 采 收 方 式 的 特 殊 性 决 定 的 即 笋 芽 生 长 于 地 下 嫩 茎 由 下 自 上 先 后 抽 发 笋 尖 doi 10 12133 j smartag 2020 2 4 202009 SA003 收 稿 日 期 2020 09 28 修 订 日 期 2020 10 28 基 金 项 目 国 家 自 然 科 学 基 金 项 目 51675317 山 东 省 重 点 研 发 计 划 项 目 2017GNC12110 作 者 简 介 李 扬 1982 男 副 教 授 博 士 后 研 究 方 向 为 智 能 控 制 技 术 E mail mtlyab 通 讯 作 者 苑 进 1972 男 教 授 研 究 方 向 为 农 业 机 器 人 技 术 研 究 电 话 15165387381 E mail jyuan Vol 2 No 4 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 达 到 垄 面 位 置 即 视 为 可 收 获 状 态 因 此 芦 笋 成 熟 时 间 不 一 一 次 性 收 割 不 利 于 成 笋 率 和 产 量 生 成 另 一 方 面 笋 芽 破 土 后 需 及 时 采 收 否 则 笋 尖 见 光 易 变 紫 商 品 品 相 变 差 影 响 商 品 价 格 因 此 白 芦 笋 适 宜 采 收 时 间 短 对 采 收 效 率 有 较 高 要 求 白 芦 笋 选 择 性 采 收 特 性 增 加 了 采 收 成 本 目 前 白 芦 笋 仍 以 人 工 采 收 为 主 因 此 白 芦 笋 这 种 劳 动 密 集 型 产 业 只 能 向 人 工 成 本 低 的 生 产 区 域 转 移 国 外 针 对 白 芦 笋 机 械 化 和 自 动 化 采 收 进 行 了 各 种 方 案 的 尝 试 法 国Firma Kirpy 公 司 生 产 了 名 为Type RGA 的 批 量 收 获 机 该 收 获 机 由 拖 拉 机 牵 引 不 加 区 分 地 从 笋 根 底 部 一 次 性 切 断 然 后 分 离 土 壤 和 白 芦 笋 这 种 收 获 方 式 造 成 商 品 笋 的 成 笋 率 大 大 降 低 并 对 白 芦 笋 根 部 有 损 伤 2 德 国ASM Dimantec 公 司 生 产 了 名 为Spargel Pan ther 的 半 自 动 辅 助 采 收 机 辅 助 采 收 人 员 进 行 选 择 性 采 收 减 轻 采 收 劳 动 强 度 但 并 未 实 现 真 正 意 义 上 的 采 收 自 动 化 2 5 在 白 芦 笋 选 择 性 收 获 方 面 荷 兰Cerescon 和AvLMotion 公 司 正 在 开 展 自 动 化 采 收 研 发 但 技 术 尚 未 成 熟 预 期 产 品 价 格 昂 贵 且 目 前 未 投 放 市 场 6 中 国 白 芦 笋 种 植 面 积 和 产 量 均 位 居 世 界 第 一 据 统 计 2014 年 中 国 芦 笋 收 获 面 积 约 100 000hm 2 产 量 占 世 界 总 产 量 的50 左 右 随 着 中 国 人 工 成 本 增 加 白 芦 笋 生 产 也 遇 到 了 产 业 发 展 瓶 颈 解 决 困 难 的 最 佳 途 径 是 研 发 白 芦 笋 选 择 性 采 收 机 器 人 技 术 6 7 白 芦 笋 选 择 性 采 收 机 器 人 首 先 要 解 决 的 是 采 收 区 域 中 多 个 出 土 笋 芽 的 准 确 识 别 和 精 准 定 位 问 题 机 器 视 觉 作 为 非 接 触 式 目 标 信 息 采 集 的 主 要 途 径 8 10 理 论 上 可 以 用 于 出 土 笋 芽 的 识 别 与 定 位 但 由 于 笋 芽 出 土 情 况 不 一 甚 至 有 新 发 笋 芽 只 有 部 分 笋 尖 露 于 土 面 且 出 土 后 尺 寸 有 大 有 小 尖 头 往 往 粘 有 浮 土 笋 尖 与 垄 面 纹 理 和 颜 色 相 近 色 差 小 对 比 度 低 使 白 芦 笋 的 识 别 与 定 位 困 难 此 外 垄 面 有 大 颗 粒 土 块 枯 叶 树 枝 等 杂 物 富 含 复 杂 噪 声 的 背 景 信 息 也 为 笋 芽 识 别 定 位 增 加 了 难 度 本 研 究 针 对 上 述 难 点 开 展 此 类 近 似 土 壤 噪 声 背 景 中 的 白 芦 笋 机 器 视 觉 识 别 方 法 研 究 对 图 像 各 通 道 的 敏 感 度 进 行 分 析 并 通 过 形 态 学 滤 波 和 基 于 变 化 感 兴 趣 区 域 Region of Interest ROI 方 法 实 现 笋 尖 轮 廓 提 取 进 而 获 得 笋 尖 中 心 坐 标 在 定 位 多 笋 尖 坐 标 后 研 究 一 种 多 笋 芽 目 标 的 采 收 路 径 优 化 算 法 获 得 最 优 采 收 路 径 以 实 现 白 芦 笋 高 效 采 收 最 后 基 于 前 期 研 制 的 白 芦 笋 视 觉 定 位 与 采 收 试 验 台 对 本 研 究 提 出 的 笋 芽 识 别 定 位 与 采 收 路 径 优 化 方 法 进 行 了 试 验 验 证 2 机 器 视 觉 系 统 及 笋 芽 定 位 算 法 2 1 机 器 视 觉 系 统 构 成 采 收 机 器 人 采 用 走 采 走 的 间 歇 移 动 方 式 工 作 系 统 启 动 后 自 主 行 走 至 待 采 区 域 并 停 车 将 当 前 采 收 区 内 的 白 芦 笋 完 全 采 收 后 再 移 动 至 下 一 个 采 收 区 重 复 采 收 过 程 进 行 采 收 作 业 时 机 器 人 通 过 机 器 视 觉 系 统 对 采 收 区 域 内 出 土 的 白 芦 笋 进 行 识 别 根 据 白 芦 笋 种 植 农 艺 和 人 工 采 收 特 点 机 器 人 在 垄 间 的 相 对 位 置 如 图1 所 示 其 中 地 上 起 垄 高 度 为40 50 cm 相 机 成 像 平 面 到 采 收 区 域 平 面 的 垂 直 距 离 为120cm 考 虑 到 垄 面 与 垄 沟 的 机 械 化 起 垄 装 置 的 工 作 特 点 采 收 过 程 中 机 架 沿 垄 直 线 行 走 时 垄 面 与 垄 沟 垂 直 距 离 相 对 固 定 因 此 认 为 相 机 和 末 端 执 行 器 距 离 采 收 平 面 垄 面 的 垂 直 高 度 变 化 范 围 很 小 又 因 白 芦 笋 采 收 长 度 一 般 在25 30 cm 左 右 纵 向 采 收 定 位 误 差 一 般 在 厘 米 级 几 乎 不 会 对 切 割 后 的 白 芦 笋 造 成 影 响 均 可 满 足 误 差 要 求 因 此 认 为 每 次 作 业 时 相 机 到 采 收 面 的 高 度 保 持 不 变 即 相 机 成 像 平 面 到 采 收 区 域 平 面 的 垂 直 距 离 约 为 常 数120cm 机 器 视 觉 系 统 主 要 由 图 像 采 集 模 块 图 像 处 理 模 块 与 数 据 传 输 模 块 组 成 机 器 人 实 时 采 集 采 收 区 域 图 像 对 图 像 进 行 处 理 通 过 定 位 算 法 获 取 笋 尖 轮 廓 中 心 点 坐 标 并 将 坐 标 信 息 进 行 转 换 6 6李 扬 等 白 芦 笋 采 收 机 器 人 视 觉 定 位 与 采 收 路 径 优 化 方 法 Vol 2 No 4 传 输 至STM32 控 制 器 图 像 采 集 模 块 由 工 业 相 机 镜 头 和LED 光 源 组 成 相 机 采 用 德 国Basler 公 司 生 产 的 型 号 为 acA2500 14gc 的CMOS 工 业 相 机 最 高 分 辨 率 为 2590 1942 像 素 镜 头 为COMPUTAR 工 业 相 机 镜 头 型 号 为M0814 MP2 采 收 机 器 人 工 作 时 变 化 的 自 然 光 照 条 件 会 极 大 地 干 扰 系 统 工 作 为 保 证 采 收 机 器 人 可 靠 地 工 作 图 像 采 集 区 域 由 遮 光 布 进 行 覆 盖 并 在 机 架 上 固 定WD9218 1 型 LED 条 形 光 源 安 装 方 式 为 环 顶 安 装 以 构 造 结 构 性 光 环 境 LED 光 源 价 格 低 效 果 较 好 可 以 使 笋 尖 与 土 壤 背 景 信 息 更 好 地 分 离 降 低 了 图 像 处 理 的 算 法 难 度 2 2 系 统 工 作 原 理 机 器 人 工 作 时 当 上 位 机 接 收 到 拍 摄 指 令 后 机 器 视 觉 系 统 采 集 采 收 区 域 中 的 单 帧 图 像 并 保 存 经 过 图 像 处 理 后 若 有 笋 尖 信 息 则 将 笋 尖 中 心 点 进 行 坐 标 变 换 发 送 给 下 位 机 当 全 部 坐 标 信 息 发 送 完 成 后 发 送 指 令 到 下 位 机 控 制 整 机 进 入 新 的 采 收 区 域 收 到 指 令 后 继 续 进 行 图 像 采 集 工 作 本 研 究 设 计 的 白 芦 笋 定 位 和 采 收 过 程 如 图2 所 示 在 相 机 内 部 参 数 标 定 基 础 上 通 过 摄 像 头 获 取30 f s 的 视 频 流 针 对 视 频 流 中 的 图 像 帧 进 行 色 彩 变 换 等 预 处 理 并 在 笋 尖 土 壤 图 像 特 征 聚 类 分 析 基 础 上 实 现 含 笋 图 像 的 快 速 筛 选 之 后 研 究 变 尺 度ROI 特 征 分 析 对 笋 尖 进 行 实 时 精 准 定 位 进 而 通 过 优 化 多 个 白 芦 笋 的 采 收 路 径 实 现 了 多 个 白 芦 笋 采 收 顺 序 的 决 策 最 终 驱 动 采 收 机 构 实 现 多 个 白 芦 笋 的 采 收 工 作 2 3 畸 变 矫 正 图 像 采 集 前 需 要 对 相 机 进 行 标 定 来 获 得 相 机 的 内 外 参 数 及 畸 变 参 数 由 相 机 畸 变 模 型 可 知 相 机 内 参 决 定 了 图 像 的 畸 变 程 度 外 参 数 把 图 像 间 的 像 素 关 系 转 换 为 具 体 物 理 单 位 反 映 了 相 机 相 对 于 世 界 坐 标 的 旋 转 平 移 关 系 本 研 究 采 用 张 正 友 的 平 面 标 定 模 型 借 助MATLAB 的Camera Calibrator 工 具 箱 完 成 相 机 标 定 11 基 于 相 机 标 定 结 果 获 得 已 知 像 素 与 其 世 界 坐 标 的 映 射 关 系 对 畸 变 图 像 进 行 变 换 缩 放 生 成 消 除 透 视 畸 变 和 镜 头 畸 变 的 矫 正 图 像 矫 正 前 使 用 工 业 相 机 以 不 同 角 度 拍 摄20 幅 标 定 图 像 图3 利 用MAT LAB 的 相 机 标 定 工 具 箱 检 测 标 定 板 图 像 中 的 角 点 由 提 取 的 角 点 可 以 计 算 出 每 幅 图 像 的 平 面 投 影 矩 阵 通 过 投 影 矩 阵 计 算 出 相 机 的 参 数 进 行 重 投 影 误 差 检 测 图 1 笋 芽 与 垄 面 相 对 位 置 示 意 图 Fig 1 Relativepositionschematicbetweenwhiteasparagus sproutsandridgesurface 图 2 白 芦 笋 机 器 人 采 收 流 程 Fig 2 Harvestingprocessofwhiteasparagusrobot 6 7Vol 2 No 4 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 相 机 标 定 后 的 重 投 影 误 差 为0 4818 个 像 素 值 校 正 后 的 图 像 与 原 图 像 对 比 后 发 现 图 像 中 心 位 置 畸 变 并 不 明 显 越 靠 近 图 像 边 缘 处 的 图 像 畸 变 程 度 越 大 通 过 标 定 流 程 可 得 到 相 机 的 内 参 矩 阵 和 畸 变 矩 阵 以 及 相 机 坐 标 系 相 对 于 上 图 世 界 坐 标 系 的 旋 转 矩 阵 和 平 移 向 量 得 到 相 机 内 参 矩 阵Q 1 为 Q 1 f x s u 0 0 f y v 0 0 0 1 3648 7 0 825 04 0 3647 5 929 59 0 0 1 1 相 机 畸 变 矩 阵P 为 P k 0 k 1 k 2 p 1 p 2 0 0042 0 0017 0 1203 0 1258 0 0002 2 其 中 f x f y 为 焦 距f 在x y 方 向 上 的 值 u 0 v 0 为 主 点 坐 标 值 k 0 k 1 k 2 为 径 向 畸 变 系 数 p 1 p 2 为 切 向 畸 变 系 数 2 4 图 像 采 集 及 预 处 理 本 研 究 所 有 取 样 图 像 拍 摄 于 山 东 曹 县 某 白 芦 笋 种 植 基 地 采 集 拍 摄 时 间 为2019 年4 月 中 下 旬 至5 月 上 旬 拍 摄 时 间 段 为 早 上5 00 7 00 和 晚 上6 00 8 00 拍 摄 时 气 温20 32 共 拍 摄 3000 余 张 工 业 相 机 曝 光 模 式 采 用 自 动 曝 光 考 虑 垄 面 起 伏 拍 摄 距 离 为115 125 cm 不 等 拍 摄 角 度 与 垄 面 平 行 最 高 分 辨 率 下 采 集 图 像 的 像 素 约 为500 万 为 适 应 不 同 天 气 和 光 照 条 件 下 白 芦 笋 采 收 需 求 拍 摄 样 张 涵 盖 清 晨 傍 晚 晴 天 雨 后 等 多 种 时 间 和 天 气 场 景 图4 后 期 多 次 采 用 双 线 性 插 值 方 法 进 行 图 像 的 行 列 缩 放 将 图 片 调 整 至 约47 万 像 素 790 590 可 节 省 图 像 的 处 理 时 间 提 高 算 法 的 实 用 性 颜 色 空 间 变 换 是 数 字 图 像 处 理 的 重 要 手 段 之 一 其 中HSV 是 图 像 处 理 领 域 常 用 的 颜 色 空 间 12 16 通 过HSV 颜 色 空 间 变 换 能 够 获 取 图 像 的 色 调 饱 和 度 和 亮 度 信 息 经 过 不 断 尝 试 发 现 所 摄 图 像 经 过HSV 颜 色 空 间 转 换 并 对 转 换 后 图 像 进 行 直 方 图 均 衡 化 后 变 换 回RGB 空 间 的 图 片 中 露 土 笋 尖 中 心 基 本 保 持 白 色 纹 理 保 留 完 整 且 笋 尖 出 现 较 为 明 显 的 红 边 和 紫 边 现 象 在 不 同 土 壤 背 景 中 都 具 有 较 高 的 区 分 度 图5 这 种 现 象 是 由 于 笋 尖 本 身 表 面 光 洁 并 呈 乳 白 色 即 使 出 土 后 粘 附 浮 土 与 垄 面 土 壤 相 比 仍 然 具 有 较 高 的 饱 和 度 和 亮 度 截 取 笋 尖 和 垄 面 土 壤 进 行 局 部 处 理 并 做HSV 分 量 的 直 方 图 分 析 可 以 明 显 看 到 笋 尖 中 亮 度 分 量 的V 分 量 偏 高 可 以 作 为 区 分 笋 尖 和 土 壤 的 显 著 特 征 图6 经 过 直 方 图 均 衡 化 处 理 后 这 一 部 分 信 息 得 到 增 强 对 照 图4 c 和 图5 c 可 以 发 现 原 始 照 片 中 难 以 分 辨 的 笋 尖 在 色 彩 变 换 后 显 得 十 分 突 出 辨 识 性 得 到 很 大 提 升 因 此 可 以 将 该 区 域 及 其 邻 域 作 为 笋 芽 图 像 辨 识 的ROI 区 域 a 图 像 标 定 b 角 点 检 测 图 3 图 像 标 定 与 角 点 检 测 Fig 3 Imagecalibrationandcornerdetection 6 8李 扬 等 白 芦 笋 采 收 机 器 人 视 觉 定 位 与 采 收 路 径 优 化 方 法 Vol 2 No 4 a 干 燥 土 壤 1 f 潮 湿 土 壤 1 b 干 燥 土 壤 2 g 潮 湿 土 壤 2 c 干 燥 土 壤 3 h 潮 湿 土 壤 3 d 干 燥 土 壤 4 i 潮 湿 土 壤 4 e 干 燥 土 壤 5 j 潮 湿 土 壤 5 图 4 不 同 时 间 和 天 气 情 景 中 的 白 芦 笋 尖 照 片 Fig 4 Photosofwhiteasparagusshootsindifferentscenesofdifferenttimeandweather a 干 燥 土 壤 1 f 潮 湿 土 壤 1 b 干 燥 土 壤 2 g 潮 湿 土 壤 2 c 干 燥 土 壤 3 h 潮 湿 土 壤 3 d 干 燥 土 壤 4 i 潮 湿 土 壤 4 e 干 燥 土 壤 5 j 潮 湿 土 壤 5 图 5 H S V 直 方 图 均 值 化 后 的 笋 尖 图 片 Fig 5 ImagesofwhiteasparagusshootsafterHSVhistogramaveraging 6 9Vol 2 No 4 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 原始图像 直方图均值化 a 笋 尖1 原始图像 直方图均值化 c 土 壤 1 e 笋 芽 1 直 方 图 g 土 壤 1 直 方 图 原始图像 直方图均值化 b 笋 尖2 原始图像 直方图均值化 d 土 壤 2 f 笋 芽 2 直 方 图 h 土 壤 2 直 方 图 图 6 笋 尖 和 土 壤 对 比 分 析 Fig 6 Comparativeanalysisofasparagusshootandsoil 7 0李 扬 等 白 芦 笋 采 收 机 器 人 视 觉 定 位 与 采 收 路 径 优 化 方 法 Vol 2 No 4 2 5 笋 尖 图 像 特 征 聚 类 分 析 笋 尖 实 时 定 位 需 要 解 决 两 个 问 题 一 是 快 速 判 断 当 前 拍 摄 的 图 像 中 是 否 包 含 笋 尖 二 是 包 含 的 笋 尖 具 体 在 图 像 中 什 么 位 置 即 采 收 系 统 既 要 响 应 快 速 又 要 定 位 准 确 K 均 值 聚 类 算 法 作 为 一 种 无 监 督 学 习 算 法 被 频 繁 地 应 用 于 数 据 挖 掘 和 统 计 数 据 分 析 等 数 据 相 关 领 域 11 12 该 算 法 的 原 理 是 针 对 数 据 集 中 的 不 同 数 据 对 象 距 离 进 行 计 算 找 出 相 邻 的 数 据 对 象 构 成 集 合 对 数 据 集 中 取 出 的 新 个 体 寻 找 最 小 距 离 的 数 据 对 象 之 后 重 复 步 骤 直 至 所 得 的 集 合 数 据 对 象 数 目 超 出 设 定 阈 值 计 算 结 束 集 合 所 得 的 数 据 对 象 重 复 上 述 步 骤 直 到 得 到k 个 初 始 聚 类 中 心 在 本 研 究 中 通 过 合 理 选 择 图 像 的 特 征 向 量 对 图 像 进 行K 均 值 聚 类 分 析 可 以 实 现 图 像 序 列 的 快 速 分 类 从 而 判 定 当 前 图 像 是 否 包 含 笋 尖 可 以 看 到 HSV 直 方 图 均 值 化 后 笋 尖 区 域 在1 0 附 近V 分 量 的 分 布 明 显 较 土 壤 区 域 更 为 集 中 图6 e 和 图6 f 有 明 显 的 频 谱 特 征 有 利 于 目 标 提 取 对 于 白 芦 笋 图 像 采 集 系 统 获 取 的 全 部 图 像 进 行HSV 直 方 图 均 值 化 预 处 理 将 其V 分 量 以0 05 为 单 位 进 行 区 间 分 割 构 成 拥 有20 个 分 量 的 特 征 向 量x i 并 定 义 区 间 上 像 素 统 计 数 大 于100 的 为1 其 余 为0 在 全 部 采 集 的 图 像 中 随 机 选 取 含 笋 尖 和 不 含 笋 尖 的 各200 张 分 为2 组 进 行 聚 类 分 析 本 研 究K 均 值 算 法 中 距 离 测 定 函 数 采 用 两 个 特 征 向 量 的 汉 明 距 离 计 算 公 式 为 d x y x i y i 3 其 中 为 异 或 取 收 敛 公 式 为 E k 1 K i 1 N k x i m k 2 4 其 中 K 为 图 片 集 划 分 聚 类 个 数 K 2 N k 为 第 k 个 聚 类 的 数 据 个 数 m k 为 每 一 聚 类 的 均 值 鉴 于K 均 值 聚 类 算 法 效 率 较 高 通 过 试 验 图 像 集 进 行 聚 类 分 析 后 可 以 作 为 视 觉 系 统 图 像 流 实 时 分 类 的 依 据 从 而 快 速 确 定 图 像 中 是 否 包 含 笋 尖 在 原 图 像 集 中 选 取 不 同 的 子 集 作 为 训 练 集 和 测 试 集 最 终 获 得99 以 上 的 召 回 率 证 明 绝 大 多 数 笋 尖 都 可 以 被 识 别 从 而 避 免 漏 采 但 若 要 获 得 更 准 确 的 笋 尖 位 置 信 息 需 要 设 计 更 为 精 准 的 笋 尖 定 位 方 法 2 6 变 尺 度 R O I 的 笋 尖 定 位 方 法 ROI 技 术 允 许 从 图 像 中 选 择 一 个 关 键 部 分 进 一 步 减 少 处 理 的 数 据 量 提 高 系 统 的 响 应 速 度 13 14 但 由 于 白 芦 笋 抽 发 长 度 不 一 位 置 各 不 相 同 在 俯 视 拍 摄 角 度 下 笋 尖 出 土 的 大 小 差 异 明 显 无 法 固 定ROI 的 位 置 和 面 积 为 进 一 步 实 现 笋 尖 快 速 精 确 定 位 本 研 究 提 出 了 变 尺 度 动 态 ROI 区 域 判 别 的 方 法 通 过 编 写 批 处 理 脚 本 对 采 集 的3000 余 张 图 片 进 行 预 处 理 分 析 并 提 取 预 处 理 后 图 片 集 的 笋 尖 色 彩 信 息 后 发 现 笋 尖 的 色 域 一 般 集 中 在R 通 道 范 围 R 170 255 G 通 道 范 围 G 50 70 220 255 B 通 道 范 围 B 220 255 内 定 义 R G B 为 笋 尖 色 彩 所 属 的 色 域 范 围 变 尺 度 动 态ROI 区 域 的 确 定 方 法 如 下 1 考 虑 到 露 出 土 壤 的 笋 尖 具 有 一 定 面 积 经 对 照 片 集 统 计 取 笋 尖 轮 廓 面 积S y 的 阈 值 为 144 像 素 以 正 方 形 计 算 区 域 边 界L y 为12 像 素 对 图 像 进 行 三 通 道 高 斯 滤 波 取 图 像 中 点 I x y 判 断 该 点RGB 通 道 值 是 否 属 于 集 合 若 属 于 执 行 步 骤 2 若 不 属 于 以 固 定 步 长L y 2 搜 索 图 中 下 一 点 2 初 始 化ROI 宽 度 L y 2 划 定ROI 区 域 为 以I x y 为 角 点 的 正 方 形 区 域U 其 顶 点 分 别 为 I x y I x y I x y 和 I x y 统 计 区 域U 内 颜 色 属 于 集 合 的 点 数 记 为 s 并 计 算 其 在U 内 的 占 比 记 为 s 2 通 过 在 图 像 集 随 机 采 样 并 进 行 笋 尖 区 域 的 像 素 特 征 分 析 和 统 计 得 到 的 区 间 范 围 约 为 85 100 3 给 定 的 阈 值 t 为85 令 L y 2 其 中 为 步 骤 3 的 迭 代 次 数 7 1Vol 2 No 4 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 且 0 1 并 计 算 相 邻 两 次 迭 代 的 变 化 梯 度 1 若 持 续 大 于1 且 大 于 给 定 阈 值 则 重 复 步 骤 3 直 到 持 续 小 于1 且 小 于 给 定 阈 值 记 此 时 为 o 4 确 定 以I x y I x o y I x y o 和I x o y o 为 顶 点 的 区 域 为 一 个ROI 并 将 其 记 录 到 队 列 S ROI 令 I x y I x o y 回 到 步 骤 1 直 到 搜 索 完 整 幅 图 片 算 法 结 束 整 个 算 法 流 程 图 如 图7 所 示 确 定ROI 区 域 后 需 要 判 别 是 否 包 含 笋 尖 并 进 行 中 心 定 位 以 便 后 续 机 械 化 采 收 判 别 方 法 采 用 纹 理 和 形 态 学 相 结 合 的 方 式 进 行 考 虑 到 笋 尖 区 域 具 有 一 定 圆 度 取 一 定 数 量 的 笋 尖 图 像 计 算 其 圆 度 值 计 算 公 式 为 C 4 S L 2 5 绘 制 笋 尖 圆 度 分 布 曲 线 如 图8 所 示 可 以 看 到 笋 尖 圆 度 主 要 集 中 在0 7 1 0 之 间 为 了 尽 量 避 免 笋 尖 漏 检 取 圆 度 检 测 阈 值 为0 7 通 过 对 圆 度 进 行 检 测 可 以 将 小 于 该 阈 值 的 轮 廓 剔 除 此 外 考 虑 到 笋 尖 与 土 壤 在 纹 理 上 有 一 定 的 纹 理 区 别 选 取 其 四 个 相 关 度 低 的 特 征 值 作 为 纹 理 特 征 参 数 进 行 处 理 分 别 为 角 二 阶 矩 Asm 对 比 度 Con 逆 方 差 Idm 和 熵 Ent 计 算 公 式 分 别 如 公 式 6 9 所 示 Asm x 0 o 1 y 0 o 1 I 2 x y 6 Con x 0 o 1 y 0 o 1 x y 2 I x y 7 Idm x 0 o 1 y 0 o 1 I x y 1 x y 2 8 Ent x 0 o 1 y 0 o 1 logI x y 9 对 抽 选 的50 张 典 型 笋 尖 和 纹 理 进 行 特 征 参 数 计 算 结 果 如 表1 所 示 可 以 看 到 笋 尖 和 土 壤 的 对 比 度 差 异 明 显 熵 值 有 一 定 差 异 角 二 阶 矩 和 逆 方 差 几 乎 无 法 区 分 因 此 纹 理 参 数 只 以 对 比 度 和 熵 值 作 为 区 分 笋 尖 和 土 壤 的 参 考 并 在 ROI 中 的 笋 尖 判 别 过 程 中 设 置 较 低 权 重 为0 3 而 圆 度 检 测 权 重 为0 7 经 过 图 像 滤 波 ROI 判 定 圆 度 检 测 和 纹 理 对 比 后 试 验 证 明 图 像 中 的 笋 尖 能 够 以98 以 上 图 7 R O I 区 域 判 别 流 程 图 Fig 7 FlowchartofROIregionrecognition 图 8 笋 尖 圆 度 分 析 结 果 Fig 8 Analysisofasparagusshoottiproundness 7 2李 扬 等 白 芦 笋 采 收 机 器 人 视 觉 定 位 与 采 收 路 径 优 化 方 法 Vol 2 No 4 的 概 率 被 识 别 见4 2 节 进 一 步 对 识 别 图 像 进 行 二 值 化 处 理 并 计 算 其 几 何 中 心 从 而 定 位 笋 尖 的 具 体 位 置 为 白 芦 笋 采 收 提 供 数 据 支 持 整 个 图 像 处 理 过 程 如 图9 所 示 经 过 测 试 算 法 的 平 均 召 回 率 和 平 均 准 确 率 分 别 为 87 6 和 95 1 结 果 表 明 算 法 的 快 速 识 别 较 好 在 保 证 识 别 精 度 的 同 时 简 化 了 图 像 处 理 过 程 加 快 了 白 芦 笋 识 别 速 度 能 够 应 用 于 户 外 白 芦 笋 笋 尖 和 土 壤 信 息 的 准 确 提 取 3 多 笋 尖 采 收 路 径 优 化 3 1 采 收 路 径 分 析 通 过 机 器 视 觉 定 位 笋 尖 位 置 为 自 动 化 采 收 白 芦 笋 奠 定 了 基 础 由 于 笋 尖 抽 发 的 随 机 性 采 收 区 域 内 不 可 避 免 地 会 出 现 多 个 笋 尖 共 存 为 提 高 白 芦 笋 的 采 收 效 率 本 研 究 设 计 了 一 种 应 用 于 白 芦 笋 采 收 过 程 的 机 器 人 路 径 优 化 算 法 根 据 白 芦 笋 采 收 机 器 人 的 整 机 结 构 设 计 的 末 端 执 行 器 的 白 芦 笋 采 收 路 径 为 末 端 执 行 器 从 初 始 点O 出 发 可 选 择A B C 中 的 任 意 一 个 白 芦 笋 进 行 采 收 可 以 选 择 沿X 轴 丝 杠 向 左 或 向 右 运 动 到 两 侧 的 集 箱 点 进 行 白 芦 笋 的 放 置 进 而 以 当 前 集 箱 点 为 初 始 点 根 据 上 述 规 则 完 成 其 余 白 笋 的 收 获 考 虑 采 收 区 域 内 有3 个 待 采 白 芦 笋 则 白 芦 笋 的 采 收 路 径 示 意 图 如 图10 红 线 所 示 其 中O 点 表 示 末 端 执 行 器 开 始 工 作 时 的 初 始 点 A B C 表 示 白 芦 笋 的 位 置 A1 A2 表 示 采 完A 点 白 芦 笋 后 的 集 箱 点 B1 B2 表 示 采 完 B 点 白 芦 笋 后 的 集 箱 点 C1 C2 表 示 采 完C 点 白 芦 笋 后 的 集 箱 点 N 点 为 采 收 区 域 的 边 界 点 其 横 纵 坐 标 值 对 应 采 收 区 域 横 向 和 纵 向 的 最 大 边 界 长 度 3 2 路 径 规 划 决 策 树 构 建 在 本 研 究 构 建 的 采 收 系 统 中 图 像 采 集 和 白 芦 笋 采 收 区 域 为100 cm 80 cm 的 长