自然环境中鲜食葡萄快速识别与采摘点自动定位方法.pdf

2023 年 6 月 第 5 卷 第 2 期 Jun 2023 Vol 5 No 2 智 慧 农 业 中 英 文 Smart Agriculture 自 然 环 境 中 鲜 食 葡 萄 快 速 识 别 与 采 摘 点 自 动 定 位 方 法 朱 衍 俊 1 杜 文 圣 1 2 王 春 颖 1 刘 平 1 李 祥 3 1 山 东 农 业 大 学 机 械 与 电 子 工 程 学 院 智 能 化 农 业 机 械 与 装 备 实 验 室 山 东 省 园 艺 机 械 与 装 备 重 点 实 验 室 山 东 泰 安 271018 2 山 东 交 通 学 院 工 程 机 械 学 院 山 东 济 南 250357 3 山 东 农 业 大 学 生 命 科 学 学 院 小 麦 育 种 全 国 重 点 实 验 室 山 东 泰 安 271018 摘 要 目 的 目 的 意 义 意 义 自 然 环 境 中 鲜 食 葡 萄 的 快 速 识 别 与 精 准 定 位 是 实 现 鲜 食 葡 萄 机 器 人 自 动 采 摘 的 先 决 条 件 方 法 方 法 本 研 究 基 于 改 进 的 K means 聚 类 算 法 和 轮 廓 分 析 法 提 出 一 种 鲜 食 葡 萄 采 摘 点 自 动 定 位 的 方 法 首 先 采 用 加 权 灰 度 阈 值 作 为 聚 类 算 法 相 似 度 的 判 定 依 据 并 以 此 为 基 础 提 出 一 种 自 适 应 调 整 K 值 的 K means 聚 类 算 法 实 现 鲜 食 葡 萄 的 快 速 有 效 识 别 检 测 然 后 利 用 提 出 的 轮 廓 分 析 法 获 得 果 梗 轴 和 采 摘 点 感 兴 趣 区 域 利 用 几 何 方 法 实 现 鲜 食 葡 萄 采 摘 点 快 速 准 确 定 位 最 后 利 用 采 集 的 917 张 鲜 食 葡 萄 图 像 对 本 研 究 提 出 的 算 法 进 行 实 验 验 证 结 果 和 讨 论 结 果 和 讨 论 本 研 究 提 出 算 法 定 位 的 鲜 食 葡 萄 采 摘 点 与 最 优 采 摘 点 的 误 差 小 于 12 个 像 素 的 成 功 率 为 90 51 平 均 定 位 时 间 为 0 87 s 实 现 鲜 食 葡 萄 采 摘 点 的 快 速 准 确 的 定 位 在 篱 壁 式 种 植 方 式 与 棚 架 式 种 植 方 式 下 分 别 进 行 50 次 模 拟 仿 真 试 验 结 果 表 明 篱 壁 式 紫 葡 萄 采 摘 点 定 位 成 功 率 为 86 00 棚 架 式 紫 葡 萄 识 别 定 位 成 功 率 达 到 92 00 篱 壁 式 绿 葡 萄 采 摘 点 定 位 成 功 率 为 78 00 棚 架 式 绿 葡 萄 识 别 定 位 成 功 率 为 80 00 整 体 试 验 效 果 较 好 结 论 结 论 本 研 究 可 为 鲜 食 葡 萄 采 摘 机 器 人 实 现 精 准 采 摘 葡 萄 提 供 技 术 支 撑 关 键 词 鲜 食 葡 萄 K means 聚 类 算 法 轮 廓 分 析 法 果 梗 轴 采 摘 点 采 摘 机 器 人 中 图 分 类 号 S126 文 献 标 志 码 A 文 章 编 号 SA202304001 引 用 格 式 朱 衍 俊 杜 文 圣 王 春 颖 刘 平 李 祥 自 然 环 境 中 鲜 食 葡 萄 快 速 识 别 与 采 摘 点 自 动 定 位 方 法 J 智 慧 农 业 中 英 文 2023 5 2 23 34 DOI 10 12133 j smartag SA202304001 ZHU Yanjun DU Wensheng WANG Chunying LIU Ping LI Xiang Rapid recognition and picking points automatic posi tioning method for table grape in natural environment J Smart Agriculture 2023 5 2 23 34 DOI 10 12133 j smartag SA202304001 in Chinese with English abstract 1 引 言 近 年 来 中 国 葡 萄 种 植 面 积 和 产 量 逐 年 增 长 但 鲜 食 葡 萄 采 摘 仍 以 人 工 为 主 采 摘 机 器 人 发 展 缓 慢 1 3 鲜 食 葡 萄 采 摘 点 的 自 动 定 位 是 采 摘 机 器 人 实 现 精 确 采 摘 的 关 键 但 自 然 环 境 中 鲜 食 葡 萄 生 长 环 境 复 杂 外 形 不 规 则 果 梗 颜 色 与 鲜 食 葡 萄 树 枝 干 叶 片 颜 色 相 似 枝 叶 光 照 等 环 境 因 素 导 致 葡 萄 采 摘 点 的 定 位 难 以 实 现 国 内 外 众 多 学 者 对 葡 萄 的 识 别 采 摘 展 开 了 研 究 早 在 1995 年 Kondo 等 4 6 提 出 一 种 多 功 能 葡 萄 农 业 机 器 人 利 用 果 穗 的 光 谱 反 射 及 形 状 识 别 检 测 葡 萄 但 光 谱 反 射 受 外 界 湿 度 天 气 等 因 素 影 响 约 束 条 件 复 杂 在 自 然 环 境 中 葡 萄 识 别 准 确 度 波 动 较 大 Liu 等 7 结 合 颜 色 与 纹 理 特 征 对 葡 萄 进 行 识 别 试 验 准 确 率 为 88 Reis 等 8 基 于 彩 色 葡 萄 图 像 识 别 分 类 红 白 葡 萄 其 成 功 率 分 别 为 97 和 91 雷 旺 雄 与 卢 军 9 利 用 YUV 颜 色 模 型 中 的 U 分 量 实 现 葡 萄 串 的 分 类 并 利 用 角 点 检 测 算 法 实 现 葡 萄 采 摘 点 的 定 位 Perez zavala 等 10 利 用 纹 理 收 稿 日 期 2023 04 04 基 金 项 目 山 东 省 重 点 研 发 计 划 项 目 2022TZXD0010 2022LZGCQY002 2021TZXD001 作 者 简 介 朱 衍 俊 研 究 方 向 为 农 业 信 息 化 E mail zhu yanjun 通 信 作 者 1 刘 平 博 士 研 究 生 教 授 研 究 方 向 为 农 业 智 能 控 制 技 术 机 器 人 控 制 与 导 航 目 标 检 测 与 识 别 E mail liupingsdau 2 李 祥 博 士 研 究 生 研 究 方 向 为 作 物 高 产 相 关 性 状 的 发 育 生 物 学 表 型 组 学 的 研 究 与 应 用 E mail lixiang Vol 5 No 2 智 慧 农 业 中 英 文 Smart Agriculture 与 形 状 给 特 征 并 结 合 聚 类 算 法 实 现 葡 萄 的 识 别 由 于 葡 萄 与 枝 干 枯 叶 像 素 值 相 近 且 伴 随 外 界 光 照 等 环 境 因 素 影 响 其 特 定 颜 色 准 则 波 动 范 围 较 大 以 上 研 究 普 适 性 低 Berenstein 等 11 利 用 统 计 学 测 量 与 形 状 匹 配 算 法 实 现 葡 萄 分 割 定 位 识 别 成 功 率 达 90 刘 平 等 12 对 自 然 环 境 下 贴 叠 葡 萄 进 行 了 识 别 分 割 识 别 分 割 成 功 率 为 89 71 Miao 等 13 运 用 边 缘 检 测 和 轮 廓 拟 合 实 现 重 叠 葡 萄 果 粒 的 检 测 与 数 据 测 量 平 均 误 差 率 为 1 5 并 进 一 步 地 实 现 贴 叠 葡 萄 的 采 摘 点 定 位 14 相 较 定 位 葡 萄 采 摘 点 而 言 这 些 葡 萄 的 识 别 与 分 割 相 对 简 单 且 由 于 葡 萄 的 形 态 多 变 导 致 葡 萄 采 摘 点 定 位 难 度 远 大 于 葡 萄 的 分 割 与 识 别 目 前 有 学 者 对 葡 萄 类 簇 状 果 实 采 摘 点 的 定 位 展 开 研 究 罗 陆 锋 等 15 利 用 HIS 彩 色 空 间 中 的 H 分 量 进 行 葡 萄 识 别 结 合 重 心 确 定 采 摘 点 定 位 成 功 率 为 88 03 Xiong 等 16 旋 转 RGB 颜 色 通 道 中 的 R 分 量 结 合 一 种 改 进 的 Chan Vese C V 水 平 模 型 方 法 进 行 葡 萄 背 景 分 离 利 用 最 小 外 接 矩 阵 与 霍 夫 直 线 检 测 定 位 采 摘 点 识 别 精 度 为 80 92 5 利 用 单 一 颜 色 通 道 实 现 的 目 标 识 别 与 分 割 受 外 界 扰 动 影 响 严 重 自 然 环 境 中 准 确 率 降 低 进 一 步 地 熊 俊 涛 等 17 对 非 结 构 环 境 下 的 扰 动 葡 萄 进 行 研 究 通 过 Otsu 阈 值 分 割 得 到 果 实 果 梗 利 用 点 线 结 合 和 霍 夫 直 线 拟 合 进 行 采 摘 点 识 别 但 是 由 于 葡 萄 果 梗 与 果 实 枯 叶 枝 干 叶 子 之 间 的 颜 色 相 近 阈 值 分 割 较 难 达 到 预 期 效 果 定 位 采 摘 点 准 确 率 仅 为 80 Luo 等 18 提 出 了 一 种 基 于 双 目 立 体 视 觉 的 葡 萄 串 空 间 信 息 获 取 方 法 实 现 葡 萄 串 的 快 速 定 位 但 准 确 率 仅 为 87 袁 妍 19 提 出 一 种 基 于 深 度 视 觉 的 棚 架 葡 萄 采 摘 机 器 人 手 眼 系 统 利 用 深 度 相 机 获 得 图 像 并 进 行 背 景 分 离 通 过 深 度 点 云 实 现 葡 萄 果 梗 与 果 穗 的 分 离 然 而 其 目 标 葡 萄 要 求 无 遮 挡 且 葡 萄 果 穗 的 高 度 近 似 一 致 自 然 环 境 下 葡 萄 难 以 满 足 其 实 施 条 件 近 年 来 深 度 学 习 的 发 展 为 水 果 的 识 别 及 采 摘 点 的 定 位 带 来 新 的 机 遇 罗 庆 等 20 改 进 YOLOv5s 算 法 实 现 了 毛 桃 及 套 袋 桃 的 识 别 与 检 测 同 期 商 枫 楠 等 21 利 用 改 进 的 YOLOX 实 现 自 然 环 境 中 的 火 龙 果 快 速 检 测 周 文 静 等 22 利 用 Mask R CNN 实 现 红 提 葡 萄 果 穗 的 背 景 分 离 并 通 过 Hough 进 行 果 粒 分 割 宁 政 通 等 23 利 用 Mask R CNN 进 行 葡 萄 果 梗 的 识 别 与 分 割 最 终 利 用 区 域 生 长 算 法 精 准 分 割 果 梗 实 现 采 摘 点 定 位 准 确 率 达 99 43 孙 碧 玉 24 改 进 Cascade RCNN 网 络 与 E Net 网 络 实 现 重 叠 番 茄 串 的 准 确 分 割 然 而 采 用 深 度 学 习 方 法 需 花 费 大 量 的 时 间 与 精 力 完 成 图 像 标 注 且 深 度 学 习 在 网 络 训 练 过 程 以 及 移 动 端 的 部 署 时 对 设 备 性 能 要 求 较 高 成 本 较 高 针 对 上 述 问 题 本 研 究 基 于 改 进 的 K means 聚 类 算 法 和 轮 廓 分 析 法 提 出 了 一 种 鲜 食 葡 萄 采 摘 点 自 动 定 位 方 法 提 高 鲜 食 葡 萄 采 摘 点 定 位 鲁 棒 性 和 精 度 为 鲜 食 葡 萄 采 摘 机 器 人 实 现 精 准 采 摘 葡 萄 提 供 理 论 支 撑 2 数 据 与 材 料 2019 年 10 月 18 日 上 午 07 30 11 30 于 山 东 省 果 蔬 研 究 所 金 牛 山 基 地 117 18 E 36 16 N 采 集 鲜 食 葡 萄 图 像 如 图 1 天 气 晴 气 温 12 23 葡 萄 品 种 为 夏 黑 摩 尔 多 瓦 尤 勇 相 机 采 用 MI8 手 机 的 后 置 摄 像 头 采 集 图 像 约 1200 万 像 素 3024 4032 水 平 与 垂 直 分 辨 率 为 72 dpi 光 圈 值 为 f 1 8 曝 光 时 间 为 1 100 s 共 拍 摄 图 像 917 张 获 得 的 图 像 由 于 像 素 较 高 后 期 图 像 处 理 过 程 中 耗 费 时 间 较 长 因 此 采 用 临 近 插 值 算 法 将 图 像 缩 放 至 原 图 像 的 0 08 倍 像 素 约 为 7 8 万 242 322 提 高 算 法 运 行 速 度 与 实 用 性 3 研 究 方 法 首 先 采 用 加 权 灰 度 阈 值 作 为 聚 类 算 法 相 似 度 的 判 定 依 据 并 以 此 为 基 础 提 出 一 种 自 适 应 调 整 K 值 的 K means 聚 类 算 法 实 现 鲜 食 葡 萄 的 快 速 有 效 分 割 其 次 利 用 自 适 应 阈 值 算 法 获 得 鲜 食 葡 萄 二 值 化 图 像 并 根 据 形 态 学 处 理 填 充 孔 洞 等 操 作 进 行 除 图 1 鲜 食 葡 萄 样 本 图 像 Fig 1 Image of table grape sample 24朱 衍 俊 等 自 然 环 境 中 鲜 食 葡 萄 快 速 识 别 与 采 摘 点 自 动 定 位 方 法 Vol 5 No 2 噪 最 终 基 于 最 大 连 通 域 获 得 精 准 目 标 鲜 食 葡 萄 图 像 及 其 轮 廓 然 后 利 用 改 进 的 轮 廓 分 析 法 获 得 果 梗 轴 和 采 摘 点 感 兴 趣 区 域 并 利 用 几 何 方 法 实 现 鲜 食 葡 萄 采 摘 点 快 速 准 确 定 位 鲜 食 葡 萄 采 摘 点 的 定 位 算 法 流 程 如 图 2 所 示 3 1 鲜 食 葡 萄 的 检 测 方 法 3 1 1 鲜 食 葡 萄 的 聚 类 分 割 K means 聚 类 算 法 25 28 是 基 于 原 型 划 分 的 算 法 根 据 欧 式 距 离 评 价 图 像 中 各 聚 类 簇 的 相 似 度 距 离 越 近 目 标 相 似 度 越 大 反 之 越 小 最 终 将 聚 类 结 束 后 独 立 且 紧 凑 的 区 域 作 为 聚 类 的 最 终 结 果 通 过 分 析 发 现 该 算 法 有 2 个 明 显 的 缺 陷 一 是 聚 类 算 法 的 K 值 为 随 机 给 定 的 固 定 值 而 每 一 张 图 像 都 有 独 立 的 特 点 固 定 K 值 难 以 满 足 每 张 图 像 的 聚 类 要 求 二 是 欧 氏 距 离 为 自 定 义 或 固 定 值 不 能 根 据 图 像 的 改 变 进 行 自 适 应 变 化 且 每 次 计 算 各 点 之 间 的 欧 氏 距 离 消 耗 时 间 较 长 难 以 实 现 鲜 食 葡 萄 的 快 速 分 割 针 对 上 述 问 题 本 研 究 对 K means 进 行 改 进 提 出 一 种 可 自 适 应 改 变 的 K 值 和 加 权 灰 度 阈 值 Dis 作 为 评 价 依 据 的 K means 聚 类 算 法 实 现 鲜 食 葡 萄 快 速 有 效 地 识 别 分 割 改 进 后 的 聚 类 流 程 如 图 3 所 示 基 于 K means 算 法 的 聚 类 原 理 首 先 将 RGB 图 像 转 为 灰 度 图 像 并 设 定 初 始 K 值 然 后 按 照 灰 度 等 级 对 灰 度 图 像 进 行 K 个 簇 的 划 分 且 单 个 簇 中 灰 度 等 级 像 素 数 最 多 的 任 意 点 作 为 初 始 聚 类 的 中 心 点 当 完 成 首 次 聚 类 后 获 得 聚 类 后 每 个 簇 的 聚 类 中 心 点 平 面 坐 标 信 息 为 提 高 聚 类 准 确 率 根 据 公 式 1 完 成 图 像 栅 格 化 实 现 图 像 初 始 聚 类 Gray max i min i cluster Gray K mod Gray K 0 cluster Gary K 1 mod Gray K 0 1 其 中 max i 为 i 图 像 中 灰 度 值 的 最 大 值 min i 为 i 图 像 中 灰 度 值 的 最 小 值 cluster 为 每 个 簇 的 灰 度 等 级 数 需 要 注 意 当 mod Gray K 0 时 第 K 个 为 mod Gray K 个 灰 度 等 级 图 2 鲜 食 葡 萄 采 摘 点 定 位 流 程 图 Fig 2 Flowchart of picking point positioning for table grapes 图 3 改 进 K means 后 聚 类 算 法 流 程 图 Fig 3 Flow chart of improved K means clustering algorithm 25Vol 5 No 2 智 慧 农 业 中 英 文 Smart Agriculture 当 图 像 栅 格 化 完 成 后 获 得 初 始 聚 类 簇 及 初 始 聚 类 中 心 见 图 4 并 通 过 公 式 2 与 公 式 3 计 算 每 个 初 始 聚 类 簇 像 素 所 占 总 像 素 的 比 例 及 相 邻 初 始 聚 类 中 心 灰 度 值 的 差 值 Per i Num cluster i Num img 100 i 1 K 2 D i Gray i 1 Gray i i 1 K 1 3 其 中 Num cluster i 为 单 个 聚 类 簇 的 像 素 数 个 Num img 为 图 像 总 像 素 数 个 D i 为 相 邻 两 个 聚 类 中 心 的 灰 度 阈 值 Gray i 为 第 i 个 簇 聚 类 中 心 的 灰 度 值 Per i 为 每 个 聚 类 簇 中 像 素 数 所 占 图 像 总 像 素 数 的 百 分 比 为 提 高 聚 类 算 法 的 鲁 棒 性 参 照 公 式 4 与 公 式 5 求 取 加 权 灰 度 阈 值 Dis Dis 1 i 1 K 1 D i Per i Per i 1 Dis 2 D 1 Per 1 4 Dis Dis 1 Dis 2 2 5 经 多 次 试 验 并 对 试 验 数 据 进 行 统 计 分 析 发 现 Per 1 值 总 大 于 i 2 K Per i 的 数 值 进 一 步 分 析 发 现 由 于 鲜 食 葡 萄 颜 色 较 深 导 致 其 第 1 个 聚 类 簇 像 素 数 较 多 且 由 于 鲜 食 葡 萄 多 位 于 图 像 中 间 位 置 其 余 聚 类 中 心 皆 呈 圆 形 包 围 趋 势 收 敛 于 鲜 食 葡 萄 所 在 聚 类 中 心 如 图 4 所 示 最 终 根 据 每 个 聚 类 簇 所 占 比 例 Per 与 相 邻 两 个 聚 类 重 心 的 灰 度 差 值 D 获 得 整 个 图 片 的 加 权 灰 度 阈 值 特 别 说 明 为 保 证 数 据 真 实 有 效 性 特 别 增 加 公 式 5 完 成 第 1 个 与 第 K 个 聚 类 簇 的 计 算 通 过 两 个 相 邻 簇 的 聚 类 中 心 的 灰 度 差 值 D i 与 灰 度 阈 值 Dis 相 比 较 得 到 当 D i Dis 时 判 定 两 个 聚 类 簇 为 不 同 的 两 类 当 D i Dis 时 判 定 两 个 聚 类 簇 为 同 一 类 并 将 两 个 簇 合 并 且 两 个 簇 的 聚 类 的 中 点 作 为 新 的 聚 类 中 心 并 更 新 K 值 如 此 循 环 直 至 加 权 灰 度 阈 值 Dis 不 再 改 变 时 聚 类 结 束 如 公 式 6 计 算 Je j 并 输 出 簇 的 划 分 聚 类 结 果 如 图 5 所 示 Je j x K j 1 N K j g i u j 2 6 其 中 Je j 为 每 个 簇 的 误 差 平 方 和 其 数 值 大 小 在 一 定 程 度 上 可 衡 量 单 个 簇 内 数 据 点 的 紧 密 程 度 一 般 Je j 数 值 越 小 代 表 第 j 个 簇 内 数 据 紧 密 程 度 越 高 聚 类 效 果 越 好 g i 为 第 j 个 簇 中 的 簇 内 数 据 点 灰 度 值 u j 为 第 j 个 簇 的 聚 类 中 心 灰 度 值 N K j 为 第 j 个 簇 中 样 本 数 据 点 的 个 数 3 1 2 目 标 葡 萄 的 获 取 分 析 聚 类 结 果 图 5 发 现 葡 萄 枝 干 枯 叶 等 颜 色 与 鲜 食 葡 萄 相 近 灰 度 值 与 鲜 食 葡 萄 相 似 导 致 在 属 于 鲜 食 葡 萄 的 簇 中 包 含 较 多 的 细 小 噪 音 本 研 究 采 用 自 适 应 Otsu 对 聚 类 结 束 后 的 灰 度 图 像 进 行 图 像 分 割 获 得 二 值 图 像 如 图 6 a 所 示 观 察 发 现 仍 有 较 多 噪 音 运 用 形 态 学 开 闭 运 算 图 像 填 充 以 及 提 取 最 大 连 通 域 获 得 精 准 目 标 葡 萄 二 值 图 像 如 图 6 b 所 示 图 4 鲜 食 葡 萄 图 像 的 初 始 聚 类 中 心 及 坐 标 信 息 Fig 4 Initial cluster center and its coordinate information for images of table grape a 灰 度 图 b 聚 类 结 果 图 图 5 鲜 食 葡 萄 的 聚 类 识 别 结 果 图 Fig 5 Results of table grapes clustering recognition image 26朱 衍 俊 等 自 然 环 境 中 鲜 食 葡 萄 快 速 识 别 与 采 摘 点 自 动 定 位 方 法 Vol 5 No 2 3 2 采 摘 点 的 定 位 方 法 3 2 1 轮 廓 分 析 法 利 用 Canny 算 子 求 取 鲜 食 葡 萄 区 域 轮 廓 如 图 7 a 所 示 分 析 获 得 轮 廓 左 右 极 值 点 A B 将 轮 廓 上 所 有 点 认 定 为 质 点 如 公 式 7 求 取 鲜 食 葡 萄 重 心 点 C 结 果 如 图 7 b 所 示 在 无 外 力 干 扰 情 况 下 鲜 食 葡 萄 由 于 重 力 作 用 悬 于 空 中 果 梗 轴 所 在 直 线 穿 过 重 心 而 鲜 食 葡 萄 果 梗 必 然 介 于 极 值 点 A B 之 间 因 此 根 据 极 值 点 A B 获 得 果 梗 轴 感 兴 趣 轮 廓 鲜 食 葡 萄 果 梗 一 定 位 于 轮 廓 感 兴 趣 轮 廓 内 如 图 7 c 所 示 X m m i x i m i Y m m i y i m i 7 其 中 以 图 像 左 上 角 为 原 点 纵 向 为 Y 轴 正 方 向 横 向 为 X 轴 正 方 向 X m 为 重 心 点 横 坐 标 Y m 为 重 心 点 纵 坐 标 x i 为 轮 廓 各 点 横 坐 标 y i 为 轮 廓 各 点 纵 坐 标 m i 为 各 点 质 量 默 认 轮 廓 上 的 点 为 质 点 质 量 为 1 3 2 2 果 梗 轴 的 获 取 由 于 果 梗 轴 穿 过 重 心 C 所 以 从 左 至 右 将 感 兴 趣 轮 廓 上 的 点 与 重 心 C 依 次 连 接 组 成 待 验 证 线 束 如 图 8 a 所 示 待 验 证 线 束 中 一 定 包 含 果 梗 轴 待 验 证 线 束 的 每 条 直 线 将 鲜 食 葡 萄 区 域 分 为 左 右 两 个 区 域 如 图8 b 和 图8 c 所 示 将 图 8 b 中 鲜 食 葡 萄 左 半 区 域 绕 待 验 证 线 旋 转 180 得 到 图 8 d 所 示 图 像 根 据 图 8 c 图 8 d 的 平 面 坐 标 信 息 求 取 两 幅 依 像 素 相 似 度 P 值 29 如 公 式 8 翻 转 后 的 左 半 区 域 与 右 半 区 域 相 似 度 越 高 P 值 越 小 取 P 值 的 最 小 值 对 应 的 待 验 证 线 作 为 果 梗 轴 P x y x l y l x r y r 2 x y x l y l 2 x r y r 2 8 其 中 P 为 待 验 证 线 右 半 区 域 与 翻 转 后 的 左 半 区 域 的 像 素 的 相 似 度 值 x l y l 为 左 半 区 域 翻 转 后 a 鲜 食 葡 萄 轮 廓 b 极 值 点 与 质 点 c 感 兴 趣 轮 廓 图 注 A 为 左 极 值 点 B 为 右 极 值 点 C 为 重 心 图 7 鲜 食 葡 萄 的 轮 廓 及 轮 廓 信 息 图 Fig 7 Contour and contour information image of table grapes a 待 验 证 线 c 右 半 区 域 b 左 半 区 域 d 左 半 区 域 翻 转 注 C 为 重 心 图 8 鲜 食 葡 萄 的 待 验 证 线 束 及 果 梗 轴 Fig 8 Images of lines bundles of the stem axis to be verified a 原 始 二 值 图 b 精 准 二 值 图 图 6 鲜 食 葡 萄 二 值 图 像 Fig 6 Binary image of table grapes 27Vol 5 No 2 智 慧 农 业 中 英 文 Smart Agriculture 点 的 像 素 的 坐 标 x r y r 为 右 半 区 域 点 的 像 素 坐 标 3 2 3 目 标 葡 萄 采 摘 点 的 定 位 通 过 相 似 度 P 值 确 定 果 梗 轴 如 图 9 a 所 示 为 精 准 定 位 采 摘 点 降 低 环 境 对 采 摘 点 定 位 的 干 扰 根 据 鲜 食 葡 萄 轮 廓 与 果 梗 轴 交 点 D 轮 廓 左 右 极 值 点 A B 及 重 心 C 确 定 采 摘 点 感 兴 趣 区 域 感 兴 趣 区 域 的 长 度 ROI L 为 0 8 L AB 高 度 ROI H 为 0 25 L CD 如 图 9 c 所 示 其 中 L AB 为 极 值 点 A B 横 坐 标 轴 轴 向 距 离 L CD 为 重 心 C 与 果 梗 轴 与 鲜 食 葡 萄 轮 廓 交 点 D 纵 坐 标 轴 轴 向 距 离 其 中 采 摘 点 感 兴 趣 区 域 所 在 位 置 的 两 个 约 束 条 件 如 下 点 D 为 感 兴 趣 区 域 矩 形 底 边 必 过 点 点 D 为 感 兴 趣 区 域 矩 形 底 边 中 点 依 据 公 式 9 求 取 采 摘 点 感 兴 趣 区 域 的 中 心 O 并 获 取 点 O 到 果 梗 轴 最 近 的 距 离 的 点 E 将 点 E 作 为 最 终 采 摘 点 结 果 如 图 10 所 示 X O i 1 4 x i 4 Y O i 1 4 y i 4 9 其 中 X O 为 点 O 横 坐 标 Y O 为 点 O 纵 坐 标 x i 为 外 接 矩 形 四 个 顶 点 的 横 坐 标 y i 为 外 接 矩 形 四 个 顶 点 的 纵 坐 标 定 位 采 摘 点 E 的 两 种 情 况 为 中 心 O 位 于 果 梗 轴 外 求 取 果 梗 轴 至 点 O 的 最 短 距 离 的 点 E 并 将 点 E 作 为 最 终 采 摘 点 中 心 O 位 于 果 梗 轴 上 将 点 O 作 为 采 摘 点 4 结 果 与 分 析 4 1 试 验 数 据 与 误 差 分 析 采 用 像 素 定 位 误 差 15 方 法 分 析 采 摘 点 定 位 的 准 确 度 并 通 过 采 摘 点 像 素 定 位 误 差 e 评 价 采 摘 点 定 位 的 精 准 度 如 公 式 10 所 示 e x min X x e y min Y y e e 2 x e 2 y 10 其 中 X 为 最 优 采 摘 点 像 素 区 域 横 坐 标 Y 为 最 优 采 摘 点 像 素 区 域 纵 坐 标 x 为 所 求 的 采 摘 点 横 坐 标 y 为 所 求 的 采 摘 点 纵 坐 标 e x 为 得 到 的 采 摘 点 到 最 优 采 摘 点 像 素 区 域 的 行 方 向 坐 标 误 差 e y 为 得 到 的 采 摘 点 到 最 优 采 摘 点 像 素 区 域 的 列 方 向 误 差 e 为 采 摘 点 像 素 定 位 误 差 为 保 证 试 验 数 据 真 实 有 效 最 优 采 摘 点 的 坐 标 范 围 选 自 采 摘 点 感 兴 趣 区 域 内 的 果 梗 直 线 所 在 区 域 根 据 点 D 和 点 M 人 工 设 置 最 优 采 摘 点 的 坐 标 范 围 以 点 D 和 点 M 的 中 点 为 基 点 在 像 素 6 30 范 围 内 为 最 优 采 摘 点 的 区 域 计 算 本 研 究 所 提 出 方 法 定 位 的 采 摘 点 与 人 工 确 定 的 最 优 采 摘 点 之 间 的 误 差 a 果 梗 轴 图 c 果 梗 与 感 兴 趣 区 域 交 点 d 采 摘 点 感 兴 趣 区 域 b 果 梗 轴 与 轮 廓 交 点 图 注 D 为 果 梗 轴 与 葡 萄 轮 廓 交 点 M 为 果 梗 轴 与 采 摘 点 感 兴 趣 区 域 上 边 界 交 点 图 9 鲜 食 葡 萄 采 摘 点 感 兴 趣 轮 廓 图 Fig 9 Region of interest of picking point for table grapes a 中 心 点 图 b 采 摘 点 定 位 图 c 识 别 结 果 图 注 O 为 采 摘 点 感 兴 趣 区 域 中 心 E 为 采 摘 点 图 10 鲜 食 葡 萄 的 采 摘 点 识 别 结 果 图 Fig 10 Recognition results of picking point for table grapes 28朱 衍 俊 等 自 然 环 境 中 鲜 食 葡 萄 快 速 识 别 与 采 摘 点 自 动 定 位 方 法 Vol 5 No 2 为 验 证 本 研 究 所 提 出 的 方 法 对 采 集 的 鲜 食 葡 萄 图 像 进 行 识 别 试 验 并 随 机 抽 取 10 个 样 本 进 行 细 致 分 析 表 1 为 10 张 图 像 的 聚 类 信 息 统 计 通 过 分 析 试 验 样 本 发 现 当 K 18 22 时 总 体 聚 类 效 果 最 佳 因 此 设 置 初 始 K 值 于 18 22 区 间 内 产 生 通 过 分 析 聚 类 结 果 表 1 本 研 究 所 提 出 的 K means 方 法 与 原 始 聚 类 算 法 相 比 在 聚 类 效 果 相 差 无 几 情 况 下 聚 类 速 度 得 到 明 显 提 升 表 2 为 10 个 目 标 葡 萄 采 摘 点 定 位 信 息 特 别 说 明 第 8 个 试 验 由 于 果 梗 感 兴 趣 区 域 上 边 界 超 出 纵 坐 标 正 向 区 域 从 而 出 现 点 M 纵 坐 标 为 负 值 情 况 但 并 未 影 响 采 摘 点 的 准 确 定 位 其 中 图 11 为 10 组 试 验 结 果 图 对 抽 取 的 10 个 试 验 数 据 进 行 定 位 误 差 分 析 鉴 于 采 摘 机 器 人 末 端 采 摘 装 置 具 有 一 定 的 容 错 范 围 因 此 本 方 法 计 算 得 到 的 鲜 食 葡 萄 采 摘 点 与 最 优 采 摘 点 之 间 在 12 个 像 素 认 为 定 位 成 功 分 析 表 2 发 现 有 且 仅 有 一 个 采 摘 点 误 差 大 于 12 个 像 素 抽 取 的 10 个 样 本 的 平 均 定 位 时 间 为 0 74 s 通 过 表 2 发 现 当 鲜 食 葡 萄 出 现 误 判 时 导 致 鲜 食 葡 萄 采 摘 点 定 位 失 败 对 拍 摄 的 917 张 图 像 试 验 结 果 进 行 统 计 分 析 共 有 87 张 图 像 鲜 食 葡 萄 采 摘 点 定 位 失 败 因 此 整 体 定 位 成 功 率 为 90 51 平 均 定 位 时 间 为 0 87 s 对 定 位 失 败 案 例 的 进 行 统 计 分 析 结 果 表 明 光 照 是 导 致 采 摘 点 定 位 失 败 最 主 要 因 素 枝 叶 的 遮 挡 和 鲜 食 葡 萄 间 相 互 贴 叠 是 导 致 采 摘 点 定 位 失 败 的 次 要 因 素 表 2 鲜 食 葡 萄 采 摘 点 定 位 信 息 表 Table 2 Localization information of table grapes 样 本 号 1 2 3 4 5 6 7 8 9 10 点 D 坐 标 x D y D 157 145 155 133 160 143 142 52 152 115 172 149 163 38 155 26 204 187 209 55 点 M 坐 标 x M y M 155 122 153 116 159 116 142 19 151 91 169 1230 161 7 156 14 204 172 208 20 最 优 采 摘 点 范 围 X 155 153 159 142 151 170 161 155 204 208 Y 133 124 129 35 102 135 22 6 179 37 点 E 坐 标 x 146 148 155 149 136 176 165 148 199 201 y 128 119 133 40 134 139 28 13 170 43 与 最 优 采 摘 点 的 误 差 e x 9 5 4 7 15 6 4 7 5 7 e y 5 5 4 5 32 4 6 7 9 6 e 10 3 7 1 5 7 8 6 35 3 7 2 7 2 9 9 10 3 9 2 运 行 时 间 s 0 68 0 78 0 66 0 59 1 42 0 68 0 65 0 67 0 64 1 28 表 1 目 标 葡 萄 的 聚 类 信 息 Table 1 Clustering information of target grapes 样 本 号 1 2 3 4 5 6 7 8 9 10 初 始 K 值 18 20 19 20 21 21 18 18 20 20 最 终 K 值 7 8 7 7 4 6 3 8 9 8 2 65 3 23 2 35 2 21 3 68 2 68 2 64 2 69 3 01 3 77 改 进 前 聚 类 时 间 s 改 进 后 聚 类 时 间 s 0 66 0 77 0 65 0 58 1 40 0 67 0 64 0 65 0 63 1 26 改 进 前 目 标 簇 的 误 差 平 方 和 0 0101 0 0092 0 0083 0 0053 0 0122 0 0152 0 0110 0 0115 0 0093 0 0082 改 进 后 目 标 簇 的 误 差 平 方 和 0 0098 0 0110 0 0083 0 006