基于嵌入式机器视觉智能果实分拣机器人设计与试验.pdf

第 4 卷 第 3 期 2023 年 8 月 Vol 4 No 3 August 2023 智 能 化 农 业 装 备 学 报 中 英 文 Journal of Intelligent Agricultural Mechanization 基 于 嵌 入 式 机 器 视 觉 智 能 果 实 分 拣 机 器 人 设 计 与 试 验 白 振 伟 严 富 威 袁 培 海 张 浩 明 杨 润 树 仲 恺 农 业 工 程 学 院 机 电 工 程 学 院 广 东 广 州 510225 摘 要 随 着 人 工 成 本 的 升 高 采 用 智 能 化 的 现 代 设 备 代 替 人 类 完 成 一 系 列 重 复 性 的 枯 燥 的 甚 至 高 强 度 的 劳 动 是 当 前 机 器 人 研 究 的 一 个 重 要 方 向 分 拣 机 器 人 作 为 农 业 机 器 人 的 重 要 分 支 具 有 良 好 的 发 展 潜 力 为 了 实 现 替 代 人 工 将 成 熟 度 大 小 不 同 的 果 实 进 行 识 别 分 拣 运 用 STM32 单 片 机 OpenMV 机 器 视 觉 模 块 ESP32 单 片 机 设 计 一 款 智 能 分 拣 果 实 机 器 人 OpenMV 机 器 视 觉 模 块 采 集 果 实 的 颜 色 大 小 信 息 判 断 水 果 是 否 成 熟 STM32 单 片 机 控 制 机 器 人 的 运 动 以 及 机 械 臂 执 行 相 应 的 分 拣 程 序 将 水 果 分 拣 到 指 定 容 器 ESP32 单 片 机 将 分 拣 数 据 上 传 到 云 端 机 器 人 在 设 计 过 程 中 使 用 三 维 建 模 软 件 进 行 结 构 设 计 建 立 三 维 模 型 并 进 行 仿 真 分 析 仿 真 结 果 表 明 在 一 定 程 度 上 能 够 实 现 分 拣 自 动 化 信 息 化 高 效 化 在 研 究 中 对 实 物 进 行 多 次 两 个 分 拣 点 调 试 一 共 分 拣 了 24 颗 果 实 对 果 实 的 分 拣 的 成 功 率 达 到 87 5 研 究 结 果 表 明 分 拣 机 器 人 能 够 实 现 精 准 分 拣 且 达 到 一 定 的 可 靠 性 和 实 用 性 可 以 替 代 人 类 完 成 果 实 精 准 分 拣 的 工 作 关 键 词 STM32 OpenMV 智 能 分 拣 ESP32 PID 控 制 逆 运 动 学 分 析 中 图 分 类 号 S226 9 文 献 标 识 码 A 文 章 编 号 2096 7217 2023 03 0061 10 白 振 伟 严 富 威 袁 培 海 张 浩 明 杨 润 树 基 于 嵌 入 式 机 器 视 觉 智 能 果 实 分 拣 机 器 人 设 计 与 试 验 J 智 能 化 农 业 装 备 学 报 中 英 文 2023 4 3 61 70 BAI Zhenwei YAN Fuwei YUAN Peihai ZHANG Haoming YANG Runshu Design and experiment of fruit sorting robot based on embedded machine vision J Journal of Intelligent Agricultural Mechanization 2023 4 3 61 70 0 引 言 我 国 是 农 业 大 国 水 果 产 业 是 我 国 种 植 业 中 的 第 三 大 产 业 当 前 我 国 水 果 产 量 每 年 都 在 急 剧 增 长 据 统 计 未 来 10 年 水 单 产 继 续 提 高 产 量 稳 中 有 增 品 种 结 构 进 一 步 优 化 优 质 水 果 供 给 增 加 预 计 2032 年 达 3 53 10 8 t 1 其 中 水 果 分 拣 是 水 果 产 业 中 最 耗 时 耗 力 的 环 节 之 一 分 拣 环 节 成 本 高 季 节 性 强 需 要 大 量 劳 动 力 高 强 度 工 作 2 其 中 水 果 的 采 摘 和 分 拣 工 作 是 水 果 生 产 必 不 可 少 的 环 节 仅 靠 传 统 人 力 进 行 采 摘 分 拣 果 实 工 作 强 度 大 耗 费 时 间 长 而 随 着 科 学 技 术 的 进 步 水 果 采 摘 分 拣 工 作 逐 渐 向 自 动 化 智 能 化 的 方 向 发 展 极 大 提 高 了 水 果 分 拣 效 率 3 按 照 水 果 的 内 外 部 品 质 和 大 小 重 量 进 行 分 拣 是 当 前 国 内 外 水 果 分 拣 技 术 的 两 个 主 要 研 究 方 向 1 国 外 早 期 的 水 果 品 质 方 法 主 要 通 过 CCD 彩 色 相 机 采 用 无 损 检 测 计 算 机 分 析 处 理 等 手 段 对 水 果 逐 一 进 行 分 析 但 随 着 自 动 化 技 术 和 机 器 视 觉 技 术 的 不 断 发 展 1995 年 美 国 研 制 的 Merling 高 速 高 频 计 算 机 视 觉 水 果 分 级 系 统 其 生 产 率 约 为 40 t h 美 国 每 年 有 50 以 上 的 苹 果 经 过 该 设 备 处 理 美 国 Autoline 公 司 的 水 果 分 级 设 备 在 世 界 上 处 于 领 先 地 位 4 相 较 于 国 外 的 水 果 分 拣 技 术 产 品 国 内 的 分 拣 产 品 还 是 较 为 落 后 大 多 数 产 品 还 都 局 限 于 机 械 分 拣 阶 段 主 要 用 来 对 水 果 的 大 小 和 重 量 进 行 分 拣 目 前 市 面 上 的 分 拣 机 有 滚 筒 筛 式 震 动 筛 式 斜 坡 式 以 及 直 线 型 变 距 分 拣 机 等 这 一 类 机 器 的 分 拣 原 理 主 要 是 通 过 果 实 的 重 量 和 大 小 来 进 行 分 拣 5 这 种 分 拣 方 式 精 度 差 无 法 判 断 水 果 成 熟 度 且 对 水 果 有 不 同 程 度 的 损 伤 随 着 嵌 入 式 控 制 技 术 和 图 像 处 理 技 术 的 不 断 发 展 使 得 当 前 较 为 先 进 的 分 拣 机 器 人 可 以 根 据 水 果 的 外 形 大 小 颜 色 等 指 标 通 过 机 械 臂 对 果 实 进 行 分 拣 这 种 分 拣 方 式 精 度 高 对 果 实 的 损 耗 小 是 未 来 分 拣 机 器 人 的 一 种 新 趋 势 DOI 10 12398 j issn 2096 7217 2023 03 007 收 稿 日 期 2023 03 15 修 回 日 期 2023 07 19 基 金 项 目 广 东 省 教 育 厅 项 目 2022ZDJS024 仲 恺 农 业 工 程 学 院 2021 年 校 级 质 量 工 程 项 目 KA2201601L7 国 家 创 新 创 业 训 练 计 划 项 目 KA220160516 第 一 作 者 白 振 伟 男 1985 年 生 江 西 石 城 人 博 士 讲 师 研 究 方 向 为 高 精 密 加 工 与 制 造 装 备 及 机 电 产 品 设 计 E mail baizhenwei07 2023 年 智 能 化 农 业 装 备 学 报 中 英 文 本 文 将 基 于 STM32 单 片 机 OpenMV 机 器 视 觉 模 块 设 计 一 款 智 能 分 拣 果 实 机 器 人 其 中 STM32 单 片 机 作 为 智 能 分 拣 果 实 机 器 人 的 主 控 制 器 利 用 OpenMV 机 器 视 觉 模 块 识 别 获 取 果 实 信 息 通 过 USART 通 信 将 数 据 传 输 到 主 控 制 器 主 控 制 器 接 收 数 据 后 驱 动 机 械 臂 完 成 果 实 分 拣 1 设 计 原 理 及 构 造 设 定 有 A B 两 种 体 积 大 小 不 同 的 水 果 两 种 类 型 的 水 果 均 有 红 绿 两 种 颜 色 需 要 将 绿 色 的 水 果 按 小 大 分 类 至 1 2 号 果 篮 红 色 的 水 果 同 样 按 小 大 分 类 至 3 4 号 果 篮 试 验 场 地 模 型 图 如 图 1 所 示 6 该 控 制 系 统 主 要 包 括 循 迹 识 别 和 抓 取 三 个 过 程 具 体 的 工 作 原 理 及 流 程 分 拣 机 器 人 启 动 后 通 过 车 前 底 部 的 红 外 循 迹 模 块 对 地 面 的 黑 色 引 导 线 进 行 识 别 控 制 分 拣 机 器 人 前 进 的 方 向 行 驶 途 中 检 测 到 分 类 点 的 停 止 线 后 停 下 并 启 动 视 觉 模 块 视 觉 模 块 对 水 果 的 颜 色 大 小 进 行 分 析 同 时 车 前 端 的 HC SR04 超 声 波 模 块 对 果 实 和 分 拣 机 器 人 的 距 离 进 行 测 量 将 距 离 信 息 以 及 果 实 信 息 传 输 至 单 片 机 单 片 机 对 得 到 的 数 据 进 行 计 算 控 制 机 械 臂 对 水 果 进 行 抓 取 分 类 抓 取 完 成 后 继 续 沿 着 引 导 线 至 下 一 个 分 类 点 该 分 拣 机 器 人 的 关 键 部 件 由 机 械 臂 结 构 直 流 减 速 电 机 MG945S 舵 机 组 成 其 中 直 流 减 速 电 机 采 用 的 是 MG513P10 12V 型 号 电 机 尾 部 集 成 有 编 码 器 与 电 机 转 子 同 轴 反 馈 出 电 机 的 转 速 实 现 闭 环 控 制 2 机 械 结 构 设 计 对 于 整 体 车 身 和 机 械 臂 结 构 等 各 零 部 件 材 料 方 面 采 用 具 备 精 确 和 耐 久 特 性 类 ABS 的 立 体 光 造 型 树 脂 未 来 R4600 树 脂 可 应 用 于 汽 车 医 疗 消 费 电 子 等 工 业 领 域 的 概 念 模 型 亦 可 用 于 一 般 部 件 功 能 性 部 件 的 制 作 该 材 料 的 性 能 参 数 如 表 1 所 示 该 材 料 能 够 打 印 对 精 度 和 韧 性 要 求 高 的 部 件 模 型 尺 寸 稳 定 性 好 拥 有 低 收 缩 率 和 优 异 的 耐 变 黄 性 具 有 卓 越 的 可 加 工 性 但 是 热 变 形 温 度 略 低 根 据 分 拣 工 作 环 境 以 及 机 器 人 工 作 状 态 对 各 零 部 件 设 计 相 应 合 理 尺 寸 智 能 分 拣 机 器 人 结 构 参 数 如 表 2 所 示 智 能 分 拣 机 器 人 的 结 构 参 数 尺 寸 如 图 2 所 示 后 轮 直 流 减 速 电 机 带 有 固 定 铁 架 且 前 轮 转 向 机 构 设 计 成 长 条 板 状 方 便 于 组 装 固 定 转 向 机 构 架 板 长 度 为 140 mm 端 部 小 部 分 伸 进 前 轮 前 轮 间 距 135 mm 整 体 车 身 设 计 简 单 为 平 板 式 形 状 为 前 窄 后 宽 长 度 为 278 mm 最 小 宽 度 为 110 mm 最 大 宽 度 为 150 mm 车 身 结 构 3D 模 型 图 如 图 3 所 示 最 大 预 留 出 车 轮 直 流 减 速 电 机 前 轮 转 向 机 构 主 控 板 架 固 定 的 孔 位 为 实 现 快 捷 灵 活 的 采 摘 动 作 将 机 械 臂 设 计 成 简 单 的 连 杆 二 轴 结 构 最 大 主 力 臂 长 145 mm 最 大 前 臂 长 172 mm 最 大 前 伸 距 离 208 mm 两 个 力 臂 由 两 个 MG945S 舵 机 驱 动 设 置 在 对 称 的 位 置 在 不 影 响 机 械 臂 旋 转 的 同 时 方 便 后 期 布 线 也 相 对 美 观 其 模 型 图 如 图 4 所 示 图 1 实 验 场 地 模 型 图 Figure 1 Model diagram of experimental site 表 1 材 料 性 能 参 数 表 Table 1 Material performance parameters 性 能 指 标 硬 度 HD ASTM Method D2240 拉 伸 模 量 MPa ASTM Method D638M 拉 伸 强 度 MPa ASTM Method D638M 断 裂 延 展 率 ASTM Method D638M 弯 曲 强 度 MPa ASTM Method D790M 弯 曲 模 量 MPa ASTM Method D790M 性 能 参 数 76 86 2 559 2 678 38 56 8 14 69 73 2 670 2 758 表 2 结 构 参 数 表 Table 2 Structure parameter 机 械 结 构 最 大 车 长 mm 最 大 车 宽 mm 主 控 板 架 高 度 mm 最 大 主 力 臂 长 mm 最 大 前 臂 长 mm 最 大 前 伸 距 离 mm 爪 间 最 大 距 离 mm 机 械 参 数 295 219 30 145 172 208 58 62第 3 期 白 振 伟 等 基 于 嵌 入 式 机 器 视 觉 智 能 果 实 分 拣 机 器 人 设 计 与 试 验 利 用 UG 软 件 运 动 仿 真 模 块 对 智 能 分 拣 机 器 人 进 行 运 动 仿 真 仿 真 过 程 在 仿 真 模 块 主 页 中 首 先 设 置 各 部 件 的 钢 体 属 性 将 车 身 设 置 为 固 定 连 杆 对 机 械 臂 底 部 旋 转 台 前 臂 主 力 臂 以 及 夹 爪 分 别 设 置 为 非 固 定 连 杆 之 后 将 各 连 接 处 可 旋 转 移 动 的 部 位 设 置 为 运 动 副 中 的 旋 转 副 为 舵 机 所 在 的 旋 转 部 件 处 设 置 驱 动 转 速 设 置 为 舵 机 的 反 应 转 速 为 53 62 r min 并 设 置 旋 转 角 度 上 下 极 限 为 180 设 定 开 始 仿 真 模 型 时 为 识 别 到 果 实 的 时 刻 进 行 解 算 后 动 画 流 程 显 示 机 械 臂 向 前 方 目 标 伸 展 后 夹 爪 收 紧 之 后 收 回 到 原 来 位 置 并 向 旁 边 旋 转 最 后 松 开 夹 爪 仿 真 动 画 结 束 对 机 械 臂 的 屈 伸 运 动 进 行 仿 真 模 拟 如 图 5 所 示 对 机 械 臂 夹 爪 抓 取 动 作 进 行 仿 真 模 拟 如 图 6 所 示 仿 真 结 果 均 能 实 现 所 需 动 作 和 运 动 要 求 利 用 SolidWorks 软 件 的 Simulation 插 件 对 机 械 臂 进 行 力 学 分 析 2 1 建 立 有 限 元 模 型 将 机 械 臂 模 型 导 入 SolidWorks 软 件 后 开 启 Simulation 插 件 创 建 一 个 新 算 例 并 根 据 表 1 的 材 料 性 能 参 数 为 模 型 应 用 ABS 的 材 料 属 性 之 后 对 机 械 臂 底 部 设 置 固 定 几 何 体 再 添 加 外 部 载 荷 假 设 单 次 分 拣 的 果 实 的 重 力 为 0 5 N 机 械 臂 自 身 重 力 为 3 N 在 夹 爪 区 域 添 加 一 个 0 5 N 的 竖 直 向 下 的 力 同 时 在 主 力 臂 和 前 臂 添 加 一 个 大 小 为 3 N 的 竖 直 向 下 的 力 最 后 为 模 型 生 成 网 格 待 生 成 结 束 时 开 始 运 行 此 算 例 2 2 静 力 学 分 析 建 立 完 模 型 后 在 机 械 臂 前 伸 姿 态 进 行 力 学 分 析 得 到 变 形 情 况 和 应 力 分 布 情 况 如 图 7 所 示 由 静 应 力 分 析 仿 真 结 果 可 见 在 此 姿 态 下 的 机 械 臂 在 末 端 夹 爪 机 构 和 腕 关 节 处 发 生 最 大 变 形 变 形 量 沿 着 机 械 臂 向 图 3 车 身 结 构 模 型 图 Figure 3 Body structure model diagram 图 5 机 械 臂 屈 伸 运 动 仿 真 Figure 5 Simulation of the flexion and extension motion of a robotic arm a 主 视 图 b 侧 视 图 c 俯 视 图 图 2 机 器 人 结 构 参 数 图 Figure 2 Structural parameter diagram 图 6 机 械 臂 夹 爪 抓 取 动 作 仿 真 Figure 6 Simulation of the clamping action of a mechanical arm 图 4 MG945S 舵 机 模 型 图 Figure 4 MG945S actuator model diagram 632023 年 智 能 化 农 业 装 备 学 报 中 英 文 旋 转 底 座 呈 递 减 趋 势 直 到 变 形 量 为 0 由 图 可 知 应 力 主 要 集 中 于 前 臂 与 主 力 臂 连 接 处 主 力 臂 与 旋 转 底 座 连 接 处 最 大 应 力 为 1 756 10 7 N m 2 仿 真 结 果 表 明 机 械 臂 的 末 端 夹 爪 区 域 和 连 接 处 会 发 生 最 大 变 形 应 力 主 要 集 中 于 前 臂 与 主 力 臂 连 接 处 主 力 臂 与 旋 转 平 台 连 接 处 和 底 座 固 定 孔 处 整 体 验 证 了 该 机 械 臂 结 构 的 合 理 性 以 及 能 支 撑 主 要 分 拣 运 动 的 可 靠 性 智 能 分 拣 机 器 人 结 构 主 要 由 下 端 移 动 平 台 和 上 端 执 行 机 械 臂 组 成 系 统 整 体 设 计 实 物 如 图 8 所 示 下 端 移 动 平 台 下 端 移 动 平 台 设 计 为 后 置 两 驱 后 轮 为 带 编 码 器 的 直 流 减 速 电 机 通 过 联 轴 器 与 防 滑 车 轮 相 连 前 轮 转 向 机 构 设 计 成 整 体 式 转 向 机 构 如 图 9 所 示 为 了 灵 活 控 制 转 向 角 度 采 用 MG945 舵 机 控 制 转 向 的 连 杆 机 构 这 种 结 构 简 单 可 靠 7 上 端 执 行 机 械 臂 由 主 力 臂 前 臂 以 及 机 械 爪 组 成 主 力 臂 由 MG945 舵 机 带 动 进 行 上 下 运 作 前 臂 由 另 一 台 MG945 舵 机 控 制 通 过 连 杆 驱 动 前 臂 进 行 屈 伸 运 动 如 图 10 所 示 3 系 统 硬 件 设 计 3 1 硬 件 组 成 为 了 实 现 分 拣 果 实 机 器 人 的 相 应 功 能 硬 件 设 计 主 要 包 括 主 控 制 器 模 块 机 器 人 视 觉 模 块 电 源 模 块 等 组 成 硬 件 结 构 图 如 图 11 所 示 硬 件 参 数 型 号 如 表 3 所 示 图 7 机 械 臂 变 形 和 受 力 情 况 图 Figure 7 Mechanical arm deformation and force diagram 图 8 智 能 分 拣 机 器 人 实 物 图 Figure 8 Physical image of intelligent sorting robot 图 9 转 向 连 杆 机 构 Figure 9 Steering linkage 1 防 滑 车 轮 2 舵 机 3 车 轮 连 接 结 构 4 舵 叶 5 连 接 杆 图 10 机 械 臂 屈 伸 结 构 图 Figure 10 Mechanical arm flexion and extension structure diagram 1 舵 机 2 舵 叶 3 主 力 臂 4 前 臂 5 连 接 杆 图 11 硬 件 结 构 图 Figure 11 Hardware structure diagram 表 3 硬 件 参 数 型 号 表 Table 3 Hardware parameter model 硬 件 模 块 名 称 主 控 制 器 联 网 控 制 器 机 器 视 觉 模 块 电 机 驱 动 模 块 机 械 臂 舵 机 直 流 减 速 电 机 电 源 模 块 温 湿 度 传 感 器 超 声 波 测 距 模 块 硬 件 型 号 参 数 STM32F103zet6 ESP32 单 片 机 OpenMV L298N MG945S 数 字 舵 机 MG513P10 12V LM2596S DC DC DHT11 HC SR04 64第 3 期 白 振 伟 等 基 于 嵌 入 式 机 器 视 觉 智 能 果 实 分 拣 机 器 人 设 计 与 试 验 3 2 主 控 制 器 系 统 本 设 计 中 采 用 了 STM32F103zet6 单 片 机 作 为 主 控 制 器 该 单 片 机 基 于 Cortex M3 内 核 它 的 最 高 的 时 钟 频 率 为 72 MHz 拥 有 丰 富 的 外 设 资 源 8 9 共 有 114 个 引 脚 其 中 有 80 个 通 用 I O 口 具 有 兼 容 5 V 的 特 性 使 得 很 多 5 V 模 块 也 可 以 轻 松 的 被 STM32 处 理 还 可 以 配 置 出 16 个 外 部 中 断 3 2 1 复 位 电 路 采 用 的 STM32F103zet6 单 片 机 在 系 统 中 集 成 了 复 位 按 键 按 键 复 位 包 括 了 电 平 方 式 复 位 和 脉 冲 复 位 两 种 方 式 该 单 片 机 使 用 的 为 脉 冲 复 位 按 下 复 位 按 键 芯 片 内 部 的 复 位 信 号 会 在 NRST 引 脚 上 输 出 脉 冲 发 生 器 保 证 每 一 个 外 部 或 内 部 复 位 源 都 能 有 至 少 20 s 的 脉 冲 延 时 当 NRST 引 脚 被 拉 低 产 生 外 部 复 位 时 它 将 产 生 复 位 脉 冲 复 位 电 路 如 图 12 所 示 3 2 2 电 源 电 路 电 源 电 路 图 如 图 13 所 示 STM32 的 工 作 电 压 V DD 为 2 0 3 6 V 通 过 内 置 的 电 压 调 节 器 提 供 所 需 的 1 8 V 电 源 当 主 电 源 V DD 掉 电 后 通 过 VBAT 脚 为 实 时 时 钟 RTC 和 备 份 寄 存 器 提 供 电 源 电 源 电 路 如 图 13 所 示 该 设 计 中 使 用 了 STM32F103zet6 丰 富 的 I O 口 资 源 外 接 各 种 硬 件 模 块 3 3 电 机 驱 动 系 统 本 设 计 中 采 用 的 电 机 驱 动 系 统 由 两 个 带 编 码 器 的 直 流 减 速 电 机 以 及 一 个 L298N 电 机 驱 动 模 块 3 3 1 带 编 码 器 的 直 流 减 速 电 机 直 流 减 速 电 机 是 在 直 流 电 机 的 基 础 上 通 过 齿 轮 结 构 将 直 流 电 机 输 出 的 转 速 进 行 了 减 速 处 理 10 本 设 计 中 采 了 用 带 编 码 器 的 MG513P10 12V 直 流 减 速 电 机 霍 尔 元 件 在 电 机 闭 环 控 制 系 统 中 起 到 了 重 大 作 用 通 过 霍 尔 元 件 测 量 数 据 反 馈 到 主 控 制 器 主 控 制 器 与 目 标 速 度 相 比 较 通 过 PID 控 制 算 法 消 除 偏 差 实 现 闭 环 控 制 11 3 3 2 L298N 电 机 驱 动 电 路 L298N 电 机 驱 动 模 块 作 为 运 动 控 制 的 主 要 部 件 L298N 是 ST 公 司 生 产 的 一 种 高 电 压 大 电 流 电 机 驱 动 芯 片 采 用 双 H 桥 直 流 电 机 驱 动 芯 片 双 H 桥 电 路 原 理 图 如 图 14 所 示 12 L298N 驱 动 电 路 可 驱 动 2 个 直 流 减 速 电 动 机 板 载 上 的 OUT1 OUT2 和 OUT3 OUT4 分 别 接 直 流 减 速 电 机 的 电 机 线 IN1 IN2 和 IN3 IN4 引 控 制 电 机 正 反 转 板 载 的 ENA ENB 脚 为 使 能 端 本 设 计 中 通 过 PID 控 制 算 法 计 算 电 机 制 定 转 速 所 需 要 的 占 空 比 将 ENA ENB 使 能 引 脚 接 入 到 TIM4 TIM8 的 PWM 输 出 通 道 以 实 现 对 电 机 速 度 的 控 制 4 软 件 设 计 4 1 视 觉 模 块 程 序 设 计 视 觉 模 块 选 择 的 是 OpenMV4 H7 R2 Cam 摄 像 头 该 摄 像 头 的 主 要 参 数 STM32H743II ARM Cortex M7 处 理 器 480 MHz 1 MB RAM 2 MB flash 所 有 的 I O 引 脚 输 出 3 3 V 并 且 5 V 耐 受 在 QVGA 320 240 及 以 下 的 分 辨 率 时 大 多 数 简 单 的 算 法 可 以 运 行 25 50 FPS 主 板 上 共 有 10 个 I O 引 脚 均 可 用 于 中 断 和 PWM 输 出 摄 像 头 本 身 内 置 了 一 些 图 像 处 理 算 法 支 持 RGB565 以 及 灰 度 等 多 种 图 像 格 式 可 以 轻 松 地 完 成 机 器 视 觉 应 用 13 视 觉 模 块 运 行 流 程 图 如 图 15 所 示 图 12 复 位 电 路 图 Figure 12 Reset circuit diagram 图 13 电 源 电 路 图 Figure 13 Power circuit diagram 图 14 双 H 桥 电 路 原 理 图 Figure 14 Circuit schematic diagram of dual H bridge 652023 年 智 能 化 农 业 装 备 学 报 中 英 文 4 1 1 图 像 颜 色 识 别 绿 色 颜 色 阈 值 的 判 定 如 图 16 所 示 图 像 颜 色 的 识 别 用 到 find blobs 函 数 该 函 数 将 摄 像 头 捕 获 的 图 像 像 素 色 彩 数 值 与 程 序 预 先 设 定 的 颜 色 阈 值 进 行 对 比 若 数 值 处 于 设 定 的 范 围 内 则 果 实 确 认 为 对 应 颜 色 颜 色 的 阈 值 设 定 通 常 采 用 的 是 LAB 色 彩 模 式 14 阈 值 范 围 设 定 得 越 小 识 别 得 越 精 准 但 捕 获 的 图 像 会 受 到 环 境 因 素 的 影 响 从 而 降 低 识 别 精 度 因 此 可 以 通 过 适 度 地 扩 大 阈 值 识 别 范 围 以 降 低 环 境 因 素 的 干 扰 设 定 颜 色 阈 值 red threshold 66 20 61 27 53 7 green threshold 83 39 71 29 16 71 find blobs 函 数 寻 找 色 块 blobs1 img find blobs green threshold blobs2 img find blobs red threshold 利 用 for 将 所 有 色 块 都 进 行 判 定 并 框 出 if blobs1 for blob in blobs1 img draw rectangle blob 0 4 img draw cross blob 5 blob 6 将 红 色 阈 值 设 定 为 66 20 61 27 53 7 在 该 阈 值 范 围 下 无 论 是 暗 红 色 还 是 亮 红 色 都 能 够 顺 利 识 别 有 效 地 减 少 了 环 境 亮 度 对 识 别 的 影 响 将 绿 色 阈 值 设 定 为 83 39 71 29 16 71 在 这 个 阈 值 范 围 下 同 样 能 降 低 环 境 因 素 对 颜 色 识 别 的 影 响 4 1 2 果 实 大 小 识 别 在 颜 色 识 别 过 程 中 可 以 将 图 像 中 的 有 效 色 块 用 矩 形 以 外 切 方 式 框 出 通 过 计 算 得 出 框 架 的 面 积 从 而 近 似 地 得 出 色 块 的 面 积 由 于 每 次 抓 取 时 果 实 与 相 机 的 距 离 一 致 所 以 图 像 色 块 的 面 积 可 以 有 效 地 比 较 果 实 真 实 的 大 小 进 而 分 类 出 果 实 的 大 小 获 取 色 块 像 素 面 积 函 数 area1 blob area 在 研 究 中 框 架 面 积 处 于 1 500 4 500 像 素 面 积 区 间 的 色 块 在 现 实 中 对 应 果 实 直 径 为 15 40 mm 因 此 将 框 架 面 积 处 于 1 500 4 500 区 间 的 色 块 视 为 小 果 实 而 框 架 面 积 大 于 4 500 的 色 块 则 视 为 大 果 实 对 于 框 架 面 积 小 于 1 500 的 色 块 可 能 存 在 较 大 误 差 对 实 验 结 果 造 成 影 响 因 此 不 作 为 判 断 依 据 判 断 果 实 大 小 成 功 后 将 代 表 果 实 大 小 的 特 定 信 号 通 过 串 口 通 信 传 输 至 控 制 模 块 比 较 大 小 并 传 输 特 定 信 号 if 1 500 area1 4 500 senddata bytearray 0 x2C 0 x12 sign 0 x5B uart write senddata 4 2 控 制 模 块 程 序 设 计 4 2 1 整 体 程 序 设 计 设 计 中 由 主 控 制 器 的 TIM1 定 时 器 作 为 定 时 器 中 断 该 中 断 是 对 机 器 人 移 动 平 台 的 驱 动 以 及 PID 算 法 计 算 通 过 TIM6 定 时 器 中 断 对 黑 线 进 行 识 别 通 过 读 取 红 外 传 感 器 的 输 出 电 平 输 出 高 电 平 即 没 有 检 测 到 黑 线 反 之 检 测 到 黑 线 控 制 转 向 舵 机 实 现 循 迹 功 能 在 循 迹 的 过 程 中 若 检 测 到 了 停 止 标 志 线 分 拣 机 器 人 进 行 制 动 通 过 继 电 器 接 通 OpenMV 机 器 视 觉 模 块 开 始 识 别 分 拣 系 统 主 程 序 流 程 如 图 17 所 示 4 2 2 PID 控 制 在 智 能 分 拣 机 器 人 运 动 过 程 中 通 过 循 迹 模 块 对 路 线 的 识 别 和 检 测 实 现 在 直 道 匀 速 弯 道 减 速 这 就 需 要 控 制 电 机 转 速 实 现 相 应 的 功 能 15 在 分 拣 机 器 人 的 运 动 过 程 中 我 们 通 过 霍 尔 编 码 器 反 馈 当 前 速 度 值 并 通 过 PID 算 法 进 行 调 节 实 现 闭 环 控 制 对 下 端 移 动 平 台 进 行 闭 环 控 制 通 过 PID 控 制 使 得 机 器 人 下 端 自 由 移 动 平 台 具 有 较 高 的 稳 定 性 PID 控 制 是 一 种 线 性 的 控 制 方 法 它 将 给 定 值 与 实 际 输 出 值 的 偏 差 e k 的 比 例 P 积 分 I 微 分 D 进 行 线 性 组 合 形 成 控 制 量 u k 输 出 16 4500 0 01 0 02 0 03 0 04 4500 N N Y Y 图 15 视 觉 模 块 运 行 流 程 图 Figure 15 Visual module operation flowchart 图 16 颜 色 阈 值 判 定 Figure 16 Color threshold determination 66第 3 期 白 振 伟 等 基 于 嵌 入 式 机 器 视 觉 智 能 果 实 分 拣 机 器 人 设 计 与 试 验 本 系 统 采 用 PID 调 节 方 式 来 完 成 分 拣 机 器 人 的 运 动 状 态 调 节 该 方 法 的 调 节 效 率 高 绝 对 误 差 小 17 控 制 程 序 流 程 如 图 18 所 示 直 流 减 速 电 机 的 霍 尔 传 感 器 采 集 到 电 机 的 实 时 转 速 后 将 每 一 时 刻 的 速 度 作 为 输 入 带 入 增 量 式 PID 进 行 计 算 不 断 刷 新 输 出 速 度 使 整 个 系 统 趋 于 稳 定 18 该 分 拣 机 器 人 实 际 调 得 PID 各 参 数 分 别 为 KP 1 3 KI 0 001 KD 0 4 目 标 值 为 30 4 2 3 机 械 臂 逆 运 动 学 解 析 在 已 知 机 械 臂 末 端 期 望 位 置 计 算 当 下 位 置 所 对 应 的 各 关 节 角 度 需 要 进 行 机 械 臂 逆 运 动 学 解 析 19 在 分 拣 点 前 端 设 置 一 条 直 线 调 整 路 线 通 过 红 外 循 迹 模 块 对 小 车 位 置 的 反 复 纠 正 实 现 让 机 械 臂 和 小 球 处 于 同 一 轴 线 上 通 过 OpenMV 输 出 的 小 球 中 心 和 画 面 中 心 的 偏 移 量 的 值 和 可 分 拣 范 围 的 值 进 行 比 较 若 不 满 足 则 蜂 鸣 器 发 出 警 报 提 示 操 作 者 介 入 手 动 进 行 调 整 由 于 下 端 自 由 移 动 平 台 识 别 到 停 止 线 的 停 车 制 动 距 离 会 有 误 差 为 了 让 机 械 臂 对 果 实 进 行 准 确 的 分 拣 该 设 计 中 引 用 了 二 维 的 机 械 臂 逆 解 算 法 通 过 在 分 拣 机 器 人 前 端 的 超 声 波 距 模 块 和 果 实 放 置 装 置 的 高 度 得 到 果 实 的 位 置 即 二 维 坐 标 20 机 械 臂 逆 运 动 学 平 面 分 析 如 图 19 和 图 20 所 示 其 中 L 分 别 为 机 械 臂 的 大 臂 和 小 臂 e 为 大 臂 与 小 臂 的 初 始 夹 角 B 为 小 臂 末 端 到 夹 爪 的 中 心 的 距 离 Y 为 大 臂 旋 转 轴 到 底 座 的 距 离 由 于 机 械 设 计 所 以 大 臂 OpenMV Y N Y N Y N Y N Y N 图 17 主 程 序 流 程 图 Figure 17 Procedure flow chart Bias Encoder Target Integral bias Bias PWM PWM Positioin KP Bias Position KI Integral bias Position KD Bias Last Bias Last Bias Bias 图 18 控 制 程 序 流 程 图 Figure 18 Control procedure flow chart 图 19 机