交互式视音频在智能采摘机器人自动化系统中的应用.pdf

交 互 式 视 音 频 在 智 能 采 摘 机 器 人 自 动 化 系 统 中 的 应 用 刘 瑜 重 庆 能 源 职 业 学 院 重 庆 4 0 2 2 6 0 摘 要 在 采 摘 机 器 人 自 动 化 系 统 的 设 计 过 程 中 为 了 提 高 采 摘 机 器 人 的 控 制 效 率 引 入 了 基 于 交 互 式 视 音 频 英 语 学 习 原 理 的 采 摘 机 器 人 交 流 交 互 系 统 基 于 W i F i 网 络 采 摘 机 器 人 可 以 将 实 时 作 业 情 况 以 视 频 的 形 式 传 输 给 远 程 端 远 程 端 根 据 采 摘 机 器 人 的 实 时 作 业 情 况 对 采 摘 机 器 人 发 出 语 音 指 令 机 器 人 识 别 语 音 指 令 后 完 成 相 关 动 作 实 现 远 程 端 和 采 摘 执 行 端 的 交 流 交 互 为 了 验 证 方 案 的 可 行 性 设 计 了 采 摘 机 器 人 机 器 和 远 程 端 自 动 化 控 制 系 统 并 对 W i F i 网 络 的 传 输 性 能 以 及 语 音 指 令 的 准 确 识 别 率 进 行 了 测 试 结 果 表 明 W i F i 网 络 的 通 信 性 能 较 好 采 摘 机 器 人 可 以 准 确 的 识 别 语 音 指 令 实 现 自 动 化 控 制 关 键 词 采 摘 机 器 人 交 互 式 视 音 频 自 动 化 系 统 W i F i 网 络 中 图 分 类 号 S 2 2 5 T P 2 4 2 文 献 标 识 码 A 文 章 编 号 1 0 0 3 1 8 8 X 2 0 2 0 1 2 0 2 4 1 0 5 0 引 言 在 果 实 生 产 作 业 过 程 中 水 果 的 采 摘 是 最 耗 时 费 力 的 一 个 环 节 其 作 业 时 间 密 集 作 业 强 度 大 费 用 高 人 工 采 摘 费 用 甚 至 要 占 水 果 生 产 总 成 本 的 5 0 7 0 为 了 保 证 果 实 能 够 适 时 采 摘 降 低 人 工 劳 动 强 度 和 费 用 引 入 了 采 摘 机 器 人 采 摘 机 器 人 是 针 对 水 果 和 蔬 菜 通 过 编 程 能 完 成 这 些 作 物 的 采 摘 输 送 装 箱 等 相 关 作 业 任 务 的 具 有 感 知 能 力 的 自 动 化 机 械 收 获 系 统 采 摘 机 器 人 的 设 计 核 心 是 定 位 和 识 别 在 进 行 作 业 时 需 要 不 伤 害 果 实 和 植 物 进 行 准 确 的 定 位 和 采 摘 如 果 在 采 摘 机 器 人 作 业 时 能 够 实 现 远 程 端 和 采 摘 机 器 人 交 流 交 互 对 于 采 摘 机 器 人 准 确 定 位 和 高 效 完 成 采 摘 任 务 具 有 重 要 的 意 义 1 交 互 式 视 音 频 及 其 在 采 摘 机 器 人 系 统 上 的 应 用 在 传 统 的 英 语 教 学 过 程 中 黑 板 的 作 用 往 往 是 单 向 的 老 师 单 向 地 将 知 识 写 在 黑 板 上 学 生 单 向 地 从 黑 板 接 收 知 识 随 着 互 联 网 技 术 的 不 断 发 展 多 媒 体 数 字 化 视 音 频 教 学 被 应 用 到 教 学 过 程 中 并 出 现 了 新 的 交 互 式 平 台 白 板 白 板 支 持 学 生 老 师 之 间 的 交 流 互 动 可 以 允 许 学 生 之 间 学 生 和 老 师 之 间 进 行 对 话 呈 现 给 学 生 可 视 化 的 教 学 内 容 包 括 视 频 音 频 图 收 稿 日 期 2 0 1 9 0 3 0 4 基 金 项 目 2 0 1 8 年 度 教 育 综 合 改 革 研 究 项 目 1 8 2 5 0 1 8 3 7 作 者 简 介 刘 瑜 1 9 8 6 女 重 庆 人 讲 师 E m a i l 1 3 8 8 3 9 7 9 8 1 2 6 c o m 像 和 动 画 等 有 利 于 英 语 教 学 灵 活 生 动 的 教 学 情 境 创 设 使 生 硬 的 英 语 学 习 变 得 轻 松 而 愉 快 例 如 在 学 习 t h i s i s o ur c l a s s r o o m 时 可 以 利 用 白 板 为 学 生 插 入 教 师 和 学 校 的 新 风 貌 图 片 特 别 是 贴 近 学 生 生 活 的 然 后 让 学 生 之 间 相 互 展 开 讨 论 最 后 教 师 将 讨 论 结 果 进 行 汇 总 鼓 励 学 生 用 英 语 描 绘 教 师 的 场 景 和 画 面 让 学 生 体 会 到 学 习 的 乐 趣 在 教 学 ho m e 时 可 以 利 用 白 板 呈 现 学 生 自 己 制 作 的 各 种 房 间 的 图 片 让 学 生 绘 声 绘 色 的 描 述 展 示 自 己 的 ho m e 最 后 教 师 将 学 生 的 表 现 进 行 汇 总 采 用 信 息 反 馈 的 方 式 对 表 现 出 色 的 学 生 进 行 奖 励 鼓 励 更 多 的 同 学 参 与 到 互 动 学 习 中 随 着 农 业 技 术 的 不 断 发 展 采 摘 机 器 人 被 应 用 到 农 业 生 产 过 程 中 为 了 实 现 采 摘 机 器 人 的 自 主 作 业 需 要 采 用 智 能 化 技 术 对 采 摘 机 器 人 的 控 制 系 统 进 行 设 计 在 一 些 容 易 破 损 果 实 的 采 摘 过 程 中 机 器 人 除 了 要 对 果 实 进 行 精 准 定 位 还 需 要 利 用 监 测 反 馈 的 方 式 对 机 器 人 的 作 业 质 量 进 行 监 测 这 就 需 要 远 程 端 和 机 器 人 的 交 流 互 动 以 草 莓 采 摘 机 器 人 为 例 其 作 业 场 景 如 图 1 所 示 在 机 器 人 对 草 莓 进 行 采 摘 时 由 于 草 莓 容 易 破 损 在 采 摘 过 程 中 要 对 采 摘 机 器 人 进 行 实 时 监 测 借 鉴 交 互 式 视 音 频 英 语 学 习 过 程 采 用 信 息 交 互 反 馈 的 形 式 采 摘 末 端 将 采 摘 质 量 反 馈 给 远 程 监 控 端 当 采 摘 质 量 下 降 时 远 程 监 控 端 对 采 摘 人 发 出 控 制 指 令 调 整 其 作 业 的 姿 态 实 现 远 程 端 和 采 摘 机 器 人 的 交 互 交 流 采 摘 机 器 人 交 互 式 训 练 过 程 如 图 2 所 示 借 鉴 1 4 2 2 0 2 0 年 1 2 月 农 机 化 研 究 第 1 2 期 交 互 式 视 音 频 英 语 学 习 过 程 在 对 采 摘 机 器 人 进 行 训 练 时 还 可 以 利 用 教 师 机 器 人 对 采 摘 作 业 的 轨 迹 进 行 规 范 化 将 规 范 化 的 作 业 轨 迹 和 实 际 的 作 业 轨 迹 进 行 对 比 得 到 规 范 化 作 业 轨 迹 和 实 际 作 业 轨 迹 的 偏 差 并 将 偏 差 反 馈 给 机 器 人 控 制 系 统 通 过 不 断 的 学 习 最 后 提 高 机 器 人 定 位 的 精 度 提 高 作 业 质 量 图 1 草 莓 采 摘 机 器 人 采 摘 过 程 示 意 图 F i g 1 T h e p i c k i n g p r o c e s s s k e t c h o f s t r a w b e r r y p i c k i n g r o b o t 图 2 采 摘 机 器 人 交 互 式 训 练 过 程 F i g 2 T h e i n t e r a c t i v e t r a i n i n g p r o c e s s o f p i c k i n g r o b o t 2 采 摘 机 器 人 视 音 频 交 互 传 输 系 统 设 计 为 了 实 现 远 程 端 和 采 摘 机 器 人 的 交 流 交 互 首 先 需 要 构 建 通 信 网 络 在 作 业 规 模 较 小 的 地 区 可 以 采 用 W i F i 通 信 的 形 式 在 远 程 端 控 制 人 员 通 过 W i F i 网 络 连 接 到 采 摘 机 器 人 内 置 的 W i F i 模 块 W i F i 接 收 到 控 制 信 号 后 传 送 给 控 制 中 心 控 制 中 心 将 指 令 发 送 给 控 制 电 路 使 采 摘 机 器 人 执 行 各 种 指 令 安 装 在 采 摘 机 器 人 端 的 传 感 器 和 摄 像 头 可 以 将 远 程 视 音 频 信 息 传 送 给 远 程 端 远 程 端 根 据 采 摘 机 器 人 的 实 时 作 业 情 况 发 出 新 的 控 制 指 令 使 采 摘 机 器 人 执 行 新 的 任 务 基 于 W i F i 的 采 摘 机 器 人 作 业 流 程 如 图 3 所 示 图 3 基 于 W i F i 的 采 摘 机 器 人 作 业 流 程 F i g 3 T h e w o r k f l o w o f p i c k i n g r o b o t b a s e d o n W i F i 通 过 W i F i 通 信 采 摘 机 器 人 可 以 将 作 业 采 集 图 像 传 输 给 远 程 控 制 端 远 程 控 制 端 可 以 根 据 实 际 作 业 情 况 发 出 控 制 指 令 但 是 受 到 采 摘 作 业 环 境 的 影 响 要 想 提 高 采 摘 机 器 人 的 通 信 质 量 还 需 要 通 过 一 定 的 算 法 消 除 各 种 干 扰 信 号 Z F D F E 迫 零 判 决 反 馈 均 衡 检 测 算 法 是 一 种 非 常 高 效 的 信 号 检 测 算 法 利 用 该 算 法 可 以 去 掉 信 号 成 分 中 的 干 扰 信 号 在 检 测 过 程 中 采 用 分 量 检 测 的 方 法 首 先 检 测 x 信 号 分 量 x 1 在 保 证 该 信 号 没 有 干 扰 后 再 继 续 检 测 信 号 分 量 x 2 在 检 测 时 需 要 将 信 道 矩 阵 H 进 行 Q L 分 解 则 H F T S 1 其 中 S 为 K K 的 下 三 角 矩 阵 F 为 K K 的 正 交 矩 阵 S S 1 1 0 0 S 2 1 S 2 2 0 S K 1 S K 2 S K K F F 1 1 F 1 2 F 1 K F 2 1 F 2 2 F 2 K F K 1 F K 2 F K K 2 将 W i F i 检 测 器 接 收 到 的 信 号 y 与 F 相 乘 得 y F y F F T S x n S x F n 3 由 于 F 为 正 交 矩 阵 因 此 不 会 对 噪 声 产 生 增 强 的 效 果 则 y k s k k x k k 1 l 1 s k l x l n k 4 其 中 x l 表 示 信 号 分 量 除 以 s k k 得 到 y k x k k 1 l 1 b k l x l n k 5 2 4 2 2 0 2 0 年 1 2 月 农 机 化 研 究 第 1 2 期 当 k 1 时 则 y 1 x 1 n 1 6 由 此 可 以 得 到 x 1 的 估 计 值 当 k 1 时 则 x k y k k l l 1 b k l x l 7 为 了 使 信 号 检 测 算 法 更 加 准 确 采 用 V B L A ST 算 法 对 其 进 行 改 进 在 进 行 信 号 检 测 之 前 首 先 根 据 信 号 干 扰 对 信 号 进 行 排 序 其 表 达 式 为 y H 1 y x H 1 n 8 对 信 号 进 行 排 序 后 首 先 受 到 干 扰 信 号 影 响 最 小 的 y 的 分 量 先 被 检 测 出 来 干 扰 信 号 分 量 是 公 式 8 中 H 1 的 向 量 中 的 最 小 值 对 应 的 k 1 将 信 号 的 干 扰 去 掉 后 便 可 以 检 测 出 原 信 号 其 表 达 式 为 y 2 y h x k 1 9 若 检 测 出 来 的 x k 1 x k 1 则 y 2 H 2 x n 10 根 据 干 扰 信 号 的 排 序 去 掉 干 扰 信 号 后 再 对 下 一 个 信 号 分 量 进 行 检 测 当 没 有 干 扰 信 号 后 停 止 检 测 通 过 信 号 检 测 可 以 有 效 地 去 掉 信 号 分 量 中 的 干 扰 信 号 从 而 提 高 W i F i 通 信 的 质 量 3 采 摘 机 器 人 视 音 频 传 输 交 互 性 实 验 测 试 采 摘 机 器 人 视 音 频 交 互 的 的 目 的 是 为 了 远 程 控 制 端 更 好 的 控 制 采 摘 机 器 人 以 提 高 采 摘 机 器 人 的 作 业 质 量 和 效 率 如 果 采 摘 机 器 人 能 够 直 接 识 别 语 音 信 号 会 大 大 提 高 机 器 人 的 控 制 效 率 如 果 将 一 个 语 音 信 号 看 作 时 间 序 列 则 其 可 以 采 用 隐 马 尔 可 夫 模 型 H M M 进 行 表 征 语 音 信 号 通 过 去 噪 声 干 扰 后 通 过 数 字 化 处 理 进 行 端 点 检 测 然 后 通 过 训 练 识 别 输 出 采 摘 机 器 人 语 音 识 别 训 练 过 程 如 图 4 所 示 图 4 采 摘 机 器 人 语 音 识 别 训 练 过 程 F i g 4 T h e s p e e c h r e c o g n i t i o n t r a i n i n g p r o c e s s o f p i c k i n g r o b o t 在 进 行 采 摘 机 器 人 语 音 识 别 训 练 时 可 以 采 用 一 些 参 数 的 观 察 值 对 H M M 参 数 进 行 估 计 如 概 率 密 度 函 数 及 状 态 转 移 概 率 等 参 数 估 计 用 于 语 音 信 号 的 识 别 其 识 别 流 程 如 图 5 所 示 图 5 采 摘 机 器 人 语 音 识 别 过 程 F i g 5 T h e s p e e c h r e c o g n i t i o n p r o c e s s o f p i c k i n g r o b o t 语 音 识 别 过 程 中 首 先 对 采 集 接 收 到 的 信 号 进 行 数 字 化 处 理 通 过 端 点 检 测 去 掉 信 号 中 的 噪 声 然 后 采 用 D SP 技 术 对 信 号 的 特 征 进 行 提 取 将 特 征 信 号 与 训 练 信 号 进 行 对 比 后 识 别 出 远 程 端 发 出 的 信 号 是 什 么 控 制 指 令 最 后 采 摘 机 器 人 将 控 制 指 令 传 送 给 控 制 单 片 机 单 机 通 过 控 制 电 路 控 制 采 摘 机 器 人 的 动 作 语 音 信 号 的 传 输 需 要 通 过 W i F i 网 络 W i F i 集 成 板 如 图 6 所 示 图 6 W i F i 通 信 网 络 集 成 板 实 物 图 F i g 6 T h e p h y s i c a l d i a g r a m o f W i F i c o m m u n i c a t i o n n e t w o r k i n t e g r a t i o n b o a r d 采 用 W i F i 通 信 时 采 摘 机 器 人 上 的 W i F i 集 成 板 可 以 通 过 U SB 直 接 获 取 监 测 到 的 视 频 信 号 通 过 无 线 网 络 发 送 给 远 程 端 远 程 端 将 控 制 语 音 信 号 传 送 给 W i F i 模 块 由 W I F I 模 块 传 送 给 控 制 中 心 在 进 行 交 互 性 试 验 测 试 时 首 先 对 W i F i 的 通 信 传 输 距 离 和 传 输 速 度 与 其 他 的 通 信 传 输 形 式 进 行 了 对 比 得 到 了 如 表 1 所 示 的 结 果 3 4 2 2 0 2 0 年 1 2 月 农 机 化 研 究 第 1 2 期 表 1 不 同 通 信 形 式 性 能 对 比 T a b l e 1 P e r f o r m a n c e c o m p a r i s o n o f d i f f e r e n t c o m m u n i c a t i o n f o r m s 通 信 方 式 传 输 距 离 m 传 输 速 度 k b s 1 蓝 牙 3 0 9 0 0 0 W i F i 1 6 0 1 2 0 0 0 电 磁 波 3 1 3 0 0 0 Z i g B e e 3 0 1 0 0 1 2 0 0 对 不 同 通 信 形 式 的 传 输 距 离 和 通 信 速 率 进 行 对 比 发 现 采 用 W i F i 网 络 具 有 传 输 距 离 相 对 长 传 输 速 度 快 的 优 点 进 一 步 对 通 信 网 络 的 误 码 率 进 行 了 测 试 得 到 了 如 表 2 所 示 的 结 果 表 2 信 噪 比 误 码 率 对 比 T a b l e 2 T h e c o m p a r i s o n o f s i g n a l t o n o i s e r a t i o a n d e r r o r r a t e 信 噪 比 本 次 采 用 W i F i 误 码 率 其 他 通 信 形 式 误 码 率 5 0 1 1 0 0 5 2 0 0 0 0 6 0 0 1 1 0 5 0 0 1 0 0 0 8 0 1 0 0 0 0 8 0 0 0 3 0 1 5 0 0 0 2 0 0 0 9 由 表 2 可 知 随 着 信 噪 比 的 增 大 误 码 率 呈 下 降 趋 势 与 实 际 情 况 相 符 合 由 对 比 结 果 可 以 看 出 对 于 音 频 交 互 传 输 本 次 采 用 的 W i F i 网 络 具 有 更 低 的 误 码 率 对 于 语 音 信 号 的 识 别 准 确 性 更 高 可 以 满 足 采 摘 机 器 人 通 信 需 求 4 结 论 为 了 提 高 采 摘 机 器 人 的 智 能 化 水 平 在 其 自 动 化 系 统 的 设 计 上 引 入 了 交 流 交 互 功 能 通 过 W i F i 网 络 采 摘 机 器 人 可 以 将 作 业 视 频 传 输 给 远 程 端 远 程 端 根 据 作 业 情 况 对 采 摘 机 器 人 发 出 语 音 指 令 从 而 提 高 机 器 人 的 作 业 质 量 为 了 验 证 方 法 的 可 行 性 设 计 了 采 摘 机 器 人 自 动 化 系 统 并 对 系 统 的 通 信 性 能 进 行 了 测 试 结 果 表 明 采 摘 机 器 人 自 动 化 系 统 可 以 实 现 远 程 端 和 采 摘 机 器 人 执 行 端 的 交 流 交 互 且 语 音 指 令 识 别 的 准 确 率 较 高 对 于 提 高 采 摘 机 器 人 的 智 能 化 水 平 具 有 重 要 的 现 实 意 义 参 考 文 献 1 李 广 文 基 于 S o c k e t i o 的 互 动 教 学 即 时 反 馈 系 统 的 设 计 与 实 现 J 中 国 现 代 教 育 装 备 2 0 1 2 9 1 0 1 2 2 傅 隆 生 张 发 年 槐 岛 芳 德 猕 猴 桃 采 摘 机 器 人 末 端 执 行 器 设 计 与 试 验 J 农 业 机 械 学 报 2 0 1 5 4 6 3 1 8 3 刘 琼 安 涛 金 钢 等 基 于 D M 6 4 2 视 频 采 集 处 理 系 统 硬 件 设 计 J 微 计 算 机 信 息 2 0 0 7 1 1 2 1 8 0 1 8 2 4 张 永 光 张 晓 蕾 徐 健 健 D M 6 4 2 图 像 数 据 传 输 的 实 现 和 优 化 J 科 学 技 术 与 工 程 2 0 0 7 9 1 7 4 4 8 4 4 4 8 6 5 李 立 君 李 昕 高 自 成 等 基 于 偏 好 免 疫 网 络 的 油 茶 果 采 摘 机 器 人 图 像 识 别 算 法 J 农 业 机 械 学 报 2 0 1 2 4 3 1 1 2 0 9 2 1 3 6 张 倩 刁 志 国 肖 一 明 地 理 信 息 系 统 在 精 细 农 业 方 面 的 应 用 J 基 层 农 技 推 广 2 0 1 5 3 2 5 5 5 6 7 周 龄 3 S 技 术 在 赤 峰 市 农 业 病 虫 害 防 治 中 的 应 用 J 赤 峰 学 院 学 报 自 然 科 学 版 2 0 1 5 3 1 1 8 0 8 丁 克 奎 钟 凯 文 基 于 3 S 的 精 准 农 业 管 理 系 统 设 计 与 实 现 J 江 苏 农 业 科 学 2 0 1 5 4 3 1 3 9 9 4 0 1 9 顾 宝 兴 姬 长 英 王 海 青 等 智 能 移 动 水 果 采 摘 机 器 人 设 计 与 试 验 J 农 业 机 械 学 报 2 0 1 2 4 3 6 1 5 3 1 6 0 1 0 李 文 凤 彭 智 勇 李 德 毅 等 不 确 定 性 T o p k 查 询 处 理 J 软 件 学 报 2 0 1 2 2 3 6 1 5 4 2 1 5 6 0 1 1 纪 超 冯 青 春 袁 挺 等 温 室 黄 瓜 采 摘 机 器 人 系 统 研 制 及 性 能 分 析 J 机 器 人 2 0 1 1 3 3 6 7 2 6 7 3 0 1 2 刘 继 展 李 萍 萍 倪 齐 等 番 茄 采 摘 机 器 人 真 空 吸 盘 装 置 设 计 与 试 验 J 农 业 机 械 学 报 2 0 1 0 4 1 1 0 1 7 0 1 7 3 1 8 4 1 3 刘 兆 祥 刘 刚 乔 军 苹 果 采 摘 机 器 人 三 维 视 觉 传 感 器 设 计 J 农 业 机 械 学 报 2 0 1 0 4 1 2 1 7 1 1 7 5 1 4 蔡 健 荣 孙 海 波 李 永 平 等 基 于 双 目 立 体 视 觉 的 果 树 三 维 信 息 获 取 与 重 构 J 农 业 机 械 学 报 2 0 1 2 4 3 3 1 5 2 1 5 6 1 5 蔡 健 荣 赵 杰 文 R a t h T 等 水 果 收 获 机 器 人 避 障 路 径 规 划 J 农 业 机 械 学 报 2 0 0 7 3 8 3 1 0 2 1 0 5 1 6 吕 继 东 赵 德 安 姬 伟 等 开 放 分 布 式 苹 果 采 摘 机 器 人 控 制 系 统 研 究 及 实 现 J 小 型 微 型 计 算 机 系 统 2 0 1 2 3 3 2 2 8 9 2 9 2 1 7 杨 晶 东 洪 炳 熔 朴 松 昊 基 于 模 糊 行 为 融 合 的 移 动 机 器 人 避 障 算 法 J 华 中 科 技 大 学 报 自 然 科 学 版 2 0 0 8 3 6 S 1 2 2 4 2 2 7 1 8 李 寒 王 库 曹 倩 等 基 于 机 器 视 觉 的 番 茄 多 目 标 提 取 与 匹 配 J 农 业 工 程 学 报 2 0 1 2 2 8 5 1 6 8 1 7 2 1 9 项 荣 应 义 斌 蒋 焕 煜 田 间 环 境 下 果 蔬 采 摘 快 速 识 别 与 定 位 方 法 研 究 进 展 J 农 业 机 械 学 报 2 0 1 3 4 4 1 1 2 0 8 2 2 3 2 0 魏 泽 鼎 贾 俊 国 王 占 永 基 于 视 觉 传 感 器 的 棉 花 果 实 定 位 方 法 J 农 机 化 研 究 2 0 1 2 3 4 6 6 6 6 8 1 1 2 2 1 张 晓 辉 李 莹 王 华 勇 等 应 用 特 征 聚 合 进 行 中 文 文 本 分 类 的 改 进 K N N 算 法 J 东 北 大 学 学 报 自 然 科 学 版 2 0 0 3 2 4 3 2 2 9 2 3 3 2 2 王 海 青 姬 长 英 顾 宝 兴 等 基 于 机 器 视 觉 和 支 持 向 量 机 的 温 室 黄 瓜 识 别 J 农 业 机 械 学 报 2 0 1 2 4 3 3 1 6 3 1 6 7 2 3 王 辉 毛 文 华 刘 刚 等 基 于 视 觉 组 合 的 苹 果 作 业 机 器 人 4 4 2 2 0 2 0 年 1 2 月 农 机 化 研 究 第 1 2 期 识 别 与 定 位 J 农 业 机 械 学 报 2 0 1 2 4 3 1 2 1 6 5 1 7 0 A p p l i c a t i o n o f I n t e r a c t i v e V i d e o a n d A u d i o i n A u t o m a t i o n S y s t e m o f I n t e l l i g e n t P i c k i n g R o b o t L i u Y u C ho n g qi ng E ne r g y C o l l e g e C ho ng qi ng 4 0 2 2 6 0 C hi na A b s t r a c t I n o r d e r t o i m pr o v e t he c o nt r o l e f f i c i e n c y o f pi c k i n g r o bo t s i t i n t r o duc e d a n i nt e r a c t i v e s y s t e m o f p i c ki ng r o b o t s ba s e d o n i nt e r a c t i v e a ud i o v i s ua l E n g l i s h l e a r n i n g p r i n c i pl e B a s e d o n W i F i ne t w o r k pi c k i n g r o bo t s c a n t r a ns m i t r e a l t i m e o p e r a t i o n t o t h e r e m o t e e n d i n t h e f o r m o f v i d e o a nd t he r e m o t e e n d c a n t r a ns m i t r e a l t i m e o pe r a t i o n t o t he r e m o t e e nd a c c o r di ng t o t he r e a l t i m e o p e r a t i o n s i t ua t i o n o f pi c ki ng r o bo t s I n a dd i t i o n v o i c e c o m m a n d s c a n b e i s s u e d t o t he pi c k i n g r o bo t A f t e r t he r o b o t r e c o g ni z e s t h e v o i c e c o m m a nds r e l e v a nt a c t i o ns c a n be c o m pl e t e d t o r e a l i z e t he i nt e r a c t i o n be t w e e n t h e r e m o t e e nd a nd t he pi c ki n g e x e c ut i o n e n d I n o r d e r t o v e r i f y t he f e a s i bi l i t y o f t he s c he m e i t de s i g n e d t he p i c k i n g r o bo t m a c h i ne a n d r e m o t e a u t o m a t i c c o nt r o l s y s t e m a n d i t t e s t e d t he t r a n s m i s s i o n p e r f o r m a n c e o f W i F i ne t w o r k a nd t he a c c ur a t e r e c o g ni t i o n r a t e o f v o i c e i n s t r uc t i o ns T he t e s t r e s ul t s s ho w t h a t t he c o m m u ni c a t i o n pe r f o r m a nc e o f W i F i ne t w o r k i s b e t t e r T he pi c k i n g r o bo t c a n a c c ur a t e l y r e c o g ni z e v o i c e i ns t r u c t i o ns a nd r e a l i z e a u t o m a t i c c o n t r o l K e y w o r d s pi c k i ng r o bo t i n t e r a c t i v e v i de o a nd a u d i o a u t o m a t i o n s y s t e m W i F i ne t w o r k 5 4 2 2 0 2 0 年 1 2 月 农 机 化 研 究 第 1 2 期