基于AR的温室智能控制系统设计.pdf

开 发 案例 现代计算机 2020 04 中 文章编号 1007 1423 2020 11 0098 05 DOI 10 3969 j issn 1007 1423 2020 11 021 基于AR 的温室智能控制系统设计 牛丽 苏州市职业大学计算机工程学院 苏州215104 摘要 增强现实是一种将虚拟物体和真实环境有机融合的技术 它的最终目标是增强用户对真实世界的体验 AR技术应 用到温室控制系统中 借助传感器对温室环境参数及AR对作物生长状态的监测 并且可以可视化显示作物的生长 状态 温室环境 作物生长调节策略 降低温室大棚使用者自身文化素质及农作经验的要求 关键词 增强现实 温室 调节策略 可视化 基金项目 江苏开放大学 十三五 规划课题 开放教育虚拟实验室构建及应用研究 No 19TXZC 06 苏州市职业大学 青蓝工 程 资助项目 0 引言 我国是一个农业大国 人口众多 为满足巨量人口 对蔬菜 水果等农产品在数量 质量上提出的更高的要 求 温室大棚利用信息化 智能化和自动化科学技术来 提高农业种植产量和效率成为解决这一问题的优选 1 温室是设置一个人为的气象环境 创造一个适合作物 生长的条件 来满足生物生长对温度等条件的满足 温室环境是由光照 温度 湿度 土壤状况等因素构成 的 温室通过控制温室环境 使其在不适宜作物生长的 季节进行栽培 从而达到对作物调节产期 促进生长发 育 防治病虫害及提高产量的目的 为创造作物生长 所需的最佳环境条件 这类温室控制系统基本上是利 用传感器对温室内的环境参数进行监测 获取相关参 数 根据这些参数按设定的程序给出相应的反馈与操 作 调节温室环境参数 1 2 控制系统并未对作物本身 的生长状态进行监测 无法获知给定的环境调节参数 是否与植物当前的生长周期完全匹配 系统无法实时 地 可视化地反映作物是否处于健康的生长状态 导 致作物生产人员只能利用环境参数间接促进作物生 长 或通过各种检测设备对作物进行检测 利用较为专 业的农业知识对检测数据进行分析 获知生长状态 为了实现温室大棚控制系统对作物生长状态的有效监 控 农作物生产人员与农作物的生长状态进行实时的 可视化互动 实现作物分析数据的可视化显示 设计基 于增强现实的温室智能控制系统 1 增强现实技术 增强现实 AugmentedReality AR 是利用计算机 技术产生文本 图形图像 模型动画 声音视频等虚拟 对象 并将这些虚拟对象与图像采集设备中的现实世 界相融合 叠加在指定位置或物体上 辅助用户对真实 世界的理解 为了实现虚拟对象与现实世界的场景信 息精确地叠加 融合 AR系统利用计算机分析大量的 场景信息和定位数据 实现虚拟物体在真实场景中的 注册 3 如图1为一种AR技术的结构示意图 一般 实现AR具有以下步骤 1 图像采集设备 例如相机 拍摄现实世界的场 景信息 设备固定 或者移动都可以 开 发 案例 现代计算机 2020 04 中 图1一种AR技术的结构示意图 2 图形图像模块对现实世界的场景及图像采集 设备的位置信息进行分析 生成相应的虚拟对象信息 例如文本 图形图像 模型视频等 3 图像渲染模块将现实世界的场景信息与虚拟 对象信息进行叠加 融合 4 显示模块将融合后的图像 文本等信息进行显 示 实现增强现实 还可以通过佩戴立体显示眼镜来增 强用户观看效果 2 利用AR 技术的温室控制系统的总体结构 设计 本系统根据温室作物生长温度 湿度 土壤状况 生长状况等实际需求出发 为了实现温室较高程度的 智能控制 棚内作物生长自助分析及作物生长状况数 据的可视化 设计基于增强现实技术的温室智能控制 系统 系统总体结构如图2所示 它包括图像采集设 备 微型投影仪 监测温室环境的传感器 控制器 数据 库 人机接口 环境参数调节机构等组成 图2 基于AR的温室智能控制系统结构图 人机接口是实现系统与用户之间信息输入与输出 的交互接口 数据库是该系统的重要组成部分 用来存 储温室作物生长问题的特征信息与数据 为控制器判 断作物生长情况提供必要的依据 以及控制系统运行 过程中产生的各种中间信息 控制器是系统的核心 利 用传感器信息 调用数据库信息进行综合处理 输出图 像信息及作物生长调节策略 并控制环境参数调节机 构 监测温室环境的传感器获取温室作物生长的相关 环境信息 被控制器获取并作为判断作物生长状况的 参考信息 环境参数调节机构根据控制器发出的信息 启动相关执行机构 例如喷水 改变光照 通风等 图像 采集设备与微型投影仪都与控制器相连 图像采集设 备获取图像信息并传输给控制器 经控制器处理后 再 输出图像信息 经过渲染 通过微型投影仪实时输出虚 拟对象 虚拟对象与真实场景虚实融合 实现可视化的 图像 数据显示功能 共同呈现给生产者 增强现实技 术要求虚拟物体必须融合到真实世界的准备位置 这 样才能实现虚拟对象与真实场景的准确叠加 这个过 程就是AR系统的注册 2 2 1 1 注册实现 注册实现 注册就是要确定虚拟对象在真实空间坐标系中的 位置 从而实现将虚拟对象实时地 准确地在显示器上 显示 完成真实环境与虚拟对象的结合 所以注册的实 现首先要解决的是确定世界 相机及图像平面之间坐 标系的关系 坐标系之间关系变换如图3所示 图3 坐标系变换关系 点P在世界坐标系中的坐标为 xw yw zw 在相机 坐标系中的坐标为 xc yc zc 在图像坐标系中的坐标 为 u v 且使相机光心作为原点 光轴作为Zc轴 相机坐标系原点OC与图像坐标系原点O间距离为相 机间距f 从世界坐标系转换到相机坐标系属于物体 不会发生形变的刚体变换 只需要进行旋转和平移 开 发 案例 现代计算机 2020 04 中 相机坐标系通过焦距对角矩阵和畸变系数转换到图像 坐标系 点P从世界坐标系转换到图像坐标系由式 1 与 2 表示 3 Zc u P K c w T W P 1 Z c u v 1 f x 0 u 0 0 0 f y v 0 0 0 0 0 1 r 11 r 12 r 13 t 1 r 21 r 22 r 23 t 2 r 31 r 32 r 33 t 3 0 0 0 1 x w y w z w 1 2 式中 Zc为相机坐标系下Z轴分量 U P为P点在图 像坐标系中的坐标矩阵 K为机内部参数矩阵 其中fx 和fy是以像素为单位的焦距参数 u 0和 v 0为图像物理 坐标系原点在图像坐标系中的坐标 c w T为像机外部参 数矩阵 从世界坐标系到相机坐标系 物体运动涉及到 旋转和平移 绕着不同的坐标轴旋转不同的角度 平移 不同的距离 得到相应的旋转参数 r 11 r 33 平移矩阵 t 1 t 3 因此 在给定物体在世界坐标系及图像坐标系 中的坐标值计算得到 c w T进行转换坐标系 使渲染生成 得虚拟对象在现实场景中的正确位置进行叠加结合 完成注册 2 2 2 2 控制策略 控制策略 通过对棚内环境参数及作物的图像采集 利用相 似图像的匹配 将相机采集的图像与数据库中存储的 特征图像进行比对 找出与数据库中相似度最高的图 片 再提取存储在数据库中相应的特征信息 以评定目 前农作物的生长状态 4 结合存储的作物生长阶段的 特征信息与监测到当前植物的生长环境信息 系统给 出作物生长调节策略 使温室环境与作物生长相匹配 控制器同时将状态数据及相应的调节策略进行图像转 化 获得虚拟显示对象 结合真实场景将虚拟显示对象 直接显示在AR系统的显示器上 此外 在需要时系 统可借助AR系统的图像采集设备感知人体手势 5 或 者人机接口发出指令 通过控制器处理实现手动控制 系统的运行 控制策略是否正确取决于作物的图像匹配的准确 性及数据库中存储的反映作物生长状况图像的完整与 丰富程度 为了便于图像匹配 减少匹配时间 匹配过 程的复杂度 增强系统的实时性 根据各作物生长周期 特征划分为若干个生长阶段 例如黄瓜可以分为发芽 期 幼苗期 初花期及结果期 每个阶段采集作物生长 不良 正常的图像作为样本存储在数据库 同时存储相 应图像对应的生长状况及生长调节策略 系统采集图 像后 人机对话要求使用者选择作物名称后 显现生长 阶段划分提示 再选择生长阶段 系统直接与该作物该 生长阶段下的图像样本进行匹配 系统控制策略流程 见图4 图4 控制策略流程图 为避免采集图像时作物周围环境的光照 拍摄角 度 采集时振动等因数的影响 采用当前比较流行的图 像匹配算法 尺度不变特征转换算法 即SIFT ScaleInvariantFeatureTransform 算法 SIFT通常被 用于描述图像的局部特征 它的实质通过构建尺度空 间 进行特征点查找 特征点方向计算 生成特征点描 述符 再根据特征向量进行匹配 6 利用特征点匹配图 像的SIFT算法过程如下 1 尺度空间构建及特征点查找 在不同的尺度空间内进行特征点查找 高斯卷积 核是尺度变换的唯一变换核 也是唯一的线性核 8 这 样需要通过高斯模糊来实现尺度空间构建 所以图像 I x y 的尺度空间通过尺度空间的高斯函数和图像的 卷积由式 3 与 4 表示 L x y G x y I x y 3 G x y 1 2 2 e x 2 y 2 2 2 4 式中 L x y 表示图像对应的尺寸空间 G x y 是高斯卷积核 为尺度空间因子 表示图像被高斯平 滑的程度 确定特征点所在位置 需要建立高斯金字塔 对 相邻的两层图像相减做高斯差分 得到DoG Differ 开 发 案例 现代计算机 2020 04 中 enceofGauss 图像 D x y 整个过程的变换函数由 式 5 表示 D x y G x y k G x y I x y L x y k L x y 5 图像空间极值点是该点与它同尺度的8个相邻 点 以及上下相邻尺度对应的9 2个点共26个点中的 最大值点 7 DoG尺度空间中的极值点就是特征点 2 特征点方向及特征点描述 根据特征点查找的结果 为每个特征点指定基准 方向 将坐标轴旋转为特征点方向 保证旋转不变性 应用图像梯度的方法求得特征点的稳定方向 得到特 征点的三个信息 x y 即位置 尺度 方向 图像 梯度模值 m x y 方向 x y 计算由式 6 与 7 表示 m x y L x 1 y L x 1 y 2 L x y 1 L x y 1 2 6 x y tan 1 L x y 1 L x y 1 L x 1 y L x 1 y 7 式中 L为特征点所在的尺度空间值 得到特征 点信息后 邻域像素的梯度和方向通过直方图进行统 计 按每10度一个区域将360度直方图统计范围是依 次划分为36个区域 梯度的模值可按照 1 5 oct 的高斯分布加成 按尺度采样的3 原则 邻域窗口半 径为3 1 5 oct 8 9 在特征点尺度空间内 将特征点的邻域区域划分 为4 4子区域 将每个子区域作为一个点计算每个点8 个方向的梯度信息 共产生4 4 8 128维向量表征 它 就是特征点的描述符 具体步骤如下 8 划分的16 4 4 个子区域均取3 oct像素 那 么子区域边长为3 oct 计算时需使用双线性插值 法 所需图像区域边长为 4 1 3 oct 考虑到旋转 因素得影响 实际计算特征点描述符所需的图像区域 半径由式 8 表示 r a di u s 4 1 3 2 o c t 2 8 将坐标轴旋转为特征点的方向 保证旋转不 变性 插值计算每个点八个方向的梯度 统计128个 梯度信息即为特征点的描述符 并对描述符进行归一 化处理 按特征点的尺度对特征描述向量进行排序 3 特征向量匹配与相似度 取图像中的一个特征点 找出该点与另一幅图像 中欧氏距离最近的两个点 如果最近的距离与次近的 距离的比值小于设定阈值0 6 9 那接受这一对匹配点 认定特征点向量匹配成功 那么 相识度就是图像中 匹配成功的特征点数量与总特征点数量的百分比 3 温室智能控制系统实现 该温室智能控制系统主界面由系统维护 信息管 理 环境管理作物管理等部分组成 作物管理主要是对 当前种植作物的生长信息 病虫害状况 生长环境信 息 及AR采集的图像信息及控制器给出的生长调节 策略的查看 信息管理主要是存储与作物生长相关的 各种依据信息 主要用于控制器调用比对 给出调节策 略 只有农学专业人员才能提出并由系统管理员对数 据进行修改 添加 删除等操作 普通用户只能查询 系统功能框图如图5所示 图5温室智能控制系统功能框图 为使该系通更加实用 便捷 采用集成了图像采集 设备 微型投影及显示器与一体的AR眼镜 进入温室 大棚 佩戴AR眼镜 当需要获知农作物生长状态时 通过行走到靠近并使CCD摄像头靠近农作物 摄像头 将自动采集该作物的图像 存储在作物管理功能块 并将图像数据输出给控制器 控制器对图像进行识别 分析处理 控制器调用信息管理功能块内依据信息 并将分析结果图像转化及图形渲染后 利用微型投影 仪将具有农作物生长状态 温室环境参数及环境参数 调节策略的图像信息投影在AR眼镜上 生长信息 调 节策略存储在作物管理功能块中的作物生长信息中 将真实场景与虚拟显示对象相互融合 共同呈现给生 开 发 案例 现代计算机 2020 04 中 产者 实现可视化的数据显示功能 图6为使用AR眼 镜靠近作物结果期黄瓜的显示图 系统结果显示准确 使用方便 信息丰富 使用效果良好 图6 结果期黄瓜AR显示图 4 结语 通过增强现实技术应用于农业温室智能控制系 统 具有较高程度的智能控制和自助分析功能 能够提 供一系列可视化的分析数据 使用者不需要运用较为 专业的农业知识对检测数据进行分析 即可获知植物 的生长状态 降低了系统对使用者自身文化素质及农 作经验的限制 同时也可避免人为判定过程中一些因 素被忽略的可能性 另外 本系统需要以若干温室大棚 作物的图像特征与信息作为数据库的基础 分析获得 需要改变的环境参数 作物生长匹配策略 进而采取相 应的措施 实现温室有效地智能控制 由于系统利用图 像相似度识别 需要不断地补充 更新相关的数据 特 征图像等信息 才能保证系统控制的智能性 准确性 DesignofGreenhouseInteIIigentControISystemBasedonAR NIULi SchoolofComputerEngineering SuzhouVocationalUniversity Suzhou215104 Abstract ARisatechnologythatintegratesvirtualobjectswiththerealenvironment Itsultimategoalistoenhancetheuser sexperienceofthereal world ARtechnologyisappliedtothegreenhousecontrolsystem Thesensorcanmonitorthegreenhouseenvironmentalparameters AR monitorthegrowthstateofthecrop andcanvisuallydisplaythegrowthstateofthecrop thegreenhouseenvironment andthecropgrowth regulationstrategy Itreducestherequirementsoftheculturalqualityofthegreenhouseusersandtheexperienceoffarming Keywords AugmentedReality Greenhouse AdjustmentStrategy Visualization 参考文献 1 张伏 王唯 张亚坤 王俊 李树强 PLC和MCGS组态软件在温室控制中的应用 J 农机化研究 2014 10 205 206 2 秦怀斌 李道亮 郭理 农业物联网的发展及特征技术应用进展 J 农机化研究 2014 4 246 248 3 刘明 移动增强现实跟踪技术及在农业展示中的应用研究 D 西南大学 2014 13 15 4 崔永杰 苏帅 王霞霞 等 基于机器视觉的自然环境中称猴桃识别与特征提取 J 农业机械学报 2013 05 247 252 5 张凤军 戴国忠 彭晓兰 虚拟现实的人机交互综述 J 中国科学 2016 46 12 1171 1721 6 张静 袁振文 张晓春 等 基于SIFT特征和误匹配逐次去除的图像拼接 J 光电技术应用2016 37 1 136 140 7 完文韬 杨成禹 改进的SIF丁算法在图像特征点匹配中的应用 J 长春理工大学学报 自然科学版 2018 41 1 44 47 8 陈晗蜻 SIFT特征匹配技术研究与应用 D 南京 南京理工大学 2017 9 李玉峰 李广泽 补绍湖 等 基于区域分块与尺度不变特征变换的图像拼接算法 J 光学精密工程 2016 5 1198 1204 作者简介 牛丽 1980 女 江苏连云港人 硕士 副教授 研究方向为移动应用开发 增强现实应用 收稿日期 2019 12 17 修稿日期 2020 01 20