基于YOLOv4的草莓目标检测技术研究.pdf

基于 YOLOv4 的 草莓目标检测技术研究 金 林华 柳凯玲 邹家正 卢仁俊 崔 明 江苏农林职业技术学院 江 苏镇江 212400 摘 要 草莓目标检测对草莓智能化监测和自动化采摘具有非常重要的意义 本文提出了一种基于 YOLOv4 的草莓目标检测方法 针对复杂环境下采集 到的草莓数据集 首先采用 LabelImg 进行数据类型标注 然 后采用 改进的 Kmeans 聚类算法进行先验框尺 寸的计算 最后采用分阶段训练方法对搭建的 YOLOv4 模型进行训练和 模 型评估 结果表明 该方法的测试集平均精度均值达到 97 05 单 张图像检测时间平均为 74 ms 能 够满足草 莓的高精度实时检测需求 关键词 草莓 目标检测 YOLOv4 平 均精度 中图分类号 TP391 文 献标识码 A 文 章编号 1007 5739 2023 01 0119 04 DOI 10 3969 j issn 1007 5739 2023 01 031 开 放科学 资源服务 标识码 OSID 随 着我国设施农业的快速发展 智能化信息监 测和自动采摘成为草莓设施产业的主要研究方向 在草莓智能化监测控制中 草莓目标检测可以为草 莓生长过程中的状态监测 病虫害检测和产量预测 提供先验信息 是草莓智能化信息监测的关键技术 草莓自动采摘机器人在工作过程中需要进行目标识 别和目标定位两个步骤 其中成熟草莓目标识别是 目标定位的前提 直接影响后续的采摘精度 因此 草莓目标检测能够为草莓生长状态分析和目标定位 提供技术支持 对草莓产业智能化发展具有非常重 要的意义 当前国内外针对草莓目标检测已经取得了一定 的成果 李鑫 1 提 出了一种基于 CaffeNet 网 络的草莓 目标识别方法 试验结果表明 所采用方法的平均识 别率和耗时均优于基于 HOG 特 征的 SVM 识 别算 法 闫元 2 针 对草莓采摘机器人的目标识别问题 采 用 Inception v2 网 络进行特征参数提取 并利用 Faster RCNN 网 络进行目标检测 试验结果表明 草 莓平均识别精度为 85 32 单 次识别时间达 0 16 s 钱 文秀等 3 针 对草莓多级分类及遮挡情况下的检测 问题进行了研究 提出了一种基于短连接深度监督 显著目标检测算法的草莓分割方法 对草莓遮挡和 环境光线变化具有较高的自适应性 高凡 4 提 出了一 种改进的 YOLOv3 草 莓目标检测方法 提高了细节 信息的特征提取能力 试验结果表明 该方法对小目 标和光照变化具有较高的自适应性 陈杨 5 提 出了一 种基于 Straw R CNN 的 草莓目标检测方法 采用金 字塔型特征网络提取和 ROI Aline 层 方法 提升了草 莓果实和花朵小尺寸目标的检测精度 虽然当前针对草莓目标检测的研究已经取得了 一定的进展 但主要停留在理论研究层面 且模型算 法对复杂生长环境下草莓遮挡 重叠等情况的检测 精度不高 本文针对草莓目标检测问题进行研究 提 出了一种基于 YOLOv4 卷 积神经网络模型的草莓目 标检测方法 以实现对草莓目标的快速 精确检测 以期为草莓采摘机器人和智能化监测提供精确的目 标信息 1 研 究方法 1 1 检 测算法 1 1 1 目 标检测算法 随着图像处理和深度学习技 术的快速发展 目标检测算法逐渐由传统的人工特 征提取向卷积神经网络检测方法转变 在传统的目 基 金项目 2021 年 江苏省大学生创新创业训练计划项目 202113103037Y 江苏农林职业技术学院创新 训练项目 基于 LoRa 的 智能农业灌溉系统设计 202113103044y 通 信作者 收稿日期 2022 04 28 现 代农业科技 2023 年 第 1 期 农业工程学 119 现代 农业科技 2023 年 第 1 期农业工程学 标检测方法中 常用的特征提取方法主要依据人类 的经验进行 主要特征类型包括图像的颜色 形状 纹理 HOG 特 征等信息 并结合 SVM 等 机器学习和 分类方法进行最终的目标识别 传统的目标检测方 法由于主要依赖人类的经验进行特征提取 特征信 息不够全面 对复杂环境下的检测自适应性较低 且 在识别过程中所采用的滑动窗口区域检测方法耗时 较长 相对于传统目标检测方法 卷积神经网络算法 依托搭建好的模型实现特征的自动提取 特征提取 能力进一步增强 当前的卷积神经网络目标检测方 法主要分为单步法和两步法 2 种 类型 单步法直接 对特征提取后的图像进行目标分类与回归 而两步 法分为候选区域提取和目标分类与回归两个步骤 两步法首先进行候选区域提取 在此基础上进一步 进行目标的分类和回归 提高了目标检测的精度 但 耗时较长 典型的两步目标检测方法包括 RCNN Faster RCNN 等 与 两步法相比 单步法的检测速度 更快 其直接对图像进行特征提取和分类回归 但检 测精度受到一定的制约 典型的单步目标检测方法 包括 SSD YOLO 等 1 1 2 YOLOv4 目 标检测方法 作为一种经典的单步 法目标检测模型 YOLO 检 测算法经历了 YOLOv1 YOLOv2 YOLOv3 YOLOv4 等 发展阶段 成为目标检 测方法的主要发展方向之一 6 因 为 YOLO 系 列属于 单阶段目标检测 所以具有较快的识别速度 能够更 好地满足实时性需求 随着 YOLOv3 算 法的出现 YOLO 系 列的检测算法以其优异的检测特性成为主 流目标检测算法之一 YOLOv3 算 法采用 DarkNet53 网 络作为主干特征提取网络 对输入图像进行了 5 次 下 采样 通过引入残差模块缓解了模型训练过程 中的梯度消失问题 在特征提取方面 YOLOv3 算 法 采用特征金字塔结构提取了 3 个 特征层的参数信 息 并进行了特征融合 提升了网络模型的特征提取 能力 为了更好地平衡目标检测精度和速度 YOLOv4 模 型对 YOLOv3 模 型进行了进一步改进 在主干特征 提取网络方面 YOLOv4 模 型采用 CSPDarkNet53 替 代 DarkNet53 网 络 通过引入 CSPnet 结 构和 Mish 激 活函 数进一步提升了模型的特征提取能力 在特征 金字塔方面 YOLOv4 模 型在 YOLOv3 模 型的基础 上 采用 SPP 和 PANet 结 构 其中 PANet 结 构实现了 不同层数下特征信息的反复提取和深度融合 SPP 结构 通过多尺度最大池化处理进一步增加了特征金 字塔中每一层的感受野 提高了每一层的特征融合 度和信息量 在模型训练方面 YOLOv4 模 型采用 Mosaic 数 据增强方法 进一步丰富了数据集模型 在 损失函数计算方面 YOLOv4 模 型提出了对物体尺寸 变化和重叠更敏感的 CIOU 算 法 进一步减少了训 练过程中的模型发散问题 为了优化训练过程 YOLOv4 模 型采用了余弦退火衰减方法 进一步降低 了模型训练中陷入局部极小值的风险 为了减少模 型训练中的过拟合现象 YOLOv4 模 型采用了 Label Smoothing 平 滑方法 在损失函数计算方面 YOLOv4 模型主要包括 回归损失 分类损失以及置信度损失等 3 个 部分 其中回归损失采用 CIOU 算 法对正样本进 行计算 分类损失是实际存在目标预测类与真实类 之间的差距 置信度损失包括两部分内容 一部分为 实际存在目标预测结果的置信度 另一部分为实际 不存在目标预测结果的置信度 在模型预测过程中 YOLOv4 将 图像划分成 S S 的 网格 每个网格点负 责一个区域的检测 输出检测框的位置坐标 置信度 和分类概率预测结果 其中 位置坐标为目标相对网 格点位置的偏移量 且位置坐标加上网格点即为预 测框的中心位置坐标 经过预测得到的单网格输出 预测值数量为 B 4 1 C 其中 B 为 单网格输出的 检测框个数 C 为 目标的类型个数 输出的矢量维度 为 S S B 5 C 为了提高目标的检测精度 YOLOv4 模 型采用得分过滤和非极大抑制方法过滤 重合度较大的目标检测结果 保证了目标检测结果 的精确性 1 2 试 验验证 1 2 1 数 据集建立 为了提高算法模型的自适应性 本文采集不同光照环境下的草莓图像 771 张 像 素 尺寸为 1 008 756 为 了便于数据集的训练和测试 本文将数据集按照 9 1 的 比例分为训练集和测试 集 通过 LabelImg 软 件进行手工标注 其中草莓数据 120 按照 着色率分为成熟和不成熟 2 种 类型 经过手工 标注后生成的 XML 文 件中包含每幅图像中的目标 位置和类别信息 其中目标位置提供左上角坐标和 右下角坐标信息 通过草莓目标的位置信息可以计 算出每个目标的宽高参数 为后续的先验框计算提 供了基础 1 2 2 先 验框计算 先验框参数反映了目标检测的 尺寸信息 对于尺寸变化较大情况下的目标检测精 度具有重要影响 考虑到 Kmeans 算 法对初始化聚类 中心选择上的不确定性 本文采用 Kmeans 算 法对 手工标注的 XML 文 件中的目标宽高尺寸进行聚类 Kmeans 算 法对初始化聚类中心的选择进行优化 即对随机选取的单个初始聚类中心按照未知聚类中 心与已知聚类中心位置最远的原则进行聚类初始 化 采用轮盘法寻找指定数量的聚类中心 考虑到 YOLOv4 模 型有 9 个 先验框 因而聚类数为 9 个 先 验 框聚类结果可以分为 3 个 特征层的参数 分别对 应小尺寸 中尺寸和大尺寸目标 考虑到草莓在拍摄 时的目标距离不同 且存在遮挡 重叠等情况 因而 不同尺寸的先验框有利于提升目标的检测精度 Kmeans 算 法对 LabelImg 标 注好的草莓目标宽高 尺寸进行计算得到的 9 个 先验框的宽和高像素尺寸 分别为 24 29 29 41 34 57 42 44 42 75 50 62 52 89 63 111 80 143 分 别对应 3 个 特征层的先验 框参数 2 结 果与分析 2 1 草 莓模型识别 本文搭建了 YOLOv4 网 络模型 并将标注好的 训练集图像和先验框参数引入模型中进行训练 本 文 所 用 计 算 机 CPU 为 Inter Core i7 10870H CPU 2 20 GHz 显 卡为 NVIDIA GeForce RTX 2070 内 存为 16 GB 操 作系统为 Windows 10 为 了提高模型训练效率 本文模型训练采用迁 移学习完成 将图片数据集随机按照 9 1 的 比例分 为训练集和测试集 模型的训练过程分两阶段进行 第一阶段 为了提升模型训练速度 冻结前 249 层 的 权重参数以降低模型参数的训练量 设置迭代次数 为 50 batch size 参 数为 8 初 始学习率为 10 3 并 采 用 Adam 优 化器更新网络权重 第二阶段 对网络冻 结层解冻进行整体训练 设置迭代次数为 70 模 型 训练初始学习率为 10 4 batch size 参 数为 4 并 采用 Adam 优 化器更新网络权重 实际训练结束后的训练 集损失为 5 511 验 证集损失为 5 611 模 型训练结束后 将最优训练参数导入模型中 进行识别验证 考虑到草莓目标检测环境的复杂性 本文重点对草莓不同尺寸和遮挡情况下的检测效果 进行分析 检测结果如图 1 所 示 从图 1 a 可 以看 出 本文算法模型能够实现不同尺寸草莓目标的精 确检测 对测试集的整体检测结果进行分析发现 本 文模型对不同尺寸的草莓目标具有较强的稳健性 从图 1 b 可 以看出 算法模型对遮挡环境下的草莓 目标具有较好的自适应性 对测试集整体检测效果 进行分析发现 本文模型对遮挡或者草莓重叠状况 不严重情况下的草莓目标可以实现精确检测 综上 所述 本文算法对复杂环境下的草莓目标尺寸变化 和遮挡状况具有较高的稳健性 2 2 模 型评价 模型评价是评价模型性能的关键步骤 也是验 金林华等 基于 YOLOv4 的 草莓目标检测技术研究 注 a 为 不同尺寸目标检测 b 为 遮挡目标检测 图 1 草 莓目标检测结果 a b 121 现代 农业科技 2023 年 第 1 期农业工程学 上接第 118 页 究 D 昆 明 昆明理工大学 2019 12 孙 晓军 杜传印 孙其勇 热 泵型烤房的设计开发 C 山 东制冷空调 2009 年 山东省制冷空调学术年会 烟台 冰轮杯 优秀论文集 青 岛 中国制冷学会 2009 58 61 13 BRYAN W MAW J MICHAEL M et al Heat pump de humidification during the curing of flue cured tobacco C Nashville The Proceedings of the 41st Tobacco Workers Conference 2004 14 孙 晓军 杜传印 王兆群 等 热 泵型烟叶烤房的设计探 究 J 中 国烟草学报 2010 16 1 31 35 15 刘 雅娴 沈晗 杜传印 等 不 同肥料运筹模式下采收时 间对烤烟经济性状及品质的影响 J 中 国烟草科学 2020 41 2 21 26 16 吕 君 魏娟 张振涛 等 基 于等焓和等温过程的热泵烤 烟系统性能的理论分析与比较 J 农 业工程学报 2012 28 20 265 271 17 吕 君 魏娟 张振涛 等 热 泵烤烟系统性能的试验研 究 J 农 业工程学报 2012 28 增 刊 1 63 67 18 伊 松林 张璧光 太 阳能及热泵干燥技术 M 北 京 化学 工业出版社 2011 19 陈 东 谢继红 热 泵干燥装置 M 北 京 化学工业出版 社 2007 20 李 世军 排 湿热回收热泵烟叶烤房及其自动控制的研 究 J 中 国农机化学报 2017 38 12 63 67 21 张 雨薇 易镇邪 周清明 不 同密集烤房对烤烟烘烤能 耗成本与上部叶品质的影响 J 甘 肃农业大学学报 2019 54 5 112 120 22 任 杰 曹亚凡 卢晓华 等 可 调节气流方向的闭式循环 热泵烤房的设计应用 J 烟 草科技 2019 52 8 82 88 23 许 锡祥 陈承亮 吕作新 等 几 种新型密集烤房烘烤效 果比较 J 中 国烟草科学 2017 38 5 82 86 证 模型稳健性和检测能力的标准 常用的目标检测 模型评价指标有精确度 Precision 召回率 Recall 和 平均精度 mAP mean average precision 其中精确 度和召回率的计算公式如下 精确度 TP TP FP 1 召 回率 TP TP FN 2 其 中 TP 为 目标实际为正样本且模型判定为正 样本的情况 FP 为 目标实际为负样本且模型判定为 正样本的情况 FN 为 目标实际不为负样本且模型判 定为负样本的情况 除了精确度和召回率以外 还有 二者的组合评价标准平均精度 mAP 其评价更为 客观 对测试集检测结果进行分析 网络模型的平均 精度 mAP 评 价结果表明 测试集中成熟草莓的召 回率为 90 48 精 确度为 98 70 平 均精度为 99 63 未 成熟草莓的召回率为 80 40 精 确度为 94 67 平 均精度为 94 47 经 测试 在分辨率为 1008 756 的 情况下 草莓目标检测的平均精度 mAP 均 值达到 97 05 检 测时间平均为 74 ms 能 够 满足草莓检测的精度和实时性需求 3 结 论 本文针对草莓 目标检测存在的问题 提出了一 种基于 YOLOv4 的 检测方法 通过数据集标注获取 草莓目标的位置和类型信息 在此基础上采用改进 型 Kmeans 算 法实现草莓先验框的尺寸计算 最后采 用迁移学习和两阶段训练方法实现模型训练 试验 结果表明 该方法对草莓目标检测 的平均精度 mAP 均 值达到 97 05 检 测时间平均达到 74 ms 可 以实现复杂环境下草莓目标的快速准确检测 4 参 考文献 1 李 鑫 用 于机器采摘的高架草莓识别与分级方法的研 究 D 南 京 东南大学 2018 2 闫 元 基 于深度学习与双目视觉的草莓识别定位研究 D 太 谷 山西农业大学 2020 3 钱 文秀 常青 向辉 等 基 于深度监督显著目标检测的 草莓图像分割 J 华 东理工大学学报 自然科学版 2020 46 1 114 120 4 高 凡 基 于深度学习的实例搜索方法研究 D 西 安 西安 科技大学 2020 5 陈 杨 基 于无人机遥感开发平台的草莓生长状况快速监 测研究 D 杭 州 浙江大学 2020 6 黄 小杭 梁智豪 何子俊 等 基 于 YOLO v2 的 莲蓬快速 识别研究 J 现 代农业科技 2018 13 164 167 nullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnull 122