DB37/T 3383《蔬菜标准体系建设指南》实施效果评价——基于模型构建法.pdf

DB37 T 3383 蔬菜标准体系建设指南 实施效果评价 基于模型构建法 安 洁 1 王 爽 2 汪 明 1 王 波 2 黄永杰 1 孟露露 2 张欣倪 1 1 山东国家标准技术审评中心 2 山东省标准化研究院 摘 要 随着 标准化法 的修订发布 标准化工作的核心不再限于标准的制定及标准体系的完善 标准实施的监督评 估成为今后标准化工作的重点 本研究以蔬菜相关标准为例 从标准技术内容 标准实施过程 标准实施效益等方面科 学建立起标准实施效果评价模型 综合运用层次分析法和模糊综合评价法为农业领域标准实施效果评估建立评价机制 提供理论和实践经验 关键词 蔬菜 标准 实施效果评估 DOI编码 10 3969 j issn 1002 5944 2021 08 012 Model Building Based Evaluation of the Implementation Results of DB37 T 3383 on the Guidelines for the Construction of the Standard System for Vegetable AN Jie 1 WANG Shuang 2 WANG Ming 1 WANG Bo 2 HUANG Yong jie 1 MENG Lu lu 2 ZHANG Xin ni 1 1 Shandong National Center of Standards Evaluation 2 Shandong Institute of Standardization Abstract With the revision and promulgation of the Standardization Law the core of standardization work is no longer limited to the development of standards and the improvement of standard system The supervision and evaluation of standards implementation has become the focus of future standardization work This study takes vegetable related standard as an example scientifically establishes an evaluation model for standard implementation effect covering technical content implementation process and implementation benefits It is expected to provide theoretical and practical experience for creating evaluation mechanism for implementation effect of standards in the agricultural field by using analytic hierarchy process and fuzzy comprehensive evaluation method Keywords vegetable standards implementation effect evaluation 学术研讨 1 引 言 标准化效果是衡量标准化活动成果的重要尺 度 是制定标准和标准化规划的重要依据 是标准 化学科的重要组成部分 伴随着农业标准的陆续 发布及实施 要让标准成为质量的 硬约束 标准 实施的效果评价工作显得至关重要 1 标准实施效果评价的研究及实践工作从上个 552021年第4期 下 总第581期 安 洁 王 爽 汪 明 等 DB37 T 3383 蔬菜标准体系建设指南 实施效果评价 基于模型构建法 世纪90年代开始 2 自 2 0 1 5 年 国 务 院 关 于 印 发 深 化标准化工作改革方案的通知 国发 2015 13 号 下发后 相关的研究文献数量增多 在文化教 育 医药卫生 生态保护 基础设施建设 产业发 展等领域均有研究 3 6 从 文献研 究 来 看 2 017年 以前尚未建立起统一的 较为成熟的标准实施效 果评价体系 标准化学者多结合标准特点提出了各 自的评价体系 标准评价方法也尚未统一 7 19 尽 管已有学者对于标准化理论及实践模式进行了一 定的探索 但缺乏系统全面的研究 尤其是对于标 准实施效果的评价研究仍处于起步阶段 为了客观 科学地评价农业领域的标准化效 果 本研究以蔬菜相关标准为例 在正确理解评价 原 则 的 基 础 上 以 实 际 需 要 为 出 发 点 合 理 设 置 评 价指标体系 准确使用评价方法 构建科学合理的 标准化评价模型 为下一步蔬菜领域标准的改进完 善以及标准引领产业技术发展 产品质量提升提供 支撑 2 评价模型构建原则 2 1 全面性与针对性相结合 评价模型从标准化建设的实际目标出发 准确 把握指标间的相互统一性 尽可能全方位考虑标准 实施推广情况与产生的经济 社会 生态效益 准 确反映被评价者在不同层次上的特征及存在的问 题 清 晰 显 示 其 中 的 重 要 矛 盾 及 其 根 源 使 得 评 估 信息更有条理性 2 2 可行性与操作性相结合 评价指标在实际应用中受到资料及数据信息 的制约 指标设置应充分考虑指标的量化和数据 获取的难易程度 可信度 尽量做到方法易掌握 信息易获取 指标尽量简单明了且具有典型代表 性 避免脱离实际生产应用指标或含义相近指标 2 3 开放性和动态性相结合 蔬菜产业链条长 内容广泛 影响因素多 存 在复杂性和诸多不稳定性 各项标准可能相互促 进 相互影响 标准的效益也具有延续性 因此 标准实施效果的评价 既要有静态指标反映当前 发展水平 有动态指标反映进步提升情况和长远 效益 也要兼顾示范带动的间接效益 3 评价指标体系的建立 3 1 评价指标体系的构建 在满足评价原则的前提下 一是参考GB T 31600 2015 农业综合标准化工作指南 20 G B T 3533 2017 标准化效益评价 21 22 等已发布的评 价准则把握评价指标的筛选方向 二是对标准评 估 文 献 进 行 综 合 分 析 研 究 评 价 体系 的 构 建 层 次 筛选出被广泛认可 使用频度较高的评价指标 三 是征询蔬菜标准化领域专家的意见及建议 根据 蔬菜产业的特征对指标进行扩充及调整 本 研 究 构 建 的 评 价 指 标 体系 分 为三 个 层 级 如 表1所示 3 2 评价指标内在联系 按照标准化工作的程序和步骤 标准化活动 的路径为规划标准 制定标准 实施标准 评估标 准 因此标准技术内容的适用协调性对标准的实 施状况起到关键影响作用 而标准的实施应用情 况又直接反映了标准的实施效果 评价指标存在 着相互关联 相互影响的关系 见图1 3 2 1 技术内容评价 在标准制定阶段 应广泛征求技术专家及生 产一线工作者的意见 充分考虑标准符合生产实际 及产业发展需求 标准技术内容应与法律法规及 产业发展政策相协调 标准的编制应严谨准确 做 到结构合理 条文说明清晰无歧义 同时 为了以 标准倒逼产品质提高 满足流通贸易等需求 标 准还应具有先进性 由此看来 标准技术内容协调 性 适用性和先进性评价是基础 是标准有效实施 的前提 56 2021年第4期 下 总第581期 安 洁 王 爽 汪 明 等 DB37 T 3383 蔬菜标准体系建设指南 实施效果评价 基于模型构建法 表1 蔬菜标准评价指标体系表 第一层 目标层 第二层 准则层 第三层 指标层 蔬菜产业标准评价A 技术内容评价B1 标准符 合法律 法规 政 策的程 度C1 标准结构合理 条文清晰 条款严 谨准确的程度C2 标准方便可行 符合生产实际的程度C3 标准具备适应产业发展的弹性程度C4 标准的先进程度C5 实施过程评价B2 标准查询获取的灵活方便程度C6 标准宣传推广的满意度C7 对标准的重视理解掌握程度C8 对照标准执行情况C9 实施效益评价B3 标准实施对工作效率的影响度C10 标准实施对经济收益的影响度C11 标准实施对农产品质量安全水平的影度C12 标准实施对品牌知名度的影响度C13 标准实施对人员素质能力提升的影响度C14 标准对生态环境改善的影响度C15 图1 标准评价体系逻辑关系图 572021年第4期 下 总第581期 3 2 2 实施过程评价 在实际生产活动中 标准的传播推广 执行实 施和被引用情况是将标准落地的重要环节 标准从 发布到被应用的传播推广阶段 一是需要政府部 门提供灵活便利的标准查寻获取渠道 来保证标 准使用人了解标准 二是需要提供多样化的宣传推 广方式以保证标准使用人读懂标准 会用标准 因 此在标准的执行应用阶段 过程评价也要从多维 度出发 通过标准的查询获取方式 宣传推广方式 及掌握理解程度 标准执行应用情况4个指标 来 评估标准相关方对标准化的重视程度 宣传推广 和标准实施应用情况 3 2 3 实施效果评价 蔬菜生产过程是一项综合的复合型过程 其 标准的好坏不仅体现在经济效益 同时也体现在 对社会的贡献 对生态环境的保护 一是经济效 益 可简单概括为标准实施前后所获得的各种经济 效益 是标准化有用效果与标准化劳动耗费的差 本研究在经济效益指标下设标准对整体工作效率 的影响度 对经济收益的影响度2个因素 由于影 响经济效益的因素复杂 难以量化 因此本研究选 取了定性评估指标 二是社会效益 是指通过标准 的制定和实施对社会的科技 政治 文化等方面做 出的贡献 本研究在社会效益指标下设3个因素 标准实施对农产品质量安全水平的影响 标准实 施对品牌知名度的影响以及标准实施对人员素质 能力提升的影响度 三是生态效益 是指在标准化 的干预下 生产运行对农业生态系统结构和功能 的影响 具体来说 就是通过标准化的活动 达到 不 污 染 破 坏自然 环 境 稳 定 生 物 多 样 性 保 持 生 态 稳定平衡 实现资源的有效利用和可持续发展 由 于生态环境的评估难以量化 生态效益的评价下设 1个宏观定性指标 3 3 评价指标权重的确定 利用层次分析法确定权重要经过6个步骤 分别为构建递阶层次结构 构造判断矩阵 对矩 阵一致性检验 层次单排序 层次总排序 结果分 析 3 23 需 要 注 意 的 是 在 层 层 排 序 中 要 对 判 断 矩阵进行一致性检验 只有通过检验 才能说明 判断矩阵在逻辑上是合理的 基于评价指标体系构建起的递阶层次结构 引 入专家问卷打分法和1 9标度法 重要性标度值如表 2所示 来进行本层所有因素相对重要性的比较 表2 重要性标度含义表 重要性标度 含义 1 表示两个元素相比 具有同等重要性 3 表示两个元素相比 前者比后者稍微重要 5 表示两个元素相比 前者比后者明显重要 7 表示两个元素相比 前者比后者强烈重要 9 表示两个元素相比 前者比后者极端重要 2 4 6 8 表示上述判断的中间值 通 过 来自标准 推 广 部门 科 研 院 所 高 等 院 校 生产经营主体 社会组织等39位专家打分反馈 意见 利用yaahp软件构造专家判断矩阵 并利用 群决策功能 将各专家排序向量加权算术平均 计 算出评价指标体系各层次各单项指标的权重如表3 所示 从表中可以看出 准则层实施效益评价指标 相对权重较高 技术内容评价次之 实施过程评价 权重较低 3 4 综合评价模型的建立 用层次分析法得出的权重是指某一指标相对 的重要程度 或者对于标准实施评价的重要性或贡 献度 要客观地看出蔬菜产业标准实施效果的评价 情况 还需要利用模糊综合评价法继续分析 3 4 1 评价因素集 整个评价的因素集分为三个层次 第一层是目 标层 蔬菜产业标准评价A 第二层是准则层 由目 标层A分解为由3个元素组成的准则层 A 技术内 容评价B1 实施过程评价B2 实施效益评价B3 第 三 层 为 指 标 层 由1 5 个 元 素 组 成 安 洁 王 爽 汪 明 等 DB37 T 3383 蔬菜标准体系建设指南 实施效果评价 基于模型构建法 58 2021年第4期 下 总第581期 3 4 2 评语集 根据蔬菜产业标准实施的实际情况 本研究 设立相对公正的5个评价等级 评语集为很好 较 好 一般 较差 差 同时采用百分制法设置评价得 分 具体得分如表4所示 表4 蔬菜产业标准实施评价等级表 V 1 V 2 V 3 V 4 V 5 等 级 很好 较好 一般 较差 差 得 分 100 80 60 40 20 4 标准实例验证 4 1 评价单因素隶属度计算 本研究以DB37 T 3383 蔬菜标准体系建设指 南 24 设 计 调 研 问 卷 面 向 政 府 主 管 部 门 科 研 院 所 高等院校 生产经营主体 社会组织等机构和 群体进行问卷调查 总共收回300份有效问卷 根 据每个C级指标所对应评价等级的判定数量 得出 标准评价单因素隶属度如表5所示 4 2 构建模糊评价矩阵 根据模糊评价矩阵的构建方法 结合计算出 的 单 因 素 隶 属 度 数 据 见 表 5 可 以 得 到 以 下各 指 标层的综合模糊评价的评价矩阵P 其中R ij 为第i个 指标对于第j级评语的隶属度 技术内容评价一级模糊评价矩阵为 表3 蔬菜标准评价指标体系权重层次图 目标层 准则层 准则层 权重 指标层 指标层 权重 权重 排名 蔬菜产业标准 评价A 技术内容评价B1 0 3502 标准符 合法律 法规 政 策的程 度C1 0 1739 7 标准结构合理 条文清晰 条款严 谨准确的程度C2 0 1408 9 标准方便可行 符合生产实际的程度C3 0 3495 2 标准具备适应产业发展的弹性程度C4 0 1445 8 标准的先进程度C5 0 1913 6 实施过程评价B2 0 1503 标准查询获取的灵活方便程度C6 0 1630 14 标准宣传推广的满意度C7 0 1510 15 对标准的重视理解掌握程度C8 0 1776 13 对照标准执行情况C9 0 5084 5 实施效益评价B3 0 4995 标准实施对工作效率的影响度C10 0 0931 10 标准实施对经济收益的影响度C11 0 2022 4 标准实施对农产品质量安全水平的影响度C12 0 3041 1 标准实施对品牌知名度的影响度C13 0 0811 11 标准实施对人员素质能力提升的影响度C14 0 0781 12 标准对生态环境改善的影响度C15 0 2414 3 安 洁 王 爽 汪 明 等 DB37 T 3383 蔬菜标准体系建设指南 实施效果评价 基于模型构建法 592021年第4期 下 总第581期 安 洁 王 爽 汪 明 等 DB37 T 3383 蔬菜标准体系建设指南 实施效果评价 基于模型构建法 实施过程评价一级模糊评价矩阵为 实施效益评价一级模糊评价矩阵为 4 3 一级模糊综合评价 根据已通过4 2构建的一级模糊评价矩阵P k 结合所对应的权重向量W k W k1 W k2 按照 计 算公 式 B k W k P k 运用Matlab软件进行合成计算 对 技术内容评价 指标的一级模糊综合评价 表5 DB37 T 3383 蔬菜标准体系建设指南 评价单因素隶属度 考核指标 很好 较好 一般 较差 差 C1 202 300 86 300 12 300 0 0 C2 198 300 89 300 13 300 0 0 C3 171 300 108 300 21 300 0 0 C4 190 300 98 300 10 300 2 300 0 C5 155 300 139 300 5 300 1 300 0 C6 151 300 115 300 22 300 12 300 0 C7 146 300 113 300 31 300 10 300 0 C8 105 300 132 300 42 300 19 300 2 C9 135 300 131 300 30 300 4 300 0 C10 136 300 139 300 23 300 2 300 0 C11 130 300 144 300 24 300 2 300 0 C12 153 300 127 300 20 300 0 0 C13 147 300 133 300 16 300 4 300 0 C14 148 300 133 300 18 300 1 300 0 C15 147 300 137 300 14 300 2 300 0 60 2021年第4期 下 总第581期 安 洁 王 爽 汪 明 等 DB37 T 3383 蔬菜标准体系建设指南 实施效果评价 基于模型构建法 对 实施过程评价 指标的一级模糊综合 评价 对 实 施 效 益评 价 指标的一级模 糊综 合 评价 4 4 二级模糊综合评价 把技术内容 实施过程和实施效益作为单一 因素 并将这三个因素的一级模糊综合评价结果 作为单因素评价集 组合成为新的矩阵作为二级 模 糊 综合评价的 单 因素评 价矩阵 与 指 标 权 重W根据公式L W P进行二级模糊综合评价运 算 得 到 综 合 评 价 矩 阵 L 具 体 计 算 如 下 4 5 标准实施效果评价量化效果 因为加权平均算子在进行综合评价过程中非 常稳定 也不会丢失任何评价因素 并且可以依据 不同评价因素的权重值来考虑对评价总体的影 响 适用于评价对象综合程度较高的情况 本研究 采用加权评价的原则 逐层分别计算目标层 准则 层和指标层各指标的得分 目标层指标得分的计算公式为 0 5190 100 0 4127 80 0 0634 60 0 0047 40 0 0020 20 88 912 同 理 根 据 和 分别 计算准则层和指标层各指标的得分 计算结果如表 6所示 0 4815 0 4497 0 0639 0 0049 0 表6 蔬菜标准体系建设指南 实施效果评价得分 目标层 目标层得分 准则层 准则层 得分 指标层 指标层 得分 蔬菜产业标 准化评价A 88 912 标准技术内 容评价B1 91 736 标准符 合法律 法规 政 策的程 度C1 92 67 标准结构合理 条文清晰 条款严 谨准确的程度C2 92 33 标准方便可行 符合生产实际的程度C3 90 00 标准具备适应产业发展的弹性程度C4 91 73 标准的先进程度C5 89 87 实施过程评 价B2 85 606 标准查询获取的灵活方便程度C6 87 00 标准宣传推广的满意度C7 86 33 对标准的重视理解掌握程度C8 81 27 612021年第4期 下 总第581期 安 洁 王 爽 汪 明 等 DB37 T 3383 蔬菜标准体系建设指南 实施效果评价 基于模型构建法 通过计算分析 DB37 T 3383 蔬菜标准体系 建 设 指 南 的 整 体 评 分 为 8 8 9 1 2 评 价 等 级 在 好 和较好之间 这说明标准的实施仍有提升空间 其 中 在3个准则层指标的评分中 标准实施过程的 得分最低 这表明若是针对标准化宣贯 标准解读 培训 标准实施指导采取措施 对标准的整体实施 情况提升有极大的促进作用 标准的技术内容的 指标得分相对较高 分值91 736分 说明该标准的 科 学 性 适 用 性 及 先 进 性 均 较 高 标准 满足 生 产实 际 需 求 同 时又 具 有一定 引 领 性 5 结 语 标准实施效果评价是标准化工作的重要组成 部分 通过开展标准评价工作 可以掌握标准的实 施情况 发现标准在实施过程中存在的不足 有利 于及时修订标准 进而有效提升标准的科学性 适 用性 先进性 有效促进标准实施效益的最大化 因此 科学合理的评价体系及方法至关重要 本研 究建立的标准实施效果评价模型 将为蔬菜标准 化的研究视角和研究内容提供一定的理论参考 也 将为农业领域标准实施效果评估建立评价机制提 供理论和实践经验 参考文献 国务院印发 深化标准化工作改革方案 让标准成为质量的 硬约束 J 大众标准化 2015 4 4 5 刘俊凡 黄洪逵 贵农金黄鸡 地方标准的实施及效果分析 J 贵州畜牧兽医 1990 1 34 36 王晨迪 社区居家养老服务标准实施评价研究 D 南京 东 南大学 2018 王燕 陈群 徐亦萍 等 绿色矿山建设规范 标准实施效果分 析与对策研究 J 中国标准化 2019 15 95 98 吴锦 工业硫酸 产品标准实施效果评价 J 质量探 索 2019 16 01 13 20 姜龙珠 伍薇 陈银龙 快递服务 系列标准实施情况评价 J 中国标准化 2019 03 120 125 庄雪丽 刘伊生 王肖文 村镇建设工程标准实施绩效评价研 究 J 建筑经济 2016 37 7 96 99 张博 袁玲玲 牟长青 等 海洋标准实施情况的综合评估方法 研究 J 海洋开发与管理 2017 34 1 57 62 张建华 基于生产过程的农业标准实施评价指标体系研究 J 标准科学 2012 1 22 27 叶青 马明 骆红 基于层次分析法农业标准实施效果评价 J 中国标准导报 2013 12 34 39 周晓俊 曾祥 嫚 陈凯 等 疟疾控制和消除标准 实施现状与 应用评价 J 中国寄生虫学与寄生虫病杂志 2015 33 3 219 221 毛雪丹 胡安易 任雪琼 等 食品营养强化剂使用标准 实施 跟踪评价 J 中国食品卫生杂志 2017 29 3 333 339 程志军 叶凌 王清勤 绿色建筑评价标准 实施效果调研与 分析 J 住宅产业 2012 10 63 65 曹忠荣 国家标准 胶合板 实施效果的评价 J 木材工 业 1993 3 34 35 27 由阳 曾有文 石炼 等 关于我国 生活饮用水卫生标准 实施 情况的评估 J 给水排水 2012 48 1 11 16 王识博 欧慧敏 应用ISO方法论评价中山灯饰照明产业实施 标准经济效益 J 中国质量与标准导报 2017 6 75 79 李军 吴杰 刘珏 标准实施效果评价国内研究综述及初探 J 标准科学 2018 8 97 101 蔬菜产业标 准化评价A 88 912 对照标准执行情况C9 86 47 实施效益评 价B3 88 156 标准实施对工作效率的影响度C10 87 27 标准实施对经济收益的影响度C11 86 80 标准实施对农产品质量安全水平的影度C12 88 87 标准实施对品牌知名度的影响度C13 88 20 标准实施对人员素质能力提升的影响度C14 88 53 标准对生态环境改善的影响度C15 88 60 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 下转第96页 62 2021年第4期 下 总第581期 和组织实施等工作 出台示范区标准创新和应用奖 励措施 对在标准创新和应用工作中取得优异成绩 含成果 的单位及个人 给予表彰奖励 充分调 动 多 方 参 与 杨 凌 标 准 创 新 应 用 的 积 极 性 3 结 语 乡村振兴是实现中华民族伟大复兴的重要 战略工程 也是 十四五 期间农业农村工作的重 点 标准化工作作为国家综合治理措施的组成部 分 是国家战略 政府 措施和制定在农业农村生 产生活一线落实实施的最佳手段 因此 进一步加 大乡村振兴标准化工作力度 着力培养一批乡村振 兴标准化服务团队 不断完善乡村振兴标准体系 制定切实可行的系列标准 并通过各种宣传 推广 和示范试点 推进标准在具体实践中的广泛应用并 不断提升固化 不仅是提升杨凌示范区自身高质量 发展水平的抓手 也是支持杨凌示范区履行国家使 命的最佳桥梁和纽带 参考文献 1 佚名 省质监局党组书记 局长孙秀文以农业标准化助推吉林 率先实现农业现代化 J 吉林农业 2018 5 32 33 2 沈雪峰 舒迎花 农业标准化体系 M 广州 华南理工大学出版 社 2016 79 3 刘金祥 发挥乡村特色文化产业对乡村振兴的助推作用 N 黑龙 江日报 2019 03 05 4 陈凤菊 我国农村公共服务体系建设存在的问题与对策 J 江苏 农业科学 2013 41 9 386 389 5 申云 陈慧 陈晓娟 等 乡村产业振兴评价指标体系构建与实证分 析 J 世界农业 2020 2 59 69 作者简介 杨静 硕士 高级工程师 研究方向 产品检验检测 农业标准化 认证 认可 计 量 等 工作 王欢 工程师 从事食品检测 计量检定 标准化领域工作 杨静 王欢 杨凌乡村振兴标准化发展的建议 韩冰 徐婷 陈俊峰 等 AHP 模糊综合评价法在标准实施效 果评价中的应用 J 标准科学 2020 04 35 38 董秀云 福建省农业标准化建设及其效果评价研究 D 福 州 福 建 农 林 大 学 2 013 GB T 31600 2015 农业综合标准化工作指南 S GB T 3533 1 2017 标准化效益评价第1部分 经济效益评价 通则 S GB T 3533 2 2017 标准化效益评价第2部分 社会效益评价 通则 S 刘聪 基于模糊综合评价的农村厕所改造效果评价研究 D 泰 安 山 东 农 业 大 学 2 0 1 9 DB37 T 3383 2018 蔬菜标准体系建设指南 S 作者简介 安洁 研究员 主要从事标准化研究 王爽 工程师 主要从事农业农村标准化研究 汪明 工程师 主要从事标准化研究 王波 研究员 主要从事标准化研究 黄永杰 助理工程师 主要从事标准化研究 孟露露 工程师 主要从事农业农村标准化研究 张欣倪 助理工程师 主要从事标准化研究 18 19 20 21 22 23 24 上接第62页 96 2021年第4期 下 总第581期