基于视觉伺服的草莓采摘机器人果实定位方法
第 31 卷 第 22 期 农 业 工 程 学 报 Vol.31 No.22 2015 年 11 月 Transactions of the Chinese Society of Agricultural Engineering Nov. 2015 25 基于视觉伺服的草莓采摘机器人果实定位方法王粮局1,张立博1,段运红2,张铁中1(1. 中国农业大学工学院,北京 100083; 2. 北京卓众出版有限公司农机事业部,北京 100083) 摘 要: 为解决基于手眼系统的视觉伺服方法在草莓采摘机器人应用中存在的视觉信息反馈延迟大、频率低以及深度信息无法确定等带来的定位耗时长、精度低的问题,采用摄像机曝光信号触发控制卡进行高速位置锁存,结合位置传感器的反馈信息,来减少定位耗时;采用基于运动恢复结构的方法,提高果实采摘参数的精度。在垄坡和摄像机像平面的夹角为10范围内的情况下,针对包含 13 粒成熟草莓的果实域,采用直角坐标式机械臂草莓采摘机器人样机进行了定位试验。试验结果表明:定位时间在 0.6330.886 s 之间;草莓深度信息的相对误差在 4.34%0.95% 范围内。 关键词:机器人;视觉伺服;采摘;定位;草莓 doi:10.11975/j.issn.1002-6819.2015.22.004 中图分类号:TP242.6 文献标志码:A 文章编号:1002-6819(2015) -22-0025-07 王粮局,张立博,段运红,张铁中. 基于视觉伺服的草莓采摘机器人果实定位方法J. 农业工程学报,2015,31(22):2531. doi :10.11975/j.issn.1002 -6819.2015.22.004 http:/www.tcsae.org Wang Liangju, Zhang Libo, Duan Yunhong, Zhang Tiezhong. Fruit localization for strawberry harvesting robot based on visual servoingJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(22): 2531. (in Chinese with English abstract) doi:10.11975/j.issn.1002 -6819.2015.22.004 http:/www.tcsae.org 0 引 言选择性果实采摘是农业上最为耗时费力的作业环节之一, 30 a 来人类一直试图采用机器人从事该类作业。但由于果实采摘机器人作业环境复杂,采摘对象的物理参数非结构化,因此果实采摘机器人的软硬件系统与工业机器人相比更加复杂,需要专用的视觉系统对目标果实进行识别定位,并需要专用的末端执行器(即采摘手爪)对果实进行精准、无损采摘,这些成为采摘机器人领域主要的研究课题1-5。 其中,对果实在世界坐标系内的定位,目前普遍采用的方法是双目立体视觉6-7和基于手眼系统的视觉伺服8-10方法。前者由 2 台摄像机分别同时采集果实图像,然后将 2 幅图像进行匹配,利用相匹配点的视差实现对目标果实的定位。但由于 2 幅图像对应点间的匹配算法复杂,并且对视觉传感器参数一致性和安装精度要求高,因此实际作业时耗费时间长,实施难度大11。后者结构相对简单,但存在信息反馈延时大、频率低以及采摘目标深度信息无法确定等问题,为满足视觉反馈信息的实时性,需要增加运算量,对视觉系统硬件性能要求高12-13。此外,最近兴起的基于光编码技术14和飞行时间方法15的具有深度信息的摄像机也应用到了采摘机器人上,但是收稿日期:2015-05-04 修订日期:2015-10-13 基金项目:国家自然科学基金资助项目(61375089) 作者简介:王粮局,男,河南商丘人,博士生,主要研究方向:农业机器人。北京 中国农业大学工学院,100083 。Email :wangliangjugmail.com 通信作者:张铁中,男,河北邢台人,教授,博士生导师,主要研究方向:农业机器人,生物生产自动化。北京 中国农业大学工学院,100083。 Email:zhangtz56163.com 这些方法尚不成熟,精度也不够高。 由于在草莓栽培中,草莓果实大致分布在一个平面内,因此草莓果实的深度信息变化不大,在这种情况下采用视觉伺服定位方法更具优越性。针对基于手眼系统视觉伺服定位方法存在的问题,本文提出一种改进的方法。结合草莓果实的生长特点,采用摄像机曝光信号触发控制卡进行高速位置锁存,结合位置传感器的反馈信息,实现了在不加大计算机运算量的前提下,降低视觉反馈信息延迟大、频率低的影响,减少定位耗时;在视觉伺服过程中,采用基于运动恢复结构的方法实现目标草莓域深度信息的精确计算,进而提高果实采摘参数的精度。 1 草莓采摘机器人结构及其运动学方程 本文所针对的草莓种植环境为垄作栽培,其特点为草莓植株种植在垄顶,果实贴在垄坡,并且在垂直垄坡方向上没有重叠;采摘作业过程中除了少许的叶子遮挡外基本没有别的障碍物16。 草莓采摘机器人采用直角坐标式机械臂17(图 1),主要由精密运动定位机构、末端执行器和龙门式行走机构等组成。精密运动定位机构固定在龙门式行走机构上,能沿垄方向进行大范围运动;末端执行器固定在精密运动定位机构末端,具有手眼系统。精密运动定位机构包含 3 个平动自由度,用来精确定位空间位置。在采摘过程中,精密运动定位机构带动末端执行器运动,当成熟果实在采摘位置时,末端执行器进行采摘,采摘过程如文献18所述;采摘完成后,龙门式行走机构带动精密运动定位机构移动 500 mm 距离, 精密运动定位机构进行下一个工作循环。 农业工程学报(http:/www.tcsae.org ) 2015 年 26 a. 主视图 a. Front view b. 左视图 b. Left view 1.横梁 2. 龙门式行走机构 3. 水平精密运动定位机构 4.前伸精密运动定位机构 5. 竖直精密运动定位机械 6. 摄像机 7. 末端执行器 8. 垄坡 9.草莓收集输送带 1.Beam with track 2.Gantry walking mechanism 3.Precision positioning mechanism in horizontal direction 4.Precision positioning mechanism in front-back direction 5.Precision positioning mechanism in vertical direction 6.Camera 7.End-effector 8.Ridge 9.Conveyor transporting collected strawberry 图 1 草莓采摘机器人机械结构图 Fig.1 Mechanical structure of strawbery harvesting robot 草莓采摘机器人的各坐标系如图 2 所示。 1.横梁 2. 滑轨式行走机构 3. 精密运动定位机构 4. 末端执行器 5. 垄坡 1.Beam with track 2.Gantry walking mechanism 3.Precision positioning mechanism 4.End-effector 5. Ridge 注:OW为世界坐标系的原点;xW、 yW、zW分别为世界坐标系 X、Y 、Z 轴,mm;OC为摄像机坐标系的原点; xC、 yC、 zC分别为摄像机坐标系 X、 Y、 Z轴,mm ; 为像平面和垄坡面的夹角,() 。下同。 Note: OWis origin of world coordinate system; xW, yW, zWis respectively X, Y and Z axis of world coordinate system; OCis origin of camera coordinate system; xC, yC, zCis respectively X , Y and Z axis of camera coordinate system; is angle between image plane and ridge plane, (). Same as below. 图 2 草莓采摘机器人的坐标系 Fig.2 Coordinate system of strawberry harvesting robot 1) OWxWyW为世界坐标系,原点 OW位于精密运动定位机构的起始点,OWxW为水平精密运动定位机构运动方向, OWyW为竖直精密运动定位机构运动方向, OWzW为前伸精密运动定位机构运动方向。其中,xWyW坐标轴均平行于摄像机像平面(约定下述所指 X 方向为 OWxW,Y 方向为 OWyW, Z 方向为 OWzW)。理想状况下,摄像机平面平行于垄坡平面,且 X 方向平行于垄的长度方向。 2) OCxCyC为摄像机坐标系,原点 OC位于摄像机光心,xCyC坐标轴均平行于摄像机像平面。 在单次采摘草莓过程中,机械臂没有旋转运动,空间一点 P 在 2 个坐标系中分别表示为(),WWWWP xyz、( ),CCCCPxyz。两者之间的坐标转换关系为: () ()WW CWqP q=+CCPR T 式中, ( )WqCR 为坐标系旋转变换矩阵; ( )WCqT 为坐标系平移变换矩阵。 由机器人运动学方程可得 () ()1310001000101000 1xWWyCzPPqqP=CRT( 1) 式中, Px、 Py、 Pz是原点 OC相对于原点 OW的 3 个分量。 2 草莓果实视觉定位原理 在采摘过程中,末端执行器夹指末端贴垄坡沿 X 方向运动,当到达目标草莓域正下方时,停止 X 方向的运动,夹指张开一定的宽度,然后沿垄坡向上(即 Y 方向)运动,接着机械臂带动末端执行器向 -Z 方向运动,将草莓拉离垄坡平面,进行剪切18。 因此, 在 X 方向对准目标草莓域后,只需获得末端执行器到草莓采摘点之间的 Y方向上的距离和草莓域宽度,即可实现对目标草莓的采摘。 对 X 方向的定位采用改进的视觉伺服方法;对图像进行处理、识别和分析,并结合摄像机投影原理和运动恢复结构的方法,得到目标草莓域深度信息以及相应的采摘参数,从而确定末端执行器 Y 方向的位移和两夹指的张开宽度。视觉定位流程如图 3 所示。限于篇幅,本文主要探讨 X 方向视觉伺服定位和获取目标草莓域采摘参数的方法。 图 3 视觉定位流程图 Fig.3 Process of vision localization 2.1 雅可比矩阵求取 根据针孔摄像机模型投影原理可得 第 22 期 王粮局等:基于视觉伺服的草莓采摘机器人果实定位方法 27 1 1CCCCx zuvfyz= ( 2) 式中, (xC,yC,zC)为点在摄像机坐标系中的坐标; zC为摄像机光心到垄面的距离, mm; (u,v)为点在图像坐标系中的坐标,像素; f 为摄像机的焦距, mm。 对式( 2)两边进行微分,可得 22101000 0CCCCCCCCCxzzxu yf yv z zz=tais time required from start of exposure to complete reading image, ms; tsis time required from start of exposure to complete analyzing image, ms; tcis time of image processing and analysis, ms; t1-t4 are times. 图 4 机器视觉时序图 Fig.4 Timing diagram of machine vision 由采摘过程可得,视觉伺服只针对 X 方向进行,故由式( 5)、( 6)可得 CWzx uf = ( 8) 式中, u 为草莓域的形心相对图像中心的 X 方向位移,像素。由于 u 每隔 ts更新一次,故 xW也每隔 ts更新一次, ts相对实时反馈而言仍太大。为获得更高更新频率的xW用于伺服控制,利用由伺服电机驱动的精密运动定位机构可获得 X 轴的实时运动参数的特点,对 xW进行重新计算。 由式( 7)、( 8)可得 Ctazx xuf= + ( 9) 由采摘环境知, zC变化相对不大,所以根据环境取一近似值即可保证伺服运动控制在目标位置的一邻域内收敛。 根据草莓域和摄像机的位置关系可得 Wtox xx = ( 10) 式中, xo为摄像机光心在世界坐标系的实时横坐标, mm;xW为修正后的摄像机光心到理想位置的偏差, mm。 由于 xt是草莓域在世界坐标系的实际位置,不受图像采集滞后和图像数据处理耗时的影响,而且每隔 ts计算出新值以减小误差; xo是由伺服电机实时反馈的位置,所以可以实时得到 xW。 设 X 方向允许定位误差为 x(本文取 2 mm),则当 xW x 时, X 方向满足定位要求,精密运动定位机构 X 轴停止运动。 根据下式对精密运动定位机构 X 轴进行运动控制。 农业工程学报(http:/www.tcsae.org ) 2015 年 28 0d()() () () ddtnP I Dx tvt k xt k xt t kt= + +( 11) 式中, x 为 xW, mm; kP、 kI、 kD分别为比例、积分、微分系数; vn为精密运动定位机构 X 轴控制速度, mm/s。 2.3 采摘参数求取 当末端执行器在 X 方向对准目标草莓域后,需要得到末端执行器到草莓采摘点 Y 方向的距离和草莓域的宽度来控制末端执行器的上移距离 y( mm)和张开宽度W2g( mm)。由于在定位过程中,只存在平移运动,根据世界坐标系和摄像机坐标系的关系,相对摄像机光心的采摘参数在两坐标系内是一致的,如图 5 所示。 注:xcl、xcr分别为草莓域左、右端 X 坐标, mm;yct草莓域顶端 Y 坐标,mm。下同。 Note: xcl, xcris respectively X coordinate of strawberry regions left and right border, mm; yctis Y coordinate of srawberry regions top border, mm. Same as below. 图 5 草莓采摘参数示意图 Fig.5 Parameters of harvesting strawberries 由图 5 可得 ct syy l H= + ( 12) 2gcrclWxx g=+ ( 13) 式中, ls为采摘留梗长度, mm; H 为 Y 方向 OC到末端执行器中心的距离, mm; W2g为两夹指间距, mm; g为两夹指的张开宽度和目标果实域的宽度的差值,取2 mm。 由式( 2),可得 Cct tzyvf= ( 14) ()Ccr cl r lzx xuuf= ( 15) 式中, vt为草莓域顶端的像素坐标,像素; ul、 ur分别为草莓域左、右端的像素横坐标,像素。 由式( 12)和式( 14),可得 CtszyvlHf= + ( 16) 由式( 13)和式( 15),可得 ()2CgrlzWuugf=+ ( 17) 2.4 深度计算方法 虽然 zC取一近似值,就可保证末端执行器在目标位置附近收敛,但由式( 16)( 17)知,采摘参数的精度和zC相关。因此,为提高采摘参数的精度,需要提高 zC的精度,采用文献20中的运动恢复结构的方法精确计算 zC。 由于所采用摄像机畸变较小,在视觉伺服运动过程中只进行水平运动,草莓果实尺寸相比 zC小很多,所以认为草莓域的形心和轮廓线的深度信息是一致的,且不变。 视觉伺服运动过程中,精密运动定位机构只进行 X方向的平动。假设摄像机在任意位置 A 处获得第一幅图像,在世界坐标系中运动 T(tx,ty,tz)到另一位置 B 处获得另一幅图像,两幅图像中包含同一草莓域的完整轮廓。设草莓域轮廓的形心为 P,在 2 幅图像中,像素坐标分别为(u1,v1), (u2,v2);在 A、 B 两处点 P 在摄像机坐标系的坐标分别为 PC1(xC1,yC1,zC1)、 PC2(xC2,yC2,zC2)。根据采摘过程中精密运动定位机构运动的特点得出 21CC=+PPT ;0;0xt=T 矩阵形式为 21212100CCxCCCCx xtyyzz =+ ( 18) 由式( 2)和式( 18)可得 2122 11110011xCCtuuzvzvff =+ 即: 1221xCC Cf tzz zuu=( 19) 3 试验与结果分析 3.1 试验装置及参数 搭建的草莓采摘机器人试验平台如图 6,各组成部分参数如表 1。试验中使用仿真草莓模型替代真实草莓,用塑料板模拟垄坡面。采用文献21中的采摘执行机构,文献18中的末端执行器和采摘方法,进行草莓定位试验。 图 6 草莓采摘试验平台 Fig.6 Experimental platform of harvesting strawberries 第 22 期 王粮局等:基于视觉伺服的草莓采摘机器人果实定位方法 29 表 1 草莓果实定位试验平台参数 Table 1 Parameters of fruit localization experimental platform 类别 Category 型号 Model 备注 Remark 摄像机 Camera DH-SV1421GC 140 MP, 15 fps 曝光时间 1 ms镜头 Camera lens Computar M0814 焦距 8 mm 运动控制卡 Motion controller DMC-2280 电机驱动器 Motor driver AMP19540 电机 Motor Maxon RE40 编码器 Encoder HEDL5540 1 000 线 处理器 CPU I5-3470 开发环境 IDE Visual studio 2012 3.2 定位精度评价指标 设定式( 9)中 zC为定位完成时实际测量的摄像机光心到垄面的距离, mm。 zC的相对误差为 CCCzzz = 式中, zC为计算所得距离, mm。 由式( 16)可知, Y 方向末端执行器到草莓采摘点的距离 y 的相对误差为 CC CC CCtt tyyiCC Cts ts tzz zz zzvv vff fzz zvl H vl vff f =+ + ( 20) 式中, yi为 Y 方向摄像机光心到草莓采摘点距离的相对误差。 由式( 20)可知, y 的绝对误差为 max maxyyieH H ( 21) 式中, Hmax为 Y 方向摄像机光心到草莓采摘点的最大距离,取摄像机视野高度的一半,约 75 mm。 由式( 17)可知,两夹指间距 W2g的相对误差为 ()()()()CC CCrl rlwrl rlzz zzuu uuffuu g uu =+ ( 22) 由式( 22)可知,两夹指间距 W2g的绝对误差为 maxweW ( 23) 式中, Wmax为工作过程中,两夹指需张开的最大宽度,目标果实域草莓为 3 粒时取 94 mm18。 由式( 21)和式( 23)可知,当摄像机光心到垄面的距离 zC的相对误差满足一定要求时, Y 方向末端执行器到草莓采摘点的距离 y,以及两夹指间距 W2g即可满足采摘要求。因此只需对 zC误差进行评价,不需对 y和 W2g的误差再进行评价。 3.3 试验设计 在实际中,即使机械化起垄,垄坡在 X 方向仍不可能完全在同一平面上。但由于草莓域开始进入摄像机视野到定位完成, X 方向的运动少于 100 mm,可认为在这段很小的长度内垄坡是一个平面。但由于行走机构在前进方向难以与垄坡面始终平行,摄像机像平面和垄坡面会出现夹角 (如图 2)。因此,本文只需要考虑夹角 对定位精度和定位时间的影响。 以目标果实域草莓粒数 n 和夹角 为试验因素,定位耗时 t 和摄像机光心到垄面的距离 zC的相对误差 为评价指标,设计双因素完全试验。每组试验进行 5 次,每次记录从摄像机视野中开始出现目标果实到定位完成耗时 t 和相对误差 。 所采用的末端执行器最多可以一次采摘 3粒草莓18,故分别取 n=1, 2, 3。机械化起垄和龙门式的行走机构可以保证夹角 很小,但为了能广泛地适用于不同的草莓栽培模式,将 范围放大至 10 10, 分别取 =0、 5、10。3.4 试验结果与分析 对试验数据进行方差分析,草莓粒数、夹角 值以及两者的交互作用对定位时间的影响都显著( P分别为 0,0.001, 0.0383);草莓粒数对相对误差 影响不显著( P=0.752),夹角 值对相对误差 影响显著( P=0),草莓粒数和夹角 值的交互作用对其影响也显著( P=0)。试验结果如表 2 所示。 表 2 草莓采摘机器人果实定位试验结果 Table 2 Test results of fruit localization of strawberry harvesting robot 1 粒草莓 1 strawberry 2 粒草莓 2 strawberries 3 粒草莓 3 strawberries 平均 Mean 夹角 Angle /() 定位耗时Localization time t/s 相对误差Relative error /% 定位耗时Localization time t/s 相对误差Relative error /% 定位耗时Localization time t/s 相对误差Relative error /% 定位耗时Localization time t/s 相对误差Relative error /% 10 0.634 2.83 0.753 1.29 0.845 3.65 0.7438 2.59 5 0.646 1.22 0.742 3.47 0.837 0.09 0.7417 1.53 0 0.633 4.34 0.728 3.52 0.886 3.33 0.7497 3.73 5 0.687 1.28 0.768 0.97 0.873 2.70 0.7758 1.65 10 0.685 0.90 0.768 0.95 0.862 0.74 0.7715 0.86 平均 Mean 0.6568 1.75 0.7517 1.66 0.8604 1.77 0.7563 1.73 标准误 SE 0.0324 0.074 0.0293 0.122 0.0329 0.159 - - 注: 为像平面和垄面间的夹角; 为摄像机光心到垄面距离的相对误差。 Note: is angle between image plane and ridge plane; is relative error of distance between optical center and ridge plane. 夹角 值相同时, 定位时间随着果实粒数的增加而增加;主要因为草莓果实完全进入摄像机视野中前,较多粒数的果实在图像中的形心距光心偏近,使得 x 偏小(如图 7),根据式( 11),这会导致控制速度偏小,所以定位时间较长。 农业工程学报(http:/www.tcsae.org ) 2015 年 30 图 7 夹角 =0 时草莓形心距光心距离的变化曲线 Fig.7 Change curve of distance between strawberries centroid and optical center when angle =0 的相对误差 基本不为正值,主要是因为草莓近似椭球体,并不是平面图形,刚完全进入视野时和在视野中心时的果实形心并不相匹配。刚进入视野时的果实形心偏小(如图 8),即式( 19)中 u1偏小,而 u2基本没有偏差,所以计算得到的深度较实际偏小,相对误差 为负。此外, 1粒、 2 粒、 3 粒果实的相对误差 的标准误逐渐增大,可见果实域越宽,相对误差 越不稳定,主要是因为果实完全进入摄像机视野时,果实域越宽,其形心和目标位置的距离越小(如图 7),即式( 19)中的 tx和 u2u1越小,这样较小的 tx或者 u 的偏差就会使得 zC误差较大。 a. 草莓刚进入图像 a.Strawberry just fully in image b. 草莓在图像中心 b.Strawberry on center of image 注:黑线为实际左右轮廓线沿光轴方向在垄坡上的投影。 Note: Black lines are left and right outlines projection on ridge in optical axis direction. 图 8 夹角 对图像中草莓形心的影响示意图 Fig.8 Effect of angle on strawberries centroid in image 对少于 3 粒草莓的果实域,垄坡和摄像机像平面的夹角在 10 10范围内进行定位试验,定位时间在0.633 0.886 s 之间;定位过程中计算所得相对误差 在4.34%和 0.95%之间。由式( 21), y 的绝对误差为3.26 mm,所以式( 16)中的留梗长度 ls需大于该值;由式( 23),两夹指间距 W2g的绝对误差为 4.08 mm,又 X方向视觉伺服定位允许定位误差为 2 mm,所以 W2g的最终绝对误差为 6.08 mm,根据文献18,仅考虑定位误差的影响,该末端执行器采摘成功率高于 98.3%。 4 结 论 1)针对垄作草莓栽培模式,采用基于手眼系统的视觉伺服方法实现了对草莓果实在水平方向的精确定位。在视觉伺服过程中,采用摄像机曝光信号触发控制卡高速锁存位置信息的方法,解决了视觉信息滞后所造成的和位置信息在时间上不一致的问题;采用融合位置信息的方法,解决了视觉位置信息反馈频率低的问题。 2)在视觉伺服过程中,采用运动恢复结构的方法,利用在不同位置所采集的图像中草莓域的形心,推导出了目标草莓域的深度信息的精确计算方法,进而得到精确的果实采摘参数。 3)通过对实际作业环境的特点和定位精度评价指标进行分析,设计了草莓采摘机器人的果实定位试验。试验结果表明:在垄坡和摄像机像平面的夹角为 10 10的情况下,对包含 1 3 粒成熟草莓的果实域,本研究的定位时间为 0.633 0.886 s;草莓域深度信息的相对误差在 4.34% 0.95%范围内。 参 考 文 献 1 徐丽明,张铁中. 果蔬果实收获机器人的研究现状及关键问题和对策J. 农业工程学报,2004,20(5):3842. Xu Liming, Zhang Tiezhong. Present situation of fruit and vegetable harvesting robot and its key problems and measures in applicationJ. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2004, 20(5): 38 42.(in Chinese with English abstract) 2 宋健,张铁中,徐丽明,等. 果蔬采摘机器人研究进展与展望J. 农业机械学报,2006,37(5):158162. Song Jian, Zhang Tiezhong, Xu Liming, et al. Research actuality and prospect of picking robot for fruits and vegetablesJ. Transactions of the Chinese Society for Agricultural Machinery, 2006, 37(5): 158 162.(in Chinese with English abstract) 3 李秦川,胡挺,武传宇,等. 果蔬采摘机器人末端执行器研究综述J. 农业机械学报, 2008, 39(3): 175179, 186. Li Qinchuan, Hu Ting, Wu Chuanyu, et al. Review of end-effectors in fruit and vegetable harvesting robotJ. Transactions of the Chinese Society for Agricultural Machinery, 2008, 39(3): 175 179, 186.(in Chinese with English abstract) 4 张铁中,杨丽,陈兵旗,等. 农业机器人技术研究进展J. 中国科学:信息科学,2010(增刊 1):7187. Zhang Tiezhong, Yang Li, Chen Bingqi, et al. Research progress of agricultural robot technologyJ. Scientia Sinica Informationis, 2010(Supp.1): 71 87.(in Chinese with English abstract) 5 Bac C Wouter, Van Henten Eldert J, Hemming Jochen, et al. Harvesting robots for high-value crops: State-of-the-art review and challenges aheadJ. Journal of Field Robotics, 2014, 31(6): 888911. 6 周俊,刘锐,张高阳. 基于立体视觉的水果采摘机器人系统设计J. 农业机械学报,2010,41(6):158162. Zhou Jun, Liu Rui, Zhang Gaoyang. Design of fruit harvesting robot based on stereo visionJ. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(6): 158162.(in Chinese with English abstract) 7 Hayashi Shigehiko, Shigematsu Kenta, Yamamoto Satoshi, et al. Evaluation of a strawberry-harvesting robot in a field testJ. Biosystems Engineering, 2010, 105(2): 160171. 8 Mehta S S, Burks T F. Vision-based control of robotic manipulator for citrus harvestingJ. Computers and Electronics in Agriculture, 2014, 102(1): 146158. 9 Zhao De-An, L Jidong, Ji Wei, et al. Design and control of an apple harvesting robotJ. Biosystems Engineering, 2011, 110(2): 112122. 10 张凯良,杨丽,王粮局,等. 高架草莓采摘机器人设计与试验J. 农业机械学报,2012,43(9):165172. Zhang Kailiang, Yang Li, Wang Liangju, et al. Design and experiment of elevated substrate culture strawberry picking robotJ. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(9): 165 172.(in Chinese with English abstract) 11 白明,庄严, 王伟 . 双目立体匹配算法的研究与进展J. 控制与决策,2008,23(7):721729. Bai Ming, Zhuang Yan, Wang Wei. Progress in binocular stereo matching algorithmsJ. Control and Decision, 2008, 23(7): 721729.(in Chinese with English abstract) 第 22 期 王粮局等:基于视觉伺服的草莓采摘机器人果实定位方法 31 12 王麟琨,徐德,谭民 . 机器人视觉伺服研究进展J. 机器人,2004,26(3):277282. Wang Linkun, Xu De, Tan Min. Survey of research on robotic visual servoingJ. Robot, 2004, 26(3): 277282.(in Chine