基于Kinect的机器人采摘果蔬系统设计.pdf

                     ，    ，   （                       ，   430081）   ：            ，       Kinect V2                     。   Kinect V2              ，                    ；   ，       NAO            ，                       ；   ，                    ，               。       ：            、          。    ：     ； Kinect     ； NAO    ；          ：     ；                 ：      ：         （     ）                               ，                     ，         ，    ，      1 2 。              ，                      3 4 。      20                。                        ，                           ，                。            ，        ，       5 。    Yamamoto            ，  3                 6 ，             ，      ，                       。                                  ，              ，               7 。     ，                   ，         。             BP     8         ，     LRCD                ，              。 LRCD                          9 ，                   ： 2017 06 22     ：           （61371190）     ：   （1992 ），  ，      ，      ，（Email） wangxin920112163. com。        ，           。     Kinect V2     ，   NAO                  ，         ，           、   。                     .            Kinect V2        、              ，          ，   1   。   ，                         。   Time of Flight（ToF）   Depth   ， Depth       0. 5 4. 5m。                    ，                 ，            ，                   。  1       Fig. 1 Infrared pulse     Kinect V2                        ，  Kinect V1       9 9 1 2018  10                                   10       0. 5m，               ，                  、        。   Kinect V2         2   。  2 Kinect      Fig. 2 Real time depth map Kinect                 。                         。                          。 Kinect         3   。  3 Kinect      Fig. 3 The spatial coordinate system of Kinect  .                                          ，  4                 、       ，           、          。              （Matrix Ir）  370. 306512 0 255. 405011 0 0 370. 180404 209. 588891 0 0 0 1 0 （1）               （Rotation）  0. 999981 0. 005340 0. 002741 0. 005348 0. 999982 0. 002714 0. 002726 0. 002728 0. 999992 （2）               （Translation）  ： 0. 047444 0. 002786 0. 012890 （3）  4             Fig. 4 Depth camera and color camera calibration  .               Kinect         16            。                  ，                     。        ，                          。        （   ，   ，   ） ，      （   ，   ） ，  UI       TextBlock，         MouseLeftButtonUp                      。                      ，                       。                   1   0  0 0 0    0 0 0 0 1 0  11  12  13  1  21  22  23  2  31  32  33  3       1 （4）  .                           （1）  （4），                     255. 41   370. 31 （5）     209. 60   370. 02 （6）   （5）  （6）              （   ，   ，   ） 。                 NAO        5     ，             D H          ，      1  2  3  4  5                         0 0 0 1 （7） 0 0 2 2018  10                                   10   （7）              。   ，          。   D H   NAO                 ，5             RShoulderPitch 、RShoulderRoll 、RElbowYaw 、REl bowRoll 、RWristYaw 。   ，                0   1       1       1     1       1       1       1     1       1 0 0 0 1 （8）   ，    sin  ，    cos  ，     1 sin   1 ，     1 cos   1 。 NAO       D H     1   。  1 NAO      D H   Table 1 The NAO robot arm D H parameters            1 5 2 乙 0 , 1 0 浇 2 / . 086 2. 086 2 5 2 觋 0 , 2 0 浇 1 / . 562 0. 078 3 5 2 乙 105 T 3 0 浇 2 / . 086 2. 086 4 5 2 觋 0 , 4 0 浇 1 / . 562 0. 009 5 5 0 113 3 . 7 5 0 浇 1 / . 824 1. 824NAO             ，           ，   RElbowYaw、RWristYaw  RElbowRoll          ，      RElbowYaw  RwristYaw  RElbowRoll （9）      5      D H           。   （7） （9）   tan 1 113. 7     113. 7     （10）   ，    。            5           ，         。  5                   。  5     5    Fig. 5 Five joints of the right arm of NAO robot                  NAO      WiFi           ，       IP         ，           。 NAOqi          ，          （LPC）            ，   ALMemory           。         Python     ，         ，    Py thon    NAOqi  AldebaranSDV，          。 Kinect V2   C       ，                  ，             。                    PC  ，      PC        Kinect    ，        。        .                    6   。  6           Fig. 6 Flow chart of robot picking fruits and vegetables          ： 1）Kinect V2           ，              ，      RGB         1 0 2 2018  10                                   10     。 2）         MouseLeftButtonUp             （   ，   ，   ）       Torso     （   ，   ，   ） ，  Kinect                    。 3）   NAOqi     walkto（x，y，theta）   ，             ，                   ；     Kinect           ，           。            ，                  5mm，      walkto         。 4）          ，NAO                     ，            ，   7   。  7          Fig. 7 Robot picks up fruits and vegetables  .        Kinect          2   。  Kinect         ，      ，      2mm   ，                ，         0. 15s。              50         ，     3   。                     ，       78。  2 Kinect          Table 2 Several groups of 3D coordinates obtained by Kinect m       0 鞍 . 114 72 0 父 . 341 93 2 % . 091 85 0 鞍 . 247 30 0 父 . 321 58 0 % . 578 21 0 晻 . 121 92 0 父 . 328 12 1 % . 108 89 0 晻 . 255 78 0 父 . 289 82 0 % . 712 86 0 鞍 . 191 91 0 父 . 302 43 0 % . 704 94  3           Table 3 Robot picking up fruits and vegetables statistics               50 档     39 档     78 晻 . 0         s 0 m . 15       s 5 亖 . 2        Kinect           ，                     ，                        ，               2mm，               。   ，                ，                   。          ，   D H                  ，                  ，          。     ： 1    .                      D.   ：       ，2013. 2    .               D.   ：       ，2012. 3 Scarfe A J，Flemmer R C，Bakker H H， et al. Development of an autonomous kiwifruit picking robotC International Conference on Autonomous Robots andAgents. IEEE， 2009： 380 384. 4 Schuetz C，Baur J，PfaffJ，etal. Evaluationofadirectopti mizationmethodfortrajectoryplanningofa 9 DOFredundant fruit picking manipulatorC IEEE International Confer ence on Robotics and Automation. Seattle，WA，USA： IEEE， 2015：2660 2666. 5 Zhou Z，BontsemaJ，VanL. DevelopmentofCucumberHar vesting Robot inNetherlandsJ. TransactionsoftheChinese Society of Agricultural Engineering， 2001（6）：77 80. 6 Yamamoto S，HayashiS，YoshidaH，etal. Developmentofa stationary robotic strawberry harvester with picking mecha nismthat approaches target fruit from below. （Part 3） Per formance test with a movable bench system. J. Japan Agri cultural Research Quarterly， 2014， 71（6）：71 78. 7    .                    D.   ：       ， 2006. （    207  ） 2 0 2 2018  10                                   10           J.         ，2010，30 （1）：197 201. 22   ，    ，   ，  .                     J.       ，2010，34（7）： 854. 23    ，    ，    ，  .         SVM          J.      ，2013，35（8）：30 34. 24    ，   .             J.       ，2014，45（9）：44 54. 25   ，    .               J.        ，2009（4）：42 46. 26    ，   ，    ，  .                        J.     ，2014，34（7）：1 7.                                                           Based on the Standard Motion Detection System of Soccer Match Wang Meng （Inner Mongolia Medical University， Hohhot 010110， China）         ：Inthepickingprocessofstrawberrybrokenfruit，inordertoreducethedamagerateoffruit，improvetherobot picking efficiency， it proposes an edge detection algorithm to capture the standard action of picking robot motor skills training methodbasedonthemethodofreferencetechnologyforfootballstandardantiplayedgedetectioninthefierce，so it canachievethebestactioncapturerobot. Inordertoimprovetheeffectofedgedetection，itcomparedtheSobelopera tor， Reborts operator， Log operator and Canny operator. Finally，the Log operator with higher accuracy is used to detect the edge of the image. The simulation and experiment of two methods to verify the scheme，as demonstrated by the simu lation and experimental results，the scheme can effectively capture the best attitude of the picking robot，and the scheme of training of picking robot can significantly reduce caused by the process of picking fruit damage rate，which provides a reference for the design of modern technology high precision picking ro