自然条件下基于机器视觉的灵武长枣实时定位方法研究

LingWu long jujube as an important representative economic fruit of NingXia. Due to the growth mature characteristics, it brings a strong demand for intelligent automatically picking. However, when the automatically picking them by autonomous robot, it may be influenced by real-time movement of the robot, the complex natural light in the orchard, the robot can not acquiring the fruit target information. It takes a direct impact on fruit picking robot positioning accuracy. At the same time the shadow between branches and fruit, shade and adhesion, and so on have also influence the real-time localization of the fruit. The application attempt to solve it from parallax method of binocular stereo vision depth map for this problem. Firstly it establishes the space attitude of LingWu long jujube based on scale invariant feature transform of binocular stereo matching calculation extended Gaussian image. Secondly, it determines the movement of the camera by the optical flow information from the matching of the images and orientation histogram. Finally, through generalized matching of based on the knowledge expression and model reasoning , solve the problem that the lack of information and uncertainty when it real-time locates the fruit target accuracy, which offer theoretical foundation and technical support for picking robot of LingWu long jujube in the natural conditions, promoting the development of fruit picking robot.

灵武长枣作为宁夏地区具有代表性的重要经济林果，由于其自身的生长成熟特性，对智能化自动采摘提出强烈需求。但是，自动采摘机器人的定位准确性会受到自然光照变化和采摘臂实时运动的直接影响；同时，树枝与果实间的阴影、遮挡、粘连和重叠等，也会造成对果实实时定位的困难和不准确。针对这一科学问题，本申请尝试从双目立体视觉的视差法所得到的深度图入手，首先通过基于特征的双目立体匹配和扩展高斯图的匹配，来建立果实在空间中的位姿；其次利用光流和时变图像对运动进行分析来判断相机的运动情况；最后通过基于知识表达推理和场景分析的场景理解方法，使机器人能认识局部目标果实和整体环境，来建立一种基于双目立体匹配和模拟人类思维的图像实时准确定位新方法，解决自然条件下作业采摘臂不能实时准确定位这一难题，为收获目标的实时准确定位提供依据，为自然条件下灵武长枣智能采摘机器人的作业奠定理论基础和技术支撑，促进林果采摘机器人的发展。

机器人领域的很多研究都是从模仿人类的角度开展的，而人类对于位置信息的判断主要来自于视觉，因此机器视觉一直是人工智能领域中一个十分活跃的研究方向。为解决智能化果实采摘机器人在灵武长枣采摘过程中果实实时定位在自然条件下受光线、遮挡、粘连和重叠等影响的难题，以及采摘机器人的采摘作业靠机械臂完成，视觉系统安装在作业机械臂的末端，机械臂自身在做空间运动的同时也随着采摘机器人运动。视觉系统的运动是机械臂本身的振动和机器人相对地面运动的复杂耦合，由于这样的运动和振动会产生图像的运动模糊问题，从而影响灵武长枣的识别、三维重建和定位精度等问题。开展了自然场景下灵武长枣定位方法研究。. 本研究的主要内容包括：①采摘机器人试验平台设计和改进，实现了多信息智能处理的的机器人平台，提升了视觉信息处理能力。②构建了基于适宜灵武长枣图像处理的颜色空间；③从图像统特征、边缘信息和局部特征方面构建了运动模糊图像复原模型；④建立了基于双目视觉图像的长枣空间位姿方法；⑤从最大熵、分水岭、场景分析、深度神经网络等不同算法角度，提出了6种定位算法，均可达到实际生产所要求的范围。 . 本项目的研究成果的科学意义在于：①新构建的适宜灵武长枣图像处理的颜色空间为后续的识别、定位的颜色信息提取奠定了基础；②基于颜色信息的各种定位算法，为配置不同的图像处理器提供多种选择；③优化后的定位算法和平台搭建为为收获目标的实时准确定位提供依据，为自然条件下灵武长枣智能采摘机器人的作业奠定理论基础和技术支撑，促进林果采摘机器人的发展。