基于RGB-D相机的自然场景下水果检测与定位研究

The picking actions of fruit-picking robots rely on their visual detection system to accurately detect and locate fruits. Aiming at the problem of low accuracy and poor robustness in the detection and recognition of fruits based on RGB images under complex natural scenes, this project will introduce the low cost RGB-D camera into the field of fruit detection and recognition, combined with the deep learning method, to improve the detection and positioning accuracy of fruits under complex scenes. In this project: (1) Deep image filtering and high resolution reconstruction algorithms based on RGB image information guidance will be studied to improve the quality of deep images. (2) The deep convolution neural network will be combined with the multi-dimensional information of fruit RGB-D images to realize the high precision detection and recognition of fruits, which can overcome the dependence of traditional methods on feature extraction and improve the robustness of the detection algorithms. (3) The deep image information will be employed to obtain the symmetrical axis of the shaded fruits and restore the shape of the fruits to realize the accurate estimation of fruit position and attitude. (4) A method of identifying the shading branches based on the deep image and the RGB image will be studied to facilitate the robot movements avoiding the obstacles. The results of this project are of great significance to improve the automation level of fruit picking in our country. The related research results can be extended to other applications of machine vision.

水果采摘机器人的采摘动作依赖于其视觉检测系统对水果的准确检测与定位。针对复杂自然场景下，基于RGB图像的水果检测与识别存在的识别精度低、鲁棒性差问题，项目将RGB-D相机引入到水果的检测与识别领域，并结合深度学习方法，以提高复杂场景下水果的的检测与定位精度。项目：（1）研究基于RGB图像信息引导的深度图像滤波和高分辨率重构算法，提高深度图像的质量；（2）利用深度卷积神经网络，结合水果RGB-D图像的多维信息，实现水果的高精度检测与识别，克服传统方法对特征提取的依赖性，提高检测算法的鲁棒性；（3）研究利用深度图像信息获取遮挡水果对称轴，并恢复遮挡水果形态的方法，以实现水果位置与姿态的准确估计；（4）研究基于深度图像和RGB图像联合引导的树枝遮挡物识别方法，以方便实现机械手的准确避障。本课题的研究成果对于提高我国水果采摘的自动化水平具有重要意义，相关研究成果也可以推广到机器视觉的其它应用领域。

项目针对复杂自然场景下，基于RGB图像的水果检测与识别存在的精度低、鲁棒性差的问题，以RGB-D成像技术为检测手段，结合RGB-D图像特点和自然场景下水果目标特点，提出了多种水果检测与识别方法，最终提高自然场景下水果检测与定位精度。主要研究内容包括：(1) 在深度图像滤波和增强方面的研究工作。为了解决深度图像退化的问题，从全局优化、空洞填充和频率域增强三个方面出发，分别提出了基于交替方向乘子、简单线性迭代聚类和离散小波变换的深度图像增强方法。该研究工作可以为真实场景下水果RGB-D深度图像的滤波与增强提供理论基础。(2) 在水果的高精度检测与识别方面的研究工作。以自然场景下的水蜜桃、金桔、甜椒等为研究对象，提出了基于颜色和三维轮廓信息、减法聚类、点云配准、Faster R-CNN和改进DETR的水果高精度检测与识别模型。该研究工作可以提升水果采摘机器人的视觉检测和识别准确率，从而提升采摘机器人的采摘成功率。(3) 在水果位置与姿态的估计方面的研究工作。以甜椒为研究对象，提出了基于HSV+FPFH描述符的果茎检测方法和基于对称轴检测水果姿态估计方法。该研究工作可以为目前主流采摘机器人的切割式和抓握式末端执行器的设计提供理论指导。(4) 在采摘障碍物（枝干）分割与定位方面的研究工作。以水蜜桃和甜椒为研究对象，提出了融合颜色和三维几何特征、超体素分割的点云分割算法以及基于切片和聚类的枝干骨架提取算法。该研究工作可以对采摘机器人采摘过程中的障碍物进行判断，使得采摘机器人能够规划出最优的采摘或作业路径，从而提升采摘机器人的采摘效率。项目的研究成果对于提高我国水果采摘的自动化水平具有重要意义。