面向服务机器人的3D场景理解方法研究

It is of great significance for service robots to comprehend 3D scenes accurately and rapidly. Since a large amount of information is lost while mapping the 3D physical world to 2D images, it is rather difficult for conventional machine vision systems to understand 3D scenes. Although 2.5D information of objects and scenes can be obtained directly with depth sensors, there exist some drawbacks in the current depth sensors available in service robots, such as relatively low resolutions with limited capability to reflect the details of objects and fluctuant precisions susceptible to external conditions, making them unsatisfactory in building a system to comprehend 3D scenes. With the characteristics of service robot in consideration, this project proposes a new algorithm framework to interpret 3D scenes, which combines the computer vision framework of Marr and the active vision framework. On extracting the region of interest (ROI) and acquiring the general depth gradation of the scene through binocular vision, the detailed depth information and image features in the ROI are obtained with active vision. Recognition of 3D objects and comprehension of 3D scenes are then realized on this basis. This algorithm framework exploits both the advantages of Marr's computer vision theory and active vision theory, and greatly reduces the amount of computation in understanding 3D scenes.Thus it will promote the intelligence level and practicality of service robots.

准确、快速地进行3D场景理解对服务机器人具有重要意义。由于将3D物理世界映射为2D图像会造成大量的信息丢失，利用普通视觉系统进行3D场景理解时存在很大困难。虽然利用深度信息传感器可以直接得到物体和场景的2.5D信息，但由于目前可用于服务机器人的深度信息传感器存在分辨率较低、不能准确反映物体细节、精度受外部条件影响较大等缺点，因此，也难以很好地满足进行3D场景理解的需要。本课题针对服务机器人的特点，提出一种将Marr视觉理论框架和主动视觉理论框架相结合的新的3D场景理解算法框架。该算法框架利用双目视觉提取场景中的"注意区域"并进行场景的深度层次划分，利用主动视觉提取"注意区域"的深度信息和图像特征，并在此基础上进行3D物体提取和3D场景理解。该算法框架发挥了Marr视觉理论和主动视觉理论两者的优势，利用主动视觉有效减少进行3D场景理解的计算量，对提高服务机器人的智能水平和实用性具有重要意义。

本课题以服务机器人为应用背景，将视觉计算与伺服控制相结合，研究了基于主动视觉的3D场景理解方法，共发表国际会议论文23篇，翻译出版专著1部，申请发明专利11项，实现产业化应用1项，培养博士生10名。本课题在嵌入式系统上依靠FPGA硬件加速实现了低功耗下的实时图像处理和视觉计算，为机器人视觉应用奠定了坚实基础。其中，依靠FPGA加速实现的基于SIFT特征点的实时场景识别，能够实现一对多的特征点匹配和多场景同时识别，这对原算法是一个重大改进。本课题对二维和三维视觉信息都进行了深入研究，并将这两种信息融合起来控制机器人本体和机械臂的运动。其中，对二维信息，本课题研究了贝叶斯统计特征、小波矩特征、边缘概率分布、几何形状、颜色、直方图、HOG特征、SIFT特征等多种特征在目标检测中的应用，并基于贝叶斯统计特征在FPGA上开发了行人检测模块和车辆检测模块，能够实时地从红外图像中检测出行人和汽车两类目标，并且对目标形态变化具有非常好的鲁棒性。在三维视觉方面，本课题研制了稀疏深度图和稠密深度图两种双目立体视觉系统，以及多种基于结构光特别是线结构光的三维建模系统。在机械臂控制方面，本课题深入研究了机械臂的自动编程控制技术。本课题将视觉与控制结合起来，研究成果已实现多项应用。其中，为白酒生产厂商研制的全自动上甑机器人系统，能够完全代替人工操作，将工人们从高温高湿的恶劣工作环境中解放出来，并且保证了产品质量。该上甑机器人技术作价300万元，已实现产业化。