基于二维和三维数据融合的室内物体识别方法研究

Object recognition in computer vision is the task of finding a given object in an image or video sequence. It is the key component in an artificial intelligence system. There are some problems which are hard to solve in object recognition whatever using 2D images or 3D point clouds. A new kind of sensor (Kinect by Microsoft Corp.) has been developed in the recent two years. It can capture 2D color images and 3D depth images, and it is becoming a popular sensor for object recognition..We will develop object recognition methods based on the fusion of 2D color images and 3D depth image. With the help of knowledge from cognitive science, we will design features with great discriminant. The advance learning algorithms are also what we concern because it is important in handling pose variation and object position relations. Our final aim is to improve the perception of the computer. The algorithms developed by us will help household service robots, driverless cars improve their intelligence.

物体识别是人工智能领域中的一项核心技术，是机器人感知环境的必备功能。目前无论基于二维图像，还是基于三维点云的物体识别技术，都面临一些难以克服的困难。最近出现了一种新型传感器（微软Kinect），它可以同步采集二维彩色图像和三维深度图像。利用这种新型传感器来识别物体具有其他传感器所没有的优势。.本项目将研究二维图像与三维深度数据融合的特征提取方法，借鉴人脑的认知规律，设计出具有区分能力的特征；同时针对融合的数据，设计机器学习方法，使之能够根据二维和三维信息，自动学习出物体的姿态，以及物体之间的关系，提升物体识别的性能，提升计算机对环境的理解能力。为物体识别这一经典问题提出新的解决方案，这将为家庭服务机器人、无人驾驶汽车等应用提供理论指导和技术基础。

本项目对二维和三维数据融合实现对物体的识别。本项目主要研究了：1)二维和三维融合的特征提取算法；2)二维和三维融合的物体姿态变化的处理；3)物体之间的关系模型研究。取得了一系列成果：1)一种快速的深度图人体检测算法；2)通过对三维深度数据降噪，提升物体识别准确度的算法；3) 通过二维和三维数据的融合，提升物体识别的算法；4）创建和共享2D/3D人体数据库；5）人脸检测算法达到国际一流水平；6）将特征分析方法用于超光谱图像分类；7）将特征分析方法用于荧光细胞分类。在本项目支持下，培养硕士研究生9名；发表学术论文5篇，其中SCI收录2篇，EI收录5篇；申请专利3项，其中1项已经授权。研究成果成功应用到两个大型企业，总经济效益120万元。