面向工业机器人的三维视觉感知与引导理论方法研究

In order to handle the challenge of both "China Intelligent Manufacturing 2025" and "Manufacturing Upgrading Program", this proposal intends to focus on 3D visual perception and guiding for industrial robots. There are several technical problems needed to be well handled, such as limited field of view of 3D vision, unable to achieve online learning for visual system, lower recognition rate under complex environment, human-machine safety. We are going to carry on some fundamental researches, e.g., the 3D visual perception based on panoramic near infrared structured light, online learning theory for new generation industrial robot, 3D object recognition and pose estimation under weak texture and complex environment, scene understanding, human-machine safety prediction, human action understanding via panoramic RGB-D vision. Therefore, some fundamental scientific questions will be proposed, e.g., the high precision and super-resolution 3D image reconstruction for 360 degree panorama imaging, the convergence rate analysis for online learning, 3D object recognition against deformation and conclusion, the abnormal event detection and action recognition for human-machine safety under active environment, moreover, we then need to solve some key technologies, establish an experimental prototype system, achieve technical validation and demonstration of classical applications, and build the solid foundation for further industry applications. This project will promote the development of 3D vision technology for industrial robots, and will demonstrate broad application prospects, social and economic benefits.

面对中国智能制造2025和制造业转型升级所带来的挑战，本项目拟开展工业机器人三维（3D）视觉感知与引导理论方法研究。针对3D视觉感知视野受限、视觉系统无法自主学习、复杂场景下3D目标识别准确率低、人机安全等问题，深入开展基于全景近红外结构光的3D感知方法、面向新一代工业机器人的在线学习理论、混叠和弱纹理场景3D物体识别与定位方法、基于全景RGB-D图像的场景感知、人机安全与意图理解等基础研究工作。重点解决360度全景3D成像中高精度、高分辨率重建、在线学习算法收敛性分析、形变和遮挡目标的3D识别、以及动态环境下人机安全异常检测和动作识别等基础科学问题，突破关键技术，建立实验原型系统，开展技术验证与典型示范应用，为进一步推广应用奠定基础。项目研究成果将促进工业机器人3D视觉技术的发展和推广，具有广阔的应用前景和社会、经济效益。

本项目重点针对工业机器人三维（3D）视觉感知与引导理论中的一系列科学问题进行研究。在理论研究方面，我们首先提出了一种基于新的全向环形结构光模式的三维传感器，其简化了特征提取，同时使得场景定位更加鲁棒快速；对于三维目标识别及定位，我们提出了一系列基于体素化自编码特征、无监督点云深度特征以及人工统计特征的3D目标识别算法，其在混叠、遮挡、多目标、弱纹理等复杂环境下依然鲁棒；在人机安全及意图理解方面，提出基于RGB-D-T多模态数据的意图理解方法，构建了RGB-D-T数据集。其次，基于多视图数据特征融合及深度编码器，构建了多源异构数据快速异常检测模型，该模型可有效学习不同视图间的差异性成分，只需要少量数据进行训练，因此可快速实现多视图数据的异常检测；针对机器人在线学习，我们基于相似性度量学习，利用实际数据的内在低秩特性，设计了一种基于Max范数的在线低秩度量学习模型，其可降低模型复杂度，剔除冗余特征，进而避免过拟合，实现模型的鲁棒实时更新。. 在实际应用方面，我们注重将理论结合实际解决实际问题，同时搭建了多个原型系统：1）在三维视觉感知方面，我们搭建了全景深度感知系统和超分辨率重建系统。其中，全景深度感知系统可实时获得静态与动态深度图，精度<1mm；2）在3D目标识别与定位方面，建立了3D目标识别与定位抓取系统，可实现在混叠、遮挡、弱纹理场景下多目标的识别与抓取；3）在人机交互与意图理解方面，搭建了面向人机安全的三维人体动作识别系统，可实现实时人体检测（30fps）和动作识别；4）对于在线学习，我们利用在线度量学习实现室内外场景的在线分类，并提出自适应字典选择模型，可实现连续视频的自动语义浓缩。. 上述研究成果发表高水平论文59篇，包括SCI论文29篇，EI论文57篇，其中包括IEEE Transaction论文12篇，国际模式识别知名期刊Pattern Recognition论文5篇，申请专利17项，获得包括中国自动化学会自然科学一等奖在内的奖励多项。同时申请人获得科技部重点研发计划的连续支持。