面向柔性定制作业的工业机器人视觉感知与理解问题研究

Intelligent industrial robot has become an important research hotspot. In the 13th Five-Year plans of China, it was suggested to promote the application of artificial intelligence technology in the field of industrial robots. More intelligent industrial robots are required for varied flexible customization with large batches of small quantities, so that quick update of project plan can be realized. Machine vision is one of the key technologies to realize robot intelligence. However, the existing vision systems are usually used for specific applications, which can't meet the requirements of flexible customization. This project aims to investigate the deep vision perception and understanding for the flexible customized industrial robot. We propose some novel methods for vision tasks such as 3D reconstruction, image recognition and semantic understanding, unsupervised target tracking, classification and quality detection. We will carry out the following research: (1) Propose the method of using convolutional neural network to decode the spatial binary structured light to improve the accuracy and robustness of 3D reconstruction. (2) Propose the shallow residual convolution-recurrent neural network model, and a fast target recognition and localization algorithm based on this model. Semantic and scene understanding are further studied based on recurrent neural network. (3) In order to solve the problem of few labeled samples, a semi supervised classification method is proposed based on deep representation and automatic clustering. (4) Study the video understanding and unsupervised target tracking based on structured recurrent neural network.

智能工业机器人已成为重要的研究热点，我国十三五规划提出要推动人工智能技术在工业机器人领域的应用。“大批次小批量多品种”的柔性定制作业要求工业机器人更加智能化，以实现生产方案的快速更新。机器视觉是实现智能化的核心技术之一，然而现有的视觉系统通常面向特定应用，无法满足柔性定制作业的需求。本项目旨在研究面向柔性定制作业工业机器人的深度视觉感知与理解问题，针对三维重建、图像识别与语义理解、无监督目标跟踪、分类与质量检测等任务：（1）提出利用卷积神经网络对空间二值结构光进行解码的方法，提高三维重建的精度和鲁棒性；（2）提出浅层残差卷积循环神经网络模型，基于该模型实现快速目标识别与定位算法，并进一步研究基于循环神经网络的语义与场景理解方法；（3）针对有标签样本少的问题，研究基于深度表征与自动聚类的半监督分类方法；（4）针对有遮挡复杂环境，研究基于结构化循环神经网络的视频理解和无监督目标跟踪。

智能工业机器人已成为重要的研究热点，我国十三五规划提出要推动人工智能技术在工业机器人领域的应用。“大批次小批量多品种”的柔性定制作业要求工业机器人更加智能化，以实现生产方案的快速更新。机器视觉是实现智能化的核心技术之一，然而现有的视觉系统通常面向特定应用，无法满足柔性定制作业的需求。本项目旨在研究面向柔性定制作业工业机器人的视觉感知与理解问题，针对三维重建、图像识别与语义理解、目标跟踪、缺陷检测、机器人抓取等任务：（1）研究三维重建，提出利用卷积神经网络对空间二值结构光进行解码的方法，提高三维重建的精度和鲁棒性；（2）研究图像特征属性分析与深度学习模型，提出块残差神经网络模型，提出基于判别字典学习的深度特征提取，提出基于加权的Schatten稀疏核范数正则化方法，提出基于特征交互与语义对齐的小样本学习方法；（3）研究图像语义与场景理解，提出p-拉普拉斯正则化逼近算法，提出自注意力混合嵌入模型，提出基于循环注意力机制的语义关系检测方法；（3）针对RGB-D视频序列理解，提出基于分段时空特征表示和联合学习的多模态识别方法，提出RGB-D跨模态特征补偿学习、RGB-D视频多特征融合、RGB与光流的多特征学习方法；（4）针对动态目标检测与目标跟踪，提出融合时空信息与残差注意力机制的目标跟踪算法，提出基于对偶线性的结构化支持向量机与尺度相关滤波器联合输出的判别式多尺度跟踪方法，提出基于多尺度扩张卷积神经网络，提出基于孪生卷积神经网络的目标跟踪方法，（5）研究了基于深度图的表面缺陷检测方法；（6）针对机器人抓取，研究了基于单张RGB图像的6D姿态估计，研究了基于随机裁剪集成的工业机器人工件分类。共发表学术论文77篇，其中SCI期刊论文54篇，申请专利25项。获得云南省自然科学二等奖、吴文俊人工智能技术发明二等奖和中国自动化学会技术发明二等奖各1项。