基于深度学习的装配场景理解及装配诱导、监测研究

Guiding and monitoring of assembly process have wide application foregrounds in areas such as assembly, maintenance, training and workshop-level assembly quality control of complicated mechanical equipments. The key technologies to realize the guiding and monitoring of assembly process is to make overlaying, interacting and understanding among operator, physical componencts and digital assembly model. This research proposes a concept named deep learning-based assembly scene understanding. With the deep learning theory, the assembly scene can be understood. Subsequently the assembly task is recongnized, then the guiding and monitoring of assembly process is realized. The main scientific problems are the hierarchical learning and extractions of features in the assembly scene. Based on this point, the research contents are follows. Firstly， a deep learning framework to recognize 3D mechanical parts is established by simulating human visual perception mechanism. Secondly, an assembly action recognition method is modeled to reveal the mapping of hand movement and assembly operations by deep learning of sequtial RGB-D hand images of hands. Thirdly the "parts-assembly action" driven assembly process guiding and monitoring framework is built. Lastly an augmented reality registration method using the sparse coding of head RGB-D images is presented to model the relationship between head gesture and features of head RGB-D images. Results in this research will not only provide atheoretical reference for research like assembly guiding, assembly quality control, assembly ergonomics and human computer interaction, but also spread into related applications.

装配工艺诱导及监测在机械设备装配、维修、培训和车间级装配质量控制等领域具有广泛的应用前景，实现由人、真实零部件和数字化装配模型构成装配空间的融合、交互和理解是实现诱导、监测的关键。本研究提出"基于深度学习的装配场景理解"的概念，通过装配场景理解，识别装配任务、生成诱导信息、监测装配操作工艺，其核心科学问题是装配场景中各类特征的分层学习和抽象，重点研究内容包括：①模拟人类视觉感知机制，建立基于深度学习的3D零件识别框架；②建立基于手部RGB-D图像序列深度学习的装配动作识别模型，揭示手部动作与装配操作间的映射关系；③建立"零件-装配操作"驱动的产品装配工艺粒度模型，实现装配工艺智能诱导和监测；④建立基于头部RGB-D图像稀疏编码的增强现实注册模型，揭示头部方位与其RGB-D图像特征间的关系。研究成果不仅可为装配诱导、装配质量控制、装配人机功效学、计算机交互等研究提供理论参考，还可推广应用。

随着增强现实技术和人工智能技术的发展，装配工艺诱导及监测在机械设备装配、维修、培训和个性化定制产品车间级装配质量控制等领域具有广泛的应用前景。本研究围绕产品装配中的监测、诱导和机器人装配路径规划等问题开展理论和应用研究。. 研究了深度图像像素分类方法，提出了像素PX-LBP特征算子，改进了像素深度差分特征算法，使用随机森林分类器进行像素分类，实验表明合成深度图像的像素分类正确率98%以上，实际装配体深度图像的像素分类准确了82%以上。提出了基于深度图像像素分类的零件识别及装配监测方法，实现了装配体各零件的识别和漏装、错装监测功能。. 研究了基于深度学习的装配动作识别方法，构建了装配动作识别3D卷积神经网络模型，识别准确率达到88.5%。提出了基于3D卷积神经网络与批量归一化融合的装配动作识别模型，在保证准确率的情况下，加快了模型的收敛速度。. 研究了投影式增强现实装配诱导系统。提出了基于视点跟踪的投影增强现实注册技术，提出基于模型匹配跟踪人手与物体的交互过程的方法，将跟踪问题视为一个序列优化问题，有效跟踪装配过程中人手与物体的交互过程。. 研究了基于增强现实的机器人装配路径规划方法。该方法以手持式示教器的位置和姿态驱动虚拟机器人模型在AR环境运动；提出了基于深度图像四叉树层次模型的碰撞检测方法，实现了物理环境与虚拟环境间的空间感知和融合，试验表明该系统位置跟踪误差2mm左右，碰撞检测误差5mm左右。该方法革新了现有的机器人装配路径规划和编程方法，具有工业应用价值。. 本项目已发表论文8篇、其中SCI收录论文1篇，EI收录1篇；已录用待发表核心论文3篇；在审中文EI论文2篇、SCI英文论文1篇，2篇英文论文撰写中；申请发明专利12项、授权发明专利2项；申请并获批软件著作版权4项；2016年获山东省高校优秀科研成果三等奖1项；培养硕士研究生12人，其中6人已顺利毕业获得学位，6人在读。