基于深度相机的增强装配交互技术研究

By adding virtual inductive information to the real assembly scene, augmented assembly assists the user in assembly design and planning. In the assembly space, to make the user, real components and virtual components merge and interact with each other is a key issue for assembly guidance and monitoring. This program focuses on the interaction problem in augmented assembly, and proposes a scheme for bare-hand interaction and real-virtual interaction in augmented assembly based on a depth camera. By observing the assembly scene via a depth camera and using visual methods to track the real assembly scene state, the bare-hand interaction between the user and virtual contents and the virtual-real interaction between the virtual and real components are achieved. The main research contents are as follows: (1) A real-time robust hand pose tracking method is studied to support bare-hand interaction in augmented assembly. (2) A multi-tracker cooperative tracking method is studied for pose tracking of real components under occlusions to support virtual-real interaction. (3) An assembly data structure is established for assembly data management. 4. Assembly feature and geometric constraint recognition is studied to obtain the constrained motion of virtual components under assembly constraints. Results in the research can be used not only in the field of augmented assembly, but also in other fields such as human-robot collaboration, robot assembly, part sorting, and so on.

增强装配通过将虚拟诱导信息叠加到真实装配场景中，辅助用户进行装配设计和规划。在装配空间中实现人、真实零部件和虚拟零部件的融合、交互是实现装配诱导、监测的关键。本课题重点研究增强装配中的交互问题，提出“基于深度相机的增强装配徒手交互、虚实交互”，通过深度相机来对装配场景进行观测，采用视觉方法跟踪真实装配场景状态，实现操作者与虚拟内容之间的徒手交互以及虚拟-真实零件之间的虚实交互，主要研究内容包括：(1)研究一种实时鲁棒的人手运动跟踪方法来实现增强装配操作中的徒手交互；(2)针对虚实交互需求，研究一种多跟踪器协作跟踪的方法来实现遮挡情况下多个真实零件的姿态跟踪；(3)建立装配数据组织结构来对装配数据进行管理；(4)研究装配特征和装配约束的自动识别方法，以获取虚拟零件在装配约束下自由度受限的运动。研究成果不仅可用于增强装配领域，还可推广应用于人机协作、机器人装配、零件分选等领域。

增强装配通过将虚拟信息叠加到真实装配场景中来辅助用户进行装配设计和规划。本项目研究增强装配系统中人、真实零部件和虚拟零部件的融合、交互，通过深度相机来对装配场景进行监测，跟踪装配场景状态，最终目标是实现操作者与虚拟内容之间的徒手交互以及虚拟-真实零件之间的虚实交互。原计划拟从人手运动跟踪、多物体姿态跟踪和虚拟零件装配运动仿真三个方面开展研究。由于装配数据管理和装配运动仿真技术相对成熟，因而本项目重点研究了面向增强装配的人手运动跟踪和多物体姿态跟踪。在增强装配环境下，对操作者人手和真实零部件的运动姿态进行有效的跟踪是实现徒手交互、虚实交互的基础。为实现人手和虚拟零件之间的交互，本项目研究了人手与物体交互过程的姿态跟踪；为实现真实和虚拟零件之间的交互，本项目对装配状态和杂乱放置两种不同情形下真实零件的分割识别、姿态估计进行了研究。另外，本项目还研究了真实-虚拟物体的遮挡判断和碰撞检测，其结果可用于后续的虚拟零部件运动仿真。主要研究成果包括：（1）采用两个互相协作的差分进化粒子滤波跟踪器来对人手-物体交互过程中的人手和物体分别进行运动跟踪，两个跟踪器不是相互独立的，而是在跟踪过程中不断进行信息交流，将高维问题分解为多个相对低维的问题，降低了优化搜索的难度。（2）提出一种多层随机森林像素分类方法来进行装配体装配状态识别与零部件语义分割，能够对不同装配状态下的装配体零部件进行有效的分割和识别。（3）分别采用Mask RCNN、全卷积网络（FCN）和FSA-Net深度学习网络模型解决了杂乱场景下零件的分割识别与姿态估计问题，通过三维渲染引擎OSG来合成机械零件的图像训练集，来对网络模型进行训练。（4）建立深度图像的四叉树编码模型，逐层比较真实深度图像和合成物体的点云深度图像对应栅格区域的深度值范围，实现了真实-虚拟物体的遮挡判断和碰撞检测。研究成果不仅可用于增强装配系统，还可用于人机协作、零件分拣、机器人装配等领域。