一种基于视觉交互技术的航天产品电缆虚拟装配方法研究

This research has a background of the enterprise application to make an investigation on the virtual assembly technology which has practical significance for intelligent designing and manufacturing of cable harness in aerospace products. A cable harness virtual assembly system which based on visual interaction technology is developed and a precise non-interference hand-computer interaction method is presented. A digital model adopts non-uniform rational B-spline curves and dynamics analysis is proposed to represent the complex cable harness. Fingertip detection in hand-computer interaction is realized by fingertip marks which assure the hand movement without interference. Light detection and compensation combining with image characteristics modeling will be used to improve the stability and robustness of the target detection. Innovative orthogonal camera positioning systems will also be developed to assure the accuracy and efficiency of the target localization. The localization accuracy of fingertips is anticipated to achieve up to mm-level precision and human-computer nature interaction is realized. The final goal of this research is to provide a new approach for rapid assembly and low-cost design of aerospace products.

本项目以航天企业应用需求为背景，开展面向航天产品中电缆智能设计和制造的虚拟装配技术研究，通过发展一种基于计算机视觉技术的低成本、无侵扰人机精细交互方法，建立满足设计人员和工艺人员协同操作需求的电缆网虚拟装配系统。主要的技术途径包括：提出基于NURBS曲线和动力学分析的电缆数字化模型，实现复杂电缆的几何、拓扑和物理属性信息统一表达；提出粘附于指甲盖的标记，保证对人手运动无约束，无触觉干扰；提出光照等环境探测及补偿、摄像机成像特性建模及补偿，提高图像检测的稳定性和鲁棒性；发展新型正交摄像机定位系统，确保对指尖的定位精度和效率。通过本项目的研究，预计对双手多个手指的空间位置进行实时毫米级定位，实现手与虚拟电缆的接触式自然交互，为航天产品的快速装配和低成本设计提供新的研究思路。

项目组经过三年的努力，完成了基金计划书规定的研究内容，包括：.(1)虚拟电缆数字化建模。提出采用管理属性、显示属性和力学属性建立柔性电缆模型，其中的力学属性基于质点弹簧模型进行描述，通过分析电缆的受力特性映射至其显示属性的更新，从而实现虚拟装配过程中电缆的柔性变形。.(2)光照变化测定及补偿。为找出颜色标记点检测相对稳定的空间，对不同的颜色在不同的空间内进行了实验检测，并对光照强度以及光照方向对标记点的影响也进行了实验，根据实验结果设计出可应用于实际的指甲盖标记。另外，针对光源分布不一致导致图像亮度不同这一问题，提出光照亮度校正补偿算法，通过计算光照亮度校正系数，对亮度不足或者过曝光的图像进行补偿。.(3)指甲盖标记测试设计与指尖检测。提出的粘附于指甲盖的标记，保证了对人手运动无约束，无触觉干扰。标记的强特征和手指区分信息减轻了指尖检测和不同手指区分等图像处理负担。同时，提出使用指甲盖标记与轮廓凸缺陷分析相结合的方法检测手指指尖。.(4)新型视觉正交定位系统设计。设计了基于深度信息的对偶正交定位系统，同时提出了坐标轮流逼近迭代算法，这种定位方式充分利用了特殊布置的摄像机提供的位置信息，迭代算法简单，消耗计算机资源少，效率高，收敛快，精度高。实验测试表明该方法的平均定位误差低于1mm，优于传统的电磁跟踪器的定位精度，可以满足虚拟现实系统中高精度跟踪要求。.(5)手部交互关键点定位。提出指甲盖标记和手姿态估计相结合的交互关键点定位方法，实现真手与虚拟对象的精细碰撞检测。当指甲盖标记可见时，由手结构学以及逆运动学求解手掌交互关键点；若指甲盖标记部分或完全不可见，采用基于表观的手姿态估计方法求解不可见手指的指尖关键点和手掌关键点。.通过以上研究内容，实现了项目预期目标，达到了项目考核指标，具体包括：.(1)研制了交互式电缆虚拟装配原型系统，主要技术指标已经达到；.(2)完成了论文考核指标，发表与在投论文11篇，包括3篇SCI与5篇EI论文，完成国防科技报告1份；.(3)开发了指甲盖标记和摄像机正交定位系统，申请了3项发明专利。.当前，随着虚拟现实、增强现实、移动计算技术的膨胀式发展，人机交互方式面临着新的挑战和更高的要求。提出的基于计算机视觉的人机交互技术作为一种自然的、适用性广的、非接触式的交互技术，可以应用于更广阔的虚拟现实、增强现实与混合现实领域。