基于单幅图像的复杂管路智能检测与位姿识别基础理论及关键技术研究

The tube measurement is the most effective method to ensure the tube's manufacturing quality and realize the automation stress-free assembly. The purpose of this project are to improve the accuracy, efficiency, automaticity and the intelligent level of the tube measurement. On the basis of our tube measurement system and research results, we investigate the most prospective theory and technique including the understanding, pose detection and accurate 3D reconstruction of complex tubes based on only one single image, to complete high precision and fast automatic measurement of complex tubes including non-circular-cross-section tubes, multi-bending radius tubes and free form tubes. The research contents includes one dimensional manifold tubes mathematical description, the significance of the three-dimensional geometry invariants in single and multiple image based 3D reconstruction, energy functional-based tube 3D reconstruction of a single image, intelligent perception and understanding of tubes with less texture characteristics, high precision position perception and expression and so on. Through the above studies, the key theory and technique on intelligent understanding and rapid measurement of complex multi-branch tubes will be solved, resulting in application promotion of the machine vision technology in the non-contact, rapid, intelligent measurement of various parts.

管路实物检测是保证管路制造质量和实现无应力自动化装配的关键环节。项目在已有的基于多目视觉的管路测量系统及研究成果的基础上，以提高管路测量的精度、效率和自动化、智能化程度为目标，开展极具发展前景的基于单幅图像的复杂多分支管路智能理解、三维重建及位姿求解所需的新理论、新方法研究，实现对复杂多分支管路的智能理解、位姿识别及精确三维重建，完成包括非圆形截面管路、 多弯曲半径及自由形状管路、多分支管路及其附件的高精度快速自动测量与智能识别。具体内容包含一维流形管路数学描述方法、非欧几何三维结构不变量在单幅及多幅图像三维重建中的重要意义、基于能量泛函的单幅图像管路三维重建方法、无纹理少特征管路智能感知与理解、高精度位姿感知与表达等关键实现技术。通过上述内容的研究，项目将解决基于单幅图像的多分支复杂管路智能理解与快速测量的瓶颈难题，加速机器视觉技术在多样化零件中的非接触、快速智能测量中的应用。

管路在航空、航天、汽车等工业领域的复杂机电产品中广泛应用，其可靠安装直接影响产品质量。管路检测是保证其制造质量和实现无应力自动化装配的关键环节。项目以提高管路测量的精度、效率和自动化、智能化程度为目标，旨在解决大尺寸空间复杂管路无接触快速精确测量及管路机器人自动装配等问题。本项目提出了基于单幅图像的复杂多分支管路智能理解、三维重建及位姿求解所需的新理论、新方法。经过四年富有成效的研究工作，本项目攻克了该方法中的关键技术，实现了项目研究目标，获得了具有创新性的研究成果：（1）提出了单目视觉三维重建总体框架及算法：基于图像一致性原理，利用神经网络生成点云和面片模型，预测并融合多视角深度图获得三维点云，基于深度学习预测顶点位移生成面片模型从而完成基于单目视觉的管路三维重建并可拓展至其他物体；（2）提出了一种灰度低谷及蛇模型能量泛函的自由管路重建与测量方法。基于灰度正弦低谷阈值规律构建蛇模型能量优化函数，从而使得初始化模型在三维空间优化变形，首创性地解决了自由形状复杂管路三维重建问题；（3）提出了一种基于三维骨架的非圆形截面管路三维重建方法。将重建三维骨架映射到高维普吕克坐标系，基于聚类分析方法快速、精确分割导管直线段与弯曲段，实现了非圆形截面导管的快速、准确测量；（4）提出了基于轮廓特征的分支管路结构识别方法。基于形状描述子将轮廓、形状转换为信号数据，在此基础上训练神经网络，对管路中直线、圆弧、接头、连接件、三通和二通等零部件进行准确的分类和识别；（5）提出了管路位姿智能识别方法。构建管路参数化投影模型，建立空间位姿参数的变化量与图像中符号距离的改变量之间的映射关系，构建观测方程，从而获得管路精确位姿。（6）对多分支复杂管路测量进行了精度验证，本项目所提方法能够实现多种类型管路，包括异形截面、圆形截面、多弯曲半径、自由形状等多分支管路、接头及连通等附件的快速、精确三维非接触式检测，管路中心线检测精度± 0.1mm，这些成果解决了多分支复杂管路智能理解与快速测量的瓶颈难题，填补国内外空白。发表论文13篇，其中SCI检索7篇，EI检索5篇；申请国家发明专利8项；培养博士后1人，硕士生3人。