基于物体棱线线流场的三维物体运动估计与结构重建研究

三维物体运动估计和结构重建是计算机视觉研究领域的重要课题。本项目提出使用双目序列图像信息来建立物体棱线线流场，然后借助立体视觉方法来重建场景中三维物体的运动和结构。重点研究特征曲线的定义与表示方法；特征直线和特征曲线的快速、准确提取方法；图像场景中存在多目标运动时，不同目标中的特征直线和特征曲线的提取与分类方法；曲线线流场的计算理论与方法；双目序列图像线流场之间的相互关系及配准准则；基于双目序列图像物体棱线线流场的三维物体运动估计与结构重建的计算理论和算法。本项目的研究将有利于推动计算机视觉的发展，因而不仅具有重要的科学意义，而且在工业、交通和军事等应用领域具有重要的现实意义。本项目的研究成果可应用于机器人视觉系统、空间卫星跟踪系统、地对空导弹火控系统、交通控制系统、航空或卫星照片的自动分析系统和战场的动态分析系统等。

本项目以图像为信息源，以计算机视觉技术为研究手段，研究基于双目序列图像物体棱线线流场的三维物体运动估计与结构重建的计算理论与方法。项目主要研究了以下内容：. （1）特征直线和特征曲线的坐标表示法。我们认为特征直线和特征曲线用坐标表示，既有利于从图像中提取特征线，又有利于特征线的匹配和随后的线流场计算。经推导得出平面上直线的坐标是拼2小组，空间直线的坐标是拼6小组，平面上二次曲线的坐标是拼6小组，空间二次曲线的坐标是拼9小组，以及它们的表示方法；. （2）复杂场景中特征直线和特征曲线的提取与分类方法。给出了包括基于距离约束的随机Hough变换直线检测算法、改进的Beamlet &Canny结合的复杂图像线特征提取方法、改进的Beamlet树结构算法、基于格式塔完形规则的闭合轮廓提取方法、多目标场景特征线的提取技术与分类方法等；. （3）特征直线和特征曲线的描述与匹配方法。提出了基于角点距离矩阵和同心圆划分的曲线描述与匹配算法、改进的数字图像轮廓曲线傅里叶描述算法、中点描述符与直线段匹配算法、三次T-Bézier曲线的光顺延拓算法等；. （4）双目序列图像线流场之间的相互关系及配准准则。给出了基于相交直线关系的直线匹配算法、基于直线对和特征点的直线匹配算法、基于骨架和统计直方图的形状匹配算法、极线约束和线段特征组合的直线段匹配方法等；. （5）线流场的计算理论和方法。选择了合适的2D与3D直线的表示方法、平面二次曲线与空间二次曲线的表示方法，定义了直线线流场及其计算方法和二次曲线线流场及其计算方法；. （6）基于序列图像线流场的三维物体运动估计和结构重建方法。建立了平行放置的双目视觉模型，推导了根据序列图像线流场恢复物体三维运动参数和结构参数的公式，同时还给出了考虑重投影尺度因子的特征直线三维重建方法和基于双目视觉的二次曲面体三维结构重建方法；. （7）在图像处理与模式识别中的应用研究。本项目所研究的特征直线和特征曲线的提取、描述（表示）、分类和匹配方法在图像分割、图像检索、目标检测、目标识别、运动估计等方面得到了应用。. 项目除完成了申报书中设定的研究内容外，还进行了扩展研究，并依托该项目发表学术论文30篇，培养研究生16名。