由二维图像序列重建三维图像中的融合与拼接方法研究

A new matching concept of the combination of the target contour constraints and feature weights is put forward. In this project, we intend to research feature tracking method and accurate three-dimensional matching method with image sequence features of the multi-scale based on the combination of the target outline constraints and feature weights. Thereby, achieve the optimal part and entire matching results, and reduce the mismatches by the method. The current three-dimensional information calculations are based on non-self-calibrated calculatios, but this project will select the outline of the image sequence and the high match of the feature to establish weights the corresponding relationship between the image sequences. The research is based on the fast calculation method of the three-dimensional information with multi-scale self-calibrated image sequences, which lay the foundation of accurate match, fusion stitch, and three-dimensional reconstruction of monocular image sequences based on self-calibration. The project will introduct the fusion stitch concept upon the combination of wavelet transform and nonsubsampled contourlet transform, research the method of the multi-scale hierarchical fusion stitched combination of the wavelet transform that used on the features and the nonsubsampled contourlet transform used for edge contour. At the same time, explore an optimized method for sub-regional image stitch based on the combination of contour edge features, multi-scale low-frequency features and multi-scale singular value features in frequency domain, to further emphasis the integrity of fusion stitch. Finally, implement the seamless stitch from two-dimensional image sequences to three-dimensional reconstruction. The project will also make great significance on industry, agriculture and military.

本项目引入目标轮廓约束和特征权重度相结合的匹配概念，研究基于多尺度下图像序列的轮廓约束和特征权重度相结合的特征跟踪与精确立体匹配方法，从而实现局部与整体最优匹配结果，减少误匹配；目前三维信息计算大多基于非自标定的计算，本项目将选取图像序列的轮廓与特征权重度高匹配建立图像序列之间对应的关系，研究基于多尺度下图像序列自标定的三维信息快速计算方法，为精确匹配、融合拼接以及基于自标定的单目图像序列三维重建打下基础；本项目引入基于小波变换与非轮廓波变换相结合的融合拼接概念，研究对特征采用小波变换与对边缘轮廓采用非轮廓波变换的多尺度分层融合拼接相结合方法，同时研究多尺度下低频特征和高频奇异值特征的频域融合与基于廓边缘特征分层空域融合相结合的分区域图像拼接优化方法，更加强调图像融合拼接完整性，实现二维图像序列到三维重建中的无缝拼接。本项目研究内容对工业、农业以及军事都具有重要意义。

在图像序列融合与拼接中，目前SIFT特征提取与匹配算法是国内外特征匹配最流行的算法，但是其检测出来的特征点可能既不是边缘点又不是角点，而且速度慢以及误匹配等方面有待改进。由于小波变换是一种多分辨分析，它可以将图像分解成一个最低层逼近和不同尺度不同方向的细节，是目前图像融合领域的主流方法；但在高维情况下，小波分析并不能充分利用图像本身特有的几何特征，并不是最优的和“最稀疏”的函数表示方法，为此研究基于剪切波框架、收敛性、稳定性、以及级数表示对图像分层并表示，利用改进的SIFT算法以及快速图像拼接融合具有重要意义。本项目正是针对图像拼接与融合中存在上述问题开展研究，研究剪切波框架、收敛性、稳定性、以及级数表示，研究提高特征提取与匹配的速度和精度方法，研究快速拼接与融合的方法。. 项目为了实现图像局部拼接最优，提出了基于局部图形最佳相似度的图像匹配方法；针对现有的立体匹配算法方法在视差不连续和低纹理区域匹配不精确的问题，实现了基于彩色分割和自适应区域相结合的立体匹配算法。.项目开展了连续切波变换的高维奇异性分析研究，给出了高维空间中几种特殊函数的切波系数的衰减性质，推证了由高维切波变换反演公式定义的有限级数逐点收敛性，推证了群结构的不规则切波系统形成框架的必要条件和充分条件.证明了切波框架在时间、尺度及剪切参数和生成函数发生小扰动时仍然形成切波框架并推证了可推广到切波系统；研究利用有限切波黎曼和来逼近重构函数,研究对于可允许函数空间当采用密度趋于无穷时有限级数逐点收敛于重构函数。这对图像分层表示以及拼接融合具有重要的意义。.项目提出了基于图像各层融合系数与奇异值点模式匹配算法的融合方法；实现了基于并行分布估计算法和提升小波的立体匹配及点云融合方法。针对SIFT计算复杂度高、存储开销大的问题，提出基于SIFT的二进制图像局部特征描述子的拼接方法，提高了图像拼接速度与精度。