多视图像流形分析及应用

Viewpoint variation is one of the difficulties in object recognition. Multi-view object recognition is a hot topic in the area of computer vision and pattern recognition, with wide practical application. It is clear that multi-view images of one object lie on a low dimensional manifold in the high dimensional visual space. Solving the problem of multi-view object recognition by manifold learning technology agrees with the visual perception mechanism of human being. However, current manifold analysis model still has some shortages, such as no specific feature descriptor to fine describe the difference between multi-view images, no advanced modeling and analysis for 2D or 3D viewpoint variation, simple mapping model, inefficient inference method, and uncertain view estimation solution in ill-posed case. Thus, to tackle these shortages and handle the problem of object recognition and view estimation in the case of viewpoint variation, this project focuses on the research of feature representation and manifold description of multi-view images, modelling and solving methods of multi-view image manifold analysis, and image sequence based view estimation in ill-posed case. Apart from theoretical research, the project also proposes to develop military application research in the area of space-based space object recognition and high-resolution remote sensing object recognition, and analyze the performance of manifold analysis model for 3D object recognition and pose estimation in actual area, in order to establish theoretical basis for application.

视点变化问题是目标识别的难点问题之一，多视角目标识别是计算机视觉和模式识别等领域的研究热点，在众多实际领域应用广泛。研究表明，物体的多视图像存在于高维视觉描述空间中的低维流形上。从流形学习的角度研究多视角目标识别问题，符合人类视觉感知机制。然而，现有流形分析模型尚存在许多不足，比如没有能准确描述视图差异的专门特征描述、对二维及三维视角变化的建模分析不深入、映射模型单一、求解方法效率不高、病态情况下视角估计结果不可靠等。本项目针对上述问题，重点研究多视图像特征表达与流形描述方法、多视图像流形分析的建模和求解方法以及病态情况下基于序列图像的视角估计方法，用以解决视点变化条件下的目标识别和视角估计问题。在理论研究的同时，面向天基空间目标识别和高分辨率遥感目标识别两个领域的国防需求，探讨流形分析模型在具体领域解决三维目标识别和姿态估计的性能，为实际应用奠定理论基础。

视点变化问题是目标识别的难点问题之一，多视角目标识别是计算机视觉和模式识别等领域的研究热点，在众多实际领域应用广泛。研究表明，物体的多视图像存在于高维视觉描述空间中的低维流形上。从流形学习的角度研究多视角目标识别问题，符合人类视觉感知机制。本项目重点研究多视图像特征表达与流形描述方法、多视图像流形分析的建模和求解方法以及流形约束下的视角估计方法，取得的重要研究结果如下：.1）多视图像的同胚流形描述.在视图流形存在性已经得以证明的前提下，对包括图像描述形式、数据量及数据分布、流形学习方法等在内的影响视图流形学习的各种因素进行了全面分析，得出了在这些因素影响下视图流形的变化规律，进而提出了多视图像的同胚流形描述形式。.2）多视图像流形分析的统计模型和深度学习模型建立与求解.多视图像流形分析模型的核心是学习图像特征空间与流形嵌入空间之间映射关系。这个包含多个目标映射函数的映射关系需要准确描述不同目标的映射特性，为此，研究了映射学习的统计方法和深度学习方法，实现了在高斯过程和深度学习框架下的目标类别和视角求解，在空间目标和遥感图像上解决应用问题的同时验证了模型的有效性。.3）流形约束下的多视图像目标视角/姿态估计.将同胚流形约束引入视角估计问题，从视图流形变化的本质出发，提升视角估计结果，实现了基于接受函数模型的目标视角估计方法、在视图流形约束下空间目标多视图姿态估计和三维重建方法以及基于多视特征匹配的空间目标姿态估计方法。.4）多视图像流形分析应用技术.面向天基空间目标识别和姿态估计以及高分辨率遥感目标检测识别两个应用领域的技术需求，提出了一系列多视图像流形分析技术的应用解决方案，包括空间目标识别与姿态估计、遥感图像目标检测识别、空间目标三维重建与姿态估计等等。同时，针对进一步的空间目标多维信息提取需求，新增了三维部件提取方法的扩展应用研究，增加了多视图像流形分析的应用深度和广度。