基于机器学习的局部图像特征描述与融合机制研究

Local image descriptors construction and matching is a fundamental problem in computer vision, and has a profound influence on the related applications, such as object recognition, 3D reconstruction and image retrieval. To alleviate the shortcomings of the traditional methods for local descriptor construction, this proposal aims to propose data-driven methods for constructing local descriptor based on machine learning. Meanwhile, it also studies multiple descriptors fusion strategies to further improve their performance. The key issues include: (1) Modeling the local image description as a process of low-level feature extraction followed by feature pooling, then focused on the research of low-level feature extraction and feature pooling methods through machine learning;(2) Modeling the local image description as a process of dimension reduction or feature selection, then research on the methods for robustly converting images into vectors based on invariants, and research on the subspace learning as well as feature section methods for feature matching;(3) Research on the application of machine learning for multiple descriptors fusion in feature-level and in decision-level respectively. The outcomes would enrich methodology and provide novel ideas for feature description, feature matching, feature fusion and machine learning, therefore, giving new insights for feature description and matching.

局部图像特征描述与匹配是计算机视觉研究中的一个基本问题，影响着许多相关应用算法的发展，例如物体识别、三维重建和图像检索。本项目针对传统的局部图像特征描述子设计方法上的不足，旨在通过机器学习方法，深入研究数据驱动型的局部图像特征描述子的自动设计方法，同时研究多种特征描述子的融合机制，提出新的特征描述与匹配方法。主要研究内容包括：(1)从"特征描述=底层特征提取+底层特征融汇"的观点出发，分别研究基于机器学习的底层特征提取和底层特征融汇方法；(2)从数据降维和特征选择的观点出发，研究基于不变性度量的图像至向量的展开方式以及用于特征匹配的子空间学习和特征选择方法；(3)基于机器学习，分别研究特征层和决策层的多特征描述子融合机制。本项目的研究成果可望丰富特征描述、特征匹配、机器学习等相关领域的研究内容，为图像特征描述和匹配提供新的研究思路和方法。

本项目研究计算机视觉中的基本问题：局部图像特征描述与匹配问题，主要采用机器学习的方法来设计新型、性能更好的局部图像特征描述子，同时考虑将不同特征描述子进行融合以提升匹配性能的方法。在项目执行过程中，项目组首先对已有的特征描述方法进行了比较详细的归纳与总结，得出了一个构造局部图像特征描述子的一般性框架；之后，针对该框架的主要构成模块：底层特征提取、底层特征汇聚、浮点特征二值化，项目组依次展开研究，提出了一系列新算法，包括基于感受野选择的底层特征汇聚学习方法、基于序金子塔汇聚的旋转不变特征描述方法、基于灰度序的底层特征提取、基于近邻表示的二进制特征描述子学习方法、基于仿射子空间鲁棒表示的特征描述方法等。为了进一步提升特征描述子的匹配性能，项目组对多特征描述子的融合问题以及特征描述子的距离度量学习问题展开了研究，提出了基于混合特征向量提取和逻辑回归的融合方法，提出了针对二进制特征描述子的加权汉明距离学习方法，以及针对浮点特征描述子的Cayley-Klein距离度量学习方法。项目组对本项目产生的新算法与国际上相关的主流方法在大量公认的评测数据库上进行了评估与对比分析，结果表明了本项目提出算法的优越性。. 在本项目的支持下，项目组共发表学术论文10篇、出版英文专著1部、申请国家发明专利1项。这些论文均发表于本领域的重要国际期刊和国际会议上，包括1篇《IEEE Transactions on Pattern Analysis and Machine Intelligence》、1篇《IEEE Transactions on Image Processing》、顶级国际会议CVPR、ICCV、ECCV、AAAI各一篇。