大规模二值特征描述子的快速匹配方法研究

Binary descriptor is becoming a hot research topic in related areas due to its potential in large scale visual computing owing to its low memory footprint and efficient Hamming distance computation. However, there are no satisfactory solutions to fast nearest neighbor matching of large scale binary descriptors up to now. The baseline linear search method is extremely slow for large database, limiting its potential for large scale applications. To deal with this problem, this proposal aims to conduct research on two different kinds of fast nearest neighbor matching methods respectively, e.g., fast approximate nearest neighbor matching and exact nearest neighbor matching. More specifically, for approximate nearest neighbor matching, we research on methods for hash key selection and multiple hash tables learning, so as to select only a few positions from the original binary feature to generate a hash table, based on which an approximate nearest neighbor matching method could has high accuracy and high matching speed. Moreover, we study how to learn multiple hash tables with complementary properties to further improve performance. For exact nearest neighbor matching, we research on data structures of binary descriptors with efficient store and traverse characteristic as well as machine learning based multi-index hash methods to reduce the access times of unnecessary data, hence improve matching speed.

二值特征描述子不仅存储代价低，而且汉明距离计算速度快，使得它具备大规模视觉计算的潜力，是当前的一个热点研究问题。然而，目前还没有很好的大规模二值特征描述子的快速最近邻匹配方法，标准的线性搜索方法在处理大规模匹配数据库时效率十分低下，极大地限制了它的应用。针对这个问题，本项目拟研究大规模二值特征描述子的快速近似最近邻匹配问题和快速精确最近邻匹配问题，以满足实际应用对匹配的不同需求，为今后大规模视觉应用打下坚实基础。具体地，针对近似最近邻匹配问题，研究数据驱动的哈希键选择和多哈希表学习方法，从二值特征描述子中选择较少的特征位置构造近似准确率高、匹配速度快的哈希匹配方法，同时研究构造多个性能互补哈希表的哈希键学习方法，提高近似性能，减少计算代价；针对精确最近邻匹配问题，研究二值特征描述子数据库的高效存储与访问方法和基于机器学习的多索引哈希表构造方法，减少不必要的数据访问次数，提高匹配速度。

二值特征描述子具有存储需求低、距离计算速度快的优点，然而针对二值特征描述子进行大规模线性最近邻搜索时依然耗时巨大，使得处理数据的规模十分有限，这极大限制了它在计算机视觉领域内的应用。针对这一问题，在本项目的资助下，我们主要开展面向大规模快速特征匹配问题的研究，分别从基于数据结构索引的快速特征匹配和基于哈希学习的快速特征匹配两个方面入手，有效提升了现有方法的性能，主要研究内容包含了如下几点：.a).基于局部关系保持投影学习与KD树索引的特征匹配方法.b).非线性多值非对称哈希学习方法.c).具有排序保持特性的哈希学习方法.d).语义类别局部敏感性哈希学习方法.e).结构化稀疏哈希学习方法.f).基于哈希学习的多特征融合及其在高光谱分类中的应用.g).大规模二进制特征提取和匹配方法性能评测.此外，在项目的资助下，我们还对深度特征学习、面向非规则化数据的卷积神经网络、深度对抗学习等问题开展了深入研究，取得了一些重要的理论和技术突破，在图像匹配、三维重建、目标检测、图像识别和语义分割、三维点云分类和语义分割等应用上取得了国际领先的成果。.本项目共发表论文26篇，大部分发表在本领域内的权威期刊和顶级国际会议上，包括IEEE TPAMI 1篇，IEEE TNNLS 1篇，IEEE TMM 1篇，IEEE TIP 2篇，IEEE TGRS 2篇，PR 1篇，ISPRS JPHRS 1篇，顶级会议(CVPR、ICCV、 NeurIPS)论文6篇，并且有一篇论文入围顶级会议CVPR 2019的大会最佳论文(Best Paper Finalists)。2次获得国际竞赛第一、1次获得国内竞赛第二、1次获得国内竞赛第三。.项目组成员多次参加国内外学术会议开展学术交流，例如：参加CVPR 2017并做大会tutorial报告与大会墙报展示、参加 CVPR 2019并做大会口头报告，参加ICCV 2019并做大会墙报展示，同时与清华大学、EPFL、UIUC、Steven Institute of Technology等国内外知名高校开展了合作研究。