大规模形状匹配方法研究

This project aims to propose a novel framework for matching and retrieving large-scale shape data. First, we study to design and explore 2D shape features fit for Bag-of-Words model, then study to learn and genertate shape vocabulary; Based on shape vocabulary, we study the description of spaitial information according to the geometric properties of shape in order to enhance the discriminatory power of shape vocabulary. Then, we study re-ranking algorithms by exploring the context information of shape database for enhancing retrieval accuracy. To reduce time cost, we study the compact representation of shape vocabulary. Finally, we try to extend the framework to 3D case, build a complete and general shape search engine. Based on the proposed models or algorithms, we study other related issues in computer vision and data mining, such as 3D shape reconstruction，medical shape analysis, shape classification and clustering, etc.

本项目提出一套全新的针对大规模形状数据的形状匹配与检索框架。首先设计和探索适合于词袋模型的二维形状特征，接着研究形状词汇的学习与生成算法；在此基础上，探索基于几何特性的空间信息描述方法，增强形状词汇的区分能力。接着，研究结合数据库形状内容的重排序算法，进一步增强检索性能。研究形状词汇的紧密表示方法，以降低检索的时间消耗。最后，研究将此检索框架扩展到三维形状检索，建立一套完备的形状搜索引擎。以本项目方法模型和理论算法为基础，研究其在计算机视觉与数据挖掘领域其他相关问题，如三维形状重建、医学形状分析、形状分类或聚类等。

本项目按照研究计划，针对大规模形状检索中的多个关键科学问题进行了深入的研究工作，提出了一系列新方法，开发了适合于大规模三维模型高效检索引擎GIFT；提出了基于视图的深度特征学习新方法；提出了适合于三维模型检索的特征度量损失函数，提出了基于深度特征表示的三维模型检索重排序及相似度融合方法；提出了有效描述视图空间结构关系的视图聚合深度网络。本项目还研究了场景文字识别、大规模行人检索、视频目标跟踪等与深度特征学习及相似性度量和融合有关的重要视觉任务。在本项目的支持下，已发表第一标注论文27篇，包括中国计算机推荐A类期刊和会议18篇，其中计算机视觉与模式识别顶级刊物PAMI、IJCV论文3篇，人工智能顶级会议ICCV、CVPR、AAAI口头汇报论文4篇。多篇论文的开源代码被广泛下载，例如CRNN的开源代码已被Github用户点赞超过2700次，被学术界和工业界广泛采用，包括高通、Dropbox、阿里巴巴、美团、搜狗等知名企业使用项目的开源代码开发有关产品，已经创造了过亿元的经济效益。在本项目的支持下，项目组已有1名博士后出站，3名博士毕业，2名硕士毕业。其中1名同学获得了2018年中国图像图形学学会优秀博士论文；1名同学获得了2019年中国人工智能学会优秀博士论文提名。项目组学生多次在国际国内学术竞赛中获奖。