基于结构关系和知识学习的大规模视觉目标检索

With the rapid development of internet and storage techniques as well as the popular application of mobile terminal, it has been a hot topic to retrieve the visual object from the massive media data efficiently in the field of multimedia and computer vision. To solve the large-scale visual object retrieval problem, this project aims to conduct researches from the following aspects. Firstly, by analyzing the efficient appearance modeling and multi-level structural context in object image, we aim to study the efficient multi-view structural feature representation for viusal object. Secondly, by exploiting the rich semantic entity relationships and multi-granularit knowledge representation, we propose to learn the semantic object representation based on attribute modelling and knowledge learning. Thirdly, with the multi-component ranking approach based on deep learning, we can involve the efficient object representation and effective distance metric learning into an end-to-end framework by learning a compact and efficient deep embedding space. Finally, towards rapid and accurate visual retrieval, we study the feature compression and encoding method based on bagging deep hash networks.

随着互联网、存储技术的快速发展和移动设备的普及，如何从海量的图像和视频数据中高效准确的获取与用户查询相关的视觉目标，是多媒体和计算机视觉领域的研究热点之一。本项目针对大规模视觉目标检索任务，分析高效的深度特征表示、层次化空间结构上下文关系，研究视觉目标的多视角结构化目标表达；挖掘目标中蕴含的语义实体关系和多粒度知识表示，建立基于属性引导和知识驱动的目标语义模型；结合基于深度学习的多元排序学习方法，学习紧致高效的深度空间映射，建立目标特征表示和距离度量的联合学习框架；探讨基于模型集成的深度哈希编码方法，实现快速精准的视觉目标检索。

本项目针对大规模视觉目标检索任务，从高效的视觉特征表达和合理的特征距离度量两方面出发，围绕多视角结构化特征表达、目标属性建模与知识学习、多元排序度量学习、大规模视觉目标检索验证系统等方面开展深入研究，取得了一系列研究成果。代表性研究成果包括基于弱监督语义解析的行人检索、基于全卷积注意力耦合网络的目标特征表达、基于自适应类别抑制的长尾目标识别、基于部件解析和主题注意力机制的目标属性建模、基于图网络关系建模的多粒度特征学习方法、基于结构化特征度量学习的车辆检索、基于周期性矩衰减优化的大规模分布式神经网络训练框架等。项目执行期内，项目组共发表论文46篇，其中发表国际期刊论文18篇，包括IEEE TRANSACTIONS期刊论文6篇；发表国际会议论文28篇，其中包括CVPR/ECCV/ICCV/ACM MM/AAAI/IJCAI/NeurIPS等国际顶级会议论文18篇。此外，还申请国家发明专利8项。在项目的资助下，项目组成员有6人次出境参加国际学术会议。项目组积极开展与华为、阿里、京东、中国电子进出口、交通科学研究所等企业和事业单位的项目合作，在智慧安防、智慧交通、智能零售等领域进行大规模目标检索算法和系统的应用验证，并完成了一些核心技术的产业化和技术转移。项目执行期内，基于本项目研究成果，项目组成员获得了一系列国际学术竞赛或者行业技术应用奖项和荣誉，包括吴文俊人工智能科技进步二等奖、中国发明协会发明创新二等奖、IEEE VCIP国际车辆检索竞赛冠军、AI challenger全球AI挑战赛冠军等。总体来看，本项目按照计划完成了各项研究内容，研究成果达到了预期指标，实现了预期目标。