面向大规模人物图像检索的语义特征提取研究

Portraits，also known as images of people, constitute an important part of internet images. Semantic-based portrait retrieval is becoming an urgent technique for internet image searching and monitoring. It also has important research value, social benefits and broad market prospects. In this project, we will focus on three key techniques of semantic feature extraction for large scale portrait retrieval, i.e. segmentation, mid-level semantic extraction and high-level semantic extraction: (1) As basis for semantic feature extraction, we propose a novel human property based image segmentation method by incorporating multiple human properties, which can handle scenarios with various human poses and confusing background. (2) For accurate and scalable mid-level semantic feature extraction, feature co-extraction is introduced. This method can significantly improve the accuracy by using the relevance of semantic features in an effective way. (3) High-level feature extraction is studied by combining low-level features and mid-level semantic features. Finally, we build an experimental system and evaluate our methods with large scale web portrait set. In summary, our research will greatly improve the theory of semantic feature extraction, and provide practical algorithms for effective portrait retrieval.

人物图像是互联网图像资源的重要组成。基于语义的人物图像检索是网络图像搜索和监管不可或缺的关键技术，具有重要的研究价值、社会效益和广阔的市场应用前景。本项目旨在研究面向大规模人物图像检索的语义特征提取关键问题，即人物图像分割、人物图像中层语义特征及高层语义特征提取：（1）针对大规模人物图像中人体姿势和背景多样性的问题，充分利用人体特性，提出可同时融合多种人体特性的分割模型，实现人物图像的高精度分割，作为语义特征提取的基础；（2）针对中层语义特征类内差异大导致识别准确率低的问题，充分挖掘语义特征间的相关性，提出中层语义特征协同提取方法，提高准确率；（3）针对高层语义特征提取的“语义鸿沟”问题，研究有效融合低层视觉特征和中层语义特征的高层语义特征提取方法。在此基础上，开发基于语义的大规模人物图像检索原型系统，验证方法性能。本项目研究成果将丰富语义特征提取的理论和应用，为人物图像检索提供关键技术。

随着互联网图像的爆炸式增长，大规模人物图像检索已成为网络图像搜索和监管不可或缺的关键技术，具有非常重要的理论和应用价值。如何提取有效的人物语义特征对于提升大规模人物图像检索精度和效率至关重要。针对大规模人物图像中背景复杂、人体姿势多变、数据标注难等问题，本课题充分利用人体特性和深度学习技术对基于深度学习的人物图像特征提取、人物高层语义特征提取和图像索引技术等开展研究。在人物图像分割和基于深度学习的人物图像特征提取方面，提出结合人体特性的分割方法和特征提取方法，并在特定人物图像检索（重识别）任务上对特征提取方法的有效性进行了验证；在高层语义特征提取方面，针对“语义鸿沟”问题，融合低层视觉特征和中层语义特征，提出人物高层语义特征提取方法；针对大规模人物图像检索效率低，存储代价高等问题，提出基于深度哈希的图像索引构建算法，在保证检索效率和存储代价的前提下提升了大规模图像检索的精度。基于所研究内容，开发了特定人物图像检索原型系统，验证了所提方法的有效性能。在本项目的资助下，共发表学术论文22篇，其中SCI收录论文13篇，EI收录论文9篇。本项目的研究可为大规模人物图像检索提供关键技术支撑，具有良好的应用前景。