复杂环境下面向人物图像检索的视觉属性提取研究

With the proliferation of portraits/images of people, high-effective portrait management and retrieval are becoming emerging and pervasive. As a mid-level semantic description of portraits, visual attribute can effectively alleviate the “Semantic Gap” problems. However, accurate human visual attribute extraction for unconstrained portraits still faces great challenges. To address the problems caused by various body poses, and complex background, this project proposes a context based visual attribute extraction method for unconstrained portrait retrieval. Firstly, as basis for visual attribute extraction, we propose a novel human body segmentation method by exploring the human body property. Then, by holistically exploiting the related and complementary nature within and among visual attributes, accurate and scalable visual attribute extraction method is designed. Finally, we build an experimental system and evaluate its performance with real large scale web image dataset. In summary, our research will greatly improve the theory and applications of visual attributes extraction, and provide practical algorithms and technologies for effective portrait retrieval.

随着互联网人物图像资源的大规模增长，人物图像的有效管理和检索的重要性日益凸显。人物视觉属性作为连接低层视觉特征与多样化检索需求的中层语义表达，能有效缩小检索的语义鸿沟。然而，在视觉表观变化显著的网络人物图像上进行视觉属性的高精度提取一直以来是研究界的难点问题。因此，本课题拟从上下文信息挖掘和多信息融合的角度对面向人物图像检索的视觉属性提取进行系统研究，旨在解决复杂环境下人体姿势、背景变化等对人体分割和人物视觉属性提取带来的一系列挑战。研究内容包括：通过对人体自身特性的挖掘和融合，提出一种新颖的高精度人体分割方法，作为视觉属性提取的基础；通过对相同视觉属性内和不同视觉属性间相关性与互补性的有效挖掘、融合，探索高精度、可扩展的人物视觉属性提取方法。在此基础上，开发基于视觉属性的大规模人物图像检索原型系统。本项目研究成果将丰富视觉属性提取的理论和应用，为人物图像检索提供核心算法和关键技术。

随着互联网和多媒体技术的发展，人物图像资源呈爆炸式增长，对人物图像的有效管理和检索的重要性日益凸显，具有重要的研究价值、社会效益和广阔的市场应用前景。然而，复杂环境下人物图像分析和检索的性能受人体姿势变化和多样性的背景的影响。针对该问题，本项目从上下文信息挖掘和多信息融合的角度出发，对人物图像分析与检索中的关键科学问题开展深入研究，主要研究内容包括：（1）复杂环境下的人物图像分割、肤色检测和服装属性提取；（2）基于人物图像面部区域、服装区域的人格属性分类；（3）融合显著性特征和颜色相关特征的特定人物检索及融合视觉和运动传感器的人体动作识别。.通过本项目的研究，使得复杂环境下人物图像分割的准确率和肤色检测的准确率均有显著提高；扩展了人物服装属性提取方法对多样化人体姿势的适应性，提高了特征对服装属性提取的区分性；所设计的描述人物人格属性的特征和特征空间可以有效表征人物的人格，提高了人格属性分类的准确率；通过构建融合多种数据的模型，使得特定人物检索和人体动作识别的准确率有了明显提升。.本项目已发表学术论文15篇，其中SCI国际期刊论文7篇，通过项目的实施，培养了学生的科研能力。本项目研究成果丰富了人物图像内容分析的理论和方法，为人物图像检索提供核心算法和关键技术。