数据驱动的人体图像语义分割研究

Semantic segmentation for human images is to label each pixel as one of the categories including hair, skin, upper body clothing, lower body clothing, footwear, background or others. It is related to multiple disciplines of statistical learning, image processing and other fields and thus is worth studying. Meanwhile, it can directly facilitate other practical tasks, such as human identification, human clothing retrieval and human action recognition. To this end, project will study the following contents: 1) Efficient labeling of human images. We plan to utilize active learning based strategy, to quickly get a lot of training data. 2) Locating human body, which determines an approximate position of the entire area of the body, while excluding part of the background area. We intend to adopt saliency modeling as a filtering step, which can improve the speed and accuracy of human location. 3) Building the shape model for each body part. Data-driven method will be explored to adaptively learn instance-specific deformable shape model. Moreover, the high-level shape model will be integrated with low-level appearance models to achieve accurate segmentation of human parts. This project is expected to dress for the e-commerce clothing segmentation, retrieval and human recognition in intelligent video surveillance.

人体图像的语义分割，即按照头发、肤色、上身衣服、下身衣服、鞋袜、背景等类别将人体图像进行像素或超像素级的语义标注。该问题涉及统计学习、图像处理等多个学科领域，具有重要的理论价值，同时它可以直接应用于行人身份识别、人体服饰检索、人体动作识别等实际问题。为此，本项目拟开展的主要研究内容包括： 1)人体图像的高效标注，拟采用主动学习的策略，快速获取大量具有语义分割的训练数据；2)人体定位，即确定整个人体区域的大体位置以排除大部分背景区域，拟采用显著性建模方法进行预滤波以提高定位的速度和精度；3)人体部件的形状建模，拟采用数据驱动的方法，自适应地学习针对特定实例的可形变形状模型，并将该高层形状模型与低层表观模型结合，从而精确分割人体图像中的各个部件区域。本项目有望用于电子商务的服饰分割、检索，以及智能视频监控的人体身份识别问题中。

人体图像的语义分割问题涉及统计学习、图像处理等多个学科领域，具有重要理论价值，同时它可以直接应用于行人身份识别、人体服饰检索、人体动作识别等实际问题。由于人体服饰的表观差异、姿态变化、形状差异、背景复杂等，人体图像的语义分割面临了诸多的挑战。现有的人体语义分割系统还比较少，而且多半是在限定采集条件下，而在图像质量差、人体定位不准确、姿态变化较大的情况下，难以取得令人满意的结果。为此，本年度围绕如何高效获取人体图像分割数据和如何确定人体整体区域的边界两个问题开展研究，研究内容包括：1）针对人体图像的高效标注问题，提出最大化期望信度变化的区域推荐方法，能够在保证同样分割精度的条件下，大幅降低用户交互量，提高数据标注效率。2）针对人体定位问题，提出基于显著性检测和近邻先验的人体分割方法，根据显著图的相似度，引入近邻约束学习形状，有效提高了分割性能；同时，针对普适的显著物体检测问题，提出了基于局部先验和多级前背景对比度的显著物体检测方法。3）针对人体形状建模问题，提出了多种形状模型，如基于稀疏自编码器的人体服饰分割方法，基于深度回归的人体分割算法等，这些方法通过建立图像特征与二值分割结果的映射关系，实现从图像特征到分割结果的回归，从中得到分割结果的估计，将其作为形状先验加以利用。该基于稀疏自编码器的人体服饰分割方法能够以几倍于其他分割方法的速度，达到与其他方法相当的分割精度。4）在系统搭建方面，本项目开发实现了人体分割系统，该系统可以对输入人体图像进行快速分割。此外，我们将人体语义分割应用到实际的人体身份再识别问题中，提出了无监督的局部约束的测地距离方法，有效提高的人体再识别系统的性能。项目周期内被录用EI论文4篇，国防科技报告2篇，其中以第一作者发表的共4篇。