基于有监督学习的自然图像中骨架提取和物体识别研究

Object representation and recognition in natural images is a challenging problem in Computer Vision. The project researches supervised learning based skeleton extraction in natural images and object recognition via the extracted skeletons. The research contents include: the research on supervised learning based skeleton detection in natural images, in which we mainly address the problem that how to form an informative symmetric region characteristic descriptor; the research on how to reconstruct the accurate region boundary from the detected skeleton and refine the positions of the skeleton synergistically, in which we address the problem of multivariable function optimization involved in such a co-refinement; the research on how to perform skeleton denoising according to the reconstructed region, in which we address the problem that how to extract discriminative feature to classify skeletons and noises; the research on object localization and recognition based on the extracted skeletons and the appearance model after skeleton linking with geometry consistency, in which we address the problem of combinatorial optimization to merge the regions reconstructed from the extracted skeletons for object localization. Some other problems related to this project (eg. Text detection and recognition, pedestrian detection, and etc) are also our research interests.

在自然图像中实现物体的表示与识别是计算机视觉领域的难点问题。本项目研究基于有监督学习的自然图像中骨架提取和基于所提取骨架的图像中物体识别。研究内容包括：研究基于学习的自然图像中骨架检测算法，主要解决对称区域特征描述符的构造问题；研究如何根据检测得到的骨架重建准确的区域边界并同时对骨架位置进行求精，解决该协同求精中涉及的多变量方程迭代优化问题；研究如何根据重建区域特征对骨架进行去噪，解决噪声骨架的区分性特征的设计问题；在根据骨架段的几何一致性进行骨架段连接后，研究基于提取骨架结合表象模型的图像中物体定位识别算法，解决定位中涉及的骨架重建区域融合的组合优化问题。最后，以本项目方法模型和理论算法为基础，研究其他相关应用问题，如文本检测与识别和行人检测等。

基于骨架的物体表示与识别是计算机视觉领域的一个基础且重要的问题。然而当前大多数骨架提取方法只能用于已分割好的图像。这严重地制约了骨架在计算机视觉主流问题中的应用，如自然图像中物体检测与识别。在这个项目中，我们研究如何直接从自然图像中通过有监督的学习提取物体骨架以及如何利用提取的骨架去检测和识别物体。我们的研究内容包括：基于多示例子空间学习的骨架检测方法、基于深度学习的边缘/骨架检测方法、基于骨架的人体姿势识别方法、结合物体轮廓和骨架的物体识别方法以及基于骨架的自然图像中文本检测方法。在本项目的研究过程中所提出的方法，在多个上述任务的标准数据集上取得了令人满意的结果：在边缘检测标准数据集BSDS500上取得了0.76 f-measure，在对称检测标准数据集SYMMAX300上取得了0.454 f-measure，在骨架检测数据集Weizmann Horse上取得了0.769 f-measure，在形状分类标准数据集MPEG-7和Animal上分别取得了98.41%和89.04%的分类准确度以及在文本检测标准数据集ICDAR2013上取得了0.80 f-measure。这些结果无一不是当时最好的结果（发表当时），这说明了基于骨架的物体表示与识别方法是计算机视觉领域中的一个非常有前景的研究方向。在该方向上的突破可推动整个领域的快速发展。