图像内容的对象级语义标记及场景布局迁移

With the rapid development and wide applications of camera and vidicon, the amount of image and video data is growing largely. The important industry fields for economy and social life need more deeply understanding and more sufficient application of content implied in the image and video data. Therefore, this project faces the basic problem ’how to bring scene-level image parsing into object-level, and transfer the distribution of scene objects to the 3D scene’, stands on the international trend in the area of computer vision and virtual reality, works on the research of object-level semantic labeling and layout transfer of image scene, aiming to propose new methods of knowledge guided object-level semantic labeling of image content, layout guideline learning and layout estimation of image scene, attribute learning and rule-supported object attribute parsing, as well as layout transfer based on layout estimation and attribute parsing. The outcomes of this project will be several academic papers published on high-level international journals or conferences, a patent application, a software copyright and a demonstration. The proposer has closely related research experience to this project, and have published papers on IEEE TIP、CVIU、ECCV, and obtained 3 patent authorizations and 2 patent applications.

随着照相机、摄像机等设备的快速发展与广泛应用，图像视频等数据的规模日益庞大，经济社会发展的重要行业领域迫切需要“更深入理解、更充分运用图像视频蕴含的丰富内容”。所以，本项目针对基础科学问题“如何将图像内容解析尺度提升到对象级，并将图像对象的分布规律，自动迁移到三维场景”，立足计算机视觉与虚拟现实等研究领域的国际前沿，深入开展图像内容的对象级语义标记及场景布局迁移理论方法研究，力争取得知识引导的图像内容对象级语义标记、图像场景的布局规则学习与布局解析、支持图像对象属性解析的推理规则学习、基于图像布局与对象解析的场景布局迁移等方面的理论创新与技术突破。预期将在领域顶级或著名国际期刊与会议上发表高水平学术论文，申请发明专利与计算机软件著作权，开展成果应用示范。申请人具有与本项目密切相关的研究基础，在IEEE TIP、CVIU、ECCV等发表了相关学术论文，获3项发明专利授权、2项发明专利受理。

本项目针对“对象级的图像内容解析以及对象级场景布局迁移”科学问题，重点研究图像内容的对象级语义标记、图像内容的布局规则学习与布局结构解析、图像对象的属性推理规则学习及其属性解析等理论方法。实现了基于先验知识与后验特征组合的场景级语义标记算法、隐含知识引导的图像场景对象语义标记方法，从而实现了从场景级语义标记到对象级语义标记的提升；实现了布局规则的学习方法，提出了场景空间约束下的图像对象几何朝向估计算法，从而实现图像对象的布局结构估计；建立对象属性与对象典型特征的映射机制，提出基于映射关系的对象多重属性推理方法，从而实现对象属性解析；并将相关算法应用于自动驾驶系统，提出了一种鲁棒的多车道线检测算法，对于复杂的驾驶环境，具有良好的检测效果。本项目基本实现了预期目标, 完成了预期研究成果的要求，在图像对象语义标记、图像对象属性解析、场景布局结构解析等方面提出6个新算法，在重要学术期刊发表论文7篇，申请专利2项，获得计算机软件著作权2项，培养研究生多名。本项目的研究成果有利于促进计算机视觉、人工智能、虚拟现实等研究领域的快速发展与交叉，在公共安全、智能制造、文化传媒、旅游服务等重要行业领域具有广泛的应用前景。