基于多任务概率视觉语义模型的图像场景理解

The explosive growth of network images and the metadata describing the semantic meaning of those images provides an opportunity to reduce the "semantic gap". But the characteristics of metadata, such as type diversity, asymmetry, noisy and dispersion, restrict the applicability of traditional scene understanding methods to network images. Considering the characteristic of the metadata, a probabilistic graphical model based on the semantics of objects is constructed in this project to understand the images. First, a hierarchical semantivisual structure is build to organize the target metadata, which will act as a prior knowledge of the graphic model to guide the formation of semantics of objects. Then a multi-task probabilistic graphical model is constructed associating different types of target metadata by considering the tasks of image segmentation, classification and annotation jointly. In addition, the multi-task model establishes the relationship between low-level image features and high-level scene content. A semi-supervised learning method is further incorporated into the model parameter learning process to deal with the asymmetric metadata, which improves the generalization ability of the learned graphic model. This project uses the metadata effectively in a unified probabilistic graphical model from these three aspects, which establish the connection between low-level image features and image scene semantics based on object semantics.The research achievements will provide the theoretical and technical basis for complex scene understanding, information management of mass images and robotics.

互联网上的图像呈爆炸性增长，更多的网络图像及描述图像语义的元数据为降低"语义鸿沟"提供了有力支撑。但元数据具有类型多样、不对称、含噪及分散等特点，这限制了传统图像理解方法在网络图像上的应用。为此，本课题针对元数据的特点，构建基于目标语义的概率图模型实现图像场景理解。首先构建层次化视觉语义结构来组织分散的目标元数据，以此作为概率图先验，指导目标语义的生成；设计联合图像分割、分类及标注于一体的多任务概率图模型结构，以此来关联不同类型的目标元数据，并建立图像低层特征与图像场景语义的联系；引入半监督的学习方法，以此作为概率图模型的参数学习算法以处理不完备的元数据，并提高模型的泛化性能。本项目从上述三方面将元数据的有效使用纳入到一个统一的概率图模型中，基于目标语义更好的建立低层图像特征与图像场景语义间的连接，研究成果为复杂场景下的图像理解、海量图像信息管理以及机器人等技术的发展提供理论和技术支持。

图像理解旨在让计算机能够像人类一样分析和理解真实世界中的图像，通过获取图像中包含的语义信息，完成分类、识别、检测和检索等任务。概率语义模型方法常用于图像理解，其中视觉语义先验、概率语义模型构建以及模型推理算法等是概率语义模型方法的关键内容。本项目即针对上述关键内容开展研究，按计划要点和预定指标分别研究了图像的语义特征提取及词袋表示、图像的结构性先验建模、多任务模型构建、概率图推理方法及鉴别性特征提取及分类等内容，并将这些方法应用于图像理解相关的任务如图像分类等。在理论创新方面，提出了一系列的新思想、新方法，在国内外主流学术期刊和会议上发表学术论文30余篇，包括计算机视觉与模式识别以及人工智能领域的顶级国际会议（CVPR 5篇，ICCV论文1篇，AAAI论文1篇，ECCV论文1篇），以及本领域的权威期刊(IEEE Trans. on Image Processing 2篇，IEEE Trans. on Geoscience and Remote Sensing 1篇，Pattern Recognition 2篇)。在关键技术方面，已申请专利10余项。项目组共培养博士生6名，硕士生5名。在基金的资助下多次邀请国内外同行专家来校交流，项目组成员也多次参加国际会议，就本项目与同行专家进行了充分的讨论和交流，给项目组成员带来了新的思路和新的视野并激发了项目组钻研学术的热情，为项目组的深入研究、内容扩展和项目的顺利实施奠定了良好的基础。成功协助举办了2014 IEEE橘色技术国际会议，提升了项目组在该领域的知名度。本项目的部分研究成果应用于“多源图像协同分析洪水冰凌监测技术及应用”技术中，获得2016年度陕西省科技进步一等奖(项目负责人排名第7)。研究成果为复杂场景下的图像理解、海量图像信息管理以及机器人等技术的发展提供理论和技术支持。