基于多属性融合的图像场景识别方法研究

Image scene recognition is an important research topic in the computer vision community. With the popularity of digital camera and the great progress of Internet technology over the past several decades, the quantity of Internet images are growing exponentially, which provides a solid base for image scene recognition task. In this project, with help of the huge image database from various sources with different attribute, we study the algorithm for image scene recognition based on multiple attribute fusion, by fully exploiting the mid-level and high-level attribute information embedded in the scene images. To this end, we will conduct research on the following aspects: (1) mid-level and high-level attribute feature learning for the scene images; (2) correlation mining between attributes and feature fusion of multiple attributes. In a word, this project aims to develop attribute based scene recognition frameworks and algorithms. With the accomplishments of this project, we expect to make contributions on some key technologies including attribute feature extraction, attribute information transfer, and attribute fusion for scene recognition task, and develop a demo system to verify the results.

场景识别是计算机视觉领域图像理解任务中一个重要的研究课题。近年来，随着各类摄像设备的普及和互联网技术的飞速发展，互联网图像数据以指数速度增长，这为图像场景识别提供了坚实的数据基础。本项目拟借助来自各类数据源、具有不同属性信息的海量图像数据，充分挖掘各类中高层图像属性信息，研究基于多属性融合的图像场景识别，以实现高效的图像场景识别。主要研究内容包括：(1) 面向场景识别任务的中高层图像属性特征与迁移学习研究；(2) 属性间相关性挖掘与多种类属性的特征融合方法研究。本项目旨在发展场景识别框架与方法，预期在场景图像的属性描述、特征迁移与融合方法等方面取得研究突破，并通过我们研制的原型系统验证实际场景图像数据分析的性能。

场景识别是计算机视觉领域图像理解任务中一个重要的研究课题。我们研究了包括物体目标属性、距离深度属性、文字属性、动作事件属性等不同层次的各类场景属性，扩展了图像属性分析的方法，为图像场景识别、视频分类、视频动作定位、视频情绪分析等相关视觉内容理解任务提供有效支撑。在利用深度神经网络的特征权重共享与迁移，基于已有的海量图像、视频数据集，对来自互联网图像、遥感图像、监控视频、互联网视频等不同数据来源的图像提出了高效的学习方法，优化了属性特征的提取和使用。项目还挖掘了多种类多层次的属性信息间的关联性，设计了高层语义概念选择机制，以神经网络作为融合算法的基础，探索了各类融合算法，研究了如何充分利用神经网络各层信息进行有效的特征融合，进一步提升包括图像场景识别在内的各类视觉分析任务的精度。