图像信息资源可视化协同语义标注及实现研究

With the rapid growth of image information resources, semantic gaps in existing image annotation theories including Automatic Image Annotation(AIA) have hindered the development in research and application of image information resource field seriously, and an effective way to narrow them is to link up the perceptual-cognition of user to image with AIA organically to annotate images collaboratively. This project integrates application of theory and methods from multi-disciplinary field, including Information Science, Management, Computer Science, and Cognition. First, by theoretical analysis and user cognitive experiments, the production process of image semantic gap is deeply analyzed, which states clearly the needs in image annotation research. Then a cooperative annotation model of images via semantic visualization is presented to solve the problem of semantic gap，in which collaborative mining methods based on images and their text information are studied to assist users by semantic optimization and two semantic visualization models of image information resources are built to enable user to annotate images only with his/her perceptual-cognition to them. This model aims to annotate images avoiding semantic gap through the collaboration of user and computer. Typical data sets and a web data set about image annotation are applied then to prove the effectiveness of above model from both system and user experience aspects. Finally, the ways and means to apply our model to image information resource researches and practices are explored. This project will supply guidance from both theoretical and practical perspectives for effective multi-level semantic annotation of large-scale image information resources, and also enrich and expand the theories and methods of image information resource management research.

随着图像信息资源的迅速增长，图像标注中存在的语义鸿沟问题严重影响了图像信息资源研究与应用的发展，将人对图像的感性认知与自动图像标注有机联系起来协同标注是解决问题的有效途径。本项目综合应用情报学、管理学、计算机科学、认知科学等多学科的理论与方法，首先通过理论分析与用户认知实验，深度剖析图像语义鸿沟的产生过程，明确图像标注的研究需求；进而构建图像信息资源的可视化协同语义标注模型，以图像与文本协同挖掘进行图像标签语义优化，以语义可视化支持用户感性交互，通过用户对图像及图像之间关系的感性认知与计算机语义处理之间的协同，研究消减乃至消除语义鸿沟的图像标注；接着以典型数据集及web实际数据从系统与用户体验两方面对模型进行实证研究；最后探索将模型应用于图像信息资源研究与实践的途径与方式，为有效标注大规模图像信息资源的多层次语义提供理论与应用指导，并将丰富与拓展图像信息资源管理理论与方法。

随着图像信息资源的迅速增长，图像标注中存在的语义鸿沟问题严重影响了图像信息资源研究与应用的发展。本项目深挖图像语义鸿沟的产生根源与管理需求，将人对图像的感性认知与自动图像标注有机联系起来协同标注作为解决图像语义鸿沟问题的有效途径。本项目综合应用情报学、管理学、计算机科学、认知科学等多学科的理论与方法，系统研究了在用户可视化操作与计算机语义挖掘处理之间协同的模型与方法体系。通过理论分析与用户认知实验，深度剖析图像语义鸿沟的产生过程，发现图像标注具有复杂的认知过程，且受到交互方式等的影响；重点构建图像信息资源的可视化协同语义标注模型，以图像的最高层语义--情感语义的标注为例，以相关特征标签挖掘为基础进行较准确的图像情感语义自动标注，以图像与文本的协同挖掘进行图像标签语义优化，以语义可视化实现了支持图像标注用户的感性人机交互，通过用户对图像及图像之间关系的感性认知与计算机语义处理之间的协同，有效避免与消减图像标注中的语义鸿沟；以Flickr实际数据集及国际情感图片系统（IAPS）数据集为典型，从系统与用户体验两方面对模型进行实证研究，表明了模型方法体系的有效性；探索了将模型应用于多个不同领域的途径与方案，表明理论模型具有较广的研究与应用前景。本项目突破了现有图像信息理论对图像语义鸿沟的认识，将其深化到图像与图像语义的认知机制层面，并建立了认识与消减图像标注中语义鸿沟的模型方法体系，为有效标注大规模图像信息资源的多层次语义提供理论与应用指导，并将丰富与拓展图像信息资源管理理论与方法，对图像语义与感性人机交互、图像信息资源管理与利用以及相关学科发展有重要启发意义。