图像语义自动文本描述技术研究

With the proliferation of the Social Web, techniques of automatic image semantic description shows great potential in many novel Social Web applications, and has attracted increasing attentions and research interests. In this project, we will explore Web text corpus to harvest the image semantic knowledge and concept hierarchy, and based on these we will adapt the state-of-the-art statistical learning techniques,such as structural learning and sparse regularization, etc. to explore both of the lower visual image recognition and higher semantic exploration. Our research will focus on the theories and methods of automatic image description generation and image-text matching. Specifically, we will devote our main efforts in the following areas: semi-supervised image region annotation; Web text analysis based image language model and concept hierarchy construction; structural learning based image semantic text description generation; and image-text matching. The breakthroughs of the above researches will bring new theories and methods to the area of image semantic analysis and annotation, as well as play an important role in the development of the new applications of Social Web, such as multimedia Question-Answering and complex query of images and videos, etc.

随着社会Web的蓬勃发展，图像语义的自动文本描述技术在社会Web内容管理与检索方面具有广阔的应用前景，引起了越来越多的关注和研究兴趣。本课题将在充分发掘Web文本数据中蕴含的图像语义知识与概念体系的基础上，利用结构化学习及稀疏正则化等统计学习理论与方法，对基于底层视觉识别的图像标注与图像高层语义发掘进行深入研究。围绕图像语义的自动文本描述以及图像-文本语义匹配技术的理论与方法，重点开展基于半监督学习的图像局部区域语义标注，基于Web海量文本分析的图像描述语言模型和可视概念网络构建，基于结构化学习的图像语义自动文本描述，以及Web社区问答的图像增强等研究。上述研究的突破性成果将对Web多媒体问答式搜索，多媒体数据的复杂语义查询等新型应用发挥积极的促进作用。

本项目在语义上下文模型，稀疏正则化以及深度学习技术的基础上，对图像区域标注、图像语义的文本描述和Web社区问答检索等问题开展研究。主要代表性研究工作是提出了一种利用图像语义上下文来改进图像区域标注的方法；一种新的基于相似性深度网络的图像语义文本描述方法，一种新的基于层次分类的问题标签选取与cQA问题检索方法等。研究表明对语义上下文的挖掘是提高图像区域识别，以及图像复杂场景识别性能的重要途径。在基于深度网络的图像语义文本描述方面，相似性网络预训练以及增加网络隐层的深度对于提高系统性能具有重要意义。同时我们的研究还显示稀疏正则化的运用可以提高层次分类的性能，并提出了一种有效的自动标签获取技术。本项目同时还对迁移学习， 跨领域图像分类，高维数据的可视化分析，Web社区产品评价数据的挖掘，高维时序数据的分析索引等问题开展了研究，并取得了一批研究成果。课题组共发表（已录用）EI/核心刊物论文14篇，包括CIKM，ICPR，PCM等重要国际会议论文多篇，培养博士毕业生1人，硕士毕业生6人。在项目的执行中，课题组参与承办了知名国际会议ACM CIKM 2014和其他国际学术会议和交流。