基于社会媒体信息挖掘的图像标注技术研究

With the popularity of social media websites, multimedia data shared by users, such as image, video and text, are growing explosively. Therefore, exploring large-scale social media information to tackle the issue of deficiency of training data in automatic image annotation has become a hot topic recently and is receiving increasing research interests. In this project, we will focus on three key issues of image annotation based on machine learning framework: (1) the refinement of user-provided noisy tags of images; (2) the effective representation of image content; and (3) the learning of concept classification models. To this end, we plan to build a large training set using data-driven and active learning techniques. Based on this dataset, we will then investigate the effective and robust image representation by mining image content and context. Further,we study concept classification models. As a result, we will propose an offline learning method using context information mining and an online learning algorithm that can learn models based on so called collective intelligence. Finally, we will build a demo system based on the techniques and the data. Our research will push forward the theory and application of image annotation, and will provide supporting algorithms for the next-generation multimedia services and large-scale image management systems.

随着社会媒体网站的兴起，用户共享的图像、文本和视频等多媒体数据呈爆炸式增长。如何利用海量的社会媒体信息，解决大规模训练样本不足，实现图像的自动标注，是当前计算机图像与视频处理领域的一个研究热点。本课题将基于机器学习框架，通过社会媒体信息挖掘，深入研究3个关键问题：弱标注网络图像的标签优化、图像特征的有效表征及概念分类器学习。针对这些问题，本课题拟首先深入研究标签优化技术，基于数据驱动和主动学习构建一个大规模的训练样本库；然后基于该库，通过挖掘图像内容连接和上下文连接所蕴含的语义信息，建立图像特征的鲁棒表示方法；进而研究概念分类器学习技术,提出一种基于上下文信息挖掘的离线学习算法和一种基于群体智慧驱动的在线学习算法；最后，构建一个标注算法验证系统。本课题将有利于推动图像语义理解理论和应用的发展，为新一代网络多媒体服务和海量图像管理提供核心算法。

随着数字成像技术和互联网技术的发展，特别是社交媒体的兴起，图像数据产生爆炸性增长。针对日益增长的海量图像数据，如何进行有效地管理、检索并从中挖掘有价值的内容，吸引了国内外众多的计算机视觉、图像处理、人工智能、机器学习等领域专家学者的高度关注。在诸如图像特征表示、图像理解（图像分类、图像标注）和图像搜索等方面，研究者提出了大量的理论和算法。这些研究成果为推动图像内容分析和理解，实现图像搜索任务，奠定了坚实的基础。. 本项目主要利用海量的社会媒体信息，实现图像的自动标注任务。项目在机器学习框架下，通过社会媒体信息挖掘，深入研究了3个关键问题：弱标注网络图像的标签优化、图像特征的有效表征及概念分类器学习。（1）深入研究了标签优化技术，提出了一种构建大规模数据集的解决方案。利用社交媒体大数据，提出2种标签优化方法，通过过滤噪声样本实现训练样本自动收集，有效解决了图像分类学习器所需要的大规模训练样本不足的问题。（2）提出了一种图像视觉特征表示方法。通过挖掘图像内容的特征关联关系及语义标签上下文关联关系所蕴含的语义信息，通过学习标签间的稀疏化结构，给出一种更优良的图像视觉特征表示。（3）基于矩阵分解理论建立了一种联合特征表示和语义学习的统一分析框架。基于非负矩阵分解（NMF）理论，采纳多种约束及特征融合方法增强NMF的图像特征局部表示能力。（4）为进一步提升传统分类器SVM的学习性能，提出利用未标注样本进行参数寻优的SVM改进方法。在传统SVM学习过程中，参数一直保持固定不变，这限制了SVM的学习性能。提出利用主动学习选择富含信息的样本输入SVM寻找最优参数，提升了SVM分类器的学习性能。（5）提出一种具有判别和特征选择的多实例学习方法。多实例学习由于其利用了图像的区域信息而被广泛应用于图像标注问题中。通过特征映射，MIL可以转换为单实例学习问题，再利用传统的监督学习方法进行求解。然而，特征映射通常忽略了判别能力及所生成的特征噪声。算法中，挖掘了概念的相关性并利用AdaBoost算法实现特征选择。（6）此外，提出了一种集成颜色矩和形状匹配的交通标志检测与识别方法。 . 研究图像、视频语义理解，实现海量图像和视频的精准搜索及高效管理，提升社交媒体大数据的使用效能，有助于保障互联网的健康发展，推进信息产业的发展。