基于社会媒体信息挖掘的图像语义理解关键技术研究

近年来社会媒体(social media)蓬勃发展，网络上存在着不计其数的用户上传的各类图像及其语义标签(tag)。针对如何有效的利用这些数据帮助计算机自动标注无标签图像的问题，本项目致力于研究基于社会媒体信息挖掘的图像语义内容理解中的关键技术。本课题拟通过分析视觉、标签、用户等信息的相关性去除和抑制社会网络图像的标签噪声，使用改善后的标签作为训练标签，解决目前大规模图像标注中训练数据不足的问题；并通过研究符合视觉感知的特征表示方法、适应媒体特性的机器学习方法、多模态全局和局部特征的统一融合框架、高效的用户反馈机制等，解决"语义鸿沟"严重影响图像标注性能的问题。本课题预期发表8篇以上高质量的学术论文，申请2项以上专利，并研制开发一个百万量级的网络图像搜索示范系统。本项目的实施，将对图像语义理解和社会媒体挖掘的基础理论与技术的研究起到重要的推动作用。

随着数字图像采集设备的普及，互联网和多媒体技术的发展, 网络上存在着不计其数的用户上传的各类图像及其语义标签(tag),这些图像数据量呈爆炸式增长。如何有效的利用这些数据帮助计算机自动标注无标签图像，已成为一个广泛研究的课题。本项目主要研究了基于社会媒体信息挖掘的图像语义内容理解中的关键技术，包括图像的特征表示方法、适应媒体特性的机器学习方法、多模态特征融合框架、用户反馈机制等。针对这些问题，我们提出了多种新方法，通过分析视觉、标签、用户等信息的相关性去除和抑制社会网络图像的标签噪声，使用改善后的标签作为训练标签，解决目前大规模图像标注中训练数据不足的问题。在实验中，对比于其它方法，这些方法取得了更好的性能。相关研究成果在国际期刊和国际会议上共发表/录用21篇论文，其中包括高水平国际期刊IEEE TIP、IEEE TKDE、IEEE TMM、ACM TIST、CVIU以及高水平的国际会议IEEE CVPR、ACM MM等。互联网多媒体研究属于新兴领域，我们重点地解决了基于互联网搜索的图像标注技术研究的若干问题，对图像语义理解和社会媒体挖掘的基础理论与技术的研究起到重要的推动作用。