基于网上弱标注数据的个性化图像标注研究

Automatic image annotation is crucial for managing and retrieving the increasing amounts of image data. Existing work focuses on building a generic image annotation model, hoping that the model would be universally applicable to annotate images from distinct users. However, such an one-for-all tagging mode ignores a user's personal preference for image subjects in a given situation, resulting in limited annotation accuracy. In order to annotate images in a personalized manner, this proposal studies a new one-model-for-one-user tagging mode. We propose personalized image annotation based on many weakly labeled examples available on the Internet. In order to build a large-scale generic image annotation model, we study how to select relevant training examples for a given semantic tag from the weakly labeled data. For a specific user, we mine her personal preference over image subjects from her past data. Personal preference, in combination with multiple contextual information including the place where images were made and local weather, are then exploited to optimize the prediction of the generic model in a personalized manner. By doing so, we deliver image annotation models personalized with respect to individual users.The resultant techniques of this research will be beneficial to personalized multimedia information retrieval.

自动图像标注对于用户管理和检索不断增加的图像数据至关重要。现有工作专注于构建通用型图像标注模型，即以一个模型应对所有用户。这种一对多的图像标注模式忽略了不同用户在特定情境下对于特定图像主题的偏好，使得标注准确性受到了根本性的制约。为了满足不同用户对于图像标注的个性化需求，本项目研究一个模型对应一个用户的图像标注新模式。为此，我们提出基于网上弱标注数据的个性化图像标注方法。为了突破训练数据获取的瓶颈，我们研究如何从普通用户在互联网上产生的大量弱标注数据中为特定语义标签选取相关正样本和负样本，以建立大规模通用型图像标注模型。进一步，我们研究从用户历史数据中动态挖掘其个人偏好，并结合图像产生时所处的包括地理、天气等上下文环境信息，对通用型图像标注模型所预测的标签进行个性化的优化排序，从而为每个用户提供可量身定制的自动图像标注模型。本项目的研究成果将为个性化的多媒体信息检索提供技术支撑。

自动图像标注研究如何为图像自动添加能够描述其内容的标签。因此，该研究对于用户管理和检索不断增加的图像数据至关重要。本项目调研了自2008年以来，特别是社会化多媒体大数据背景下，关于图像标注工作的研究进展，并实验比较了11种代表性方法。为了突破训练数据获取的瓶颈,我们研究如何从普通用户在网上分享与标注的图片中为特定语义标签自动选取高质量的训练样本。为此，我们提出了一种基于多特征融合的图像标签相关度计算方法，可以将基于标签的图像检索精度由原来的0.560提高到0.700。为了有效利用图像产生时所处的上下文信息，我们提出了一种地理感知的图像标签特征。该特征能够同时描述视觉内容本身和图像拍摄时所处的地理位置信息。实验表明，该特征可以作为底层视觉特征的有效补充，显著提高图像标注的精度。为了进一步评估系统有效性，我们参加了多个国际评测，包括ImageCLEF 2013, 2014, 2015 和 TRECVID 2016，并取得好成绩，分别获得 ImageCLEF 2015 图像描述生成任务第1名，ACM Multimedia 2015微软图像搜索挑战赛第1名，TRECVID 2016 Video-to-Text 视频描述任务第1名等。本项目合计发表国际期刊论文6篇，国际会议论文12篇，并获得ACM Multimedia 2016 Grand Challenge Award。本项目推出了名为“看图识物”微信公众号，为普通用户提供实时的图像标注体验。