基于视觉显著与多核学习的图像标注与重排序技术研究

互联网和各种用户设备上的图像数据正在呈现爆炸增长的态势，如何自动、快速、准确地理解和使用海量的图像数据是多媒体领域的一项重要研究课题。这一领域的主要难点和技术瓶颈在于特征的有效表示、鲁棒的学习方法以及友善的检索技术等方面，研究现状距离用户的视觉感知和实际需求还有较大的差距。因此本项目将根据视觉感知机理提取符合用户视觉特性和图像内容特性的显著性特征，并结合半监督多核学习方法，对图像进行高效语义标注，同时研究联合多种上下文信息的图像重排序算法。本项目预期发表15 篇以上高质量的学术论文，申请4项以上专利，并基于百万级图像数据库实现面向海量多媒体服务的图像标注与检索原型验证系统。本项目的实施，将对图像处理与检索的基础理论与技术的研究起到推动作用，为新一代网络多媒体信息服务提供核心算法与技术，更好的满足海量多媒体网络环境下的用户需求。

课题执行三年以来，我们按照项目任务书的规定开展研究与开发工作，取得了一系列的研究进展。在视觉显著性分析方面，建立了以区域为基本感知单元的时空显著度计算模型，提出了融合信息量与对比度两方面线索的空间关注分析方法，在特征提取方面，建立了基于显著视觉组合的视觉单词生成算法，将视觉单词本身的相对位置属性和方向属性结合起来，形成了一种融合了视觉信息和结构信息的超局部描述。相关工作发表在IEEE Transactions on Multimedia，Multimedia System等国际期刊上。在面向图像标注的机器学习方面，提出了多层次的语义概率分布描述方法；提出了可扩展的多核半监督学习方法和迁移性Boost学习方法，利用多信息融合的思路，克服了数据噪声对机器学习模型的不良作用，从而可以更好的实现多种基于显著性特征的模式学习。相关工作发表在IEEE Transactions on Multimedia，IEEE Transactions on Image Processing，CVPR等国际期刊上。在图像的检索与排序方面，提出了基于显著性指导的局部相似匹配方法，通过显著性丰富区域的提取及特征稀疏编码方法，实现了基于相对显著排序限制的相似度计算，并通过基于显著位置的索引技术实现了高效检索，研究提出了基于位置和方向一致性图匹配的图像检索方法，通过匹配的局部特征点对作为图的节点，图的边缘通过特征点的方向和位置信息进行计算，并利用密集子图计算方法计算图像的相似性。在这些工作的基础上，开发了图像检索与智能服务系统，实现了面向移动终端和桌面平台的图像搜索服务。相关工作发表在IEEE Transactions on Multimedia，IEEE Multimedia Magazine等期刊上。.在项目执行期间，课题组累计发表论文26篇，申请专利4 项。国际论文7篇，其中3篇发表在IEEE Transactions on Multimedia上。此外，项目组还获得了ACM ICMR2013 Best Demo Award，ImageCLEF Robot Vision竞赛的冠军、中国计算机学会科学技术奖等奖项。项目负责人还获得国家自然科学基金委优秀青年科学基金支持，获得中国科学院卢嘉锡青年人才奖。