基于上下文隐式概念模型的图像与视频分类研究

海量多媒体内容管理是当前计算机领域的研究热点，而图像与视频的分类是多媒体内容管理的关键技术之一。本项目旨在研究图像与视频分类问题中的隐式语义概念学习方法。通过深入分析和借鉴文本分析中经典的隐式概念模型，结合图像与视频分类问题，提出新的隐式概念学习模型。具体而言，主要拟开展以下三个方面的研究工作。第一，克服传统词袋描述方法不具有空间-时间信息的不足，研究具有时间-空间信息的多层次语义概念的描述方式；第二，分析潜在概念空间的几何拓扑结构，引入局部结构保留方法等流形学习方法，克服传统隐式模型对概念间关系描述的不足；第三，充分挖掘图像与视频的上下文信息，分析图像与视频之间的关联，融合概念间的语义关系，建立新的基于上下文的隐式模型，并为图像与视频的语义分析和分类服务。

在本自然科学基金项目的支持下，我们探索和研究了利用隐式概念模型解决图像分类问题中存在的若干关键问题，重点研究了图像语义概念描述、隐式概念模型、空间上下文信息等图像/视频分类理论与方法，克服了一些难点问题，取得了较好的成果。具体而言，本项目提出了一种在弱监督设置下联合进行图像分割和图像区域标注的方法；提出了一个新的隐式概念模型来进行图像的语义表示；提出了一种改进的稀疏隐式概念模型，并在监控视频上得到验证；提出了一种序列扩展学习的方法来实现图像语义属性的扩展和紧致描述；提出了一直局部上下文内容信息表示图像局部内容之间的关系信息，有效提高了图像分类的性能。迄今为止，项目组成员共发表论文36篇，包括15篇国际杂志论文和21篇国际会议论文，其中有6篇论文发表本领域顶级IEEE/ACM会刊上，以及8篇CVPR、ACM Multimedia、WWW、CIKM等国际顶级会议论文。在项目的资助下，项目组成员积极开展国际学术交流，先后有5人次参加国际学术会议。总体来看，我们按照预定计划研究了各项主要研究内容，研究成果达到了预期指标，实现了预期目标。