视频选择性注意机理与语义特征提取

当前，数以亿计存储的视频资源和爆炸式增长的网络视频服务，使得在语义层次上实现视频查询和检索变得越来越重要；视频的自动标注对海量视频内容的监管和安全更有着极为现实的意义，但语义鸿沟使得这种需求矛盾变得日益突出。近年来的研究表明，建立起音视频底层特征与人类高层认知之间的联系能够缩小语义鸿沟，其中一个较有潜力的方法是在底层特征和高层认知之间增加一个语义概念层。但现有算法存在认知模型不够完善、图像内容表示和概念融合不够理想、模型训练不够有效等不足。本项目将深入研究视觉的认知机理，特别是选择性注意和视觉不变性的成因和机制，在此基础上构建新的注意计算模型；根据所得到的注意模型，从显著区域及不变性特征的提取、概念融合、并行训练等方面对跨越语义鸿沟提供一条可行途径。

项目组从事视觉生理心理研究和计算机视觉研究的两方面人员紧密合作，积极寻找学科交叉点，根据项目原定目标，在深入研究视觉认知机理的基础上，对视频内容理解的几个关键问题进行了深入的研究，取得了重要的进展。首先，在视频检索任务导向下，对视觉注意进行了一系列的特定条件下的眼动实验，获得了若干心理学方面的成果；同时建立了首个具有自由观看和有正确和错误指导语3种范式的视频眼动数据集，并筹备将其公开至互联网上，这对推动国内外视觉注意和视频搜索等方面的研究有着积极的作用。其次，在视觉认知机理研究的驱动下，提出了将自下而上和自上而下两通路结合的视觉注意模型引入语义视频搜索框架的新思想和实现方法，实现了自然语言理解、视频内容理解和视频搜索的有机结合；同时提出了几个适合于视频搜索的显著性注意计算模型，例如模拟视觉长期和短期记忆的适用于图像和视频的注意模型，这些模型相较于现有模型更符合眼动仪记录的真实的眼动数据。连续2年在TRECVID视频搜索任务的国际评测中检验了所提框架和方法的有效性，其搜索准确率的逐年上升并达到与文字检索可以相比较的程度，显示了所提方法具备一定的突破当前语义视频搜索技术瓶颈的潜力。最后，除了视频分析所涉及的视觉注意，在语义概念提取、目标检测、以及多媒体协同处理等方面也进行了研究，并提出了一系列新的或改进的算法，尤其在特征稀疏表达方面取得了若干有益的研究成果。本项目共计在“心理学报”等心理学刊物上发表论文3篇，在 IEEE Trans. 发表论文1篇、其他 SCI/EI 刊物 4 篇、ICPR、ICIP、ICME、ACM MM、BTAS等重要国际会议11篇、其他 EI 国际会议 24 篇。