视频概念标注方法及其在视频语义检索中的应用

人类高层语义和计算机底层特征表示的矛盾，即"语义鸿沟"问题，是计算机视觉和多媒体领域的难点问题，具有重大的研究和应用价值。语义概念标注是目前研究上述问题的主要方法，尽管已经有了很多相关研究，但存在的问题在于：如何提高视频概念标注的准确性，和如何应用概念标注来研究视频语义检索。本项目研究了这两个问题：在语义概念标注上，我们研究了样本不平衡学习和概念上下文关系；在视频概念标注的应用上，我们研究了视频检索的两个关键应用：视频片断检索和视频镜头检索。我们已参加了2009年的国际权威评测TRECVID，在视频概念标注任务上获3个第一和1个第二；在镜头搜索任务上获1个第一和1个第二。基于已有技术积累，本项目有望在视频"语义鸿沟"问题上取得进展。这样不仅可以为目前视频语义分析和检索的难题提供有价值的思路和方法，而且也将在计算机智能化方面取得进展，使得计算机能够根据人类的高层语义来管理和检索视频。

人类高层语义和计算机底层特征表示的矛盾，即"语义鸿沟"问题，是计算机视觉和多媒体领域的难点问题，具有重大的研究和应用价值。语义概念标注是目前研究上述问题的主要方法，尽管已经有了很多相关研究，但存在的问题在于：如何提高视频概念标注的准确性，和如何应用概念标注来研究视频语义检索。本项目研究了这两个问题：在视频语义概念标注上，从视觉表示优化和视频概念标注优化两方面进行研究，在视觉表示优化方面研究了基于语义稀疏编码的优化、基于空间上下文的优化和基于结构稀疏表示的视觉潜在语义分析，在视频概念标注优化方面研究了基于语义上下文和视觉上下文的优化；在视频概念标注的应用上，研究了视频检索的两个关键应用：视频片断检索和视频镜头检索。此外，本项目也研究了基于图的约束传递算法和跨媒体检索。在基于图的约束传递算法上，我们将约束传递问题转化为一系列基于图的标签传递子问题；在跨媒体检索上，研究了基于稀疏和半监督图规约的跨媒体统一表示和基于联合图规约的异构媒体度量学习算法。. 依托上述研究成果，2012年本课题组（PKU-ICST）参加了由美国国家标准技术局NIST组织实施的视频检索领域的权威国际评测TRECVID，在Known-Item Search（KIS）比赛和Instance Search（INS）比赛的全部4大评测，获得4项第一名。TRECVID 2012KIS比赛和INS比赛的参赛队伍包括斯坦福大学、哥伦比亚大学、IBM Watson研究中心、加州大学圣塔芭芭拉分校、阿姆斯特丹大学、日本国立情报学研究所(NII)、北京大学、清华大学等国内外著名机构，最终27个队伍提交了118个参赛结果。在论文及专利上，依托本项目共发表学术论文35篇，其中SCI索引7篇，EI索引24篇，ISTP索引4篇，包括顶级国际期刊和国际会议的14篇长文，它们是IJCV，TIP，PR，TCSVT，TMM，ICCV，CVPR，ACM-MM，IJCAI，AAAI。获授权发明专利1项。在获奖及应用上，面向多种终端的大型网络视频系统关键技术及应用获2011年教育部科技进步二等奖，部分使用了本项目的研究成果。自主研发的多媒体搜索与监管系统在大连举办的2012年第九届中国计算机大会参展，目前已在中国教育电视台、外交部等单位进行实际应用，具有很好的市场应用前景。