基于学习的视频关注计算及其在互动视频技术中的应用

互动视频正在成为最具吸引力的一个视频技术发展方向，在网络视频、IPTV以及移动视频（即WIM TV）等宽带/无线网络多媒体应用中有广阔的应用前景。本项目将针对WIM TV互动视频技术所面临的共性基础问题，在已有的机器学习和视频分析等相关工作的基础上，研究基于学习的视频关注计算理论与方法。在方法层面，提出并研究自适应多核学习方法，包括自适应多核分类、多核判别聚类和结构化输出多核学习算法，以解决视频关注计算中多个侧面特征空间的组合学习以及多样化的输出结果问题；在模型层面，研究基于学习的视频关注计算模型与方法，特别是融合时域信息来进行底层"显著"特征提取、潜在显著度预测模式的学习、任务驱动的视频关注模式挖掘以及视频片段的关注区域平滑模型。在此基础上，以视频广告自动关联以及视频内容的自适应裁剪为应用背景，开展关键技术研究和实验验证，为新一代WIM TV互动视频服务提供核心算法与技术。

本项目的目标是研究针对互动视频技术的共性基础问题，研究基于学习的视频关注计算理论与方法。项目执行以来，我们按照任务书的规定开展研究，取得了一系列的成果进展，包括：. （1）针对视频关注计算中类内多样、类间混叠与时序相关问题，提出了多项基于局部化和序列化多核学习方法，包括样本特定的多核学习方法PS-MKL、簇敏感的多核学习方法GS-MKL、类共享的多核学习方法CS-MKL以及序列化多概念多核学习方法SVMSML。相关研究成果发表在IEEE TIP、IEEE TMM、EURASIP JIVP等国际期刊和会议。. （2）将机器学习方法引入到视觉显著建模问题上，系统地提出了基于学习的视觉显著计算模型与方法，包括基于概率多任务学习的视觉显著计算方法、基于代价敏感配对排序学习的视觉显著计算方法、基于多任务排序学习的视觉显著计算方法、以及基于Two-Stage模型双眼融合的立体视觉显著计算模型。相关研究成果发表在IJCV、IEEE TCSVT、IEEE SPL（封面文章）等国际期刊和会议。. （3）在感兴趣对象提取、视频内容自适应关联、视频内容自适应裁剪、视频拷贝检测等方面发明了多项应用关键技术，包括基于互补显著度图的感兴趣对象提取方法、面向用户的视频内容自适应关联方法、视频关注区域轨迹的平滑估计方法、基于互补性多检测器级联和时序金字塔匹配的视频近似拷贝检测方法、利用视觉信息实现人体心率和呼吸率监测的方法等。将相关技术应用于中美百万册数字图书馆，获2010年国家科技进步二等奖；2010年和2011年连续两年在视频领域最权威的TRECVID视频副本检测比赛上取得综合成绩第一。相关研究成果发表在IEEE Computer、IEEE Multimedia等国际期刊和会议。. （4）构建了基于区域的视频显著数据集，开发了视频内容自动关联系统SALAD，为进一步研究提供很好的基准数据集与原型实验平台。. 总体来说，本项目累计发表论文25篇，其中国际期刊论文11篇，包括IJCV论文1篇、IEEE TIP/TCSVT/TMM论文3篇、IEEE Computer/ Multimedia论文3篇、IEEE SPL封面文章1篇、EURASIP JIVP等国际期刊论文3篇；获得国家专利授权1项、申请国际PCT专利2项、申请国家专利5项。因此，各项成果指标均已大幅度超过了任务书的规定。