视频广告监播中的跨媒体分析理论与技术研究

电视广告在人们日常生活的信息传递中占据着重要的角色，正越来越潜移默化地影响着人们生活。开展高效、可伸缩的电视广告智能监播技术研究具有重要的理论意义与多层次的实际应用需求。认知神经心理学研究表明，人脑的认知过程呈现出"跨媒体"的特性，即，来自视觉、听觉等多态感官信息之间无意识和自动的相互刺激、共同作用而产生最终的认知结果。本课题旨在跨媒体多态分析的统一框架下，从跨媒体多态认知角度并结合机器学习理论，充分挖掘电视广告中所蕴含的多态（视觉、音频及文本）特性，实现对视频广告这一特定对象的深层次语义理解；对其中涉及的广告自动检测、独立广告分割、广告重复检测与识别及广告的自动分类与标注等关键科学问题，进行深入研究，在关键技术上取得进展，完成电视广告的智能监播任务。研究成果能够为广电行业的监播计需求提供理论与技术支撑。

电视广告在人们日常生活的信息传递中占据着重要的角色。开展高效的电视广告智能监播技术研究具有重要的理论意义与应用价值。认知神经心理学研究表明，人脑的认知过程呈现出“跨媒体”特性。本课题旨在跨媒体分析的统一框架下，从多态认知角度并结合机器学习理论，充分挖掘电视广告中所蕴含的跨媒体（视觉、音频及文本）特性。通过对所涉及的视频广告自动检测、独立广告分割、广告识别、及广告分类等问题进行深入研究，实现对视频广告这一特定对象的深层次语义理解，从而完成电视广告的智能监播的任务。课题研究工作的主要贡献点包括：1）在跨媒体理论分析方面，提出了一种基于共享子空间的跨媒体分析方法，构建了异构底层特征空间、中层高维同构特征空间、高层共享语义空间的层次化统一模型，实现跨媒体语义的一致性挖掘；2）在视频广告自动检测与分割方面，通过对视频广告的跨媒体特性的分析，提出了一种基于视觉、音频、文本模态交互融合的视频广告段落自动检测方法，并结合人类的视觉特性，利用时空一致性实现广告段落中独立广告的自动分割； 3）在视频广告识别方面，提出了基于网络搜索与商标匹配的视频广告识别方法，通过把视频广告标识看作显著性目标，并结合层次化匹配技术实现视频广告的自动快速识别；4）在视频广告分类方面，提出一种基于稀疏视觉词包描述的广告语义分类方法。通过在不同类别广告中蕴含的语义信息与稀疏视觉词包描述之间建立潜在的映射关系，实现对广告语义内容的分类。相关研究成果在重要国际杂志TMM、TKDE、TNNLS、 Image and Vision Computing 、Information Science等，以及 Multimedia、 ICME等本领域高级别学术会议上发表学术论文23篇（SCI检索8篇），一篇论文入选国际会议ICME2013最佳候选论文；申请发明专利2项；构建了一个目前国内外最大的视频广告数据库。在人才培养方面，课题负责人入选教育部新世纪优秀人才计划，指导的博士生获得2015年度中国人工智能学会优秀博士学位论提提名奖，5名硕士生获得北京交通大学优秀硕士论文。在国际学术交流方面，课题组在IIH-MSP2013国际会议上组织了有关跨媒体计算的专题研讨。 经过课题组全体成员的团结协作，课题取得了丰富研究成果，圆满地完成了项目任书中的研究任务。部分研究成果为针对其他特定对象的视频监播需求提供理论与技术支撑。