基于视频内容重组的显示适配技术研究

With the trend of personalized video consumption, mobile device has become an important approach to consume video information. Video retargeting automatically adapt video content to satisfy the display requirements of different devices. In this project, we focus on the key problem of constructing the novel video organization to automatically support different display requirements. We extract three problems from the key problem, including content-aware representation, user perception driven adaptation strategy, and incremental transmission of adaptation result. To these problems, we will research on curved quadrangular prism based video representation, multiple energy maps and quality evaluation guided video adaptation, and incremental video transmission with separated video content and location information as the solutions. We will also build a prototype system to verify the research achievements, and solve the key technical barriers in the promotion of video retargeting application. The project will acquire the breakthrough in video content organization for retargeting, and promote the development of video retargeting and other related research topics. The research achievements can serve Three-Network Convergence and other digital content industry, improve the service quality of personalized video consumption, and have great social and economic benefits and application prospects.

随着个性化视频消费成为趋势，移动设备逐步成为观看视频的重要途径。视频显示适配技术通过自动改编视频内容来适应不同设备的显示需求。本项目紧扣视频显示适配中构建自动支持不同显示需求的视频内容组织形式这一关键科学问题，凝炼出内容相关的表示方式、用户感知驱动的改编策略和增量式的改编结果传输方案三项研究内容，重点研究基于曲面四棱柱的视频内容表示、多能量模板和质量评估指导的视频内容改编和内容与位置信息分离的增量式视频内容传输作为解决方案，并通过建设原型系统来验证研究成果，解决实用化推广中的关键技术障碍。本项目将会在面向显示适配的视频内容组织形式上取得突破，推动视频显示适配和相关研究领域的发展。本项目的研究成果可以服务于三网融合等数字内容产业需求，提高个性化视频消费的服务质量，具有很大的社会经济效益和推广应用前景。

项目组成员在国家自然科学基金青年项目“基于视频内容重组的显示适配技术研究（61202320）”的研究资助下，重点围绕显示设备屏幕多样化下的视频内容自适应适配问题，视频显示适配的关键技术研究、整体解决方案构建与验证及其相关领域的推广应用开展研究。项目组成员对深度、位置等因素在显著性分析中的作用进行了全面分析，提出了基于深度、位置、多特征融合的一系列显著物体检测方法，并采用自适应三阈值优化显著物体分割效果；在此基础上，项目组成员将视频帧内容改编规约为区域变形和遮挡的优化求解来减少适配结果中的人工处理痕迹，并通过基于软匹配的物体跟踪来提升整个视频显示适配结果的时空一致性。基于上述视频显示适配关键技术研究，项目组成员将显示适配方法和显示适配结果的质量评估相结合，以期提供视频显示适配处理的整体解决方案，提出了基于多标注多示例学习的适配方法自动选择机制和质量评估指导下的多种显示适配方法融合策略，并在原型系统验证中取得较好的适配效果。此外，项目组成员还积极对视频显示适配中的关键技术进行推广运用，在视频深度估计、物体位置预估、立体图像交互式分割、立体物体检索等方面取得了一系列的研究进展。项目研究成果发表于多媒体和计算机视觉领域的高水平刊物，包括ICCV、ICME、ICIP等会议和SPIC、MTAP、MMSJ等期刊，共计20篇（SCIE检索3篇，EI检索16篇），并有2篇论文分别获得国际会议ICIMCS 2014和PCM 2015的最佳论文提名奖。项目组成员还申请国家发明专利3项，登记软件著作权1项。