基于视效认知可计算建模的内容敏感可视媒体重定向研究

Context-aware visual media retargeting is becoming one of the research focuses in the field of graphics and image processing and digital media in recent years. However, few works focus on qualitatively and quantitatively evaluating the quality of retargeted media and are consistent with the user's visual perception evaluation, thus visual media processing results are less than ideal. If we can build a computable model to assess the visual effects of retargeted media to guide visual media retargeting and effectively capture visual saliency, we will achieve optimal retargeting results. In this proposal, we propose a method of internet-based extracting visual media semantic information, and analyze visual saliency through extracted semantic knowledge and identify important visual content in line with the actual semantics of the media. For media retargeting, we explore the users’ evaluation mechanism on visual effects of retargeted image and video, and build a computable model to assess the visual effects of image and video based on a priori statistical knowledge. We establish a media retargeting mechanism based on the computable cognition of visual effects, and propose image and video retargeting methods based on computable cognition of visual effects. Research progress and breakthroughs in this proposal will provide theoretical results and algorithm basis for the practical application of context-aware visual media retargeting, and promote smart and efficient processing of visual media and faster development of digital content industry. This research has important scientific significance and application value.

内容敏感可视媒体重定向研究近年来正成为图形图像处理、数字媒体领域的研究热点之一。但目前在定性和定量评估重定向结果的质量方面，尚未有行之有效的、符合用户视觉感知评价的方法，致使可视媒体处理结果不甚理想。如果构建可视媒体视效评估的可计算模型指导媒体处理过程，并有效捕捉媒体敏感内容，将使处理结果得到优化。本项目提出基于互联网搜索的可视媒体语义获取方法，并利用语义分析媒体视觉内容，捕捉符合媒体真实语义的敏感视觉内容；针对内容敏感可视媒体重定向，研究用户对图像和视频视觉效果的评价机制，提出并构建基于统计先验的图像和视频视效评估可计算模型；建立基于视效评估的重定向机制，研究基于视效认知可计算的图像与视频重定向方法。相关研究的进展和突破不仅有望为内容敏感可视媒体重定向应用提供理论成果、算法基础，也可望推动可视媒体智能高效处理并促进数字内容产业更快发展，项目研究具有重要的科学意义和应用价值。

本项目主要围绕内容敏感的可视媒体重定向的理论与方法、关键技术展开研究，获得如下主要研究成果。1）针对可视媒体内容敏感化处理，采用Sobel边缘检测算法和全分辨率频域调制FT算法分别计算图像梯度和检测视觉显著度，基于图像梯度和视觉显著度相结合生成媒体内容的重要度图；针对一些特定环境光线下的图像，提出了检测和分析有关视觉显著区域的方法。2）针对可视媒体视效认知可计算建模，提出了面向图像重定向的带有视觉显著区域变形检测的图像相似性度量方法，解决尺度可变的重定向图像与原始图像之间的相似性度量问题，构建评估重定向图像的可计算模型；提出了基于形状上下文的图像相似性度量方法，初步构建基于统计先验的图像视效评估的可计算模型，建立用户对可视媒体视觉效果的评价机制。3）针对内容敏感可视媒体重定向，提出了基于图像相似性度量的内容敏感图像重定向方法；结合视觉效果的初步评估，提出了基于视效评估的内容敏感图像重定向方法；并提出了一种改进的线裁剪内容敏感图像重定向方法。项目发表了8篇高水平学术论文，申请国家发明专利2项、其中授权1项，获得软件著作权2项，获得3项科技奖励、其中1项省级三等奖，培养了4名研究生。