视觉注意重定向研究

Visual attention has received intensive research attention in the field of Computer Vision and Computer Graphics, however, most of these researches mainly focus on how to predict the position and intensity of visual attention in the scene, which is known as saliency detection, and there are only a few researches study how to attract visual attention to the target region by modifying the image, which is called visual attention retargeting. Attracting visual attention is the precondition of analysis and understanding of external visual information by the brain, so studying achievements of visual attention retargeting could be applied to tasks such as advertisement design, image enhancement, intelligent human-computer interaction. Most existing visual attention retargeting approaches can only deal with single target region problem with high computation complexity, and the results tend to be unnatural and loss semantic information, besides there are no objective evaluation methods. Considering the problems mentioned above, in this project, we propose research topics as follows: 1.Single target region visual attention retargeting. 2.Multi-target regions visual attention retargeting. 3.Progressive visual attention guiding. 4.Evaluation methods for visual attention retargeting. Through the studies of these research topics, we aim to solve several key scientific problems, such as image semantics and naturalness preserving. The achievements of this project will also promote other image editing works and expand the applications of visual attention retargeting approaches in the practice.

视觉注意是计算机视觉、计算机图形学等领域的研究热点，过去大多数研究主要关注于如何预测场景中视觉注意的位置和强度，即显著性检测；对于如何修改图像从而吸引人们的视觉注意到目标区域的研究相对不足，该问题被称为视觉注意重定向。吸引视觉注意，是外在视觉信息能被大脑进一步分析、理解的前题，视觉注意重定向的研究成果可广泛应用在广告设计、图像增强、智能人机交互等任务中。现有的若干方法大多只能处理单目标区域的视觉注意重定向问题，结果往往丢失语义、不自然，计算复杂度较高并且没有客观的评价方式。本项目针对以上问题，拟开展以下几方面内容的研究：1）单目标区域视觉注意重定向，2）多目标区域视觉注意重定向，3）渐进式视觉注意引导，4）视觉注意重定向的评价方法。在以上内容的研究中，拟解决图像的语义和自然保持等关键科学问题，促进其他图像编辑工作的发展，并拓展视觉注意重定向在实际问题中的应用。

注意力是计算机视觉、机器学习等领域的研究热点。研究注意力主要有三个出发点，一是研究生物的包括人类的视觉注意机制本身，二是在视觉层面模拟这种注意力机制来帮助其他计算机视觉任务，三是研究更抽象的注意力机制来帮助机器学习任务。本项目成果聚焦在第二、三类问题。.第二类问题也被称为显著性检测，目标是预测场景中视觉注意的位置和强度，其预测结果可以用于快速排除场景中无关区域或者直接分割前背景区域。针对该问题我们提出了一种超扩散学习框架，首次全面的对基于扩散的传统显著性检测方法的工作机理做了理论解释，并基于此提出了一种学习框架，可以融合任何特征组成扩散矩阵并学习最优权重，该成果提供了一种高精度高灵活度的显著性检测系统。依赖高精度的显著性检测结果，我们进一步提出了一种图像重定向方法，该方法参考显著性图来学习一种图像变换参数，从而自适应的对图像进行缩放、平移等变换，使重要内容占据可显示区域，该成果可用于手机等小屏幕移动设备的图像自适应显示。.第三类问题中注意力的研究，主要关注于理解当今前沿机器学习方法（如深度学习等）是关注于哪些特征来给出的预测结果，进而提出更高效的操作使不同问题中希望被关注到的内容被神经网络快速捕捉到。这项研究一方面可通过注意力图可视化对深度学习方法的工作机制给出一种解释，一方面还可通过引入注意力使神经网络用更少的资源获得更多的信息来提高性能。针对该问题，我们基于深度神经网络结构，提出了一种级连的自注意力模块来近似一种扩散操作，该模块可以使网络输出依赖全局信息，并在局部语义相似区域更一致。该神经网络适用于图像语义分割任务，可在总参数量大致相当的条件下大幅度提高算法性能。进一步，我们还把注意力首次应用到了三维点云数据的感知任务上，并提出一种双向注意力模块，用于同时处理点云的语义和实例分割，取得了目前领先的指标。.项目主持人总结以上成果进展，以第一作者或通讯作者身份表高水平论文8篇，申请相关专利5项，其中入选ESI高被引2篇。共培养硕士研究生、博士研究生6名、博士后2名。目前，项目成果涉及的数据和代码均已开源，项目初步对注意力机制以及在视觉问题和高效深度学习框架中的应用做了较原创性研究。