基于多源影像的显著性检测及其在图像缩放中的应用

The selective mechanism of human being makes it possible for highly efficient information processing. It also inspires the researchers from computer vision field to take this phenomenon into consideration in their research. To tackle the selective mechanism in computer vision, saliency detection is the primary form. Though traditional methods can achieve great success in certain situations, there are still problems to be solved. For example, not all effective clues are utilized in the procedure; the data representation does not well reflect the visual attention mechanism, and the defined models lack learning ability. Based on these considerations, this project aims to conduct research on saliency detection from different aspects. The paradigm relies on multi-source images, with tensor based representation and machine learning techniques. At the same time, the results of saliency detection are applied in image resizing to obtain high quality resized targets. We hope that a systematic solution can be obtained from multi-source images and the related conclusion can enrich the theory of computer vision. It is also a meaningful attempt for modeling human attention mechanism.

人类的视觉注意机制使得高效的信息处理成为可能，同时也启发了计算机视觉的研究者们从注意机制的角度另辟蹊径。图像显著性检测正是视觉注意机制在计算机视觉研究中的主要体现形式。尽管传统的显著性检测算法在很多场合取得了令人满意的结果，但仍然存在一些问题，主要体现在：在显著性计算中有效信息利用不足，数据表达方式并不能很好地反映人类视觉特性，以及所定义的模型缺乏自主学习能力。针对上述问题，本项目拟基于多源影像，采用张量的数据表达方式和机器学习的方法对显著性检测进行深入研究。同时，将显著性检测的结果应用于高质量的图像缩放中。希望通过本项目的研究能从多源影像的角度对显著性检测给出一个系统级的解决方案，为丰富和发展计算机视觉理论做出积极的贡献，为人类视觉注意机制建模进行有益的尝试。

显著性检测在图像处理和计算机视觉领域得到了广泛的关注。但是现有的算法大多从可见光影像出发，较少考虑其它源信息。本项目采用多源影像数据，以张量特征提取为基础，针对多源影像的显著性检测和基于显著性的高质量图像缩放等关键问题展开研究。代表性成果有：.一、多源影像的显著性检测.（1）为了克服传统方法需要对全局或局部进行分布假设的局限性，通过构建统一的中心-周边差异滤波框架，采用1比特变换技术实现高阶差异的二值化，统计待测像元相对其周边邻域的过零量，从而实现快速空域显著性目标检测。.（2）针对高光谱谱域信息存在的高冗余特性，通过构建新的双光谱角算子，在双聚类过程中引入背景信息，并提出一种基于整体的表达策略，选择出具有代表性的谱段，实现谱域显著性信息的有效检测。.（3）为了提高显著性事件检测算法的数据适应能力，利用粒子间作用力进行个体之间结构上下文运动关系度量，构建出人群结构上下文描述子，同时利用3D-DCT方法进行多目标关联并根据关联到的个体在时间上的SCD变化，实现视频中显著性事件的检测。.二、基于显著性的高质量图像缩放.（1）为了更好地保护图像缩放中显著性区域的视觉质量，本项目从矩阵分解的角度出发，假设图像中显著物体的稀疏性，并结合了特征表达，从矩阵分解的层面来理解视觉的注意机制，从而保证缩小图像的高质量特性。.（2）为了提高缩放图像的细节质量，通过构建视频中小区域与大区域块之间的变换关系，学习一个可以保持视频质量的放大模型。利用显著性检测结果指导视频放大区域的检测、定位，同时确定局部的放大特性，最终完成视频的整体放大。.三、主要学术成果 .发表学术论文46篇（29篇SCI，17篇EI），申请专利17项，培养研究生10名（2名博士已毕业，3名博士与5名硕士在读），参加国际会议9次（1篇论文获最佳论文奖，1篇获最佳论文提名），担任国际知名会议程序委员会委员70余次。