超复数变换域下的视觉显著性协同感知计算及其应用研究

Selective attention is an important mechanism of human visual cognition. The study of visual saliency perceptual model which has a collaborative discovery ability to organically combine the two visual attention mechanisms, the generative model and the discrimination model play tow important roles in the visual computing system which has the ability of collabroating the "sense" and "know" to discovery salient object during the procedure of visual perception. The topic is focused on the study on expression and calculation of perceived stimulus in hypercomplex transform domain. Meanwhile, combined with transfer learning and random graph, we explore the feature organization of spatio-temporal visual salient information and an effective ways to calculate semantic association. We will seek the key technology to extract salient feature and the content association in parallel.On that basis, we proppose a new biological plausibility visual saliency perception model via hypercomplex transform domain which takes advantage of probabilistic graph model to generate semantic primitives and discuss the collaborative discovery of salient object. Furthermore, using the salient obejct's semantic primitives, spatio-temporal constraint and combined with the re-ranking,we propose a robust salient content retrieval model.The implementation of this topic will provide a new approach for the "sense" and "know" in the visual perceptual mechanism. Moreover, it will provide the applications such as media visual semantic retrivel with reliable techniques.

选择性注意是人类视觉认知的重要机制。研究具有协同发现能力的显著性视觉感知模型，将生成式和判别式两大视显著性感知机制有机结合，对探索认知过程中具有"感"与"知"协同发现显著目标能力的视觉计算系统具有重要意义。课题旨在围绕视感知激励表达与计算，研究在超复数变换域中表达视注意机制，结合迁移学习及随机图，探索时空视觉信息显著性特征组织和语义关联的有效计算途径，寻求并行提取显著性特征和内容关联的关键技术。在此基础上，进一步研究具有仿生特性的超复数变换域视觉显著性感知检测模型；并利用概率图模型等生成语义基元，探讨显著目标间协同发现的感知模型。同时，利用目标显著性语义基元及时空约束，结合重要性排序，研究鲁棒的显著性内容检索模型。本课题的实施可为显著性感知机制中"感"与"知"提供新的方法，并可为可视媒体内容检索等应用提供可靠技术手段。

在国家自然科学基金委的资助下，课题组仅仅围绕超复数变换域下的视觉显著性协同感知计算与应用展开研究，从六个方面取得了重要进展。在超复数变换域下的仿生视觉显著性感知计算方面，提出了多分辨率下的HDCT的视觉注意力感知模型，以及超复数小波域下的仿生视觉显著性感知算法，同时设计了一种二维二阶超复数Steerable Filter滤波器，可有效的检测显著性方向边界。在视觉显著性检测方面，提出基于超复数幅度谱优化的显著性目标检测方法；以及变换域下的压缩感知的显著性算法，进而提出基于低秩矩阵的图像显著性感知检测算法等。在视觉显著性协同感知计算方面，提出弱监督学习下的视觉协同显著性检测算法以及基于加权低秩分解的协同显著性检测算法；在超复数DCT的场景概略图计算方面，提出基于HDCT的场景概略图计算模型与分类算法，同时基于此提出了一种基于时空特征的互联网视觉图像编辑算法。在超复数变换域下的图像篡改检测方面，提出了基于QDCT域Markov特征的图像Image splicing篡改分类检测算法；进而提出了基于QDCT域的Copy-move篡改图像检测算法。针对目标特征感知弱化问题，提出了基于生成对抗映射网络的特征感知增强算法；进而提出了基于RPN(Region Proposal Network)的伪装色目标特征感知检测算法；以及提出了一种基于协同感知深度神经网络的遮挡目标检测算法。同时建立了相关检测数据集与软件模型。在国内外知名期刊和重要学术会议发表论文34篇，包括Neurocomputing，Pattern Recognition Letters，Multimedia Tools and Applications、西安交通大学学报、计算机辅助设计与图形学学报以及ACPR、ICONIP、ICIC、CCCV等；获得授权发明专利2项，在审发明专利1项。培养博士生3人，硕士生13人。