面向变换域的视注意深度学习感知计算及其应用研究

Selective attention is an important mechanism of human visual cognition. Researching the visual attention perception model with deep self-learning ability and combining the frequency domain feature sensing with the biological mechanism with the deep enhanced learning is of great significance for exploring the visual attention-aware computing system with robust learning ability. The project aims to focus on the expression and calculation of visual-awareness-perceived features, study the depth-aware learning perception mechanism guided by the frequency domain, and seek effective modeling of adaptive task-based perceptual attention. Based on this, combined with dynamic Bayesian optimization and depth transfer learning, exploring the target feature feature weakening, visual attention aware feature space adaptive mapping, to find effective methods and key technologies . On this basis, the spatio-temporal constraint of visual attention object features is further studied. In combination with the generation of confrontation learning networks, robust copyrighted visual media content copyright image authentication models are studied. The implementation of this topic can provide a new method for visual-awareness-perception learning mechanism, and provide reliable technical means for the application of visual target-aware feature transfer and visual media content authentication.

选择性注意是人类视觉认知的重要机制。研究具有深度学习能力的视注意感知模型，将具有仿生机制的变换域特征感知与深度增强学习有机结合，对探究具有鲁棒学习能力的视注意感知计算系统具有重要意义。课题旨在围绕视注意感知特征表达与计算，研究在变换域引导下的视注意深度学习感知机制；寻求自适应任务视感知注意的有效建模。在此基础上，结合动态贝叶斯优化及深度迁移学习，探索目标特征弱化情况下，视注意感知下的显著性目标特征空间自适应映射，寻求视觉目标环境感知特征迁移计算有效途径和关键技术。进而研究视注意目标特征时空一致性，结合生成对抗学习网络，研究鲁棒的可视媒体内容版权鉴伪计算模型。本课题的实施可为视注意感知学习机制提供新的方法，并为视觉目标感知特征迁移以及可视媒体内容鉴伪等应用提供可靠技术手段。

在国家自然科学基金委的资助下，课题组紧紧围绕变换域的视注意深度学习感知计算及其应用研究，主要从四个方面取得了重要进展。在变换域下的视注意深度学习感知计算方面，提出了超复数小波变换下深度视感知的注视点检测模型，基于四元数小波变换域和空域特征融合的注视点深度学习预测算法，并引入时空一致性，进一步构建了基于LSTM卷积的视频帧关联特征注视点预测算法；同时利用非欧空间度量和图卷积模型设计实现了动态自适应图模型的显著性目标检测算法；并给出了一种基于全局注意力网络的协同显著性目标检测模型等；在视注意感知特征表达与计算方面，针对视感知特征弱化和小样本学习困难等问题，提出了基于Cycle-GAN的自然场景图像目标材质视觉特征映射算法、基于特征空间统计信息映射的显著性目标自适应隐藏算法，基于迁移学习和可变形卷积FPN乳腺癌检测算法以及深度可变形卷积的FCN胸部X-ray病灶检测算法等多种方法；在变换域下的图像篡改检测、活体人脸检测以及行人识别等应用方面，提出了基于双树复数小波四元数卷积网络的Copy-move盲取证算法、基于超复数小波生成对抗网络的活体人脸检测算法、基于Tiny Module的轻量级活体人脸识别算法以及基于全局解析及局部相关的遮挡行人重识别算法等；最后针对图像视感知质量评价方面，提出了基于概率深度森林的无参考图像质量评价算法和基于概率深度森林的多标签无参考图像质量评价等算法。同时建立了相关检测数据集与软件模型。在国内外知名期刊和重要学术会议发表论文28篇，包括IEEE Transactions on Neural Networks and Learning Systems，IEEE Transactions on Information Forensics and Security，Neurocomputing，Multimedia Tools and Applications、自动化学报、西安交通大学学报以及PRCV，CAC，CCHI等；获得授权发明专利5项，授权软件著作权14项。培养博士生2人，硕士生10人。