基于注意力选择的卷积神经网络仿生正则化及其应用

Regularization techniques are widely used in machine learning tasks and models to avoid over-fitting and improve the generalization ability of the models. From the point of view of brain-inspired idea, with pulse coupled neural network based attention selection this project will research on convolutional neural network based regularization thoroughly and systematically, and introduce a new approach to brain inspired regularization using convolutional neural network. When input signals are images or videos, the brain-inspired regularization model based on convolutional neural network model adopts pulse coupled neural network based visual attention selection model with topological perception theory in its convolutional and the pooling layers，which can reduce noise and time consuming, and improve its computing efficiency and generalization ability. When the input signals are texts, firstly texts are changed into images. Then using pulse coupled neural network obtains their regions of interest, on which convolutional neural network regularization is based. Convolutional neural network using brain-inspired regularization will be used for image classification, object recognition, target tracking, visual attention saliency extraction, opinion mining, sentiment analysis, text classification, and so on.

正则化技术广泛应用于机器学习中的各种任务和模型，以避免过拟合并提高模型的泛化能力。本课题从仿生角度出发，拟结合基于脉冲耦合神经网络的注意力选择，对卷积神经网络正则化展开深入而系统的研究, 提出卷积神经网络仿生正则化新方法。当卷积神经网络的输入为图像或视频，仿生正则化时，拟在其卷积层和池化层采用结合拓扑知觉理论的脉冲耦合神经网络视觉注意力选择模型，这可以减少噪声干扰及运算时间、提高计算效率及模型的泛化能力。当卷积神经网络的的输入为文本，仿生正则化时，拟将文本特征转换为图像，接着采用脉冲耦合神经网络得到注意力聚焦区域(即感兴趣区域),据此对卷积神经网络进行正则化。采用该正则化技术的卷积神经网络将被用于图像分类、目标识别、跟踪、视觉注意力显著图提取、用户观点挖掘、情感分析、文本分类等方面。

从注意力选择角度出发，对基于卷积神经网络的深度网络的仿生正则化展开了深入而系统的研究。深度神经网络的仿生正则化研究中, 本项目组采用了基于拓扑性质知觉理论的注意力选择，空间注意力选择及通道注意力选择，自注意力选择这三种注意力引入方式。如何有效地在深度神经网络中引入注意力选择，这和具体的应用密切相关。建模过程中，综合运用这三种注意力选择方式可增强注意力选择效果，进而提高模型的总体性能。研究表明具有认知科学基础的“基于拓扑性质知觉理论的注意力选择”可有效地增强“空间注意力选择及通道注意力选择”中的空间注意力选择，从而提高综合的注意力选择效果；“自注意力选择”擅长捕捉数据或特征的内部相关性，可减少外部噪声对“空间注意力选择及通道注意力选择”干扰，增强注意力选择的鲁棒性；“空间注意力选择及通道注意力选择”使得“基于拓扑性质知觉理论的注意力选择”和 “自注意力选择”可以在更多的不同任务中发挥作用。建模研究中的消融实验表明本项目组提出的模型中，注意力选择对于模型总体性能的提升起到了重要的作用。本项目组从基于注意力选择的仿生正则化理论出发，针对不同任务提出了多种模型，可应用于显著目标检测、行人检测、目标跟踪、自然场景文字检测、图像超分辨率、基于内容的图像检索、视频定位、跨模态检索、图像理解、图像生成等方面。