循环神经网络多模态深度模型联想记忆功能研究

Recurrent neural network with deep architecture (DCNN) owns important scientific value to explore and mimic brain associative memory mechanism. Now deep learning has already revealed brain property of domain layer-wise learning, but this researching of DCNN on associative memory is just beginning, containing many problems to be solved. From a novel aspect of using deep architecture to mimic brain associative memory, this project studies models, principles and optimizations of DCNN. Firstly, we propose a basic multi-layer associative memory model with different inputting, through embedding cascaded shallow recurrent model and layer-wise training method. We advance the associative memory function by introducing chaotic dynamics and chaos control, further research the model complex dynamics experimentally. Secondly, we extend threshold and regularization method, introduce greedy layer-wise un-surpervised learning, and integrate swarm intelligence to optimize network weight learning. Through implementation of the improved associative memory function, we research DCNN applications on the field of image recognition. Our project could explore the memory mechanism of human brain from the aspect of artificial neural network structure, and it would provide methodology and application supports for constructing brain-like information retrieval.

循环神经网络深度模型在模拟人脑联想记忆功能方面具有重要的科学研究意义。当前深度学习已有效地模拟了人脑区域化分层学习的特点，而循环神经网络深度模型研究方兴未艾，仍有大量问题亟待解决。本课题拟从深度模型模拟人脑联想记忆功能的新角度，研究循环神经网络多模态深度模型及其特性。首先，通过将高效的循环神经网络嵌入到深度学习模型，研究面向联想记忆功能的深度循环神经网络的模型构建和结构优化，并通过引入循环神经网络混沌动态，研究深度循环神经网络的混沌特性和混沌控制，形成多模态下深度循环神经网络的特性对比分析；其次，通过拓展阈限定、贪心分层无监督学习、群智能和演化算法融合等方法，微调网络权值，优化提升深度循环神经网络的联想记忆功能，并展开此模型在视频图像分类问题中的应用研究。本课题从研究人工神经网络模型结构和特点的角度探索人脑联想记忆机理，将为类脑的信息检索提供方法和应用支持。

利用人工神经网络实现类似人脑的联想记忆功能，是实现人工智能的重要方法，已经在多个领域展现出广阔的应用前景和重要的研究价值。深度神经网络已在多个领域取得突破，但其联想记忆功能的研究尚存欠缺。深度循环神经网络及其联想记忆功能的深入研究，是当前需求迫切的研究课题，将为人工智能和多媒体领域带来突破性的成果。本课题利用深度模型模拟人脑联想记忆功能，通过图像和文本的多模态结合、动态特性的收敛控制和特征空间的映射指导，取得了零样本学习问题上多项突出成果。首先，利用深度模型联想记忆功能，在特征层次上组合构造未见类样例特征，实现不同类别的样例转化，将无监督零样本分类转化为有监督分类，获得优异的零样本分类结果，为解决跨类别样本数据缺失的分类问题提供了一条有效途径；其次，融合图像和文本，研究多模态和跨模态的映射，形成文本属性指导的跨类别多层映射网络，实现了网络动态的有效控制，为深度模型的控制和应用提供新思路；最后，将非相似表示引入零样本学习问题，提出了利用非相似表示指导网络收敛的深度模型构建的思路和方法，增强了深度模型的收敛控制，为图像分类研究引入新的启发和思路。另外，项目组以本课题提出的深度神经网络模型和其联想记忆的样例构造方法，参加了国际顶级会议的算法竞赛和国际评测，取得了多项评价排名第一的优异成绩，充分体现了模型和算法处于国际领先地位。本课题从网络结构、动态控制和模型应用的角度，构建了适应视频图像的零样本学习问题的深度神经网络模型，探索了在图像和文本的多模态下人脑的联想记忆机理，揭示了视觉特征与属性特征存在的强映射关系，提出了有效的跨模态特征映射模型和方法，为实现类似人脑的信息检索功能提供了强有力的理论和方法支持，将在图像检索、图像分类和图像生成等实际问题上，产生巨大的研究价值和经济价值。