不对称前向连接和后向连接深度结构模型和深度学习算法研究

Deep architecture and deep learning play a very important role in machine learning, data mining, and brain modeling. There is strong behavioral, cognitive and physiological evidence that the hierarchical organization is a key architectural principle. In this hierarchical deep architecture, the forward and backward connections show both a microstructure and functional asymmetrical distinction. Such an asymmetrical distinction is very important for brain work and is not involved in the existed artificial deep learning model. In this project, We will use three neural computational theories, free-energy principle, Bayesian brain hypothesis, and the principle of efficient coding, that describe the working mechanisms of the brain, to construct a deep learning machine with asymmetrical forward and backward connections, explore different constraints and connection forms on backward connections, construct double-level network and design its fast training algorithms. We will also consider introducing different kind of neurons such as error neurons and representation neurons in the same level, computing a posterior distribution over connection weights and designing the sampling methods. The proposed models and learning algorithms will improve the performance and expand the application scopes of deep learning machines.

深度结构和深度学习在机器学习、数据挖掘、大脑建模等领域起着愈来愈重要的作用。心理行为分析、认知学研究和神经生理实验的大量证据表明，多层级联组织是大脑的一个关键特征。在这种多层级联深度结构中，层与层之间前向连接和后向连接在组织结构和运作方式上存在明显的非对称差异，这种差异对于大脑的有效运作具有不可或缺的重要作用，而现有的深度结构和深度学习方法并未有效考虑这一特征。本项目试图借助近年来提出和发展的三类描述大脑运作机制的神经计算原理和理论：自由能原理、贝叶斯脑假设和有效编码原理，探索在深度机器学习模型中引入前向连接和后向连接不对称性结构，研究后向连接的组织方式和约束条件，构建以双层网为基础学习单元的深度学习方法，研究利用表示神经元和误差神经元分别表述的同层异类网络模型，研究将权重作为随机变量的后验分布学习方法及抽样运作机制。所获结果有望进一步提升深度学习算法性能，拓展其应用范围。

深度学习是一类通过模拟大脑的信息处理机制而搭建的多层人工神经网络，是机器学习领域的研究热点。本项目探索了在深度机器学习模型中引入前向连接和后向连接不对称性结构，通过有效模拟大脑运作机制，提升了深度学习算法性能。本项目所取得的成果主要集中在深度学习网络结构的设计、深度模型的高效学习、深度学习与其他机器学习方法的结合、相关模型在高维数据的变量选择及实际问题中的应用方面，下面对这几方面的代表性成果作简单介绍。..在深度网络结构的设计方面，提出了快速推断预测编码深度模型，高效解决了有监督的图像分类问题。提出了一种新的生成式对抗网Lp-WGAN，有效改善了GAN模型在训练过程中的不稳定性。提出了一种改进的Helmholtz机模型，为输入数据学习到了更好的表示。提出了带水平连接的受限玻尔兹曼机模型，提取了更干净的特征，并达到了更好的分类精度。..在深度学习模型的高效学习方面，提出了深度信念网的一种分布式并行学习算法，在保证原算法预测精度的同时，大大提高了计算速度。提出了一种基于流形正则化的推广的极端学习机自编码模型GELM-AE，并堆栈了多层深度学习模型，在保证计算效率的同时，提取到了更抽象的特征。..在深度学习与其他机器学习方法的结合方面，提出了能进行判别式表示学习的自编码模型，达到了更好的特征提取和分类效果。针对多模态数据的深度学习，提出了一种高效的基于极端学习机的分层融合框架，达到了更好的分类效果。..在高维数据的变量选择方面，提出了基于排序策略修剪变量选择集成的新方法，有效提高了现有变量选择集成选中重要变量的准确性。针对高维的logistic回归模型，提出了一种新的基于变分Bayes原理的变量选择方法。..在深度学习等模型的应用方面，提出了基于稀疏BP训练的前向神经网络预测空气污染浓度的模型，在香港地区的大气污染数据上取得了良好效果。在遥感图像的全色锐化方面，提出了基于卷积稀疏表示的细节增强算法，更好地保持了光谱和空间信息。..本项目共发表SCI论文37篇，培养研究生13名。