前馈型深度神经网络的奇异学习及算法研究

Deep learning is a hot topic in artificial intelligence in recent years, and the research results on the feedforward deep neural networks (DNNs), such as deep convolutional neural networks, deep multilayer percetrons etc., have greatly motivated the development and applications of deep learning technology. However, due to the existence of hidden layer, there are singularities in the parameter space of feedforward DNNs, which cause the learning processes often suffer some problems, including insufficient generalization ability, parameter adjustment difficulty and weak robust ability. There are many important problems remain to be solved. In this project, we aim to investigate the singular learning problem of feedforward DNNs, which mainly includes: 1) the types of singularities will be analyzed in theoretically, and the influence of singularities to the learning processes will be numerically analyzed, where the results can explain the reason of insufficient generalization ability; 2) the mechanism of singular learning behaviors will be investigated and the stability of singularities will be analyzed, where the reason of model parameter adjustment difficulty can be explained; 3) the natural gradient algorithm and model order determination algorithm will be proposed to overcome the influence of singularities, where the weak robust ability problem of traditional algorithms will be solved. Finally, the proposed methods will solve the singular learning problem of feedforward DNNs and will promote the development of deep learning technology.

深度学习是近年来人工智能领域的研究热点，其中对包括深度卷积神经网络、深度感知器神经网络等在内的前馈型深度神经网络的深入研究有效推动了深度学习技术的发展和应用，但前馈型深度神经网络由于具有隐层导致参数空间中存在奇异性区域，会遇到泛化能力不足、参数调节困难、鲁棒稳定性差等奇异学习问题，有关此问题的研究尚有不足。本项目研究前馈型深度神经网络的奇异学习问题，主要研究包括：1).在理论上分析奇异性区域的类型，并通过数值分析研究各类奇异性区域的具体影响，从而在理论上解释模型泛化能力不足的原因；2).对奇异学习行为的发生机理进行研究，给出各类奇异性区域的稳定性分析，从而对模型参数调节困难的原因给出解释分析；3).提出应用于前馈型深度神经网络的自然梯度算法和模型定阶算法来研究克服奇异性区域影响，避免传统算法鲁棒稳定不足的问题。项目的研究成果将解决前馈型深度神经网络的奇异学习问题，促进深度学习技术的发展。

深度学习是近年来人工智能领域的研究热点，其中对包括深度卷积神经网络、深度感知器神经网络等在内的前馈型深度神经网络的深人研究有效推动了深度学习技术的发展和应用，但前馈型深度神经网络由于具有隐层导致参数空间中存在奇异性区域，会遇到泛化能力不足、参数调节困难、鲁棒稳定性差等奇异学习问题，有关此问题的研究尚有不足。本报告对前馈型深度神经网络的奇学习问题进行了研究分析，主要包括以下内容: 1)针对深度感知器神经网络，首 先在理论上对深度感知器神经网络的参数空间中存在的奇异性区域的类型进行了分析，分析得出参数空间中存在两类奇异性区域:重合奇异性区域和零权值奇异性区域，然后基于EEG数据库进行大量仿真实验，通过分析实验结果，可以得出深度感知器神经网络的学习主要受到零权值奇异性区域的影响，而较少的受到重合奇异性区域的影响，而且零权值奇异性区域确实会对深度感知器神经网络的学习过程造成严重的影响，需要进行进一步的研究以克服其影响; 2)由于奇异性区域为Fisher信息阵退化的区域，所以Fisher信息阵在分析前馈型深度神经网络的奇异学习以及设计克服奇异性区域的影响都起着非常重要的作用。本报告针对多层感知器神经网络，首先针对输人服从标准高斯分布的情形，求得了Fisher 信息阵的解析表达式，并验证了结果的有效性，进而推广到输人服从一般高斯分布的情形，求得Fisher信息阵的解析表达式，并通过实验验证了基于该解析表达式设计更好的克服奇异性区域影响的算法的潜力。基于本报告的研究结果，可以对前馈型深度神经网络的奇异学习有了更清晰的认识，并为后面设计克服奇异性区域影响的具有更好性能的神经网络算法奠定了基础。