深度神经网络的学习理论

In the era of big data, large-scale,real-time and complicated data present urgent challenges for machine learning. The success of deep learning in real world applications makes deep learning be a feasible approach to handle big data. However, there lacks rigorous theoretical guarantee to support its feasibility. This project aims at studying the intrinsic mechanism and essential reason for the success of deep learning such that deep neural networks can be comprehensively applied. For this purpose, we will firstly verifying the necessity of depth in deep learning. Secondly, we focus on the relation between the structure and learning performance of deep neural networks. Thirdly, we devote to designing learning algorithms exclusive for deep neural networks with convergence justification. At last, we derive the generalization error bounds for deep learning algorithms.

在大数据时代，海量、实时、复杂的数据资源给机器学习带来了巨大挑战。在众多应用领域中, 深度学习能够高效地处理大数据, 充分挖掘数据的潜能, 并取得了巨大的成功。 然而深度学习的可行性缺少严格的理论证明。本项目拟在统计学习理论的框架下探究深度学习成功的本质原因，以期使深度神经网络能得到更准确、更广泛地应用。本项目的主要内容包括：第一、探索深度神经网络中深度的必要性；第二、研究深度学习中网络结构对学习性能的影响；第三、设计具有收敛性保证的深度学习算法；第四、导出深度学习算法的泛化误差估计。

扣紧研究计划，项目组对深度神经网络的学习理论做了深入的研究。在该项目的资助下，项目组在统计学习理论的框架下探究深度学习成功的本质原因，以期深度神经网络能得到更准确、更广泛地应用。截至2022年12月，本项目的所有预期计划均已顺利完成，即第一、建立了验证深度必要性统一理论分析框架；寻二、导出了卷积神经网络的万有一致性并导出稀疏连接网络的深度与宽度平衡问题；第三、面对深度sigmoid网络，设计了相应的ADMM算法；第四、导出了适用于多种深度神经网络的覆盖数估计并导出了相应的集中不等式。这些成果对深度学习提供了理论支撑、算法设计指南及相关应用的方向性指导。