基于随机投影的学习算法及其应用

High-dimensional data processing is one of the major challenges in machine learning, which restricts the development of machine intelligence technology. Classical learning methods perform poorly on high-dimensional data, and some problems are difficult to solve. In recent years, dimension reduction in learning algorithm attracts many attention, and the related theoretical basis needs further study and improvement. This project studies error analysis and learning rate of algorithm based on random projection from the viewpoint of approximation theory and method. The contents include: analyzing the relationship between the properties of random projection and the sparse learning algorithms; revealing the sparseness of high-dimensional data; exploring the generalization ability and excess error estimation of regularized learning algorithm and ensemble learning algorithm based on random projection. The project aims to provide the general framework of error estimation of random projection learning algorithm by using approximation theory, random matrix analysis, statistical learning and compress sensing. The application of random projection learning methods reveals the microstructure of materials and opens up new directions for the application of learning theory in material science.

高维数据处理是机器学习面临的重大挑战，是制约机器智能技术发展的瓶颈之一。许多经典学习方法在处理高维数据上表现不佳，存在着难以解决的困难。近年来，基于维数约减的学习方法受到广泛关注，与之相关的理论基础有待进一步深入研究和完善。本项目运用逼近论思想和方法研究基于随机投影的学习算法的误差分析和学习率。内容包括：分析随机投影性质和学习算法稀疏性的关系，揭示高维数据的稀疏性等特征。探索随机投影正则化学习算法和随机投影集成学习算法的推广能力和过量误差估计。融合逼近论、随机矩阵分析、统计学习理论和压缩感知的相关理论和方法，建立随机投影学习算法误差估计的一般框架，发展机器学习的数学理论，拓宽学习理论的应用范围。应用随机投影学习方法，揭示材料的微观组织结构，开拓学习理论在材料科学领域应用研究的新方向。

数据体量和高维数据问题成为机器学习所面临的主要挑战。尤其在科学研究和系统模拟及工程设计等领域，我们经常会遇到高维数据。通过分析目标函数的结构特征，研究了基于高维数据学习算法的基本逼近性质及收敛率，取得了一系列理论和应用研究结果。将理论研究成果应用于界面微观组织优化等材料领域实际问题，得到了有意义的应用研究结果。部分研究成果发表在国际知名学术期刊。主要研究进展和阶段性成果小结如下：1.研究了分布式排序算法的正则化回归模型，并给出了该算法的推广误差分析。在分布式学习策略下，我们提出的算法计算更灵活，可以处理大数据的排序工作。 2.研究了基于幅度保持排序算法的正则化回归模型，通过利用算子的表示定理和逼近理论，分析了算法的一致性，并建立了相应的收敛速度估计。模拟实验结果验证了算法的实用性和有效性。 3.研究了基于pinball损失的稀疏可加算法，对于决策边界的噪声，该算法使模型更加鲁棒。4. 针对双金属复合管界面微观组织及缺陷复杂的问题，建立界面微观组织及缺陷本征信息的模式识别和定量分析技术。5.通过分析双金属复合管界面微观组织的几何参数，设计图像降维和信息融合算法，并将其应用于界面微观组织及缺陷的高维参数的信息中。