信息论学习中的正则化及相关高维数据分析方法的数学理论

Information theoretic learning is a new field combining information theory and learning theory which has been developed for more than a decade.Though the minimum error entropy (MEE) principle has been widely used in various fields, it is lack of strict mathematical analysis. This project is focused on coefficient-based regularization schemes of MEE, MEE in additive model and spatial quantile with multivariate output data. In particular, we will first study asymptotic performances and sparsity of coefficient-based regularization schemes of MEE. MEE in additive models is another scheme for which we will demonstrate its advantages in terms of overcoming the curse of dimensionality. The last topic of our project is to investigate the spatial quantile from learning theory and approximaiton theory point of view. The study of this project will improve the mathematical theory of information theoretic learning and shed light on new theoretical problems in mathematics, design of new algorithms.

信息论学习是最近十几年发展起来的将信息论和机器学习相结合的一个新的研究领域。信息论学习中的最小误差熵准则虽然在很多领域已得到广泛的应用，但目前还缺乏严格的数学分析。本项目围绕最小误差熵的系数正则化算法、最小误差熵准则的可加模型、多变量的空间分位数展开研究。具体来说，对最小误差熵的系数正则化算法进行理论研究和算法分析，并考虑算法的稀疏性；对最小误差熵准则在可加模型下进行统计分析，阐明可加模型在克服维数灾难方面的优势；从学习理论和函数论的角度去理解多变量的空间分位数问题，并给出理论上的分析。本项目的研究将完善信息论学习的数学理论基础，并从中提出数学问题和为设计新的算法提供线索。

该项目将信息论、学习理论、稳健统计等领域结合起来进行交叉研究。对信息论领域的问题从学习理论和稳健统计的角度进行建模、分析，并利用逼近论、经验过程方法、稳健统计方法对以MEE为主的一系列算法进行了深入的数学理论研究。主要包括：(1) 分析了分位数系数正则化算法的相容性，利用Extension定理和Lusin’s定理对基于核函数的正则化算法的相容性条件作了更一般的刻画和推广。(2) 研究了成对学习算法(MEE属于成对学习算法)在概率分布、正则化参数及核函数有扰动的时候算法的全局稳定性，并定量的刻画了此类算法的全局稳定性，给出了算法满足全局稳定性的充分条件，为应用领域的人考察学习算法的稳定性提供了理论依据和判断线索。研究了线性回归框架下的MEE梯度下降算法，给出了该算法的误差分析和收敛速度。上述结果为信息论中的MEE准则及相关学习算法的应用奠定了坚实的理论基础。(3) 结合谱算法和具有稀疏性的经验算法，我们设计了新的谱算法，在该新算法的设计中，过滤函数和阈值函数起着非常重要的作用。我们的主要结果显示该算法不仅具有满意的收敛速度，而且在无需假设目标函数具有稀疏性的前提下拥有较强的稀疏性。我们还研究了分布式的谱算法，在不需要任何噪声条件和任何关于特征函数的假设的情况下，建立了此类算法的误差分析并得到了最优极小极大收敛阶。此类研究结果为分析大数据提供了新的方法和思路。(4) 标注数据的获得耗时耗力，而未标注的数据往往很容易获得，因此我们考虑了将标注数据和未标注数据相结合的半监督学习算法，尤其是研究了基于函数梯度数据和图拉普拉斯学习算法的半监督学习算法，结果显示未标注数据可以提升学习算法的性能，提高收敛速度。该研究结果为未标注数据在学习算法中的应用提供了理论依据。