基于概率生成模型的高维数据变量选择

Variable selection has become one of the core issues in high-dimensional data analysis and modeling. The key idea of variable selection is to implement dimension reduction so that the inference accuracy and the generalization ability of a model can be improved, and the interpretability of the model can also be enhanced. Inspired by the active selective attention in biological cognitive processes and probabilistic generative models in machine learning, this project aims to study variable selection methods by using a probabilistic generative model to randomly generate input data from output data. Specifically, we will develop some efficient learning algorithms for probabilistic generative models containing different types of input data. We will also investigate some probabilistic generative models whose forward and backward connections are asymmetrical. To properly evaluate the relative importance of input variables, some new quantitative indices based on reconstruction error will be devised. In the meantime, an automatic partitioning criterion will be provided to separate important variables from redundant variables. For the proposed algorithms, we will perform their both theoretical and experimental analysis. As a result, the research of this project will provide some accurate, efficient and robust solutions to the variable selection problems associated with high-dimensional data containing high-correlated input variables and large amount of noise in real applications. The results obtained by our preliminary experiments have showed that the research of this project is very promising to provide an efficient variable subset selection method for analyzing high-dimensional data. Moreover, the formulated algorithms are expected to provide novel insights to cope with some real-world problems encountered in the areas of natural science and national economy.

变量选择已成为高维数据分析和建模中的核心问题之一，其主要想法是通过维数约减以提高模型的推断精度和泛化能力，并增强模型的可解释性。受生物认知过程中的主动选择性机制和机器学习领域中的概率生成模型的启发，本项目试图在概率生成模型框架下，以由输出反向随机生成输入数据为出发点，研究高维数据下的变量选择方法，主要包括：(1).对包含不同类型输入变量以及前后向连接不对称的概率生成模型，设计高效的学习算法；(2).对输入变量的相对重要性，基于重构误差给出合理的量化评价指标，为重要变量和冗余变量子集的划分提供自动确定准则；(3).完成所设计算法的理论分析和试验验证，最终为实际应用中的高维、高相关、高噪声情形下的变量选择问题提供准确、高效且稳健的解决办法。我们初期进行的大量数值试验结果表明，本研究可望为高维数据分析提供一个高效的全子集变量选择方法，也将为解决自然科学和国民经济各领域中的同类问题提供新思路。

变量选择是高维数据分析与建模中的核心问题之一，其主要思想是通过维数约减来提高模型的推断精度和泛化能力，并增强模型的可解释性。本项目探索了前后向连接不对称性的网络结构对其性能的影响，在概率生成模型框架下，研究了高维数据下的变量选择方法。项目所取得的成果主要集中在深度生成网络结构的设计、深度概率生成模型的高效学习、相关模型在高维数据的变量选择及实际问题中的应用方面，相关代表性成果简单介绍如下。..在深度概率生成模型的结构设计方面，提出了快速推断预测编码深度模型，高效解决了有监督的图像分类问题。提出了一种改进的Helmholtz机模型，为输入数据学习到了更好的表示。提出了一种高效的基于极端学习机的多模态数据融合表示学习框架，保证了模型的分类精度和效率。..在深度学习模型的高效学习方面，提出了深度信念网的分布式并行学习算法，在保证预测精度的同时，大大提高了计算速度。提出了一种基于流形正则化的广义极端学习机自编码模型GELM-AE，并堆栈了多层深度学习模型，在保证计算效率的同时，提取到了更抽象的特征。..在高维数据的变量选择方面，提出了基于排序策略修剪变量选择集成的新方法，有效提高了现有变量选择集成选中重要变量的准确性。针对高维的logistic回归模型，提出了一种新的基于变分Bayes原理的变量选择方法。针对部分线性变系数空间自回归模型的变量选择问题，提出了惩罚轮廓最小二乘法，同时实现了参数部分中重要变量的识别和非参数回归部分的估计。..在相关模型的实际应用方面，提出了一个Bayes深度矩阵分解网络，达到了更好的图像去噪效果。在可见光与红外图像的融合方面，我们分别提出了基于自编码网络、分层Bayes 模型的融合算法。针对复杂网络的重构，分层Bayes建模框架下，采用变分法对(超)参数进行推断，达到了更好的重构精度和效率。..本项目共发表SCI论文38篇，申请专利1项，培养硕士研究生8名。