含潜变量图模型的参数学习和结构学习

In recent years, graphical models have become one of very important tools to describe dependent patterns of variables in statistics. However, for some problems, graphical models with only observed variables have high complexity and their interpretation is weak. In fact, the addition of latent variables in graphical model not only describes background knowledge clearly, but also depicts the mechanism of random; and can reduce the complexity and simplify the model such that the model has better interpretation. Therefore, graphical models with latent variables are widely used in various fields. But with the increase in the number of variables, the methods for parameter learning and structure learning in graphical models with latent variables involve difficulties: high complexity, slow computing speed, lack of consistency proof, and obscure conditions. In this project, we will propose a fast procedure to reduce the complexity for computing maximum likelihood estimation; and we propose an efficient sampling strategy and develop MCMC methods with convergence for Bayesian estimation by applying conditional independences in graph structure. For the structure learning problem, we will study the identification condition of the parsimonious model; and we give corresponding discriminate algorithm. By decomposition and local learning strategies, we will propose structural learning algorithms with the low complexity, good interpretation and convergence.

近年来，图模型已成为统计学中刻画变量间相依性的一类非常重要的模型。但对于某些问题，仅含观测变量的图模型复杂度较高，解释性不强。事实上，在图模型中恰当地引入潜变量，不仅可清晰地描述背景知识，刻画随机性产生的机制；而且能简化模型降低复杂度，使模型有更好的解释性。因此，含潜变量的图模型被广泛应用于各个领域。但随着变量个数的增加，含潜变量图模型的参数学习和结构学习方法，要么复杂度高、计算速度慢，要么缺乏相合性的证明，或者假设条件比较晦涩不利于实际应用者判断。本项目将利用图模型的结构信息所蕴含的条件独立关系，给出快速算法，降低求极大似然估计的复杂度；设计高效抽样策略，构造具有收敛性的MCMC方法，求参数的贝叶斯估计。针对结构学习问题，我们将研究含潜变量的图模型的可识别性，利用凸子图概念给出最简模型的刻画和相应判别算法。利用分解学习和局部学习策略，给出复杂度低、解释性强、具有相合性的结构学习方法。

图模型是统计学中刻画随机变量间相依性、条件独立性的一类多元统计分析模型。在图模型中恰当地引入潜变量，不仅可以更清晰地描述背景知识，还可以大大简化模型降低复杂度，使模型有更好的解释性，也便于理论上分析和实际操作。因而本项目研究含潜变量的图模型。.含潜变量图模型的研究中，首要的问题是参数学习。即在已知变量间的相互结构关系时，需要估计模型的参数，找到与观察数据拟合最好的参数。基于团集分组策略和连接树结构，对于高斯图模型和层次图模型，我们给出了高效的极大似然估计的算法，并且给出了最优连接树的算法。.含潜变量图模型的另一个重要问题是结构学习，即探索变量间的相互依赖关系。在这方面，（1）基于约束的方法我们给出了含潜变量的高斯有向无圈图模型的结构学习算法，模拟研究显示，新算法比传统的RFCI算法更能准确的找出含潜变量的图结构；（2）在变量的序已知的条件下，基于l1惩罚和核范数惩罚似然的方法，我们利用ADMM算法进行了含潜变量的高斯有向无圈图模型的结构学习，模拟结果显示，当样本量大于200时，我们的方法比传统的RFCI、PC算法、GES算法、低秩+GES方法表现更好；（3）我们基于广义的期望模型选择算法，进了含潜变量的高斯图模型的结构学习研究，这种方法比传统的EM+glasso方法速度更快，准确度更高。这些结果可以为生物信息学、机器学习等领域提供有效的工具。.我们将含潜变量的图模型应用于因果推断领域。（1）我们研究了结果变量由于死亡而截断时幸存者平均因果效应的推断，给出了因果效应的边界。 （2）利用潜变量表示因果推断中不可观测的协变量。在不可观测协变量的单调性假设下，考虑了非服从随机实验中平均因果效应的边界问题，给出了新的边界。这些结构对于智能推理有重要的作用。