非高斯概率模型的高效变分近似推理方法研究

Generally speaking, parameter estimation of non-Gaussian probabilistic models can not be expressed by analytically tractable solution. Numerical solution based parameter estimation algorithm is computationally costly and not suitable for solving large-scale problems. In previous work, the applicant has proposed a novel method, namely the extended variational inference (EVI) method, to derive analytically tractable solution for some typical non-Gaussian probabilistic models. This approach improves the efficiency of the estimation algorithm. In this project, the applicant will continue the study on the EVI method and provide solution for efficient approximate inference in non-Gaussian probabilistic models. The main goals of this project include: 1) in order to perfect the EVI method, propose systematic bias measurement and study the convergence property with multi-variable approximation; 2) derive general analytically tractable solution for parameter estimation in the exponential family; 3) verify the effectiveness of the proposed method by creating a model that merges multi-source heterogeneity features and studying DNA methylation analysis methods.

近似推理框架下的非高斯概率模型的参数估计算法往往无法通过解析解表示，而基于数值解的参数估计算法计算开销较大，不适用于大规模问题的研究。申请人在前期工作中提出了扩展变分法(EVI: Extended Variational Inference)这一新方法，使模型参数的估计可以通过解析表达式描述，提高了算法的效率。本项目将在现有工作的基础上继续研究扩展变分方法的基本原理，给出非高斯概率模型的高效近似推理方案，包括：1)研究系统近似精度的测量方法并给出多变量近似这一通用情况下的方法收敛条件，完善扩展变分法；2) 在完善变分法的基础上将其推广到指数家族，给出通用的模型估计解析解算法，验证扩展变分法的理论普适价值；3) 采用基于扩展变分法的非高斯概率概率模型解决实际问题，构建体现时空一致性的多源异构特征融合模型，对DNA甲基化进行高效分析，验证扩展变分法的有效性。

项目团队深入研究扩展变分方法的基本原理，开展了系列研究工作，包括：1)研究并给出多变量近似这一通用情况下的方法收敛条件，完善扩展变分法；2)系统研究了非高斯中性矢量变量的非线性独立化方法及判定准则；3)通过实际应用验证扩展变分法的性能。本项目的系列成果共发表学术论文26篇，其中SCI检索论文14篇，包含人工智能领域顶级期刊之一IEEE TPAMI 1篇；1篇论文获得国际会议IEEE IC-NIDC最佳论文奖；申请发明专利14项，授权8项；荣获中国人工智能学会“吴文俊人工智能科学技术奖”一等奖，“北京市科学技术奖”二等奖，“北京青年优秀科技论文”一等奖，项目负责人入选北京市科技新星计划；项目成果在多个领域应用，累计产生经济效益2000余万元。