简约混合矩阵正态模型及其有效模型选择

When mixture models with unconstrained covariance structure are applied to high dimensional data, they often suffer from the so-called curse of dimensionality due to the subsequently large number of parameters, various constraints with different degrees of freedom are thus proposed to impose on the covariance structure, leading to varieties of parsimonious mixture models. Although the models used for vector data, where observations are vectors, has been well developed, there has been relatively little work done on the parsimonious mixture models for matrix data, where observations are matrices. . Based on the available research works of PI, the project will originally conduct a series of research on the modelling, applications, model selection and learning algorithms of parsimonious mixture models for matrix data. A new class of parsimonious mixture models, i.e., a family of factor-analytic mixtures of matrix-variate normals will be developed. Applications such as clustering, classification and semi-supervised classification will be investigated. For model selection, a novel criterion called matrix-type hierarchical BIC will be proposed to overcome the shortcomings of the existing traditional BIC and vector-type hierarchical BIC. The novelty is that every parameter is penalized using its own effective sample size only. Efficient algorithms to learn various parsimonious mixture models will be developed, alleviating greatly the heavy computational burden suffered by the existing two-stage learning procedure.

当协方差结构不带约束的混合模型应用于高维数据时，由于需要估计大量的模型参数，容易陷入维数灾难问题，研究者们提出对协方差结构施加各种不同自由度的约束来处理该问题，产生不同类型的简约混合模型。针对向量型数据的模型研究已经较为成熟，但针对矩阵型数据的简约混合模型研究还相对贫乏。在课题申请人现有工作基础上，本项目针对矩阵型数据的简约混合模型开展一系列原创性和拓展性兼备的建模、应用、模型选择和学习算法研究。开发一类新型的简约混合模型，即因子分析型混合矩阵正态模型族，并研究其在聚类、分类以及半监督分类中的应用。模型选择方面，为简约混合矩阵正态模型开发新型模型选择准则简称为矩阵型分级BIC，克服传统准则BIC和向量型分级BIC存在的不足，新颖性在于仅用估计参数的有效样本容量惩罚参数的复杂性。算法方面，针对各种类型的简约混合矩阵正态模型族开发有效的学习算法，克服或者改进传统两阶段法计算负荷较重的问题。

本项目对简约矩阵正态混合模型及有效模型选择展开研究，基本完成了原定研究计划，主要取得了如下多项研究成果和阶段性成果。（1）在模型的分类问题研究方面，提出了一种新的针对多元时间序列数据（一种特殊矩阵型数据）的广义逆双向判别分析方法；（2）开发了一类新型的简约混合矩阵正态模型（多总体情形），即因子分析型混合矩阵正态模型，并研究其在聚类、分类以及半监督分类中的应用；（3）单总体情形下，提出了双线性因子分析一种新的模型选择准则称为矩阵型分级BIC，克服传统BIC过惩罚的问题，并开发了基于矩阵型分级BIC的有效学习算法；而且，基于向量型分级BIC，针对高斯混合因子分析模型开发了一种全新的自动化学习算法，克服传统两阶段法计算负荷较重的问题。（4）单总体情形下，在模型的稳健拓展方面，采用矩阵变元t分布，提出了一个新的稳健双线性概率主成分分析模型和一个新的稳健因子化主成分分析模型。（5）针对不等时间长度的多元时间序列数据分类问题，将现有局限于等时间长度的方法进行拓展，提出两种新方法，能对不等时间长度的多元时间序列数据分类。..项目组在国际机器学习著名期刊 IEEE Transactions on Neural Networks and Learning Systems，IEEE Transactions on Network Science and Engineering, IEEE Access，统计学期刊Metrika, 数理统计与管理、Chaos, Solitons & Fractals等发表学术论文4篇，条件接受（须小修改）2篇；另有多篇论文处于审稿或整理过程中。培养研究生共计17名，其中已毕业硕士生10名。按预期目标完成了研究任务。