基于和谐竞争的有限混合模型无监督学习算法研究

Clustering is the most important step of intelligent information processing, in practice, the most commonly used and effective clustering method is based on finite mixture models. To identify finite mixture models, there are three levels of inference to be solved, inferring which component produce each observation, inferring the parameters of each one of K components, and inferring the number of components K, i.e., model selection. The standard expectation maximization (EM) algorithm lacks of the ability of model selection as a result of a greedy tendency, it always assigns each observation to every assumed component with a certain probability. Unlike EM, we shall further increase the negative entropy of the posterior of latent variables to exert an indirect effect on model selection. The increase of negative entropy is virtually a transition from disorder to order, and also be interpreted as a competition. It leads to a collapse from a high-dimensional space to a subspace in the probability simplex. More importantly, this competition only depends on the data itself, it has an order-preserving property and forms a highly refined and perfectly symmetrical partition in the probability simplex, hence called harmonious competition. Additionally, we also explore the singular point. Our algorithm seamlessly integrate parameter estimation and model selection into a single algorithm, which can be applied to any kind of parametric mixture model solved by an EM algorithm. In theory, it can unify other heuristic learning methods. Last, many applications in the domains of image processing, computer vision and deep structure learning of SPNs demonstrate the effectiveness of our approach on automatic model selection.

聚类是智能信息处理中一个最核心的环节，而基于有限混合模型的聚类方法是最常用有效的。有限混合模型的无监督学习涉及到三个层次的推断问题：每个样本是由哪个模型成分产生的，所有成分的模型参数，以及模型成分的个数。其中如何确定模型成分的个数，即模型选择，仍然是一个非常热门的课题。本项目提出了基于和谐竞争的学习框架，该框架将三层推断问题视为是有层次的且相互嵌套的。在完成第一层推断之后，得到隐变量的后验概率，通过增加其负熵而引入竞争。然后，直接传递给第二层推断问题中混合系数的计算，迫使某些混合系数逐渐趋于0，从而完成在第三层推断上的自动模型选择。从几何意义上讲，这种竞争是一个从高维向低维参数子空间发生坍塌的过程。更重要的，这种竞争完全是数据驱动的，并具有保序性，且在参数空间形成了一个完美的几何对称划分，因此，称之为和谐竞争。最后，通过在图像处理、视觉以及深度学习模型框架中的应用，验证本项目成果的有效性。

聚类是智能信息处理中一个最核心的环节，而基于有限混合模型的聚类方法是最常用有效的。本项目提出了基于和谐竞争的有限混合模型的无监督学习方法。从一个全新的角度同时解决参数学习和模型选择问题。此外，该方法还可避免底层使用EM算法时经常出现的崩溃现象，从而使算法更加稳定有效。同时，提出了基于负熵增大的完全数据驱动的和谐竞争规则。该规则与传统的启发式竞争规则相比，具有更好的鲁棒性。此外，从更深层的关系上，统一了现有的一些学习算法。从几何意义上探究了和谐竞争的本质。通过对概率单纯形空间的几何性质分析，和谐竞争的本质就是迫使混合系数在其参数空间中，从高维向低维子空间逐渐坍塌的过程，对这一过程进行深入的分析，从而可以更好地剖析与理解竞争学习背后所隐藏的原理。此外，提出了概率单纯形空间的奇异点的存在。.将和谐竞争思想融入到深度学习框架，在多个领域取得了非常好的效果。近期在研究我们提出的和谐竞争自动编码器HCAE时，发现一开始我们所有研究的理论性质都是基于概率simplex之上的，其很难在神经网络的框架上进行推广，因此，我们对其进行了扩充，并证明了在τ-simplex上仍然适用，同时给出了相关的理论证明和几何性质分析。这是理论上的一个小突破。.在深度学习框架上的推广应用。在VAE架构下，近似后验分布的选择是关键问题之一，它对VAE的可操作性和灵活性有着重要的影响。本项目提出了一种将初始简单的混合模型应用一系列可逆Householder变换可以进行任意复杂的近似后验分布的新方法。此外，我们也给出了Householder变换的详细理论和几何解释。最后，由于计算两种混合密度之间的KL距离没有封闭解。因此，我们利用它的上界重新定义了一个新的变分下界。实验结果表明，我们的方法可以更有效地提高后验分布的灵活性。