基于熵准则的非监督特征学习方法研究

With the improving of sensor and internet technology, nowadays it is more difficult to label the training data than to obtain them. Therefore, the unsupervised and semi-supervised learning technology becomes a hot topic for researchers. This research project focuses on the situations that the training data contain lots of unknown distributed noise and outliers in unsupervised and semi-supervised learning scenario, and we do some researches based on entropy criterion measure in the following three parts:.1).In order to control or eliminate the effects of noise and outliers in unsupervised and semi-supervised learning scenario and efficiently utilize a small amount of data’s label information, we will do some researches on the entropy criterion measure and data’s global information based robust feature learning model..2).In order to improve the discriminability and eliminate the effects of noise and outliers, we will do some researches on entropy criterion measure based regularization term which can adaptively incorporation both data’s label information and local structure information..3).Because of the extreme non-convexity of entropy criterion measure based objective function, we will do some researches and propose a solving algorithm to solve the proposed entropy measure based model. We hope that the proposed solving strategy has good convergence property and low computational complexity.. The model strategy and solving algorithm of this research project can be extended to other machine learning and pattern recognition applications，thus this research project have high application value.

随着传感器及互联网技术的不断进步，如今数据获取的难度远远低于对数据进行类别标记的难度，因此，非监督特征学习方法成为当今研究的一个热点。本项目针对非监督学习场景下存在未知分布噪声及局外点的情况，拟采用基于熵准则的鲁棒度量来进行如下三个方面的内容进行研究：1）在非监督场景中，为了消除或抑制噪声和局外点的影响且充分利用在半监督场景中少量数据类别信息，对基于熵准则度量及数据全局重构信息的鲁棒特征学习模型进行研究。2）在非监督场景中，为了增强特征学习的判别性和抑制噪声及局外点的影响，对基于熵准则度量的自适应局部结构学习正则项进行研究。3）由于基于熵准则度量的极度非凸性，对基于熵准则的特征学习模型求解的算法进行研究。该算法应具有较好的收敛性和较低的计算复杂度。本项目建模方法和求解办法可以拓展来解决机器学习和模式识别中的其他相关应用，因此本项目的研究成果具有较高的应用价值。

随着传感器技术及互联网技术的不断进步，如今数据获取的难度远远低于对数据进行类别标记的难度，因此，非监督特征学习方法成为当今研究的一个热点。本项目针对非监督学习场景下存在的噪声分布未知且存在大量局外点的情况，拟采用基于熵准则的鲁棒度量针对特征学习方法及其相关其他拓展进行研究：（1）研究了非监督场景中，为了消除或抑制噪声和局外点的影响且充分利用在半监督场景中少量数据类别信息，研究并提出了一类基于熵准则度量及数据全局重构信息的鲁棒特征学习模型。（2）2在非监督场景中，为了增强特征学习的判别性和抑制噪声及局外点的影响，研究并提出了一类基于熵准则度量的自适应局部结构学习正则项。（3）由于基于熵准则度量的极度非凸性，研究一种对该模型进行求解的算法，该算法具有较好的收敛性和较低的计算复杂度。主要成果如下：（1）提出了一种基于最大相关熵准则（MCC）的半监督概念分解的方法，该方法采用MCC作为相似度度量来构建目标函数。为了结合数据的局部结构信息并消除局外点的影响，提出了一种基于MCC的自适应局部结构保持项，能够自适应的学习数据的局部结构。针对该模型提出了一种基于Fenchel Conjugate与加速块坐标更新的求解算法，并分析了其收敛性与复杂度。通过在4个公共数据库的对比实验验证了所提出方法在局外点处理的有效性。（2）在深度学习领域，结合Center Loss提出了一种基于相关熵准则的损失函数Correntropy Center Loss，并提出了一套基于深度学习的框架的mini-batch的方法来对深度网络进行求解。该模型主要用来处理脑电信号运用到运用想象中，通过不同算法对比，该方法取得了更好的运动想象识别率，特别是在数据库中存在有局外点的情况下。（3）提出了一种基于最大相关熵准则的低秩矩阵分解模型来处理半监督场景中的特征学习问题，该方法能够好的保持样本的全局重构信息，同时自适应的学习样本的局部结构关系来进行特征学习。通过在公共数据库上进行对比实验，改方法取得了较好的结果。