基于线性判别分析的鲁棒降维技术研究

Linear discriminant analysis is one of the classical dimensionality reduction techniques. The technique employs squared Euclidean distance as the distance metric in the criterion function and exaggerates the influence of the data distributed far away, which result in poor robustness and significant performance degradation. To solve this problem, the researchers have proposed a variety of solutions. However, the shortcomings of these technologies are that the artificially constructed fully connected graphs cannot accurately describe the true distribution of data and using the average distance of pairwise mean values to measure the dispersion between different classes is likely to result in inseparable samples after dimension reduction. With the development of information technology, the dimensionality of data is getting higher and higher, and the noise and occlusion are inevitable, which leads to the above-mentioned problems becoming more and more prominent. Therefore, how to construct a robust dimensionality reduction model has become one of the major problems that need to be solved urgently. Based on this, this project studies how to measure the dispersion of data properly, establish a robust dimensionality reduction technique, and retain the advantages of the original linear discriminant analysis technique. It mainly includes implementing robust feature extraction techniques and robust feature selection techniques. These content of this project is one of the very active research directions in the fields of machine learning and pattern recognition. It has important theoretical value and application value.

线性判别分析是一种经典的数据降维技术。该技术以欧氏距离平方度量数据间的相似度，夸大分布较远的数据的影响，导致鲁棒性差，性能退化明显。针对此问题，目前研究者提出了多种解决方案，然而这些技术存在的缺点是：依赖人工构造的全连接图不能准确地刻画数据的真实分布；利用成对类均值的平均距离来度量不同类之间的离散度容易导致降维后样本不可分。随着信息技术的发展，数据的维数越来越高，且不可避免的含有噪声和遮挡，导致上述问题越来越突出。因此，如何构造鲁棒的降维模型已成为目前急需要解决的主要问题之一。基于此，本项目研究如何更好地度量数据的离散度，建立鲁棒的降维技术，同时较好的保留原有线性判别分析技术的优点。主要包括：实现鲁棒的特征提取技术和鲁棒的特征选择技术。本项目研究内容是机器学习、模式识别等领域非常活跃的研究方向之一，具有重要的理论价值和应用价值。

线性判别分析是一种经典的数据降维技术。该技术以欧氏距离平方度量数据间的相似度，夸大分布较远的数据的影响，导致鲁棒性差，性能退化明显。针对此问题，目前研究者提出了多种解决方案，然而这些技术存在的缺点是：依赖人工构造的全连接图不能准确地刻画数据的真实分布；利用成对类均值的平均距离来度量不同类之间的离散度容易导致降维后样本不可分。随着信息技术的发展，数据的维数越来越高，且不可避免的含有噪声和遮挡，导致上述问题越来越突出。因此，如何构造鲁棒的降维模型已成为目前急需要解决的主要问题之一。基于此，本项目研究如何更好地度量数据的离散度，建立鲁棒的降维技术，同时较好的保留原有线性判别分析技术的优点。主要包括：（1）自适应地构建稀疏图模型鲁棒地描述数据的局部几何结构信息，并将其嵌入到LDA模型中，实现自适应稀疏图嵌入的鲁棒特征提取模型。（2）提出一种新的基于Worst-Case的度量准则函数用于最大化最难分类别对之间的距离，尽可能地保证所有类别对之间的分离程度，并给出快速求解方案。（3）将上述两个主要内容中所提模型分别扩展到二维矩阵形式，并给出了相应的快速求解算法。本项目研究内容是机器学习、模式识别等领域非常活跃的研究方向之一，具有重要的理论价值和应用价值。