高维数据保真降维方法研究

The existing feature dimension reduction methods can roughly be categorized into two classes: feature extraction and feature selection. In feature extraction problems, the original features in the measurement space are initially transformed into a new dimension-reduced space via some specified transformation. Although the significant variables determined in the new space are related to the original variables, the physical interpretation in terms of the original variables may be lost. So, feature extraction will change the description of the original data. Unlike feature extraction, feature selection aims to seek optimal or suboptimal subsets of the original features by preserving the main information carried by the complete data to facilitate future analysis for high dimensional problems. Often, the selected features are a subset of the original features, those insignificant and redundant features may be discarded. It is worth mentioning that almost all of the existing dimensionality reduction methods are not high fidelity methods. The result of these methods are only suitable for specific subsequent data analysis tasks, which is only a particular task under the preprocess. In this project, we study the dimensionality high fidelity reduction problem. The processing results can save all the useful information, eliminate the irrelevant features from the original data. The project will be implemented with the technique of multiple hypothesis testing. The research content involves the characteristics of correlation analysis, threshold estimation of hypothesis testing, null hypothesis proportion estimation, interval analysis, etc. The research has practical significance for big data analysis.

现有的特征降维方法大致可分为特征提取和特征选择。在特征提取过程中，数据中的原始特征通过某些数据变换被映射到一个低维空间。尽管提取出的特征与原始特征相关，但不再具有原始特征的物理意义- - -特征提取改变了原始数据的表达形式。与特征提取不同，特征选择则在原有的特征集中选择一个子集，选择出的特征子集中不再含有与数据分析任务相关性不大或冗余的那部分特征,其结果可能引起信息丢失。由此可见，现所有的数据降维方法几乎都不是保真降维，其降维后的数据仅适合特定的后续数据分析任务，因而只能算是特定数据分析任务的前期数据预处理。 本项目的研究探索一类高保真数据降维方法，其降维结果致力于保留原始数据中的全部（期望的）原始特征，最大限度地剔除无关特征。 项目研究借助多重假设检验方法，其研究内容涉及特征相关分析、假设检验阈值估算、零假设比例估算、区间值处理分析等关键技术。项目研究结果对大数据清洗、存储等有实际意义。

现有的特征降维方法大致可分为特征提取和特征选择。在特征提取过程中，数据中的原始特征通过某些数据变换被映射到一个低维空间。尽管提取出的特征与原始特征相关，但不再具有原始特征的物理意义---特征提取改变了原始数据的表达形式。与特征提取不同，特征选择则在原有的特征集中选择一个子集，选择出的特征子集中不再含有与数据分析任务相关性不大或冗余的那部分特征,其结果可能引起信息丢失。由此可见，现所有的数据降维方法几乎都不是保真降维，其降维后的数据仅适合特定的后续数据分析任务，因而只能算是特定数据分析任务的前期数据预处理。. 本课题研究致力于探索高保真数据降维方法，其降维结果致力于保留原始数据中的全部（期望的）原始特征，最大限度地剔除无关特征。. 项目研究主要借助多重假设检验方法，其研究内容涉及特征相关分析、假设检验阈值估算、零假设比例估算、区间值处理分析等关键技术。项目研究结果对大数据清洗、存储等有实际意义。. 在项目的资助下，项目组成员发表10余篇高水平理论研究论文，并将理论研究成果应用于雷达信号处理等横向委托科研项目，同时也申请了相关发明专利。