基于量子进化算法和模型组合的高维数据特征选择

Along with the advent of the Internet era, big data has become the most popular research direction in information subject domain. This project is about feature selection for high-dimensional data under the background of machine learning. Four research focuses are considered: Improvement of quantum-inspired evolutionary algorithm; Feature selection based on quantum-inspired evolutionary algorithm; Feature selection based on model combining; Model selection diagnostics based on the reliability of feature selection methods. Feature selection for high-dimensional data can reduce the computation time, facilitate data visualization and data understanding, avoid the curse of dimensionality and overfitting. Therefore, the study on this issue is quite important. In this project, the improvement of quantum-inspired evolutionary algorithm will be studied first, including the termination criterion of quantum-inspired evolutionary algorithm and three-valued quantum-inspired evolutionary algorithm; Then, the disadvantages of previous feature selection methods known as filter, wrapper and embedded method, are analyzed; Since traditional embedded methods usually cost much time tuning parameters and traditional wrappers prone to overfitting, quantum-inspired evolutionary algorithm will be applied to design an efficient, rapid and universal wrapper framework for feature selection; Then, according to the instability of each feature selection method, accurate feature selection method based on model combining will be studied; Finally, how to evaluate the reliability of each feature selection method will be discussed.

随着互联网时代的到来，大数据已经成为当前信息领域最为热门的研究方向。本项目研究在机器学习的背景下，实现高维数据的特征选择。主要是针对四个方面的研究：量子进化算法的改进；基于量子进化算法的高维特征选择；基于模型组合的高维特征选择；基于特征选择方法可靠性的模型诊断。针对高维数据进行特征选择，有利于减少计算时间，实现数据的可视化，避免维度灾难与过拟合。因此关于这些内容的研究非常重要。本项目首先针对量子进化算法的性能进行改进，包括量子进化算法终止准则的设计和三值量子进化算法；然后分析传统的过滤、封装、嵌入方法的缺点;针对传统的嵌入方法不易调参，封装方法耗时长、易过拟合等缺点，研究如何通过量子进化算法高效快速、无需定制地实现高维数据的特征选择；接着针对各类特征选择方法的不稳定性，研究如何使用模型组合的方法精准地实现特征选择；最后研究如何评估各类特征选择方法的可靠性。

我们基于平均收敛率提出了一种有效的终止准则，有助于量子进化神经网络达到安全的终止条件。基于平均收敛率的终止准则能够适时地终止量子进化神经网络的训练，克服基于最优解生成概率的终止准则的局限性。针对有标签的离散数据，提出了一种基于隐高斯过程来估计类条件密度的生成分类模型，能有效的针对小规模离散数据进行建模。. 各种模型选择方法可以用来寻找协变量的稀疏子集以解释生物信息学中的响应。当协变量的数量很大时，即使数据稍有变化，选择也可能非常不稳定。我们提出了基于变量选择偏差的方法，来找到在未来研究中有更高机会得到证实的最重要的协变量。最小最大速率自适应非参数回归已在文献中独立或不相关误差的假设下进行了深入研究。我们构造的自适应估计器能在相应列表中的每个相关性规范下，针对每个函数类自动获得最小收敛速度。. 我们提出了一种基于学习的Hash推荐框架——离散个性化排序方法（DPR），DPR与现有的具有竞争力的方法相比具有明显的优越性。提出了一种基于离散排序的矩阵分解算法（DRMF），该算法将用户对物品的成对偏好建模成一系列的离散二次规划问题，学习出用户和物品的二进制编码。实验表明了DRMF优于经典的基于哈希的推荐算法我们提出了一种有效的方法，称为噪声过滤器网络（NF-Net），以解决训练乳腺肿瘤分类模型时标签的噪音问题。我们合并两个softmax层进行分类，为了增强清洁标签的效果，还设计了一个师生模块用于提炼清洁标签的知识。我们提出了一种新的无监督域自适应方法TarGAN，可以成功地分解目标生成器的类和样式代码，并基于GAN的最新进展生成具有给定类标签的Target样本。实验表明，我们提出的TarGAN可以胜过现有的最新领域自适应方法。