流特征下动态、联合搜索策略研究

As new services such as cloud computing and social network are emerging, data type and scale are growing at amazing speed. Big data is drawing more and more attention, and meanwhile brings crucial challenges for traditional pattern recognition methods. Streaming feature, as one of dynamic data patterns, is one of the five challenging data types for traditional feature selection technology in big data. Previous streaming feature search strategies are based on heuristic approach, and they are achieved in a simple and fast way at the cost of recognition accuracy. This project studies data and model in dynamical feature space, takes online joint feature search as target scientific problems, and explores a stable and efficient online search solution. The research contents of this project include studying: (1)search strategy for streaming features based on structural sparsity regularized model; (2)search strategy for streaming features based on adaptive substitute; (3)online joint relativity and redundancy analysis algorithm; (4)deep learning model compression algorithm based on adaptive and joint search strategy as extensive application. This project has significant importance to the extension of traditional theory and algorithm of feature selection, and promises practical application value and wide application prospect in the field of gene expression data analysis, information retrieval, model compression, and so on.

云计算、社交网络等新兴服务使数据种类和规模正以前所未有的速度增长，大数据概念受到越来越多的关注，也给传统的模式识别方法带来了巨大的挑战。其中，作为动态数据表现形态之一的流特征就是大数据挑战传统特征选择技术的五大数据类型之一。以往的流特征搜索策略往往基于启发式，以识别精度为代价换取简单快速的搜索策略实现。本项目以动态特征空间中的数据和模型为研究对象，以在线联合特征搜索方式为科学问题，探索稳定、高效的在线特征搜索路径。本项目研究内容包括：(1)基于结构稀疏正则化模型的流特征搜索策略研究；(2)基于动态替换算法的流特征搜索策略研究；(3)在线同步相关性、冗余性分析算法研究；(4)作为扩展应用，研究基于动态、联合特征搜索策略的深度学习模型压缩算法。本项目对拓展传统特征搜索理论和算法有十分重要的意义，且在基因表达数据分析、信息检索、模型压缩等领域都有重要的应用价值和广泛的应用前景。

本项目以动态特征空间中的数据和模型为研究对象，以在线联合特征搜索方式为科学问题，探索稳定、高效的在线特征搜索路径。取得的主要学术成果包括：（1）提出了基于一个大小固定的缓冲池的在线流特征选择算法。传统的流特征选择算法一旦认定特征是冗余的，则会剔除该特征，忽略了在流特征背景下该冗余特征可能对后续任务性能提升起作用。为此，我们通过缓冲池动态地保留和恢复特征来处理变化的特征空间，并结合了两种不同类型的特征选择器以提高预测表现的同时压缩特征空间。最终，该算法在 12 个典型的特征选择数据集上与现有流特征选择对比，获得了更加优异的分类精度和空间压缩率。（2）提出了一个结合特征选择和自表示的框架，强调对于损失项的l2,1范数最小化以及对于自表示系数矩阵的块对角正则化。我们还进一步扩展了单视图表示学习模型，将其应用于存在误差的多视图学习，称之为鲁棒多视图子空间聚类。具体来说，该算法从不同视图的数据中学习一致图，该一致图由块对角自表示矩阵编码且具有恰好 k 个连通分量(k 是集群的数量)。除此之外，我们强调对于损失函数的 L2,1 范数最小化以减少冗余特征和不相关的特征，并隐式地为每个视图分配自适应权重，而无需引入其他参数。最后，推导了一种交替优化算法来求解非凸的目标函数。最后，提出了基于增广拉格朗日乘子的优化算法。大量的实验证明了所提出的方法与几种最先进的聚类方法相比的有效性和竞争力。（3）提出了一种基于低维稀疏子空间学习的指标矩阵的新方法。从稀疏子空间学习的角度，我们将非监督特征选择问题等价于矩阵分解问题，学习到的特征权重不仅去除了冗余特征，而且捕捉到了潜在低维结构。同时，为了增强模型的鲁棒性，增加了l1范式误差项，用于抵制噪声点。此外，还证明了该方法的收敛性。大量的实验表明基于非负稀疏子空间学习的无监督特征选择比现有的一些算法更有效。