稀疏张量学习理论

Sparse feature extraction theory has been a hot research topic in image processing and pattern recognition. Since the research on sparse feature extraction theory and method is still at the very beginning stage, various limitations exist on the aspects of theory and application in processing the tensor pattern and tensor feature extraction. This research project proposes the idea of "visual projection approximation" and "projection relaxation plug sparse regular approximation" to develop new theory and method on tensor-based multilinear sparse decomposition, multilinear sparse discriminant analysis and locality preserving multilinear sparse projection learning, which extend the current vector-based sparse feature extraction theory and method into high-order tensor based forms. In order to improve the algorithms' robustness and interpretability, the L2,1-norm is introduced to build the tensor-based jointly sparse feature extraction theory and algorithm framework. This project will continuously enrich the sparse feature extraction theoretical systems and improve the computer's abilities of robust feature extraction, understanding and discrimination. The related theories and algorithms can be widely used in tensor feature extraction and its understanding, genetic data analysis, financial information processing and so on.

稀疏特征提取理论已逐渐成为图像处理与模式识别领域的研究热点问题。由于稀疏特征提取理论与方法尚处于初始阶段，现有的稀疏特征提取方法对张量模式的处理及其鉴别特征提取方面存在理论与应用层面上的局限性。为此，本项目提出"虚拟投影逼近"、"投影放松加稀疏正则逼近"等新思想拟开展基于张量的多线性稀疏分解、多线性稀疏鉴别分析、局部保持多线性稀疏投影学习理论与方法研究，把基于高维向量的稀疏特征提取方法拓展成基于高阶张量的形式。为进一步提升算法的鲁棒性、可解释性，我们引入最近提出的L2,1范数学习理论与方法，进而把基于高阶张量的特征提取理论与方法拓展到L2,1范数学习中，建立一致稀疏特征提取理论与算法框架。开展本项目的研究将不断完善稀疏特征提取理论体系, 提高计算机的鲁棒特征提取、理解与鉴别能力。本项目的研究成果在张量特征提取与理解、基因表达数据分析、金融信息处理等领域都有重要的应用价值和广泛的应用前景。

数据表达方式的多样化及稀疏特征提取理论尚处于初始阶段这种历史特性，使得稀疏张量特征提取理论与方法有着自身的不足，相关理论体系也亟待完善。具体问题总结如下:.（1）在现有的稀疏高阶张量分解方法中，稀疏基向量（或投影向量）之间的相互关系没有增加有效的约束，因而其表达能力、泛化能力与算法的可控性较差。.（2）由于稀疏高阶张量学习理论与方法尚处于起始阶段，相关理论体系有待完善，特别是国内外尚未报道有关稀疏高阶张量鉴别分析、基于流形学习的多线性稀疏特征提取方法。.综合上述可见，稀疏学习理论与方法才刚刚起步，有必要把稀疏学习理论拓展到以张量表达为对象的分析中。因此，针对当前稀疏鉴别分析、稀疏特征提取理论与算法存在的问题，本项目一方面解决张量学习理论向稀疏张量学习理论拓展中出现的问题，另一方面通过引入L21范数来解决一致稀疏特征选择与提取问题。具体地，我们将从四个方面进行研究：（1）基于极大边界准则（MCC）的稀疏鉴别分析理论与算法；（2）基于流形学习的多线性稀疏特征提取理论与算法；（3）基于L21范数的联合稀疏张量学习理论与特征提取算法框架；（4）非负低秩学习。这四项研究内容既可以相对独立，又可视为一个密不可分的整体。此外，本项目还将稀疏特征提取技术应用到其他的相关领域，以观察其特点及有效性，挖掘新的应用点。.本项目达到了如下研究目标：.（1）拓展基于高阶张量的稀疏鉴别分析、稀疏特征提取理论；建立较完善的稀疏多线性鉴别分析理论与算法框架；多方面丰富几何保持稀疏张量学习理论。.（2）在项目期间发表学术论文17篇。其中，在IEEE Transactions on Neural Networks and Learning System, IEEE Transactions on Cybernetics， IEEE Transactions on Image Processing, Pattern Recognition等国际权威杂志上发表论文11篇。.（3）培养博士2名。