基于信息测度模型的特征提取与理解算法研究

It is very important to perceive and extract features of the high-dimensional data in the field of pattern recognition. A new research area called information measure model is opened for perceiving and extracting the key features, where a lot of theoretical and algorithmic problems are eagerly needed to be solved. This project mainly focuses on the process of high-noise, high-redundancy, high-dimensional data. This project can discover the unknown structure of the data and obtain the particular information and the essence of the data. The innovation of this project is: 1. for unsupervised learning and supervised learning, based on the maximum entropy model, design new feature extraction framework; 2. For KAH and ZIL model, based on the KL divergence, design new discriminant feature extraction algorithms; 3. with the penalty function of uncertainty measure of the parameters, realize the non-convex relaxation based sparse feature extraction algorithm; 4. for kernel ECA and AIDA algorithms, based on matrix updating and eigen decomposition updating techniques, design different types of incremental learning algorithms with error estimations and error bounds.

感知并提取蕴含在高维数据中的特征对模式的理解与识别起着至关重要的作用。信息测度模型的应用为感知和提取关键特征、提升模式识别能力开辟了一个全新的研究方向，但其理论与方法仍存在尚未解决的问题。本项目重点研究针对海量高噪声、高冗余和高维度数据的基于信息测度模型的特征提取方法。通过设计、求解和分析基于信息测度模型的特征提取方法，发现数据的未知结构，获得隐藏在数据背后的独特信息和本质。本项目的创新之处在于：一、针对无监督学习和有监督学习，从最大熵模型入手，建立新的特征提取的理论框架；二、针对KAH和ZIL模型，从最小KL散度准则出发，设计出任意分布条件下的鉴别分析算法；三、为稀疏特征提取搭建新的模型框架，构造信息测度目标函数项，设计出基于非凸松弛的稀疏特征提取算法；四、针对kernel ECA和AIDA算法，运用矩阵更新和特征分解更新技术，实现增量式学习算法，并对误差进行估计，给出误差界。

基于信息测度的特征提取技术是模式识别的一个重要研究方向，对模式的理解和分析起着至关重要的作用。面对数据的智能化处理、特征的信息保持和模型学习能力的拓展等方面的挑战，本项目对基于信息测度理论的特征提取与分析开展了深入的研究，研究内容包括，基于最大熵模型的特征提取的理论框架、加入鉴别信息的低秩分解模型、基于张量数据的稀疏特征提取算法、基于矩阵更新和特征分解更新技术的增量学习算法及低秩矩阵分解的快速算法等。随着项目研究的深入，针对近年来日益受到研究者关注的深度学习，从深度卷积神经网络和循环神经网络入手，以交叉熵作为损失函数，对视频数据和时间序列数据进行了研究。本项目在基于信息测度的特征提取和分析上取得了一定的突破性进展，主要成果包括：从最大熵模型入手，通过对Shannon熵、Burg熵和Kapur熵的分析，提出了正则化鉴别熵特征提取算法、提出了稀疏张量嵌入算法、提出了栈式自编码深度二值神经网络算法、提出双向更新的在线子空间学习算法、提出基于鉴别特征抽取与分类融合的算法、基于稀疏主分量分析和贝叶斯推理的特征分析算法、弹性受限的稀疏保持嵌入算法和基于数据自表示和拉普拉斯平滑的图构建算法，以及基于长短期记忆神经网络的序列故障诊断算法和基于深度卷积神经网络景物深度估计等算法。。本项目研究目标基本完成，共发表学术论文46篇，其中国际期刊论文26篇，国内期刊论文15篇，国际会议论文5篇，SCI收录论文25篇。申请国家发明专利3项，已授权2项，公开1项。