基于记忆的不变图像特征学习方法研究

Image feature learning is the key part of image classification, and a research hotspot in the fields of pattern recognition and computer vision. However, the traditional feature extraction methods have constraints of complex background, rotation, scale changes, and so on. This makes image classification systems cannot achieve good generalization performance and have high sample complexity. This project will study memory-based invariant feature learning method for image classification by introducing manifold learning, invariant group and entropy theory etc. Firstly, this project will study the coding theory and method in the memory-based hierarchical learning model by fusing manifold learning, and pooling method which makes use of the statistical characteristics of the output of the coding layer and has the outputs with vector form. This study can enhance invariance to rotation, scale changes, local deformation, and so on. And the invariant features can reduce the sample complexity of image classification systems. Secondly, template learning methods in the memory-based invariant feature learning method will be designed according to the characteristic of different layers. The proposed methods can enhance invariance and discriminability of image features, reduce the impact of the complex background, and improve the classification accuracy. Finally, the invariance and discriminant analysis of the proposed feature learning methods will be given from the perspectives of group and entropy. It can reveal the mechanism of the hierarchical invariant feature learning methods. This research will enrich theoretical basis of image feature learning and provide key techniques for the design and develop of the computer vision systems.

图像特征学习是图像分类的关键环节，是模式识别与计算机视觉领域中的研究热点。传统特征提取方法受到复杂背景、旋转以及尺度变化等多种因素制约，导致图像分类系统的泛化性较差且样本复杂度较高。本项目拟面向图像分类，引入流形学习、不变群以及熵等理论开展基于记忆的不变特征学习方法研究。首先，融合流形学习理论，研究基于记忆的分层学习模型中的编码理论与方法，并利用编码输出的统计特征探讨具有向量形式输出的汇聚方法，提升特征对旋转、尺度变化以及局部形变等变化的不变性，降低图像分类系统的样本复杂度；其次，根据基于记忆的特征学习方法中不同层次的特点研究模板学习理论与方法，进一步增强图像特征的不变性与判别性，降低复杂背景的影响，提高分类精度；最后，从群和熵的角度分析特征学习方法的不变性与判别性，揭示分层不变特征学习方法的内在机制。本研究将进一步丰富图像特征学习的理论基础，为计算机视觉系统的设计和开发提供关键技术支撑。

图像特征学习是图像分类过程中的关键环节。获取对图像中无关变换具有不变性的特征一直是机器学习和计算机视觉领域重点关注的内容。本项目在分层学习框架下，针对不变图像特征学习中的关键问题进行了深入研究，在理论分析和算法设计两个方面都取得了比较好的研究成果，主要研究内容包括：针对高光谱图像分类中的不变特征学习问题构建了一种分层学习理论框架：空谱反应，设计了相应的编码和汇聚方法；并结合流形学习理论，在空谱反应理论框架下通过设计两种模板（记忆）学习方法构建了基于子空间学习的网络，用来学习高光谱图像的不变空谱特征，该算法样本复杂度低；针对基于子空间学习的网络易导致数据内在结构信息丢失的问题，设计了栈式张量子空间学习算法，该算法主要利用张量型学习算法充分保持图像的结构信息；结合高光谱图像“空谱合一”特性设计了栈式核极限学习机，该算法利用小波、核极限学习机和Gabor滤波器构建分层结构，提取高光谱图像的不变空谱特征；在Rényi信息熵的框架下，项目组设计了基于相关信息原则的高光谱图像特征学习方法，从熵的角度来平衡特征学习过程中的不变性与区分性，该方法是一种融合流形学习与熵理论的分层模型，有效融合高光谱数据的光谱和空间特征，可以获得具不变性的空谱特征，且其样本复杂度较低；针对学生行为识别中的特征学习困难，项目组利用流形学习理论改进宽度学习系统，并结合局部Log-Euclidean多变量高斯描述子构建了一种分层学习模型，该模型可以从小样本中学习得到有效的图像特征。到目前为止，项目组共发表学术论文16篇，其中SCI检索论文9篇，论文他引64次，申请发明专利2项，较为圆满地完成了项目研究目标。