基于Gabor滤波器的图像复数特征提取与融合方法研究

Since image feature extraction based on Gabor filter is sensitive to the image edge variation, robust to the illumination change and provide good scale and direction choice characteristic, it has been widely used in various areas. Recently, Complex-valued image representation has become to be the focus of image processing, pattern recognition, and so on. How to extract Complex-valued image feature based on Gabor filter, fusing shallow and deep feature to improve image recognition efficiency are issues to be further research. The contributions of our work lie in following aspects: (1) A novel complex-valued Gabor transform feature vector encoding method and an energy feature extraction method are proposed to extract image complex-valued shallow feature. (2) A new SVD based complex-valued feature vector pooling method and complex-valued deep sparse auto-encoder network are proposed to extract image complex-valued deep feature. (3) A classification decision model that can adaptively select the complex-valued shallow feature classifier and the complex-valued deep feature classifier is propose to fuse shallow and deep feature efficiently. Study on complex-valued feature extraction and fusion in this work can improve the image recognition performance, provide some guidance for cognitive science research.

基于Gabor滤波器的图像特征提取方法对于图像中的边缘变化敏感，对光照等外界因素具有很强鲁棒性，能够提供良好的方向选择和尺度选择特性，在过去多个领域得到广泛应用。近年来，图像的复数表示已成为图像处理和模式识别等领域的研究热点。如何提取基于Gabor变换的图像复数特征，融合浅层特征和深度特征提高图像识别率是有待深入研究的问题。本项目主要有以下研究工作：（1）提出一种新的Gabor复数特征向量编码方法和能量特征计算方法，提取图像浅层复数特征。（2）提出一种基于SVD分解的复数特征向量池化方法和深度复数稀疏自编码器网络，提取图像深度复数特征。（3）提出一种能够自适应调用浅层复数特征分类器和深度复数特征分类器的分类决策模型，实现浅层特征和深度特征的有效融合。本课题通过对图像的复数特征提取和融合的研究，将会提高复数表示相关模式识别的性能，对认知科学的研究也具有一定的指导和促进作用。

图像识别是当前计算机视觉领域中的研究热点，同时在社会生活中有着广泛的应用。提取有效的图像特征是完成识别任务的有效保障，特征融合则实现不同特征的优势互补，增强图像分类性能的一种有效途径。本项目从图像特征提取和特征融合两个方面开展研究，主要有下列研究工作：（1）基于Gabor滤波器的图像方向信息浅层复数特征提取方法。将每个Gabor滤波器看作为一种图像局部模式的码元，Gabor滤波器组则形成了一个图像局部模式集的码本。图像（或者能量图像）像素点的Gabor变换幅值特征向量经过尺度归一化和方向非K最大抑制后就可以得到编码向量，区域所有像素点的编码向量进一步池化操作就形成区域描述子。（2）一种基于仿生视觉的图像深度复数特征提取方法。提出了基于视觉皮层感知模型的图像深度复数特征提取算法C-HMAX。（3）一种浅层特征与深度学习特征决策级融合的图像分类方法。本方法的突出优点是当基于浅层复数特征的图像分类可信度较高时，就没必要付出高昂的代价去提取图像的深度特征。（4）基于分数阶导数信息的图像特征提取方法。首先提出图像像素的完全分数阶导数特征向量。然后定义了图像的局部多结构模型来描述图像结构的复杂性和多变性。最后用Fisher Vector学习方法来学习图像像素的多结构完全分数阶导数特征向量来表达整幅图像。（5）图像空域-谱域特征提取方法。对于图像像素点，给出了局部空域特征向量，局部频域特征向量和全局频域特征向量三种特征向量，然后用Fisher Vector模型学习基于分数阶特征向量的图像表示方法。项目研究算法在图像识别中取得了良好的效果。本研究成果有助于解决图像识别问题中遇到的难题，具有很好的应用价值。