三维Gabor特征空间编码与融合方法研究

Gabor features have been widely used in texture classification and biometrics like face, fingerprint and palmprint recognition. Compared to the fruitful research of 2D Gabor wavelets, the research on 3D Gabor wavelets, is however, quite limited in literature..The project aims to explore the application of 3D Gabor wavelets for 3D image recognition and hyperspectral image classification problem, to find a feasible way to encode the relationships among different Gabor features in orientation, frequency and 3D spatial domains, to fuse the multi-view Gabor features with tensors and tries to apply the multi-task joint sparse representation for feature fusion. .The research output of the project will benefit the Gabor wavelet theory and its application for 3D imaging techniques, and have significant impact on the progress of 3D biometrics, medical diagnosis and remote sensing.

Gabor特征在纹理分类、人脸、指纹和掌纹等生物特征识别领域取得了非常不错的性能。相对于二维Gabor小波在近二十年的广泛应用，三维Gabor小波无论在基础理论、还是应用领域的研究都还处于起步阶段。.本项目根据三维图像数据量大、信息丰富的特点，借助三维Gabor 小波提取三维空间纹理信息，研发能够提取方向、频率以及三维空间结构关系的Gabor特征编码增强方法，探索多视角Gabor张量构造、分解、学习算法以及基于三维Gabor特征空间共享稀疏模式的多任务联合稀疏表示框架，实现基于高维Gabor特征、高效而准确的三维/高光谱图像分类识别系统。.项目研究不仅可以大大丰富和完善三维Gabor小波理论，还可以有力推动该工具和日臻完善的三维/高光谱成像技术的结合，从而促进基于三维数据的生物特征识别、医学诊断和遥感监测领域技术进步。

目前图像识别领域广泛使用的Gabor特征主要以提取数据和Gabor小波的卷积响应幅值为主，将三维空间各个点的小波响应直接连接成一个向量，用于后续的分类识别。由于将各个特征独立对待，该方法丢失了各个特征在方向、频率以及三维空间的结构关系，降低了Gabor特征的识别精度和鲁棒性。.项目的研究目标是研发能够提取Gabor小波在方向、频率以及三维空间结构关系的特征编码增强方法，探索能够提高特征鲁棒性的多种特征融合框架。围绕上述目标，项目组创新性提出了基于响应实部虚部正负关系和相邻位置/方向响应大小关系的三维Gabor特征编码方法；Gabor特征和深度卷积网络的融合方法、以及基于张量、深度网络特征层交互的多种特征融合架构；研发了能够结合小波以及稀疏表示等传统信号理论知识的新型深度网络架构、损失函数以及训练学习机制。.项目总共发表高水平论文49篇，其中《IEEE Trans. on Cybernetics》、《IEEE Trans on Multimedia》、《IEEE Trans on Medical Imaging》等期刊论文37篇，CVPR、AAAI等会议论文12篇，获得发明专利授权3项，培养博士后出站5名，硕士研究生毕业10名。.项目负责人沈琳琳教授在项目执行期连续四年（2017-2020）入选“Elsevier中国高被引学者”，2020年1月获聘深圳市“鹏城学者”特聘教授。项目成果“图像特征提取关键理论及应用”于2017.05获得深圳市自然科学奖二等奖；“图像特征提取与增强方法及应用”于2019.10获得中国吴文俊人工智能自然科学奖。