基于四元数表示的彩色图像局部特征提取方法研究

Traditional methods to extract local features of color images perform poor mainly because they extract the features from each color channel individually and neglect their relations. Quaternionic representation (QR) of color images encodes all color channels of a pixel via a quaternion such that it is able to handle all the color information of the image holistically and to preserve the interactions among different color channels. However, most of existing quaternion-based features are extensions of real (or complex) number-based methods, and are hand-crafted via prior information. Hence, they cannot be used in several complicated situations. To address these limitations, this project further studies some key issues of quaternion-based color image processing, including definitions of quaternionic distances and image contrast. Moreover, the learning strategies are also considered to propose learning-based techniques in the quaternion domain. Based on QR, this project focuses on: 1) quaternionic distance based local features, including development of quaternionic operators, description of quaternionic distance, and local feature representation via quaternionic distance; 2) local feature extraction using image contrast in the quaternion domain, including definition of quaternionic image contrast, quaternionic contrast fusion models, and design of quaternionic local filters; 3) learning-based local features via QR, including construction of quaternionic dictionary, quaternionic local encoding using ranking theory, and hierarchical feature learning model in quaternion domain. The scientific research achievements can be directly used in many color image processing tasks and help to extend the theory and applications of quaternion algebra.

传统彩色图像局部特征提取通常单独考虑各个颜色分量，因未完全考虑不同分量间关系而效果欠佳。基于四元数表示的彩色图像处理，能够有效利用颜色分量间相互关系。然而，现有四元数图像特征通常为实（复）数域算法的拓展，且都是基于先验信息手工设计，无法满足复杂图像处理任务需求。为此，本项目将深入探索四元数距离、图像对比度等彩色图像处理核心问题，并引入学习策略建立四元数特征学习模型，旨在提取更具鲁棒性和判别性的图像局部特征。首先，研究基于四元数距离的局部特征提取，包括四元数算子构造、四元数距离定义及其特征表示。其次，在四元数域提取彩色图像对比度进行局部特征表示，包括图像四元数对比度定义与融合、四元数局部滤波算子设计。最后，在四元数域引入学习思想提取图像特征，包括四元数字典构造、基于排序理论的四元数编码及四元数层次特征学习。研究成果能直接服务于不同彩色图像处理任务并有助于拓展四元数代数理论及其应用。

特征表示是许多图像处理、计算机视觉任务的关键步骤。项目基于四元数代数理论、深度学习理论，围绕图像局部特征提取、特征表示与融合、图像质量增强等问题开展研究，提出系列创新算法与模型。主要完成如下工作：1）提出联合四元数表示与角信息的LBP编码方法，并给出从不同角度推导四元数角度信息的两种方法，应用于纹理图像分类。2）彩色图像四元数的多动作变换方法。融合一些基本的四元数运算符，形成了一个多结构体，来挖掘颜色通道之间更为复杂的关系，同时给出了脉冲噪声检测和彩色图像分类两个应用实例，来验证该变换的有效性。3）一种基于先验概率协同表示的视觉识别方法。将每个类别的训练样本的特征作为先验知识，从图像距离和表示能力的角度提取四种不同类型的先验知识，能自适应分析每个类的贡献值，产生对查询样本进行分类的准确表示；提出算法与相关算法对比，在公开数据集获得更优的分类效果。4）提出了一种先进的结合稀疏降噪自动编码器与softmax多类别分类器的分类方法，有效地考虑了高光谱图像的光谱信息和空间信息，最终将获得的特征输入进行高光谱图像分类。5）从滤波器设计、特征融合、细粒度相关分析等角度，设计不同特征表示方法，成功应用于医学CT图像检索。6）从网络特征融合、轻量化网络等角度，设计了不同深度网络模型，成功应用于图像超分辨率重建、图像去雨任务。上述研究成果能够为医疗图像分析、高光谱图像分类等应用提供理论支撑与技术支持。在项目的支持下，课题组在IEEE Transactions on Cybernetics、Applied Soft Computing、计算机辅助设计与图形学学报等国内外重要期刊发表SCI、EI收录期刊论文17篇，1篇入选ESI高被引论文，发表会议论文3篇，申请发明专利2项；培养硕士研究生14人，协助培养博士研究生1人。圆满完成了项目的任务指标。