基于局部深度二值编码和相对属性嵌入的不变性纹理表达研究

Efficiently extracting visually invariant texture features with perceptual semantic information is a challenging problem in image processing, computer vision and pattern recognition. By investigating the current research status and taking the perspective of human visual perceptual characteristics at two levels, this project proposes a new method for invariant texture representation based on local deep binary encoding and relative attribute embedding. Since the significant perceptual attribute ranking information between image pairs is embedded, the proposed method can characterize the texture structure in a more accurate and comprehensive way with better semantic properties, compared to the traditional methods. In our method, steerable filters and local operations are leveraged, and deep non-linear transformations, multiple constrained encoding criteria and direct discrete optimization are considered simultaneously. As a result, an efficient local binary encoding model is built with the rotation and illumination invariance. An invariant pyramid feature pooling is further proposed and a computational model of texture representation is finally established based on relative attribute embedding. Our model can achieve the joint optimization of low-level pooled features and high-level relative attributes. This project will provide a new idea and theoretical foundation for semantic embedded invariant feature representation.

高效提取具有视觉不变性和感知语义信息的纹理特征是图像处理、计算机视觉和模式识别研究中的挑战性问题。本项目针对纹理特征的研究现状，从人类视觉感知特性的两个层面出发，提出了基于局部深度二值编码和相对属性嵌入的不变性纹理表达新方法。由于嵌入了图像间重要的感知属性排序信息，该方法比传统方法更能准确、全面地刻画纹理的结构信息，并且具有更好的语义描述特性。利用可控滤波和局部操作，同时综合考虑深度的非线性变换、多重编码约束准则和直接的离散优化，构建了高效的具有旋转和光照不变性的局部二值编码模型。在此基础上，提出了不变性金字塔特征汇聚方法，建立了基于相对属性嵌入的纹理表达计算模型，实现了对底层汇聚特征和高层相对属性的联合优化。本项目将为基于语义嵌入的不变性特征表达提供新的思路和理论依据。

本项目围绕“构建符合人类视觉感知特性的纹理表达”这一核心目标，研究了基于深度学习技术和局部二值编码技术的纹理表达模型，探索了具有不变性的局部特征汇聚方法，构建了基于相对属性嵌入的纹理描述符，取得了一系列创新性的研究成果，具体表现在以下四方面。在基于深度学习的纹理特征表达方面，本项目以注意力机制为着眼点，通过构建自适应空谱核残差网络实现了卷积核大小的自动调整；利用双重注意力机制在空间和光谱维度上捕获非线性上下文信息，提高了谱带选择性下的高光谱图像分类精度。在基于局部二值编码的纹理表达方面，以构建不变性局部特征为出发点，提出了一系列新的纹理图像表达模型，揭示了二值编码与图像不变性之间的内在关联和转换途径，实现了对图像旋转、光照变化和噪声干扰等具有鲁棒性的纹理分类。在构建不变性局部特征汇聚方法上，从不变性特征编码角度出发，利用像素的不变性特征对图像进行金字塔划分，实现了像素级特征的有效聚合，突破了传统空域网格划分对图像旋转等变化敏感的局限。在构建相对属性嵌入的纹理描述符上，拓展了传统的相对属性概念，直接对像素级的属性特征进行比对、排序和编码，实现了不变性彩色/灰度纹理图像的有效建模。在国内外著名期刊和会议上发表/录用14篇学术论文，含2篇IEEE汇刊论文（IEEE TCSVT和TGRS）、2篇IEEE快报论文（IEEE SPL和GRSL）、2篇Elsevier出版论文（ESWA和JVCIR）、2篇中文期刊论文（《自动化学报》和《电子与信息学报》），形成的关键技术申请国家发明专利4项，培养硕士研究生4名。