基于有向图模型的图像局部特征描述子研究

The task of building image local feature descriptors is to describe image local region such that they can be distinguished from other regions. However, image pairs often involve shadow or occlusion, so that the brightness may change sharply in some local regions. In addition, Brightness changes in some local regions inevitably bring negative impacts on the stability of image local feature descriptors. Therefore, it is still a challenging task to make the descriptors robust to complex brightness changes and many other geometric transformations.This project tries to utilize directed graph to solve the above disadvantage. The main research contents include: (1) Multiple support regions constructing. We believe that only one single support region is not enough to ensure the stability of image local feature descriptor. In order to capture region orientation and geometry information more accurately and efficiently, multiple support regions with translation invariance, multiscale and multidirection are constructed; (2) Region division. The region division method with unambiguous boundaries is studied using intensity order, which ensure the divided subregions are invariant to monotonic intensity changes and image rotation. (3) The feature descriptor building. We introduce the directed graph to represent the contrast relation between intensity values, and we research edge orienting manners and effective matrix representation of the edge directions to construct the feature descriptors which are invariant to monotonic intensity changes and affine transformations.

图像局部特征描述子的主要任务是描述图像局部区域，以使得该局部区域能和其它图像局部区域进行有效的区分。但由于图像往往包含局部阴影和遮挡，局部区域的亮度可能会急剧变化，这必然会对图像局部特征描述子的稳定性带来负面影响。因此，研究复杂亮度变化和图像几何变换下的图像局部特征描述子仍然是一个具有挑战性的任务。本项目利用有向图模型来解决该问题，其主要研究内容包括：（1）多支持区域的构建：单一的支持区域是不足以确保图像局部特征描述子的稳定性，研究具有平移不变性、多尺度和多方向的多支持区域，以便更准确更有效地捕捉图像区域的几何和方向等信息；（2）区域划分：研究基于亮度序的区域划分方法，且在子区域边界无歧义，使得划分的子区域同时具有旋转不变性和单调亮度不变性；（3）特征描述：引入有向图模型来表征亮度大小关系，研究有向图定位方法和有向图的有效矩阵表示来构建仿射不变和单调亮度不变的图像局部特征描述子。

图像局部特征描述子已经被广泛应用于计算机视觉和模式识别中，如目标检测、目标识别和分类、三维重建、纹理识别、图像检索、图像配准和图像拼接等，其效果将直接影响到后续图像处理工作的效果。本项目研究了基于非降采样Contourlet(NSCT)变换的多支持区域构建，利用NSCT可以获得不同尺度、不同分辨率和不同方向的多个支持区域；研究了基于亮度序的区域划分，利用亮度序在每个支持区域上进行区域划分，以提取同时具有旋转不变性和单调亮度不变性的局部亮度模式描述子；研究了基于有向图的特征表示方法，利用凸壳与内点集构造有向图及其邻接矩阵；研究了基于中值KNN图的特征描述子，构建中值K最近邻(KNN)图，在中值KNN图中计算面积比不变量作为邻域结构的表示。. 在本项目的支持下，项目组按照研究计划圆满完成了规定的研究内容，发表论文23篇，其中SCI收录6篇，EI收录7篇，研究成果超出了预期成果。主要成果如下：（1）基于亮度序和多支持区域划分的特征描述子。提出了一种基于NSCT变换与亮度序的局部特征描述算法，实验证明提出的描述子在图像模糊、视角变换、仿射变换、JPEG 压缩、亮度变换等表现出良好的性能。（2）基于图模型/有向图模型的特征描述子。提出了一种射影不变的有向图匹配方法，实验结果均表明该算法能够处理射影变换下匹配问题，并且在真实场景的图像匹配也有较高的匹配正确率；提出一种基于面积比不变量的遥感图像配准算法，在中值KNN图中计算面积比不变量作为邻域结构的表示；提出了一种基于改进图优化的激光slam算法，改进的图优化算法显著提升了建图效果。（3）多特征描述子的融合策略。提出了一系列多特征融合策略并应用于皮肤病分类、行人再识别、语音鉴伪、安全帽佩戴检测中。（4）基于深度学习的特征描述。提出了一系列深度学习模型并应用于行人再识别、皮肤病分类、火灾检测与定位、视频暴力行为识别中。（5）特征描述子的应用扩展。将特征描述子应用于遥感影像水体提取、车牌识别中。