基于形状空间的图像表示的研究与应用

Image representation is a very important and fundamental problem in areas of image processing and computer vision. In a large number of applications, the processing relies on objects or areas of interest. Therefore, these applications would benefit from a region-based processing. In this project, we propose a novel image representation method based on multi-scale regions, called tree-based shape spaces. The shape space has several interesting properties: (1) It is covariant to continuous (topological) transformations; (2) It is invariant to affine transformation of image intensities and (3) provides a reduced and multi-scale search space for objects of interests; (4) The shape space based on the tree of shapes is a self-dual structure. This project targets to the construction of shape space by merging component trees in mathematical morphology and hierarchy of segmentations. We would also focus on how to use the structure information embedded in shape space. The shape space is appropriate for many region-based image processing and computer vision tasks, such as shape filtering and segmentation, local feature detection and matching, medial image analysis, object detection, and text detection. This project provides a powerful alternative tool for these related applications. Research output would promote the relatively backward research in the field of mathematical morphology in our country.

很多图像处理和计算机视觉的问题依赖于物体或兴趣区域的概念。本项目提出一种新颖的基于多尺度区域的图像表示方法称之为形状空间。将每个区域看成是形状空间这一图表示中的每个节点，区域之间的包含或空间相邻关系则对应用于形状空间中的边，其基本思想是将很多直接应用于具有图表示的图像空间的算法应用于形状空间。本课题拟重点研究基于数学形态学成分树和层次分割相结合的形状空间的构造方法， 以及如何利用形状空间的结构信息以获得能力更强的图像表示。为很多基于区域的图像处理和计算机视觉问题提供新的解决方法。形状空间具有多尺度性和对对比度不变性，基于此，研究其在图像处理与计算机视觉领域中的相关应用，包括形状滤波与分割、特征区域的提取与匹配、医学图像分析、物体检测、文字检测等。本项目涉及到数学形态学这一重要图像处理分支的国际前沿研究，推动国内数学形态学的理论与应用研究。

针对传统基于独立像素点绝对值的图像表示空间缺乏区域信息、结构化描述不足、且稳定性差的问题，本项目构建了基于像素点相对关系的区域空间，提出了多尺度、对对比度不变、以及对连续拓扑变化协变的图像表示，为鲁棒的图像解析提供了基础支撑。项目组利用基于像素值大小关系的区域空间的多尺度与对对比度不变等特性，提出了在该区域空间进行兴趣区域选择的方法，成功用于医学图像兴趣目标提取，项目组提出了用深度学习来学习像素点之间的关系来代替传统基于简单像素值大小关系的区域空间建模，研究和发展了基于学习的区域空间构造和属性函数计算，成功用于场景文字检测，骨架提取，目标检测，图像分割，医学图像分析等方面，主要研究成果包括：1）提出了一套利用基于大小关系的区域空间来提取医学图像中弱对比度目标的方法，完善了弱对比度目标的属性描述；2）提出了学习表征像素点几何位置关系的流量表示来代替像素点值的大小关系，用于构建区域空间，完善了区域空间的结构化描述能力，发展了一种精确的骨架提取方法；3）基于相邻像素点关系所得的区域空间的结构化信息，提出了两种面向提升跨中心医学图像分割鲁棒性的方法；4）提出了利用深度学习来学习像素点之间的关系，构造了比基于大小关系的区域空间表达能力更强的区域空间，以及完善了属性函数，在场景文字检测，一般图像分割与语义分割等应用领域取得了成功应用；5）提出了一种基于顶点滑动的多方向目标检测方法，能高效精确的检测任意方法的目标。基于上述研究成果，发表TPAMI/IJCV/TIP/CVPR/ICCV/ECCV/MICCAI等期刊会议论文15篇，申请国家发明专利5项，获得CVPR 2019半监督视频图像分割竞赛DAVIS冠军。