基于形状上下文的语义目标分割方法研究

Aiming at mapping image pixels to the corresponding objects, semantic object segmentation of images bridges the gap between the high-level semantic understandings of human and the low-level visual express of computers, and it is the key technique for the implementation of intelligent image analysis and understanding. Based on the methodologies, i.e., calculus of variations, graphical models and optimization techniques, our application attempts to integrate shape semantics, shape context as well as texture characters to realize semantic object segmentation in the two manners of bottom-up and top-down. The main contents of our application include: 1) researching the methods of shape alignment and extraction of shape semantics by manifold, Lee group and non-negative matrix factorization; 2) based on graphical models, researching the techniques of inference and learning of shape context models in scenes; 3) improving the level set framework for contours evolution to integrate low-level visual clues and high-level shape context into a unified energy functional, and finally to realize the segmentation and recognition of multiple semantic objects constrained by multiple semantic contexts. Our application would greatly contribute to consummating and developing the theorems and methodologies of level set based segmentation, and provides image analysis and understanding with new thoughts and techniques.

图像语义目标分割旨在建立图像像素与物理目标之间的关联，从而消除人对图像的高级语义理解与计算机的低级视觉表达之间的差异，是实现图像智能分析与理解的核心关键技术。本项目拟以目标的形状语义及形状上下文为突破口，辅以图像纹理等底层特征，基于变分法、图模型、最优化等研究手段，在水平集框架下通过自下而上和自上而下两种模式实现语义目标分割与识别。本项目的研究内容有：1）通过流形、李群及非负矩阵分解等方法，研究目标形状的对齐以及形状语义的提取与建模方法；2）基于图模型，研究目标形状上下文语义的表示及推理学习方法；3）提升水平集曲线演化框架，通过统一的能量函数整合低层视觉表达与上下文语义信息，实现具有形状上下文约束的多语义目标分割与识别。以上研究有助于完善和发展基于水平集的图像分割理论与方法，为图像分析与理解等研究领域提供新思路与新方法。

互联网的普及催生了海量图像数据，各种图像技术蓬勃发展。然而，由于在图像采集时破坏或丢失了目标的诸多信息，如距离、深度等信息，图像所处的信息空间与目标所处的物理空间对应性并不好，具体表现为图像像素与物理场景的对应就是一个病态问题。图像分割，特别是语义目标分割旨在估计和建立图像像素与物理目标之间的对应，是实现图像智能分析与理解的核心关键技术。本项目拟以目标的形状语义及形状上下文为突破口，辅以图像纹理等底层特征，基于变分法、图模型、最优化等方法，在水平集框架下通过自下而上和自上而下两种模式实现语义目标分割与识别。本项目的主要研究内容为：1）通过形状上下文以及非负矩阵分解等方法，研究目标形状的对齐、剖分以及形状特征的提取与建模方法；2）基于图模型、流形、李群，研究目标的形状语义表示及学习方法；3）基于水平集的曲线演化框架，研究和设计统一的能量泛函以整合图像的低层视觉模型、上下文语义以及其他外部约束，实现具有形状语义约束的目标分割。项目执行期间，将形状上下文、模糊集、子空间分析、曲线演化、泛函优化等方法与偏微分方程、概率论、流体力学等理论结合，基于水平集方法研究图像语义目标的分割与提取，提出若干新思路和新方法，改进和充实了水平集方法理论和应用，推动了图像分割方法的研究和发展。课题组在国内外相关领域的主流学术期刊和会议发表学术论文12篇，其中中科院JCR 1区论文2篇，中文期刊1篇，SCI检索3篇，EI检索8篇，待检索2篇；申请和授权国家发明专利6篇，其中授权2项；获陕西省科学技术奖（一等奖）1项；培养博士后2名，博士研究生2名，硕士研究生9名。课题组成员1人出国访学，参加学术会议6人次。课题组针对研究中发现的新问题进行了初步研究，并基于此于2019年申请并获得了面上基金项目（No. 61971331）的持续支持。