弱监督条件下RGB-D时序图像的语义分割模型与迁移学习算法

RGB-D images are four-channeled images with RGB color and depth information. To imitate the visual cognition of human, processing and analyzing of the RGB-D images by combining the color and depth information has become a hot research hotspot in the field of computer vision. In order to segment 3D objects with semantic meaning from the RGB-D sequential images, by analyzing the relationship between semantic segmentation and registration, a new mechanism called "segmentation-recognition-simultaneous segmentation and registration" will be proposed and a new semantic segmentation model which can optimize the semantic label and registration parameters simultaneously with color, depth and spatial-temporal context information will be designed. At the same time, to utilize labeled RGB images from the internet for learning the semantic segmentation model, and to reduce the work of labeling the training images, a weakly supervised adaptive heterogeneous transfer learning framework will be designed for building semantic visual dictionary based on the exploration of auxiliary domain selection method and transfer learning algorithm. And, the algorithms for learning spatial context by knowledge transfer and sharing will also be designed. At last, a testing platform will be built to test the property of the proposed models and algorithms.

RGB-D图像是包含颜色和深度信息的四通道图像，模仿人类的视觉认知，融合颜色信息与深度信息对其进行分析和处理，已成为计算机视觉领域的研究热点。为了从RGB-D时序图像分割出具有语义的物体三维模型，本项目拟通过分析时序图像语义分割与配准之间的关系，探讨RGB-D时序图像的"分割-识别-同时分割与配准"语义分割模式，并设计RGB-D时序图像的层次化语义分割模型与推理算法，以充分利用颜色、深度和时空上下文，对语义标签的一致性和图像配准参数进行优化；同时,从利用互联网上标定好的RGB图像来辅助弱标定的RGB-D时序图像进行学习，以减少训练图像标定工作的角度出发，将在研究领域选择机制和异构迁移学习方法的基础上，构建弱监督条件下的自适应异构迁移学习框架，以设计语义视觉词典学习方法，并探讨通过知识迁移和共享获得可靠的空间上下文的学习算法；最后，搭建测试平台，在多个数据集上分析测试模型和算法的性能。

项目主要对弱监督条件下的迁移学习算法和RGB-D图像的语义分割算法进行了研究，设计了RGB-D时序图像的层次化语义分割模型与推理算法，以充分利用颜色、深度和时空上下文，对语义标签的一致性和图像配准参数进行优化。提出了拉普拉斯正则化的视觉词典学习算法，通过采用特征模板对拉普拉斯正则化局部约束编码的目标函数进行分解，将其分解为若干个简单的线性函数。该方法可以有效地提高视觉词典学习的效率，并且提高图像分了和图像分割的精度。提出了一种度量迁移学习框架(MTLF), 通过调整实例权重来关联不同领域之间的分布，通过度量迁移学习来是目标领域的类间距最大化、类内距最小化。该方法的主要创新点在于，采用了一种实例权重学习和马氏距离学习的并行框架，该学习框架可以更有效地在不同领域之间进行知识的迁移。在以上研究的基础上，探讨了多源迁移学习算法，提出一种基于伪标注核均值匹配的多源迁移学习算法。