面向复杂环境的RGB-D多视觉模态场景识别与理解技术研究

Focusing on the scene recognition and understanding tasks under the complex environments, we investigate the researches on RGB-D multi-modal data. First, in order to address the lack of depth data problem, we propose to automatically detect saliency regions in weak supervision, which are used for data augmentation to train depth modality-specific CNN model. The depth modality-specific model trained with saliency regions are used as initialization for the following tasks. Then, we propose to implement multiple types of attention mechanism for RGB-D modality fusion. By designing convolutional kernels with gradient based operators, feature maps of gradients are obtained with convolution operations. And multiple types of attentions, such as temporal, spatial and modal attentions, are calculated and implemented to address problems of frame blurring, depth information incompleteness and modality adaptive fusion. Finally, in order to address the object co-occurrence problem, we propose to detect spatial relations between objects, and generate local captions based on objects and their spatial relations, which allow us to understand scenes with natural languages. Since the local captions with spatial relations are more discriminative to the scenes with object co-occurrence, we propose to embed local captions with LSTM model to further predict scene labels.

面向多种复杂环境下场景识别与理解任务，本项目拟基于RGB-D多视觉模态数据展开一系列研究。首先针对因采集困难而导致的深度模态数据匮乏问题，研究弱监督场景显著性区域自动挖掘技术，通过挖掘显著性区域实现数据增广，实现只利用有限数据的深度模态CNN模型训练，为场景识别与理解技术提供深度模态模型初始化参数；其次研究应用多注意力机制的多模态视觉融合技术，基于像素梯度等基本信息构建特定卷积核，并在时序、空间和模态等多维度学习注意力机制，以解RGB视频帧模糊、部分视频帧深度信息缺失和RGB-D多模态自适应融合等问题，实现复杂环境下的场景识别，为后续场景理解任务提供先验知识；针对因物体共生导致的场景混淆问题，研究场景中物体间关系建模与局部区域图题表达技术，通过建模场景内物体间的空间关系生成相应的基于自然语言的图题表达，实现场景局部区域理解,并基于迭代神经网络对图题表达编码，进一步推理场景类别。

面向多模态交互的场景识别与理解中的数据分布不均、场景环境异常因素干扰、多模态数据视觉差异大、场景类内差异类见相似等问题，本项目拟基于RGB-D多视觉模态数据展开一系列研究。首先针对训练数据不足及长尾分布问题，研究基于数据增广与弱监督训练的方法研究，提出了图像有效区域增广方法，基于成对一致性学习，通过约束两种不同输入的模型输出一致性，来实现一种对抗性学习的机制进而促使模型去探索更多的有用区域信息；其次针对多模态视觉差异性大的问题，研究基于多注意力机制的多模态自适应融合方法，面向真实复杂的场景环境，提出了一种基于RGB-D数据的异常因素感知卷积方法，通过感知时序和空间维度的梯度差异，进而感知空间的关照、视频模糊、局部深度缺失等异常因素，并利用多注意力机制自适应调整模型权重，以抑制异常因素的干扰；然后针对场景类间物体共生及类内空间分布差异性大的问题，研究基于场景空间分布建模，将场景划分为区域表示，并挖掘区域间的空间及语义关系以构建场景图，提出了一种基于图卷积网络的区域建模方法，通过构建虚拟的全局节点实现整体图像的分类；还提出了一种基于马尔可夫随机场的概率图模型，以实现局部到全局的最优化融合，有效建模了场景的空间分布。基于所提出算法，本项目开发了一套RGB-D实时场景识别演示系统和视觉导航系统。