基于跨模态学习和条件随机场的RGBD室内场景理解研究

Nowadays, parsing indoor scenes using RGB-D imagery has become an emerging challenge with various applications. However, it retains as an open problem due to the deficiency of labeling 3D training data. Moreover, a major challenge of this task arises from the fact that most indoor scenes are cluttered and occluded with each other. To addresses the problem of small datasets, our proposal targets at designing feature, expanding training samples and designing model, including(1) feature extraction based on bimodal learning, (2) spatial context model and (3) multi-task model for scene parsing. These aspects have not been extensively studied currently. Under our proposal, we intend to achieve the following objectives: (1) a set of algorithms for parsing RGB-D scenes will be presented; (2) a kind software for parsing RGB-D scenes will be developed; (3) eight or more papers will be published in authoritative journals or important international conferences.

RGB-D图像的场景理解是当前计算机视觉研究中的难点和热点问题，在增强现实和家庭服务机器人等领域中有着广泛应用，本项目拟利用跨模态学习进行RGB-D数据特征提取，结合条件随机场技术开展RGB-D场景理解方面的研究，建立和改进RGB-D场景理解模型。受限于室内场景中物体种类繁多、易遮挡以及训练数据匮乏等因素，RGB-D场景理解依然面对着挑战。针对样本匮乏问题，本项目拟从训练样本扩充、特征设计和模型设计三个角度出发，为以上问题提供有效解决方案, 主要包含以下三个研究内容：(1)设计基于跨模态学习的特征提取算法，挖掘不同模态数据之间的非线性关系；(2)构造空间上下文模型，建模场景中的上下文关系；(3)构造多任务场景理解模型，充分利用不同任务之间的高度相关性。通过在这些方面开展深入系统研究，本项目希望凭借建立和改进RGB-D场景理解模型算法，提高RGB-D场景的解析效果，为工程实践应用提供借鉴。

RGB-D图像的场景理解是当前计算机视觉研究中的难点和热点问题，在增强现实和家 庭服务机器人等领域中有着广泛应用，本项目拟利用跨模态学习进行RGB-D数据特征提取 ，结合条件随机场技术开展RGB-D场景理解方面的研究，建立和改进RGB-D场景理解模型。 受限于室内场景中物体种类繁多、易遮挡以及训练数据匮乏等因素，RGB-D场景理解依然 面对着挑战。针对样本匮乏问题，本项目拟从训练样本扩充、特征设计和模型设计三个角 度出发，为以上问题提供有效解决方案, 主要包含以下三个研究内容：(1)设计基于跨模 态学习的特征提取算法，挖掘不同模态数据之间的非线性关系；(2)构造空间上下文模型 ，建模场景中的上下文关系；(3)构造多任务场景理解模型，充分利用不同任务之间的高度相关性。通过在这些方面开展深入系统研究，本项目希望凭借建立和改进RGB-D场景理解模型算法，提高RGB-D场景的解析效果，为工程实践应用提供借鉴。本项目的研究成果包括：（1）在国内外重要期刊和会议上已经发表与研究内容相关的学术论文8篇，其中SCI期刊论文4篇，中文核心期刊论文1篇，EI检索会议论文3篇。（2）申请一项国家发明专利一项。（3）培养和协助培养计算机视觉相关方向的本科毕业生12名,硕士毕业生4名。综上所述，本项目较好地达到了预期的研究目标，本项目涉及到的跨模态学习和多任务学习的研究成果可以为RGB-D、图像及点云的场景理解的理论研究和工程实践提供一定的借鉴。