室内深度场景的概念学习

Indoor scene understanding is a hot topic in computer graphics, machine vision, and image processing. Inspired by cognitive science research recently published in Science cover, aiming at indoor depth scenes, this project proposes a fully novel framework of concept learning. Its advantages include two points. It is trained by only a few samples and even one sample. It can realize learning from low-level features to high-level concepts. Combined with our previous works published in IEEE TNNLS, IEEE TCyb, IEEE TMM, CGF, and PR, this project focuses on four major techniques: 1) extraction techniques of multiple types of features for depth scenes; 2) candidate generation of scene parsing parameters for hierarchical structure; 3) parameter learning of a few scene samples; 4) posterior inference based on hierarchical Bayesian program learning. We will build a novel indoor scene dataset with a few samples and make it publicly available. The merits and demerits of the framework of concept learning will be analyzed and compared to large samples based deep learning methods. The theoretical results can be applied into 3D scene modeling, indoor robots, video surveillance, and multimedia retrieval.

室内场景理解是计算机图形学、机器视觉、图像处理的一项热点研究问题。受Science封面最新认知科学成果启发，面向室内深度场景，本项目提出一种全新的概念学习框架，主要优势在于：仅需少量样本甚至单一样本进行训练；实现从底层特征到高层概念的学习。结合申请人前期工作（研究成果发表在IEEE TNNLS, IEEE TCyb, IEEE TMM, CGF, PR等），重点研究四项内容：1）深度场景的多种特征描述方法；2）面向阶层式结构的场景解析参数候选集生成策略；3）少量场景样本的参数学习；4）基于阶层贝叶斯程序学习的后验推测方法。本项目拟建立公开的室内场景小样本数据集，测试概念学习框架的优势与不足，与基于大量样本的深度学习等主流方法比较。本项目成果可应用在三维场景建模、室内机器人、视频监控、多媒体检索等方面。

室内场景理解是计算机图形学、机器视觉、图像处理的一项热点研究问题。受Science封面最新认知科学成果启发，面向室内深度场景，本项目提出了一种全新的概念学习框架，主要优势在于：仅需少量样本甚至单一样本进行训练；实现从底层特征到高层概念的学习。本项目重点研究了四项内容：1）深度场景的多种特征描述方法；2）面向阶层式结构的场景解析参数候选集生成策略；3）少量场景样本的参数学习；4）基于阶层贝叶斯程序学习的后验推测方法。本项目建立公开的室内场景小样本数据集，测试了概念学习框架的优势与不足，与基于大量样本的深度学习等主流方法进行了对比，同时将场景理解从室内应用推至室外大场景。本研究围绕场景中目标感知、定位、特征深度学习这条主线，针对三维模型特征分析、场景理解，提出一种基于形态自适应网络的场景影像目标识别跟踪算法，首先使用基于数据驱动的方法对数据集进行扩增，添加了遮挡样本和多旋转角度样本，提高样本多样性；提出的形态自适应网络模型通过旋转不变约束改进深度置信网络，提取强表征能力的深层特征，使得模型能够自动适应目标形态变化，利用深度特征变换算法获取待检测目标的预定位区域，采用基于Q学习算法的搜索机制对目标进行自适应精准定位，使用深度森林分类器提取跟踪目标的类别信息，得到高精度的目标跟踪结果。在多个数据集上进行了对比实验，实验结果表明，该算法能够达到较高的识别跟踪精度，可以适应目标旋转，目标遮挡等形态变化情况，具有较好的准确性和鲁棒性。本项目取得成果包括发表代表性SCI期刊论文10篇，其中领域国际顶级期刊IEEE Transactions on Image Processing 5篇和IEEE Transactions on Cybernetics 1篇，授权和申请发明专利6项，积极开展国内会议交流15人次，国际会议交流4人次，邀请国外本领域专家来华协助研究进展3人次。培养博士生4名，硕士生3名。本项目成果可应用在三维场景建模、室内机器人、视频监控、无人机航拍视频理解等方面。