基于动态深度贝叶斯网络的行为识别与语义建模方法研究

For the problem of use semantic information contained in complex continuous behaviors to build unknown environmental model, methods based on a Dynamic Deep Bayesian Network (DDBN) framework are proposed to recognize behaviors and understand environmental semantic information. The main contents of the research include the following aspects: ①Considering the continuous ordering relationship among behaviors, and the position and behavior of a people includes causal relationship in a time period and constraints across the period, a method based on coarse-grained behavior classification and fine-grained behavior recognition in the framework of DDBN is proposed.②On the basis of fusing multi-source heterogeneous visual data, an adaptive method fusing time domain and space domain environment matching results in the framework of deep bayesian fusion is proposed, which solve problems of low precision of point matching during 3D environment modeling and time synchronization problem during matching between depth image and color image. ③Based on multimodal fusion of human motion data, location data and environmental data, by using cause and effect of human activity in time and space, combining with environmental information entropy, which make the robot to inference semantic information of the environment, simultaneously, dynamicly building a 3D semantic environment model. This research content of human activity recognition can significantly reduce the computational effort of semantic scene modeling and improve the efficiency of interaction among robot, human being and environment, which has a more urgent demand and broad application prospect in the field of intelligent robot.

本项目针对利用人的行为信息构建三维场景语义模型的问题，提出了基于动态深度贝叶斯网络的行为识别与场景语义理解方法。主要研究内容包括：①考虑连续行为之间的顺序性关系、以及人的位置与行为之间包含的时间段内的因果关系、跨时间段的约束关系，研究基于动态深度贝叶斯网络的粗粒度行为分类与细粒度行为识别方法；②在对多源异质视觉数据融合的基础上，研究时间域与空间域场景匹配结果在深度贝叶斯框架下的自适应融合方法，解决三维场景建模时的点匹配精度低、彩色图像与深度图像匹配时间不同步问题；③通过对人的运动数据、位置数据与场景数据的多模态数据融合，利用人的行为在时间和空间上的因果关系，结合场景中对象的熵信息，让机器人推理出场景的语义信息，同时动态构建三维场景语义模型。本项目对行为识别技术的研究能够显著地降低语义场景建模的计算量，提高机器人与人、场景之间的交互效率，在智能机器人领域有较为迫切的需求和广阔的应用前景。

本项目围绕三维室内场景下的语义建图和行为识别研究任务，探索了在动态深度贝叶斯网络方法的体系架构下，多角度研究了人-机器人-环境之间语义关系下的三维语义模型构建理论。主要研究内容及研究成果为：1）面向复杂未知环境，重点针对未知场景的三维目标检测、三维环境建图和三维语义建图开展研究工作。研究了机器人在复杂的环境中对目标进行三维检测、精确的定位自身的位置并对环境进行三维语义建模的方法；2）研究了机器人的自主行为策略，在高层次上实现机器人视觉的自主性、目的性和高效性，使机器人针对特定环境自动进行三维建模，自主对待未知的三维物体和环境，现场解决一些不确定性问题；3）研究了与概率模型保持一致的各种行为表达建模方法，通过将面向对象的问题求解方法应用于对象、事件与状态、行为的表达，将形式化处理与非形式化处理、归纳与演绎方法同时运用于动态环境的问题求解，用高层语义的方式实现决策智能化，以提升视觉处理和机器行为的效率和智能化水平；4）研究了行为识别、复杂环境理解以及视觉处理等方面的新理论、新技术与新方法。本项目的实验测试为后续可能的应用打下了坚实的基础。