人的行为意图推理的随机深度模型研究

Inference of human behavior intention based on visual data is a challenging but not deeply studied issue. Combing the stochastic graph and neural network deep learning theories, this project will propose stochastic deep models with new representation, learning and inference approaches. It systematically studies the vision-based human behavior intention in spatial domain, temporal domain, joint spatial-temporal domain, and human group. In view of the latent feature difficulty of human intention, this project proposes a stochastic deep model of human-attention-object interaction to formulate and infer human intentions in images. To address the randomness and discontinuity of intention transition in time series, this project proposes a pulse-long-short-term memory model. For videos with complex human behaviors, this project proposes 4D spatial-temporal hierarchical stochastic deep models to formulate and predict human intentions in videos. Inspired by the field theory in physics, this project proposes a intention field model to represent and infer group intentions. Compared with the other works, the issues studied in this project are of essence and the contents are systematic. It studies a new topic and creative in the aspects of models and cross-disciplines. This research is of great significance both in theories and applications. The proposed methods can be applied to many fields of industry and human life.

基于视觉数据的人的行为意图推理是一项具有挑战但未被深入研究的课题。本项目结合随机图和神经网络深度学习理论，提出具有新的表达、学习和推理方法的随机深度模型，从空域、时域、时空联合和集群等四个方面系统研究基于视觉的人的行为意图推理。针对意图的隐式特征难点，本项目提出人-意-物三元交互随机深度模型对图像中人的意图进行空域建模和推理；针对时间序列中意图迁移的随机性和不连续性问题，提出脉冲长短记忆网络模型对人的行为意图进行时域建模；对含有复杂人体行为的视频，提出四维时空联合分层随机深度模型对视频中人的行为意图进行建模和预测；受物理学场论的启发，提出意图场模型对多人行为的集群意图进行建模和推理。与其他研究工作相比，本项目研究的问题具有本质性、内容具有系统性，在研究问题、模型方法和学科交叉上具有创新性。本项目的研究具有重要的科学意义和应用前景，提出的模型方法可应用于国计民生诸多领域。

基于视觉数据的人的行为意图推理是一项重要而具有挑战性的研究课题。本项目结合随机图和神经网络深度学习理论，提出具有新的表达、学习和推理方法的随机深度模型，系统研究基于视觉的人的行为意图推理。本项目圆满完成了各项目标，并且在预定目标之外有新的突破。本项目分析并阐明了视觉理解中人的意图在时间域、空间域、时空联合和集群中的表现机制，为人的意图分析建立概念基础；提出了描述时间域、空间域、时空域和集群意图的模型，为意图分析与识别建立有效的理论方法，包括时间域的SIFP神经网络模型、NST嵌套时空注意模型、ARC非对称关系一致性推理模型、HOIG关系推理模型，时空域的HAO分层计算模型、通用Earley行为解析与预测模型、EvoSTGAT进化图神经网络模型、RRH超图关系推理模型等，在意图预测、行为识别与轨迹预测等各项子任务上都达到了国际先进水平。提出了意图预测模型的高效推理算法，如时间域NST嵌套时空注意力算法、时空域的分层HAO优化算法、基于GRU的进化注意力算法等，提高了意图与轨迹预测的正确率，推动突破行人意图预测技术瓶颈。基于意图计算与推理技术，开发了无人驾驶交通场景中的行人意图预测技术，成功应用于西安交通大学无人驾驶车辆，使无人驾驶车辆的决策和运动行为更加安全；开发了一种基于意图预测的电子书阅读器系统，为双臂残疾人士阅读电子文档提供了方便。本项目的研究成果未来可应用于人机协作、自主智能、无人驾驶等实际应用系统。项目在高水平SCI期刊及国际会议上发表学术论文23篇（本项目都有标注），申请发明专利7项，完成项目预期目标；培养研究生12名。项目负责人在项目执行期内获得教育部“长江学者奖励计划”青年学者、“陕西高校青年创新团队带头人”人才计划荣誉奖励。