基于隐信息的人体行为预测研究

Video analysis based intelligent surveillance plays more and more important role in current public security and private home life. But current studies focuses on event detection by activity recognition, pays less attention on more significant activity prediction especially for some potential security events. That is to say, current researches are almost focusing on after-the-fact classification of completed activities and they are somehow unable to deal with unobserved sequences, so that current intelligent systems only work for alarm after something happens, other than prevention. Aiming at the subsistent problems, this project focuses on human activity prediction based on hidden information and a unified model is proposed to predict complex and long-during human activities. To this end, we propose two maximal margin learning frameworks to exploit different types of hidden information, including hidden information as secondary features and hidden information as secondary targets. Then, we theoretically analyses model’s completeness and practically analyses model’s efficiency. Finally, a human activity prediction platform will be implemented to verify the proposed approaches and make them further improved based on the testing so as to be more practical application oriented.

基于视频分析的智能监控无论在保障社会公共安全还是在辅助个人家庭生活中，都发挥着越来越重要的作用，这类应用基本上是通过对视频中的目标活动进行行为识别，检测所关心的某些事件，但对一些不希望事件的发生，缺乏预警作用，以致造成不可挽回的损失。目前的人体行为分析研究主要是对已发生的完整行为观测序列进行分类识别，对于预测未观测到的后续行为事件的研究十分有限，这就使得目前的技术只能事后报告而不能预警防范，限制了其有效应用。本申请项目针对存在的问题，研究基于隐信息的人体行为预测方法，构建一个基于隐信息的长时间复杂活动的行为预测模型，提出隐信息作为次要特征和隐信息作为次要目标的两个最大边缘学习框架，并从理论上分析所建预测模型的完备性，从应用中分析所建模型的实用高效性。最后，在此基础上设计实现一个人体行为预测系统平台，验证理论方法，使其进一步完善，为其面向实际应用奠定基础。

由于目前的人体行为分析研究主要是对已发生的完整行为观测序列进行分类识别，对于预测未观测到的后续行为事件研究的不足，而基于已观测到的行为预测可能发生的行为事件又是现实中非常有意义的实际应用问题。本项目针对这一问题，从面向行为预测模型的显著目标检测与人体行为定位、面向行为可预测性的完备性理论模型、面向不同场景实用高效预测模型性三方面，研究了人体行为预测，提出了基于生成对抗的领域适应网络和协同显著目标检测，有效解决面向行为预测模型的显著目标检测；提出了基于条件对抗网络的行为预测模型，基于深度强化学习的人体行为定位模型和基于概率图的人体行为定位模型，基于视觉数据和语义信息联合空间模型的行为识别，用于构建面向行为预测的完备理论模型；提出了统一层级时空模型等用于人体异常行为检测等应用，为人体行为预测提供了理论方法支持，完成了预定的研究目标。本项目共发表论文53篇，其中SCI检索期刊论文18篇（包括国际顶级期刊A1/CCF-A论文5篇，IEEE Trans论文6篇）,国际学术会议论文34篇（包括领域顶级会议论文CCF-A论文2篇）。知识产权方面，共有7项发明专利/软件著作权获授权。国际交流与合作方面，邀请1名国外知名学者来华交流，根据发表国际学术论文需要，项目组相关人员多人次前往国外交流。人才培养方面，共有3名博士生毕业取得博士学位，20多名硕士生毕业，另有一名博士后出站并获得讲师职称。