基于视频的多人行为分析研究

行为识别是目前计算机视觉领域中的一大研究热点，随着各国对安防工作的日益重视，基于视频的智能监控成为行为分析最重要的应用领域之一。目前，行为识别领域的研究成果大部分局限于单人，此外，目前研究的行为种类也比较有限，远不能满足智能监控的需要。为此，本项目将研究基于视频的多人行为分析，对多人行为中运动模型的建立及多层次特征的提取和应用做深入研究，旨在建立在一定条件下对不同人数都通用的运动模型，同时对用于安全的视频监控中重点关注的多人行为给出有效的特征提取方法。该行为分析的研究不同于舞蹈、体操等有明确规定的运动，视频监控中关注的是"自然"的日常行为，这些行为（如打架）的运动方式、参加的人数等都经常带有一定的随机性，本项目将对这类视频监控中关注的自然的多人行为做深入研究。

本项目研究了基于视频的多人行为分析，对多人行为模型的建立及多层次特征的提取重点研究，着重解决了多人交互行为的模型建立和特征提取，具体完成情况和取得的相关成果如下：.(1) 对复杂多人环境下行人跟踪获取轨迹特征，提出了一种时空表观模型和一种基于多元代价函数的方法；.(2)对多人交互的特征提取，提出了一种分层的、基于观测向量分解的隐马尔科夫模型，结合轨迹特征和特征点特征，实现了多人行为分析中的特征融合和特征分类；.(3)对多人交互行为分析，提出了一种耦合的基于观测向量分解的隐马尔科夫模型；.(4)对连续行为识别，提出了一种基于概率累加的连续行为识别和分割的方法和一种生成式具有平移旋转不变性的潜在语义模型(gTSI-pLSA)。.基于以上理论方法方面的研究内容，本项目共发表标有项目资助的SCI检索期刊论文和重要国际会议论文30多篇（项目原计划是15篇），其中在IEEE Trans-CSVT等SCI检索期刊发表论文12篇（项目原计划是3-5篇）。.面向应用方面，录制了视频监控环境下的多人交互行为，建立了多人行为数据库，实现一个多人行为分析系统平台。项目期间，有10项相关发明专利（项目原计划没有发明专利计划要求），其中有6项发明专利获得授权，4项发明专利在审理中。.为检验我们研究成果的有效性，并与国际同行进行合理比较，在项目执行期间（2010-2012），项目组连续三年参加了由美国国家标准与技术研究院NIST组织的TRECVid2010、 TRECVid 2011、 TRECVid 2012人体行为事件分析检测（Surveillance Event Detection, SED）国际比赛。其中，参加RECVid 2010的四项行为事件检测，三项取得了第一名，参加TRECVID2011的两项行为事件检测，一项取得了第一名；参加TRECVID2012的两项行为事件检测，一项取得了第一名。参赛的该项比赛的主要机构包括：美国卡内基梅隆大学，法国INRIA，日本NHK，中国北京大学等。.另外，在项目研究期间，项目负责人作为大会程序委员会主席, 组织召开了国际会议"The 3rd IET ICWMMN 2010"，在本项目支持下，有3 名研究生毕业获得博士学位，21 名研究生毕业获得硕士学位，一名项目组骨干成员由讲师晋升为副教授。