注意选择引导的人体运动分析和识别

Human activity recognition is one of the hot topics in computer vision. Though many progress has been made in the last few years, it still a challenge problem because of the complexity of human behavior and the lack of enough labeled training data. Inspired by the select attention scheme in human vision system, we are going to develop a hierarchical visual representation used in human activity recogntion. More specifically, we aim to (1) modeling the selection attention based on objectness to locate the potential object quickly; (2) propose novel learning methods for detecting the discriminative parts without or with only the fixations; (3) propose novel learning method for modeling the spatial layouts and timing variations of moving object parts; (4) develop human activity recogntion systems. This project aims to output high quality research papers as well as effective real-world application systems.

人体运动分析是计算机视觉领域的研究热点之一，但由于人体运动的复杂性和视频数据标注困难的影响，人体运动分析仍是一个很有挑战的问题。另一方面，生物视觉系统因其良好的注意选择和采用多通道层级表示及相互协同，在运动分析上表现了显著的优越性。本项目拟借鉴生物视觉系统的信息加工机制，研究：(1) 快速轮廓特征和运动特征提取及注意选择建，提高视频数据的处理速度；(2) 无监督或视点弱标注的学习，及其在运动物体部件检测中的应用，为视频数据的处理提供标注费用和学习效率的一个折中；(3)运动部件的时空关系学习，及其在人体运动识别和定位中的应用。项目预期发表一些高水平文章,并开发一个人体运动识别和定位原型系统,可用于智能视频监控或人机交互。

视频动作分析是计算机视觉领域的研究热点之一，但由于动作的复杂性和视频数据的庞大，从视频中进行动作检测和识别仍是一个很有挑战的问题。课题组借鉴生物视觉系统的信息加工机制，对视频显著性建模、视频特征表示以及动作检测和识别展开研究。（1）在视频显著性建模方面，空域显著性基于空间距离加权对比，时域显著性基于运动矢量并引入场景检测机制，并建立时空显著性融合计算模型，对空域显著性和时域显著性进行融合。（2）在视频动作特征表示方面，一方面对传统特征表示进行进一步探索，另一方面对三维卷积神经网络以及双流网络融合时空信息在动作检测和识别中进行验证。对图像局部块的表示，提出了旋转最大模式(Rotative Maximal Pattern, RMP)，编码图像局部块的颜色和形状特征；对视频中的运动部件的时域变化，提出了基于局部坐标编码的流形学习进行编码。（3）基于图像级的弱标注，提出了基于基于聚类-分类迭代的判别部件检测，并进一步根据动作的时域发展规律对部件进行提纯。（4）在视频动作检测和识别方面，提出了基于三维卷积神经网络的时域区间回归的动作检测和识别，其中多尺度的三维卷积神经网络用于提取基础特征，网络通过多任务学习同时进行动作分类和时域区间回归，实现动作检测。整个框架可以端到端学习。（5）视频动作预测方面，提出了基于动作自动补全(Activity auto-completion, AAC)和基于深度残差学习的动作预测，实现在观测到部分视频时，就能实现识别动作类别。其中AAC类似检索系统的查询自动补全，观测到的部分视频可视为查询前缀，全部视频可视为全部查询词，系统采用排序学习学习二者之间的关联。由于残差学习更容易，进一步提出了基于深度残差学习的动作预测，旨在学习观测到的部分视频的深度特征到全部视频深度特征之间的变换。基于上述成果，课题组开发了一套视频动作检测、识别和预测系统。.以上相关研究成果发表16篇学术论文，其中6篇被SCI检索。本课题共培养研究生8名。